经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI
机器学习笔记(1) 感知机算法 之 实战篇

机器学习笔记(1) 感知机算法 之 实战篇

我们在上篇笔记中介绍了感知机的理论知识,讨论了感知机的由来、工作原理、求解策略、收敛性。这篇笔记中,我们亲自动手写代码,使用感知机算法解决实际问题。 先从一个最简单的问题开始,用感知机算法解决OR逻辑的分类。 import numpy as np import matplotlib....[2019/11/20]

《TensorFlow2深度学习》学习笔记(一)

《TensorFlow2深度学习》学习笔记(一)

本系列笔记记录了学习TensorFlow2的过程,主要依据 https: github.com/dragen1860/Deep-Learning-with-TensorFlow-book 进行学习 首先需要明确TensorFlow 是一个面向于深度学习算法的科学计算库,内部数据...[2019/11/20]

flink 流式处理中如何集成mybatis框架

flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开...[2019/11/20]

深入理解泛化

目录 1.引言 什么是泛化呢? 先举个栗子: 小明和小李都上了高三。小明头脑机灵,一边刷着五年高考三年模拟一边总结做题规律,而小李一门心思刷题,一套完了又一套,刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布,小明超出一本线...[2019/11/19]

机器学习笔记(三)

一、神经网络(Neural NetWorks)的基本结构   神经网络是由神经层(layer)搭建起来的。由输入层,隐藏层、输出层组成。输入层就是特征的输入;隐藏层有多层,包含神经网络自生成的新特征(输入特征的多次项组合);输出层为预测结果。简单的神经网络如下图所示:      其中...[2019/11/19]

Andrew Ng机器学习 一: Linear Regression

一:单变量线性回归(Linear regre ion with one variable)   背景:在某城市开办饭馆,我们有这样的数据集ex1data1.txt,第一列代表某个城市的人口,第二列代表在该城市开办饭馆的利润。       我们将数据集显示在可视图,可以看出...[2019/11/19]

AI-图像基础知识-01

? ? 目前人工智能Artificial Intelligence主要分为两大分支: 计算机视常见:Computer Vision,简称CV ? CV主要是研究如何让机器看懂世界的一种技术,通过各种光学传感器来代替人眼对目标对象进行识别,跟踪和检测,使机器能够处理输入的各种图像和视...[2019/11/19]

python机器学习——逻辑回归

我们知道感知器算法对于不能完全线性分割的数据是无能为力的,在这一篇将会介绍另一种非常有效的二分类模型——逻辑回归。在分类任务中,它被广泛使用 逻辑回归是一个分类模型,在实现之前我们先介绍几个概念: 几率(odds ratio): \[ \frac {p}{(1-p)} \] 其中p表...[2019/11/19]

Flink入门(一)——Apache Flink介绍

Flink入门(一)——Apache Flink介绍

Apache Flink是什么? ? 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎A...[2019/11/19]

高精地图中地面标识识别技术历程与实践

导读:本文将主要介绍高德在高精地图地面标识识别上的技术演进,这些技术手段在不同时期服务了高精地图产线需求,为高德地图构建高精度地图提供了基础的技术保证。   1.面标识识别 地面标识识别,指在地图道路中识别出各种类型的地面标识元素,如地面箭头、地面文字、时间、地面数字、减...[2019/11/15]

大咖分享| 百度语义技术及应用全解

分享嘉宾:孙宇,百度NLP主任研发架构师、语义计算技术负责人。 本文根据作者在“2019自然语言处理前沿论坛”语义理解主题的特邀报告整理而成。 本报告提纲分为以下3个部分: ·    语义表示 · &nb...[2019/11/15]

python机器学习——使用scikit-learn训练感知机模型

这一篇我们将开始使用scikit-learn的API来实现模型并进行训练,这个包大大方便了我们的学习过程,其中包含了对常用算法的实现,并进行高度优化,以及含有数据预处理、调参和模型评估的很多方法。 我们来看一个之前看过的实例,不过这次我们使用sklearn来训练一个感知器模型,数据集还...[2019/11/15]

分享一份关于Hadoop2.2.0集群环境搭建文档

目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配...[2019/11/15]

百度艾尼(ERNIE)常见问题汇总及解答

一、ERNIE安装配置类问题 Q1:最适合ERNIE2.0的PaddlePaddle版本是?A1:PaddlePaddle版本建议升级到1.5.0及以上版本。 Q2:ERNIE可以在哪些系统上使用?A2:优化后各个系统都会支持,目前建议在Linux系统使用。  二、ERNIE...[2019/11/14]

python机器学习——随机梯度下降

上一篇我们实现了使用梯度下降法的自适应线性神经元,这个方法会使用所有的训练样本来对权重向量进行更新,也可以称之为批量梯度下降(batch gradient descent)。假设现在我们数据集中拥有大量的样本,比如百万条样本,那么如果我们现在使用批量梯度下降来训练模型,每更新一次权重向量...[2019/11/14]

游戏辅助外gua篇:如何Dump内存获得游戏的辅助

转载请标明出处: https: dujinyang.blog.csdn.net/article/category/9267855 本文出自:【奥特曼超人的博客】 本篇邀请了 “阿七” 做个 外挂辅助入门篇 分享,之前公众号也分享过了。 最近女朋友都在玩游戏,晚上还不理人,刚好近...[2019/11/13]

建立处理数据的基类

BaseEstimator类用来处理输入数据的格式 类内的全局变量有\[X,y,y\_{required},fit_{required}\] \[X,y\]通过__setup_input()方法将\[X,y\]变为numpy.ndarray类型 如果输入数据没有\[y\], 则\[y...[2019/11/13]

强化学习简介及马尔科夫决策过程

1. 什么是强化学习 ??强化学习(reinforcement learning, RL)是近年来大家提的非常多的一个概念,那么,什么叫强化学习? ??强化学习是机器学习的一个分支,和监督学习,非监督学习并列。 ??参考文献[1]中给出了定义: Reinforcement lea...[2019/11/13]

python机器学习——自适应线性神经元

上篇博客我们说了感知器,这篇博客主要记录自适应线性神经元的实现算法及一些其他的训练细节,自适应线性神经元(简称为Adaline)由Bernard Widrow和他的博士生Tedd Hoff提出,对感知器算法进行了改进。 当然Adaline对输入向量x的处理和感知器是一样的,都是使用一个...[2019/11/13]

[Flink]测试用的fake温度传感器

 

Hive数据仓库你了解了吗

在工作中我们经常使用的数据库,数据库一般存放的我们系统中常用的数据,一般为百万级别。如果数据量庞大,达到千万级、亿级又需要对他们进行关联运算,该怎么办呢? 前面我们已经介绍了HDFS和MapReduce了,它俩结合起来能够进行各种运算,可是MapReduce的学习成本太高了,如果有一种...[2019/11/12]

Ubuntu 18.04安装 CUDA 10.1 、cuDNN 7.6.5

    转载请注明出处  BooTurbo https: www.cnblogs.com/booturbo/p/11834661.html   安装平台及环境 CPU:i9-9900k桌面级 GPU:RTX 2080移动版 系统:Ub...[2019/11/12]

python机器学习——感知器

最近在看机器学习相关的书籍,顺便把每天阅读的部分写出来和大家分享,共同学习探讨一起进步!作为机器学习的第一篇博客,我准备从感知器开始,之后会慢慢更新其他内容。 在实现感知器算法前,我们需要先了解一下神经元(neuron)的工作原理,神经元有很多树突和一个轴突,树突(Dendrites)...[2019/11/12]

一文解读AIoT (转) - IT-Evan

一文解读AIoT (转) - IT-Evan

AIoT即AI+IoT,指的是人工智能技术与物联网在实际应用中的落地融合。目前,越来越多的行业及应用将AI与IoT结合到了一起,AIoT已经成为各大传统行业智能化升级的最佳通道,也是未来物联网发展的重要方向。 随着越来越多的企业将AIoT列为企业的主要发展方向之一,AIoT已然...[2019/11/11]

windows10下安装tensorflow2.0-GPU和Cupy(不用搞CUDA+cudnn)

0.前言   今年暑假买了个1660ti的游戏本学python,后来发现跑一些数据量比较大的代码和深度学习的时候太慢了,遂想装一下GPU版本,看了网上的资料搞了好几天,又是CUDA又是cudnn的,网速慢不说,装完还各种报错,最后发现随着anaconda和tensorflow的更新,现...[2019/11/11]

sklearn实现逻辑回归

首先我们来看下面一组数据集:    前面的x1与x2都表示的是年收入和年龄这两个因素决定的是否买车的结果。 开始代码部分,我们先输入x和y的变量,开始输入数据: from sklearn import linear_model X=[[20,3], [...[2019/11/11]

tensorflow dataloader 相关内容

Tensorflow dataloader 相关调研;数据读取是训练的开始,是非常关键的一步;下面是调研时搜集到的一些相关链接: 十图详解tensorflow数据读取机制 https: zhuanlan.zhihu.com/p/27238630  TensorFlo...[2019/11/11]

百度NLP预训练模型ERNIE2.0最强实操课程来袭!【附教程】

2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。经过短短几个月时间,百度ERNIE再升级,发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型。继1.0后,ERNIE英文任务方面取得全新突破,...[2019/11/8]

【笔记】Reptile-一阶元学习算法

目录 论文信息 Nichol A , Achiam J , Schulman J . On First-Order Meta-Learning Algorithms[J]. 2018. 一、摘要 本文主要考虑元学习问题,即存在一...[2019/11/8]

通俗易懂讲解贝叶斯定理

转自:https: blog.csdn.net dutacm/article/detail 50938957 0. 前言 这是一篇关于贝叶斯方法的科普文,我会尽量少用公式,多用平白的语言叙述,多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常 gen...[2019/11/7]

AI-数据标注类型

? ? 随着数据的暴增和计算机硬件技术的发展,也催生了AI技术在各行各业的应用渗透。而想将AI技术应用到各行各业,数据是必需品。因为数据直接影响到AI最终训练出来的模型好坏。AI建模没有太大门槛,但数据才是真正的门槛。因此,目前业界流传着一段话有多少人工智能,就有多少人工。前一篇讲述了数...[2019/11/7]

网络权重初始化方法总结(上):梯度消失、梯度爆炸与不良的初始化 - shine-lee

目录 前向传播与反向传播回顾 梯度消失与梯度爆炸 激活函数的影响 权重矩阵的影响 不良初始化 参考 博客...[2019/11/7]

机器学习笔记(一) 感知机算法 之 原理篇

这篇学习笔记强调几何直觉,同时也注重感知机算法内部的动机。限于篇幅,这里仅仅讨论了感知机的一般情形、损失函数的引入、工作原理。关于感知机的对偶形式和核感知机,会专门写另外一篇文章。关于感知机的实现代码,亦不会在这里出现,会有一篇专门的文章介绍如何编写代码实现感知机,那里会有几个使用感知机...[2019/11/7]

Tensorflow 2.0 datasets数据加载

导入包 import tensorflow as tf from tensorflow import keras 加载数据 tensorflow可以调用keras自带的datasets,很方便,就是有一点让人不爽的是下载需要fq,而这个代理不太方便开,所以这里我把所有数据都下载下来了...[2019/11/7]

以Mnist为例从头开始自己建立数据集,搭建resnet34,识别Mnist

以Mnist为例从头开始自己建立数据集,搭建resnet34,识别Mnist

写在前面:        本人小白研一,刚开始学习深度学习,将自己的第一个实验过程总结下来,看了很多的大牛的博客,在下面的程序中也参考了很多大牛的博客。在刚开始入门的学习的时候,直接编写程序下载数据集,但是后来觉得可能会用到自己手动构建数据集。所...[2019/11/7]

一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考

本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑。1、flume采集时,通过shell+EXEC(tail -F xxx.log 的方式) source来获取日志时,当单条日志过大超过1M时,sou...[2019/11/7]

conda安装的国内镜像配置,实现快速下载

conda安装的国内镜像配置,实现快速下载 anaconda的所有的软件包全部在国外,安装起来很麻烦,关键是下载速度慢,而且经常中断,所以需要配置国内安装的镜像,下载速度就很快了。 一、conda换国内源 1.1 查看源 命令 conda config --show-source...[2019/11/6]

中文预训练模型ERNIE2.0模型下载及安装

2019年7月,百度ERNIE再升级,发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型, 它利用百度海量数据和飞桨(PaddlePaddle)多机多卡高效训练优势,通过深度神经网络与多任务学习等技术,持续学习海量数据和知识。基于该框架的艾...[2019/11/6]

基于Keras搭建MLP

Keras是一套基于Tensorflow、Theano及CNTK后端的高层神经网络API,可以非常友好地支持快速实验,本文从零开始介绍了如何使用Keras搭建MLP并给出两个示例。 基于Ubuntu安装Keras 具体安装过程在官方中英文文档中有详细说明 中文 https: ker...[2019/11/6]

Kaldi安装

Kaldi是基于C++开发并遵守Apache License v2.0的一款语音识别工具包,是目前最流行的ASR工具之一,本文基于Ubuntu 18.04 LTS介绍了如何安装Kaldi。 首先按照官网提示,将Kaldi项目克隆至本地: ~$ git clone https: g...[2019/11/6]

AB实验的高端玩法系列3 - AB组不随机?观测试验?Propensity Score

背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢? 根据Rubin Causal Model, 想要让上述估计无偏,...[2019/11/5]

Introduction - What is machine learning

摘要: 本文是吴恩达 (Andrew Ng)老师《机器学习》课程,第一章《绪论:初识机器学习》中第2课时《什么是机器学习?》的视频原文字幕。为本人在视频学习过程中逐字逐句记录下来以便日后查阅使用。现分享给大家。如有错误,欢迎大家批评指正,在此表示诚挚地感谢!同时希望对大家的学习能有所帮助...[2019/11/5]

Introduction - Unsupervised Learning

摘要: 本文是吴恩达 (Andrew Ng)老师《机器学习》课程,第一章《绪论:初识机器学习》中第4课时《无监督学习》的视频原文字幕。为本人在视频学习过程中逐字逐句记录下来以便日后查阅使用。现分享给大家。如有错误,欢迎大家批评指正,在此表示诚挚地感谢!同时希望对大家的学习能有所帮助。 ...[2019/11/5]

Linear regression with one variable - Cost function

Linear regression with one variable - Cost function

摘要: 本文是吴恩达 (Andrew Ng)老师《机器学习》课程,第二章《单变量线性回归》中第7课时《代价函数》的视频原文字幕。为本人在视频学习过程中逐字逐句记录下来以便日后查阅使用。现分享给大家。如有错误,欢迎大家批评指正,在此表示诚挚地感谢!同时希望对大家的学习能有所帮助。 In...[2019/11/5]

最强中文NLP预训练模型艾尼ERNIE官方揭秘【附视频】

“最近刚好在用ERNIE写毕业论文” “感觉还挺厉害的” “为什么叫ERNIE啊,这名字有什么深意吗?” “我想让艾尼帮我写作业” 看了上面火热的讨论,你一定很好奇&l...[2019/11/5]

AI-数据标注

AI-数据标注

目录 素材标注工具 标注可能存在的问题 标注注意事项 如何提高素材标注质量 ? ? 算力和数据是影响深度学习的两个关键因素。在算力满足的情况下,为了达到更...[2019/11/5]

Android9.0 如何区分SDK接口和非 SDK接口

刚刚有同学问我,不太了解 “非SDK接口” 是什么意思?android9.0有什么限制 ?apache的http也有限制 ? 而且现在的大部分系统都升级上来了,黑名单、灰名单和白名单 也是必须要了解一下的,这里参考Google开发者网站给大家整理一下。 首先,公共 SDK 接口是在 ...[2019/11/4]

百度ERNIE 2.0强势发布!16项中英文任务表现超越BERT和XLNet

2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。 今天,经过短短几个月时间,百度ERNIE再升级。发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型。继1.0后,ERNIE英文任务方面取...[2019/11/4]

为什么要做特征归一化/标准化? - shine-lee

目录 写在前面 常用feature scaling方法 计算方式上对比分析 feature scaling 需要还是不需要 什么时候需要feature scaling? ...[2019/11/4]

Machine Learning Technologies(10月20日)

Linear regre ion   SVM(support vector machines) Advantages: ·Effective in high dimensional spaces. ·Still effective...[2019/11/4]

462
2
记录数:1664 页数:1/3412345678910下一页尾页
加载更多