经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlink
 大数据/云/AI

Flink1.9整合Kafka

本文基于Flink1.9版本简述如何连接Kafka。 流式连接器 我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义的source支持从文件、目录、socket,以及 collections...[2019/9/20]

做一个logitic分类之鸢尾花数据集的分类

做一个logitic分类之鸢尾花数据集的分类 Iris 鸢尾花数据集是一个经典数据集,在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录,每类各 50 个数据,每条记录都有 4 项特征:花萼长度、花萼宽度、花瓣长度、花瓣宽度,可以通过这4个特征预测鸢尾花卉...[2019/9/19]

设计师如何管理自己的文档

随着项目的积累,我们的文件目录会变得十分的盘大,如果不好好管理,将会变得一团糟,有时会影响到我们工作的效率与心情,好的文档管理方式会在一定程度上让我们的工作更加有序,即时文件目录再多,按照已经制定好的规则,也能够快速的查询到目标文件。这次就我个人研究对比,做一次小的分享,希望能...[2019/9/19]

Flink入门宝典(详细截图版)

本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做说明。 一、Fl...[2019/9/19]

大数据技术原理与运用知识

一·大数据概述 随着信息技术发展的巨大变革,企业和学术机构纷纷加大技术、资金和人员投入,加强对大数据关键技术的研发与运用。 大数据的发展历程总体上划分为三个重要阶段:萌芽期、成熟期和大规模应用期。   二.大数据概念 大数据的4个特点:数据量大...[2019/9/18]

Kafka常见错误整理(不断更新中)

1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partiti...[2019/9/17]

从概率模型到逻辑分类

从概率模型到逻辑分类

我今天来推导一下根据 概率模型 来推导一下分类的问题。 题目的大概就是,我们抽取一个样本,然后去判断这个样本应该属于哪个分类。 首先大概的复习一下跟概率论相关的知识概率论的一些基础知识 我们把问题限定为两个类别的分类。即我们有一个\(C_1\)和\(C_2\)分类。然后抽取一个样本\...[2019/9/17]

Kafka运维命令大全

1、集群管理 前台启动broker bin/kafka-server-start.sh <path> erver.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path&...[2019/9/16]

卷积到底有什么作用?如何做到特征提取?

卷积到底有什么作用?如何做到特征提取?

[学习笔记] 经过前面的神经网络的基础学习,终于进入我们这章的核心部分,卷积神经网络(CNN, Convolutional Neural Networks)。很多同学学了半天卷积神经网络,但一直有一个最最根本的问题没有搞懂,他也知道怎么做卷积了,也知道怎么做池化了,就是不知道在为什 ...[2019/9/16]

池化的名字由何而来?

根据前面的卷积过程,我们可以达到特征提取的作用。基本上已经判断出谁是C谁是D。底下可以再进一步做一次池化。数据库连接池记得吧?把很多数据库连接放在一个池子里,想用时挑一个来用。这里做完卷积得到这么多数据,就像池子一样,对于这池子里的数据,我们可以继续做各种各样的操作,比如最大池化或平均池...[2019/9/16]

卷积和神经网络有什么关系?

如上一段所述,卷积可以提取特征,但对于真实世界当中的大规模图片库,我们并不知道哪个局部特征有效,我们还是希望通过训练神经网络,自动学习出来,怎么做呢?还得用到前面学到的BP算法,但现在的问题是卷积和神经网络有什么关系呢?看下面两个图可以知道,其实卷积的运算就是相乘之后求和,和神经网络效果...[2019/9/16]

Vue 前端uni-app多环境配置部署服务器的问题

目录 前端Vue 针对问题 package.json描述 多环境部署 查看源码获取解决方案 转载请标明出处: http...[2019/9/16]

KafkaProducer源码分析

KafkaProducer源码分析

Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,主要负责接收和处理客户端的请求 Topic:主题,Kafka承载消息的逻辑容器,每条发布到Kafka的消息都有对应的逻辑容器,工作中多用于区分业务 Partition:分...[2019/9/16]

剑指Offer(三十一):整数中1出现的次数(从1到n整数中1出现的次数)

剑指Offer(三十一):整数中1出现的次数(从1到n整数中1出现的次数) 搜索微信公众号:''AI-ming3526''或者''计算机视觉这件小事'' 获取更多算法、机器学习干货 csdn:https: blog.csdn.net/baidu_31657889/ github:htt...[2019/9/12]

剑指Offer(三十二):把数组排成最小的数

剑指Offer(三十二):把数组排成最小的数 搜索微信公众号:''AI-ming3526''或者''计算机视觉这件小事'' 获取更多算法、机器学习干货 csdn:https: blog.csdn.net/baidu_31657889/ github:https: github.com/...[2019/9/12]

Storm VS Flink ——性能对比

1.背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API ...[2019/9/12]

SQOOP的使用方法

Sqoop是个命令行工具,用来在Hadoop和rdbms之间传输数据。 以Hadoop的角度看待数据流向,从rdbms往Hadoop是导入用sqoop import命令,反之从hadoop往rdbms下发数据用sqoop export命令 以oracle hive为例子,命令举例: s...[2019/9/12]

如何使用 python 接入虹软 ArcFace SDK

公司需要在项目中使用人脸识别SDK,并且对信息安全的要求非常高,在详细了解市场上几个主流人脸识别SDK后,综合来看虹软的Arcface SDK比较符合我们的需求,它提供了免费版本,并且可以在离线环境下使用,这一点非常符合我们对安全性的要求。但有个遗憾的事情,我们的项目主要使用了Pyth...[2019/9/12]

2.几何变换_图像金字塔

#导入工具包 from imutils import * #读入图片 image = imread(''image.jpg'') show(image) image.shape #高斯金字塔 for i in range(4): ...[2019/9/12]

什么是梯度下降法与delta法则?

梯度下降法就是沿梯度下降的方向求解函数(误差)极小值。delta法则是使用梯度下降法来找到最佳权向量。拿数字识别这个案例为例,训练模型的过程通常是这样的。输入为1万张图片,也就是1万个样本,我们定义为D,是训练样例集合,输出为相对应的1万个数字。这就是1万个目标输出(Target),每一...[2019/9/12]

BP(back propagation)误差逆传播神经网络

[学习笔记] BP神经网络是一种按误差反向传播的神经网络,它的基本思想还是梯度下降法,中间隐含层的误差和最后一层的误差存在一定的数学关系,(可以计算出来),就像误差被反向传回来了,所以顾名思义BP。想想生活中有句话叫做开始差之毫厘,后来失之千里是什么意思?就有点误差传递的感觉。关键他...[2019/9/12]

终于了解到教你看飞艇七码八码滚雪球公式走势技巧规律精准计划

  幸运飞艇公式规律一对一教导V扣同步2152750836 长久盈利轻松上岸胜率95%,已助上千人成功翻盘,欢迎增加,沟通交流!如果你没过硬的基础,没有专业计划,没有实际规划,而是盲目**的话,注定你就在亏钱,但是如果是有计划有规律...[2019/9/12]

Flink文章测试

Flink文章测试

Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 原文链接:http:...[2019/9/12]

Flink中TaskManager端执行用户逻辑过程(源码分析)

Flink中TaskManager端执行用户逻辑过程(源码分析)

TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProce or类的proce Input()方法中 通过一个while(true)中不停的拉取上游的数据,然后调用streamOperator.proce...[2019/9/11]

openstack简单部署流程

environment 1.网络平面:management(管理网络)→软件安装,组件通信       provider(提供实例网络)→:提供者网络:直接获取ip地址,实例之间直接互通                      自服务网络(私有网...[2019/9/11]

机器学习——分类问题

人工分类 特征1>特征2 输出 0 特征1<特征2 输出 1 特征1特征2输出 3 1 0 2 5 1 1 8 1 6 4 0 5 2 0 3 5 1 4 7 ...[2019/9/11]

什么是导数和切线?以及他们的关系?

(引自高等数学)设函数y=f(x)在点x0的某个邻域内有定义,当自变量x在x0处有增量Δx,相应地函数取得增量Δy=f(x0+Δx)-f(x0);如果Δy与Δx之比当Δx→0时极限存在,则称函数y=f(x)...[2019/9/11]

hadoop 完全分布式搭建总结

hadoop 完全分布式搭建总结

完全分布式--------------- 1.配置文件 [core-site.xml]    hdfs 地址 fs.defaultFS=hdfs: 129:8020/ [hdfs-site.xml] 副本   replication=1 伪分布   replicat...[2019/9/11]

快速构建第一个Flink工程

本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行. 在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。 ...[2019/9/10]

机器学习中强化学习与监督学习、无监督学习区别

监督学习(Supervised learning): 监督学习即具有特征(feature)和标签(label)的,即使数据是没有标签的,也可以通过学习特征和标签之间的关系,判断出标签——分类。 简言之:提供数据,预测标签。比如对动物猫和狗的图片进行预测,预...[2019/9/10]

机器学习相关网址

机器学习相关网址

机器学习相关网址 作者:凯鲁嘎吉 - 博客园 http: www.cnblogs.com/kailugaji/ 1. 个人博客 Free Mind http: freemind.pluskid.org/  Junhao Hua 博客 | huajh7'...[2019/9/10]

安装指定版本的tensorflow(我报错了)

安装命令如下: pip install tensorflow-gpu==1.10.0 -i https: pypi.tuna.tsinghua.edu.cn imple 慎用,反正我报错了,而且还没有找到有效的解决方法。 找不到指定模块 OSError: [Win...[2019/9/10]

剑指Offer(二十九):最小的K个数

剑指Offer(二十九):最小的K个数 搜索微信公众号:''AI-ming3526''或者''计算机视觉这件小事'' 获取更多算法、机器学习干货 csdn:https: blog.csdn.net/baidu_31657889/ github:https: github.com/aim...[2019/9/10]

工业大数据为何落地难

眼前的困难和问题,很可能是过去没有准备的结果;而现在的失败,往往是过去草率行事的结果。同样,工业大数据浪潮来了,却会发现积累了多年的数据没法用。我总结了一下,大体有三种原因: 1、数据对应不上 围绕同一个对象或过程的数据都有记录,但串不起来。比如,一个产品是某设备生产的。产品信息...[2019/9/10]

给出一个生活中的最简单的两层神经网的实际例子

[学习笔记] 下面我们给出一个生活中的最简单的两层神经网的实际例子。比如,在我们的心目当中,只要有游泳池这种设施的房子就属于高档住宅。先进行一个初步判断,高还是低? 最后才进行最终的价格判断,所以这样就有了两层神经网络。先看是高档还是低档住宅,之后高档住宅的价格偏移和低档住宅的价格偏...[2019/9/10]

为什么引入神经网络来做识别,判断,预测?

[学习笔记] 很多人学了神经网络很长时间,但一直就有一个最根本的问题困扰着自己。为什么要引入神经网络来做识别,判断,预测?为什么神经网络能做这事?其实我们在生活中,总在不知不觉的经常用神经网络。只不过我们没注意观察罢了。 比如经常有朋友会问我们,哪里的房子大致多少钱?比如下面这个判断...[2019/9/10]

什么叫训练模型?

[学习笔记] 根据上面的计算过程可知,下图的神经网络模型果然比较符合现实情况。带游泳池的首先大概率属于高档房,其次价格也比较高。不带游泳池的 属于低档房,而且价格较低。 为什么同样的模型,判断出的结果不一样呢? 1)w3比较大,为0.8,w4比较小,为0.001.意思就是贵的设施对于...[2019/9/10]

bp算法推导过程

参考:张玉宏《深度学习之美:AI时代的数据处理与最佳实践》265-271页 原文链接:http: www.cnblogs.com/yichenxing/p/11482502.html[2019/9/10]

几个常用算法的适应场景及其优缺点!

机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法,诸如SVM,GBDT,Adaboost,现在深度学习很火热,神经网络也是一个不错的选择。 假...[2019/9/10]

为什么要引入激活函数?

[学习笔记] 根据上面的学习,我们已经知道,当我们接到客户的需求,让我们做识别,判断或者预测时,我们需要最终交付给客户我们的神经网络模型。其实我们千辛万苦训练出来的神经网络模型,就是从输入到输出的一个神秘未知函数映射。在大多数情况下,我们并不知道这个真正的函数是什么,我们只是尽量去拟...[2019/9/10]

推荐系统--完整的架构设计和算法(协同过滤、隐语义)

1. 什么是推荐系统 推荐系统是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。 随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的...[2019/9/10]

HDFS 读写流程-译

HDFS 文件读取流程 Client 端调用 DistributedFileSystem 对象的 open() 方法。 由 DistributedFileSystem 通过 RPC 向 NameNode 请求返回文件的 Block 块所在的 DataNode 的地址。(我们知道 ...[2019/9/10]

浅谈-对modbus的理解

浅谈-对modbus的理解   一、简介   Modbus由MODICON公司于1979年开发,是一种工业现场总线协议标准。1996年施耐德公司推出基于以太网TCP/IP的Modbus协议:ModbusTCP。   Modbus协议是一项应用层报文传输协议,包括...[2019/9/10]

用深度学习做命名实体识别(四)——模型训练

通过本文你将了解如何训练一个人名、地址、组织、公司、产品、时间,共6个实体的命名实体识别模型。 准备训练样本 下面的链接中提供了已经用brat标注好的数据文件以及brat的配置文件,因为标注内容较多放到brat里加载会比较慢,所以拆分成了10份,每份包括3000多条样本数据,将这1...[2019/9/10]

自动化专业如何转SLAM或机器学习岗?

由于不方便放链接,更好的阅读体验请查看:自动化专业如何转SLAM或机器学习岗? 本文来自知乎上的同名问题,原文链接: https: www.zhihu.com/question/266685012/answer/336327001 题主是北京某985理工类高校自动化专业本硕(硕士专业是控...[2019/9/10]

用CapsNets做电能质量扰动分类(2019-08-05)

 当下最热神经网络为CNN,2017年10月,深度学习之父Hinton发表《胶囊间的动态路由》(Capsule Networks),最近谷歌正式开源了Hinton胶囊理论代码,提出的胶囊神经网络。本文不涉及原理,只是站在巨人的肩膀人,尝试把胶囊网络应用与分类问题。 原理和代...[2019/9/10]

什么是链式法则?

[学习笔记] 链式法则是微积分中复合函数的求导法则。 复合函数,是指一个函数作为另一个函数的自变量。 如f(x)=3x,g(z)=z+3,g(f(x))就是一个复合函数,并且g(f(x))=f(x)+3=3x+3链式法则(chain rule): 若m(x)=f(g(x)),则m''...[2019/9/10]

大数据之路【第十二篇】:数据挖掘--NLP文本相似度

一、词频----TF • 假设:如果一个词很重要,应该会在文章中多次出现 • 词频——TF(Term Frequency):一个词在文章中出现的次数 • 也不是绝对的!出现次数最多的是“的”&ldqu...[2019/9/10]

超越Storm,SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件,Storm就是无状态的计算框架,每一条消息来了以后和前后都没有关系,一条是一条。比如我们接收电力系统传感器的数据,当电压超过240v就报警,这就是无状态的数据。但是如果我们需要同时判断多个电压,比如三相电路,我们判断三...[2019/9/10]

Flink的Job启动TaskManager端(源码分析)

前面说到了  Flink的TaskManager启动(源码分析)  启动了TaskManager 然后  Flink的Job启动JobManager端(源码分析)  说到JobManager会将转化得到的TDD发送到Task...[2019/9/10]

462
2
记录数:1446 页数:1/2912345678910下一页尾页
加载更多