经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI
AI医生诊断肺炎

AI医生诊断肺炎

作者|Andre Ye 编译|Flin 来源|towardsdatascience 使用CNN识别胸部X光片中的肺炎 人工智能在现实世界中有多种应用,其中非常重要的一项是在医疗行业中的应用。在本文中,我将提供卷积神经网络如何从胸部X射线诊断肺炎的代码和过程。 导入库 让我们加载...[2020/7/24]

VAE变分自编码器Keras实现

介绍   变分自编码器(variational autoencoder, VAE)是一种生成模型,训练模型分为编码器和解码器两部分。   编码器将输入样本映射为某个低维分布,这个低维分布通常是不同维度之间相互独立的多元高斯分布,因此编码器的输出为这个高斯分布的均值与对数方差(因为方差总...[2020/7/24]

批标准化—BN

作用:神经网络对0附近的数据更敏感,但是随着网络层数的增加,特征数据会出现偏离0均值的情况,标准化可以使数据符合以0位均值,1为标准差的正太分布,把偏移的特征数据重新拉回0附近。 方法:   标准化:使数据符合0为均值,1为标准差的分布。   批标准差:对一小批数据(batch),...[2020/7/23]

基于Bert和通用句子编码的Spark-NLP文本分类

基于Bert和通用句子编码的Spark-NLP文本分类

作者|Veysel Kocaman 编译|VK 来源|Towards Data Science 自然语言处理(NLP)是许多数据科学系统中必须理解或推理文本的关键组成部分。常见的用例包括文本分类、问答、释义或总结、情感分析、自然语言BI、语言建模和消歧。 NLP在越来越多的人...[2020/7/22]

写给程序员的机器学习入门 (八) - 卷积神经网络 (CNN) - 图片分类和验证码识别

这一篇将会介绍卷积神经网络 (CNN),CNN 模型非常适合用来进行图片相关的学习,例如图片分类和验证码识别,也可以配合其他模型实现 OCR。 使用 Python 处理图片 在具体介绍 CNN 之前,我们先来看看怎样使用 Python 处理图片。Python 处理图片最主要使用的类库是...[2020/7/22]

用Spark-NLP建立文本分类模型

用Spark-NLP建立文本分类模型

作者|GUEST 编译|VK 来源|Analytics Vidhya 概述 在AWS电子病历上建立John Snow实验室的Spark NLP,并使用该库对BBC文章进行简单的文本分类。 介绍 自然语言处理是全球数据科学团队的重要过程之一。随着数据的不断增长,大多数组织已经...[2020/7/22]

阿里天池文本分类竞赛task1: 赛题理解

一.比赛背景 在本次Datawhale的竞赛当中,我们有一个具有20w条训练集,5w条测试集的数据集。整个数据集里面包含了各种分类不同的文本,每一个文本在训练集里都进行了标注label,这个label能够让我们知道训练集里面的句子是属于哪一个类别的数据。本次竞赛的文本分类一共有14个类...[2020/7/22]

7个开源数据科学项目

作者|PRANAV DAR 编译|VK 来源|Analytics Vidhya 概述 开源数据科学项目会给你的简历增加很多价值,帮助你在面试中脱颖而出 这里有7个开源数据科学项目 介绍 我要给你一个建议。我希望在我开始数据科学职业生涯的时候曾有人给过我这个建议。 ...[2020/7/22]

Kafka 配置文件详情

kafka的配置分为 broker、producter、consumer三个不同的配置 一 、BROKER 的全局配置 最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。 ----------------------------------...[2020/7/21]

zookeeper 配置文件详情

目录结构 目录名作用 bin 存放系统脚本 conf 存放配置文件 contrib zk附加功能支持 dist-maven maven仓库文件 docs zk文档 lib 依赖的第三方库 recipes 经典场景样例代码 src zk源码 &n...[2020/7/21]

回归分析中R方和调整R方的区别

作者|ANIRUDDHA BHANDARI 编译|VK 来源|Analytics Vidhya 概述 理解R方和调整R方的概念 了解R方和调整R方之间的关键区别 介绍 当我开始我的数据科学之旅时,我探索的第一个算法是线性回归。 在理解了线性回归的概念和算法的工作原理之后,我非...[2020/7/21]

强化学习中的线性代数知识

作者|Nathan Lambert 编译|VK 来源|Towards Data Science 线性代数的基本原理如何用于深度强化学习?答案是解决了马尔可夫决策过程时的迭代更新。 强化学习(RL)是一系列用于迭代性学习任务的智能方法。由于计算机科学是一个计算领域,这种学习发生在状...[2020/7/21]

【赵强老师】Flink的Watermark机制(基于Flink 1.11.0实现)

【赵强老师】Flink的Watermark机制(基于Flink 1.11.0实现)

在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络延迟等原因,导致乱序的产生,特别是使用kaf...[2020/7/20]

java大数据最全课程学习笔记(5)--MapReduce精通(一)

目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录MapReduce精通(一)MapReduce入门MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程MapReduce编程规范WordCount...[2020/7/19]

强化学习的基本迭代方法

强化学习的基本迭代方法

作者|Nathan Lambert 编译|VK 来源|Towards Data Science 研究价值迭代和策略迭代。 本文着重于对基本的MDP进行理解(在此进行简要回顾),将其应用于基本的强化学习方法。我将重点介绍的方法是"价值迭代"和"策略迭代...[2020/7/19]

基于文本描述的事务聚类

基于文本描述的事务聚类

作者|GUEST 编译|VK 来源|Analytics Vidhya 介绍 我们生活在数字技术的时代。你上次走进一家没有数字交易的商店是什么时候? 这些数字交易技术已经迅速成为我们日常生活的一个关键部分。 不仅仅是在个人层面,这些数字技术是每个金融机构的核心。通过多种可能的选择...[2020/7/19]

学习强化学习之前需要掌握的3种技能

学习强化学习之前需要掌握的3种技能

作者|Nathan Lambert 编译|VK 来源|Towards Data Science 1.监督学习 现代强化学习几乎完全集中在深度强化学习上。深度强化学习中的“深”一词意味着在算法的核心方面使用神经网络。神经网络在学习过程中进行一些高维近似。话虽如此,该模型并不需要具...[2020/7/19]

如何编写简洁美观的Python代码

作者|ANIRUDDHA BHANDARI 编译|VK 来源|Analytics Vidhya 概述 Python风格教程将使你能够编写整洁漂亮的Python代码 在这个风格教程中学习不同的Python约定和Python编程的其他细微差别 介绍 你有没有遇到过一段写...[2020/7/18]

深度学习趣谈:什么是迁移学习?(附带Tensorflow代码实现)

一.迁移学习的概念 什么是迁移学习呢?迁移学习可以由下面的这张图来表示:      这张图最左边表示了迁移学习也就是把已经训练好的模型和权重直接纳入到新的数据集当中进行训练,但是我们只改变之前模型的分类器(全连接层和softmax igmoid),...[2020/7/17]

人脸识别学习笔记二:进阶篇

一、人脸检测实战 1.使用OpenCV进行人脸检测 OpenCV进行人脸检测使用的是名为 Viola-Jones 的目标检测框架的算法。 第一步:下载OpenCV库 pip install opencv-python -i https: pypi.tuna.tsinghua.edu....[2020/7/17]

神经网络学习笔记2-多层感知机,激活函数

1多层感知机 定义:多层感知机是在单层神经网络上引入一个或多个隐藏层,即输入层,隐藏层,输出层 2多层感知机的激活函数: 如果没有激活函数,多层感知机会退化成单层 多层感知机的公式:  隐藏层   H=XWh+bh    &nb...[2020/7/17]

在PyTorch中构建高效的自定义数据集

在PyTorch中构建高效的自定义数据集

学习Dataset类的来龙去脉,使用干净的代码结构,同时最大限度地减少在训练期间管理大量数据的麻烦。 神经网络训练在数据管理上可能很难做到“大规模”。 PyTorch 最近已经出现在我的圈子里,尽管对Keras和TensorFlow感到满意,但我还是不得不尝试一下。令人惊讶的是,...[2020/7/17]

大盘点!CVPR 2020目标检测论文精选

本文为学习笔记 参与:王博kings,Sophia 最近结束的CVPR 2020在推动物体检测方面做出了巨大贡献。在本文中,我们将介绍一些特别令人印象深刻的论文。 1、A Hierarchical Graph Network for 3D Object Detection o...[2020/7/17]

Ray和RLlib用于快速并行强化学习

作者|Christian Hubbs 编译|VK 来源|Towards Data Science Ray不仅仅是一个用于多处理的库,Ray的真正力量来自于RLlib和Tune库,它们利用了强化学习的这种能力。它使你能够将训练扩展到大型分布式服务器,或者利用并行化特性来更有效地使用你...[2020/7/17]

自然语言处理十大应用

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 介绍 自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用,并以此为生。 你知道为什么吗? 因为仅仅在短短几年的时...[2020/7/17]

Tensorflow实现图像数据增强(Data Augmentation)

在我们处理有关图像的任务,比如目标检测,分类,语义分割等等问题当中,我们常常需要对训练集当中的图片进行数据增强(data augmentation),这样会让训练集的样本增多,同时让神经网络模型的泛化能力更强。在进行图片的数据增强时,我们一般会对图像进行翻转,剪裁,灰度变化,对比度变化,...[2020/7/17]

认识tensorflow - 【老鱼学tensorflow2】

深度学习是模仿了生物的神经元的概念,你可以想象用一大堆的神经元通过各种刺激来对外部世界进行感知,从而建立起对外部世界的模型。 比如给你一个数据对: x y -1 -3 0 -1 1 1 2 3 3 5 4 7 我们可以使用深度学习通过从数据中学...[2020/7/17]

循环神经网络(RNN)简易教程

作者|Renu Khandelwal 编译|VK 来源|Medium 我们从以下问题开始 循环神经网络能解决人工神经网络和卷积神经网络存在的问题。 在哪里可以使用RNN? RNN是什么以及它是如何工作的? 挑战RNN的消梯度失和梯度爆炸 LSTM和GRU如何解决这些挑战 ...[2020/7/17]

数据科学统计学:什么是偏度?

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 概述 在数据科学和分析领域,偏度是一个重要的统计学概念 了解什么是偏度,以及为什么它对作为数据科学专业人士的你很重要 介绍 偏度的概念已融入我们的思维方式。当我们看到一个图像时...[2020/7/17]

java大数据最全课程学习笔记(2)--Hadoop完全分布式运行模式

目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录Hadoop完全分布式运行模式步骤分析:编写集群分发脚本xsync集群配置集群部署规划配置集群集群单点启动SSH无密登陆配置登录状态的环境变量群起集群集群启动/停止方式总结集群时间同步其他注意事项...[2020/7/17]

kafka之消息队列

原文链接:http: www.cnblogs.com jm521/p/13326749.html[2020/7/17]

Apache Flink介绍

Apache Flink介绍 俗话说知子莫若父,要想了解一门技术就要看官方的介绍。Flink官网对Flink的介绍是这样的: Apache Flink is a framework and distributed proce ing engine for stateful comput...[2020/7/14]

Java zookeeper图形化工具ZooInspector用法详解

Java zookeeper图形化工具ZooInspector用法详解

一、在window,使用我们先打开Zookeeper,目录bin下的zkServer.cmd,把Zookeeper运行起来 二、可以使用目录bin下的zkCli.cmd,查询Zookeeper数据的方式,但是不够直观,比较乱 三、ZooInspector的使用 1、下载...[2020/7/13]

使用Flask部署机器学习模型

作者|LAKSHAY ARORA 编译|VK 来源|Analytics Vidhya 概述 部署机器学习模型是每个ML项目的一个关键 学习如何使用Flask将机器学习模型部署到生产中 模型部署是数据科学家访谈中的一个核心话题 介绍 我记得我早期在机器学习领域的...[2020/7/13]

光学时钟“升天”助力卫星精准导航

光学时钟“升天”助力卫星精准导航 光学时钟“升天”助力卫星精准导航 京准电子科技官微——ahjzsz 科学家们对于精准时间的追求从未停止,目前世界上最准的时钟当属光学时钟。虽然早有研究人员提出将光学时钟应用到卫...[2020/7/13]

Facebook AI的DETR,一种基于Transformer的目标检测方法

作者|PRATEEK JOSHI 编译|VK 来源|Analytics Vidhya 介绍 机器学习框架或库有时会更改该领域的格局。今天,Facebook开源了一个这样的框架,DETR(DEtection TRansformer) 在本文中,我们将快速了解目标检测的概念,然后...[2020/7/13]

BERT生成文本摘要

作者|Daulet Nurmanbetov 编译|VK 来源|Towards Data Science 你有没有曾经需要把一份冗长的文件归纳成摘要?或者为一份文件提供一份摘要?如你所知,这个过程对我们人类来说是乏味而缓慢的——我们需要阅读整个文档,然后专注于重要的句子,最后,将...[2020/7/13]

使用Facebook的Pytorch的BigGraph从知识图谱中提取知识

机器学习使我们能够训练一个可以将数据转换为标签的模型,从而把相似的数据映射到相似或相同的标签。 例如,我们正在为电子邮件构建一个垃圾邮件过滤器。我们有很多电子邮件,其中一些标记为垃圾邮件,另一些标记为正常邮件(INBOX)。我们可以构建一个模型,该模型学习识别垃圾邮件。被标记为垃圾邮件...[2020/7/13]

gps时钟同步器(卫星时钟方式器)在DCS控制系统应用

gps时钟同步器(卫星时钟方式器)在DCS控制系统应用 gps时钟同步器(卫星时钟方式器)在DCS控制系统应用 安徽京准电子提供,技术交流官微(ahjzsz) 前言     随着计算机和网络通信技术的飞速发展,各行业自动化系统数字化、网络化的时代已经到...[2020/7/13]

提高分析和可视化能力的3个Excel图表

提高分析和可视化能力的3个Excel图表

作者|RAM DEWANI 编译|VK 来源|Analytics Vidhya 概述 Excel图表是展示你的分析技能的强大方式 这里有三个Excel图表,每个分析师都应该熟悉 介绍 我喜欢创造现成的视觉效果。大多数分析专业人士都能拿出条形图或折线图,但能让你的可视...[2020/7/13]

Hadoop/HBase Kerberos认证失败:Clock skew too great

组件启动失败,查看日志是在创建集群连接前的Kerberos认证没通过: 异常信息提示时钟偏差较大。于是检查组件运行所在节点与集群节点的时间,确实存在不小偏差,同步时间后问题解决。同步时间最好使用ntpd服务,如果临时使用可以使用ntpdate命令。 原文链接:http: www...[2020/7/9]

损失函数是学习的指挥棒—记一次实践经历 - shine-lee

目录写在前面PCA投影基于偏度与峰度 构建损失函数小结参考 博客:博客园 | CSDN | blog 写在前面 损失函数是学习的指挥棒。 前段时间有个活,让我对定义损失函数有了新的认识,遂记录一下。 这里隐去具体的背景,只描述问题。 给定一个训练集(可视为全集的有效采样)\(X...[2020/7/9]

5个强大的Excel仪表板

5个强大的Excel仪表板

作者|RAM DEWANI 编译|VK 来源|Analytics Vidhya 概述 仪表盘在业界无处不在。每个分析师都应该精通如何创建仪表板 Excel是创建强大仪表板的优秀工具,我们将在这里看到来自不同行业的5个示例 介绍 可视化胜过千言万语。 业务分析包...[2020/7/8]

用Tableau实现动画数据可视化

作者|PRANAV DAR 编译|VK 来源|Analytics Vidhya 概述 动画可视化是一种艺术,它很容易在Tableau中创造出来 我们将在这里使用开源数据集,并在Tableau中创建自己的动画可视化 介绍 我是动画视觉化的超级粉丝。我喜欢数据点在我屏幕...[2020/7/8]

神经机器翻译的直观解释

作者|Renu Khandelwal 编译|VK 来源|Towards Data Science 什么是神经机器翻译? 神经机器翻译是一种将一种语言翻译成另一种语言的技术。一个例子是把英语转换成印地语。让我们想想,如果你在一个印度村庄,那里的大多数人都不懂英语。你打算毫不费力地与...[2020/7/8]

基于图嵌入的高斯混合变分自编码器的深度聚类(Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG)

基于图嵌入的高斯混合变分自编码器的深度聚类(Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG)

基于图嵌入的高斯混合变分自编码器的深度聚类 Deep Clustering by Gau ian Mixture Variational Autoencoders with Graph Embedding, DGG 作者:凯鲁嘎吉 - 博客园 http: www.cnblogs...[2020/7/8]

3个高级Excel图表技巧

作者|RAM DEWANI 编译|VK 来源|Analytics Vidhya 概述 高级的Excel图表是为我们的读者创建有效和有影响力的演讲的好方法 在这里学习3个高级Excel图表,以给你的经理留下深刻印象,并与你的利益相关者建立融洽关系 介绍 当我第一次开始...[2020/7/8]

感知机:教程,实现和可视示例

作者|Dorian Lazar 编译|VK 来源|Towards Data Science 感知器是人工神经网络的组成部分,它是大脑中生物神经元的简化模型。感知器是最简单的神经网络,仅由一个神经元组成。感知器算法由Frank Rosenblatt于1958年发明。 以下是生物...[2020/7/8]

HBase2.0 meta信息丢失的修复方法

在HBase入库日志中发现有一个表入库失败,检查HBase服务端后发现该表的meta信息丢失了: 而HDFS上的region还在: 而HBCK工具不支持HBase2.0版本,只好自己写一个修复工具。网上可以搜到前辈们自己编写的一些工具,比如这一篇写的就比较详细 ht...[2020/7/8]

Kafka消费者拉取数据异常Unexpected error code 2 while fetching data

Kafka消费程序间歇性报同一个错: 上网没查到相关资料,只好自己分析。通过进一步分析日志发现,只有在拉取某一个特定的topic的数据时报错,如果拉取其他topic的数据则不会报错。而从这个异常信息来看是拉取数据时进行类似CRC校验时,校验结果不正确。所以,感觉可能是数据损坏。于是...[2020/7/8]

462
2
记录数:2390 页数:1/4812345678910下一页尾页
加载更多
 友情链接: NPS  问卷模板