经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI

解决过拟合:如何在PyTorch中使用标签平滑正则化

什么是标签平滑?在PyTorch中如何去使用它? 在训练深度学习模型的过程中,过拟合和概率校准(probability calibration)是两个常见的问题。一方面,正则化技术可以解决过拟合问题,其中较为常见的方法有将权重调小,迭代提前停止以及丢弃一些权重等。另一方面,Platt标度...[2020/4/2]

解决Zookeeper无法启动的问题

链接1:https: blog.csdn.net/u012453843/article/detail 70878117 链接2:https: www.cnblogs.com/niunafei/p/11294560.html 原文链接:http: www.cnblogs.com/hg...[2020/4/2]

hadoop 多次格式化format namenode 导致节点不能启动解决

链接:https: blog.csdn.net/qq_41059374/article/detail 80695581?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_rel...[2020/4/2]

精度是远远不够的:如何最好地评估一个分类器?

分类模型(分类器)是一种有监督的机器学习模型,其中目标变量是离散的(即类别)。评估一个机器学习模型和建立模型一样重要。我们建立模型的目的是对全新的未见过的数据进行处理,因此,要建立一个鲁棒的模型,就需要对模型进行全面而又深入的评估。当涉及到分类模型时,评估过程变得有些棘手。 在这篇文章...[2020/4/1]

基于树莓派与YOLOv3模型的人体目标检测小车(一)

项目介绍: 本科毕业选的深度学习的毕设,一开始只是学习了一下YOLOv3模型, 按照作者的指示在官网上下载下来权重,配好环境跑出来Demo,后来想着只是跑模型会不会太单薄,于是想了能不能做出来个比较实用的东西(因为模型优化做不了)。于是乎做一个可以检测人体的可操控移动小车的想法就诞生了。...[2020/4/1]

基于树莓派与YOLOv3模型的人体目标检测小车(二)

基于树莓派与YOLOv3模型的人体目标检测小车(二)

上篇文章介绍了如何搭建深度学习环境,在Ubuntu18.04TLS上搭建起了 CUDA:9.0+cuDNN7.0+tensorflow-gpu 1.9 的训练环境。本篇文章将介绍如何制作自己的数据集,并训练模型。 本文训练数据集包括从VOC数据集中提取出6095张人体图片,以及使用La...[2020/4/1]

基于树莓派与YOLOv3模型的人体目标检测小车(三)

模型效果: 在上文中,我们制作了数据集,并利用数据集进行了模型的训练,利用静态图片和视频对模型的检测效果进行了检验,发现效果还是不错的。 ? 前两张为静态图片检测,后一张为视频检测效果截图。 ...[2020/4/1]

基于树莓派与YOLOv3模型的人体目标检测小车(四)

基于树莓派与YOLOv3模型的人体目标检测小车(四)

前面几篇文章完成了训练端和部署端的环境搭建以及模型的训练,并经过两次模型转化最终将YOLOv3 TINY模型部署在了树莓派上。其实最核心的内容已经完成了,接下来就是一些应用层面的东西了。 树莓派控制马达: 1. 材料硬件: 1.树莓派3B+ 2.四个直流电机 3.一个小车底盘+四...[2020/4/1]

MASK-RCNN(2)

2. Network Architecture 网络分为两个部分:第一部分是backbone卷积网络,用于提取整张图的特征;第二部分是head,用于对ROI进行处理,分为两个分支,一个分支用来对box分类和回归,另一部分进行mask预测。 网络的Backbone采用ResN...[2020/4/1]

李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gradient Descent

引言: 这个系列的笔记是台大李宏毅老师机器学习的课程笔记 视频链接(bilibili):李宏毅机器学习(2017) 另外已经有有心的同学做了速记并更新在github上:李宏毅机器学习笔记(LeeML-Notes) 很久都没有用高数及线性代数的知识,很多都生疏了,这节课有很多的数学公...[2020/4/1]

Flink开发IDEA环境搭建与测试的方法

一.IDEA开发环境 1.pom文件设置 <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>...[2020/3/31]

干货来了!阿里发布近300页Flink实战电子书

干货来了!阿里发布近300页Flink实战电子书

近300页实用干货总结,帮你解决 Flink 实战应用难题!《Apache Flink电子书合辑》收录来自bilibili、美团点评、小米、OPPO、快手、Lyft、Netflix等一线大厂实时计算平台及实时数仓实践案例,更有来自阿里巴巴及Apache Flink核心贡献者们一线...[2020/3/31]

李宏毅老师机器学习课程笔记_ML Lecture 2: Where does the error come from?

引言: 最近开始学习“机器学习”,早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程。今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子加深学生的印象。 视频链接(bilibili):李宏毅机器学习(2017) 另外已经有有心的同学做了速记...[2020/3/31]

文本挖掘实战:看看国外人们在病毒隔离期间都在家里做什么?

本文通过文本的挖掘,对人们在冠状病毒锁定期间正在做什么以及他们的感觉进行的探索性和情感分析 随着越来越多的国家宣布在全国范围内关闭,大多数人被要求留在家里隔离。 我们来看看国外的人们在此“关闭”期间如何度过时间以及感觉如何,所以我分析了本文中的一些推文,看看国外...[2020/3/31]

OpenStack一键安装

OpenStack一键安装 1、更新yum源 yum update 2、关闭NetworkManager systemctl stop NetworkManager.servicesystemctl disable NetworkManager.service 3、重...[2020/3/30]

PU Learning简介:对无标签数据进行半监督分类

PU Learning简介:对无标签数据进行半监督分类

当只有几个正样本,你如何分类无标签数据 假设您有一个交易业务数据集。有些交易被标记为欺诈,其余交易被标记为真实交易,因此您需要设计一个模型来区分欺诈交易和真实交易。 假设您有足够的数据和良好的特征,这似乎是一项简单的分类任务。 但是,假设数据集中只有15%的数据被标记,并且标记的样本仅属...[2020/3/30]

翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型

翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型

前言 神奇宝贝已经是一个家喻户晓的动画了,我们今天来确认是否可以使用深度学习为他自动创建新的Pokemon。我最终成功地使用了生成对抗网络(GAN)生成了类似Pokemon的图像,但是这个图像看起来并不像神奇宝贝。虽然这个尝试失败了,但是我认为其他人可能会喜欢这个过程,现在把他分享出来。...[2020/3/30]

用ms rcnn训练出的模型进行预测时提示缺少工具

报错信息如下: Traceback (most recent call last): File "demo/predict.py", line 8, in <module> from predictor import COCODemo File "/hom...[2020/3/27]

概率统计23——假设检验理论(2)

假设检验实际上是用反证法做出非对即错的判断:先假定原假设是对的,然后将抽样数据代入相应的分布中去验证,观察原假设的数值是落在接受域还是拒绝域,由此做出是接受还是拒绝原假设的判断。 值得注意的是,不同于以往严格的数学证明,假设检验是建立在小概率事件原理的基础之上。由于小概率事件也有可能发...[2020/3/27]

从零开始构建:使用CNN和TensorFlow进行人脸特征检测

  ? 人脸检测系统在当今世界中具有巨大的用途,这个系统要求安全性,可访问性和趣味性!今天,我们将建立一个可以在脸上绘制15个关键点的模型。 ? 人脸特征检测模型形成了我们在社交媒体应用程序中看到的各种功能。 您在Instagram上找到的面部过滤器是一个常见的用例。该算法...[2020/3/27]

sklearn机器学习 系列一 决策树 sklearn.tree

sklearn机器学习 系列一 决策树 sklearn.tree

决策树是如何工作的:                                     &n...[2020/3/27]

使用卷积神经网络(CNN)做人脸识别的示例代码

上回书说到了对人脸的检测,这回就开始正式进入人脸识别的阶段。 关于人脸识别,目前有很多经典的算法,当我大学时代,我的老师给我推荐的第一个算法是特征脸法,原理是先将图像灰度化,然后将图像每行首尾相接拉成一个列向量,接下来为了降低运算量要用PCA降维, 最后进分类器分类,可以使用KNN、SVM、神...[2020/3/27]

超参数调整实战:scikit-learn配合XGBoost的竞赛top20策略

超参数调整实战:scikit-learn配合XGBoost的竞赛top20策略

快速学习如何为XGboost优化超参数! 在过去的几年中,XGBoost被广泛用于表格数据推断,并且赢得了数百个挑战。但是,仅仅通过XGBoost并不能完成完成整的解决方案,同样的模型为什么有些人能获得更好的准确性呢?除了经验方面的差异,还有一个事实,那就是他们优化了超参数!因此,我们今...[2020/3/27]

手把手教你安装Windows版本的Tensorflow

一:安装Anaconda和Tensorflow 步骤: 1:从官方网站下载Anaconda https: www.anaconda.com/download/    注意自己电脑版本是32位还是64位。  2:进行软件安装(这个和普通的没什么特别...[2020/3/27]

手写批量线性回归算法:在Python3中梯度下降方法实现模型训练

手写批量线性回归算法:在Python3中梯度下降方法实现模型训练 作者:Tarun Guptadeephub翻译组:孟翔杰 ? 在这篇文章中,我们将看一个使用NumPy作为数据处理库的Python3编写的程序,来了解如何实现使用梯度下降法的(批量)线性回归。 ? 我将逐步解释代...[2020/3/26]

不平衡数据集分类实战:成人收入数据集分类模型训练和评估

许多二分类任务并不是每个类别都有相同数量的数据,存在着数据分布不平衡的情况。 一个常用的例子是成人收入数据集,它涉及到社交关系、教育水平等个人数据,以此来预测成人的收入水平,判断其是否拥有5万美元/年的个人收入。数据集中个人收入低于5万美元的数据比高于5万美元的数据要明显多一些,存在着...[2020/3/25]

数学不好也能看懂的线性回归推导

一. 一元线性回归 对于线性回归最简单的就是一元线性回归,我们先拿一元线性回归作为入门的例子,等理解了这个,对于多元线性回归也就好理解了,都是一样的道理(对不起大家字写的不好!) 1.1官方定义 百科的定义:线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量...[2020/3/24]

Scikit-Learn 源码研读 (第二期)基类的实现细节

Scikit-Learn 源码研读 (第二期)基类的实现细节

目录BaseEstimator`get_params``set_params`Cla ifierMixinRegre orMixin检查传入的对象检查样本数和权重系数实现$R^2$的计算细节TransformerMixin补充 sklearn项目可以看成一棵大树,各种estimator...[2020/3/24]

生物学中的机器学习:使用K-Means和PCA进行基因组序列分析 COVID-19接下来如何突变?

作者:Andre Yedeephub翻译组:孟翔杰许多人没有想到,病毒就像地球上为生存而挣扎的其他生物一样,它们会进化或变异。 只要看一看人类病毒来源的蝙蝠携带的病毒RNA序列片段即可。 AAAATCAAAGCTTGTGTTGAAGAAGTTACAACAACTCTGGAAGAAAC...[2020/3/24]

深度学习归一化:BN、GN与FRN

在深度学习中,使用归一化层成为了很多网络的标配。最近,研究了不同的归一化层,如BN,GN和FRN。接下来,介绍一下这三种归一化算法。 BN层 BN层是由谷歌提出的,其相关论文为《Batch Normalization: Accelerating Deep Network Traini...[2020/3/24]

学习Shader所需的数学基础(矩阵)

在三维数学中,我们通常会使用矩阵来进行变换。一个矩阵可以把一个矢量从一个坐标空间转换到另一个坐标空间。本篇文章就对矩阵相关的数学知识做了记录总结。 数学基础之坐标系,点和矢量的相关内容可以看这篇文章 矢量和矩阵 我们可以用矩阵来表示矢量。实际上,矢量可以看成是n×1的列矩阵或1×n的...[2020/3/23]

深度学习实战:tensorflow训练循环神经网络让AI创作出模仿莎士比亚风格的作品

  AI创作莎士比亚风格的作品 训练一个循环神经网络模仿莎士比亚 FLORIZEL:Should she kneel be?In shall not weep received; unleased meAnd unrespective greeting than dwe...[2020/3/23]

第一个机器学习算法:线性回归与梯度下降

第一个机器学习算法:线性回归与梯度下降 符号解释 \(x^{(i)}\),\(y^{(i)}\):某个训练样本 \(m\):样本总数量 \(h_{\theta}\):假设函数 Linear regre ion(线性回归) 如何获得一个线性回归模型? 将训练数据放入学习算法,算法通过计...[2020/3/23]

线性代数基础知识的复习

线性代数基础知识的复习 机器学习需要一些线性代数的基础知识。 matrix:矩阵 \[A= \begin{bmatrix} 1402 & 191\1371 & 821\949 & 1437\147&1448\\end{bmatrix} \] \[B= \...[2020/3/23]

更快的计算,更高的内存效率:PyTorch混合精度模型AMP介绍

作者:Rahul Agarwal ? 您是否知道反向传播算法是Geoffrey Hinton在1986年的《自然》杂志上提出的? ? 同样的,卷积网络由Yann le cun于1998年首次提出,并进行了数字分类,他使用了单个卷积层。 直到2012年下半年,Alexnet才通过使...[2020/3/23]

自然语言处理中预训练模型一览

预训练模型的梳理总结 摘要 本报告将从以下几个方面梳理预训练模型,陈述预训练(特指nlp领域)的what和how,总结预训练加微调模式的好处和弊端。通过时间线的方式梳理最近两年来预训练模型的发展脉络,重点阐述几个典型的预训练模型的做法和创新点。 chap1:预训练模型 预训...[2020/3/23]

深度学习基础:为什么神经网络的感知机中的神经元需要偏置项?

神经元中不添加偏置项可以吗?答案是,不可以每个人都知道神经网络中的偏置(bias)是什么,而且从人类实现第一个感知器开始,每个人都知道神经元需要添加偏置项。但你是否考虑过我们为什么要使用偏置项呢?就我而言,直到不久前我才弄清楚这个问题。当时我和一个本科生讨论了一些神经网络模型,但不知何故...[2020/3/23]

C#使用TensorFlow.NET训练自己的数据集的方法

C#使用TensorFlow.NET训练自己的数据集的方法

今天,我结合代码来详细介绍如何使用 SciSharp STACK 的 TensorFlow.NET 来训练CNN模型,该模型主要实现 图像的分类 ,可以直接移植该代码在 CPU 或 GPU 下使用,并针对你们自己本地的图像数据集进行训练和推理。TensorFlow.NET是基于 .NET Stan...[2020/3/23]

NTP时钟源(GPS时间源)介绍与分析 安徽京准电子科技

NTP时钟源(GPS时间源)介绍与分析 安徽京准电子科技 NTP时钟源(GPS时间源)介绍与分析 安徽京准电子科技 更多资料参考  www.ahjzsz.com          1、 ...[2020/3/20]

一文带你解读:卷积神经网络自动判读胸部CT图像的机器学习原理

  本文介绍了利用机器学习实现胸部CT扫描图像自动判读的任务,这对我来说是一个有趣的课题,因为它是我博士论文研究的重点。这篇文章的主要参考资料是我最近的预印本 “Machine-Learning-Based Multiple Abnormality ...[2020/3/19]

你不会成为数据科学家的9个原因:数据科学是一个艰难的领域,请做好准备

免责声明:这个故事并不是要劝阻您。 相反,它是一面可以长时间检视自己的镜子。 所以你对数据科学很有热情,你已经读了几十篇博客文章,完成了一些在线课程。现在你梦想着把它作为你的事业。毕竟,据《哈佛商业评论》称,这是21世纪最性感的工作。 但是,尽管你很有热情,数据科学可能并不适合你。在...[2020/3/19]

深度学习中的激活函数完全指南:在数据科学的诸多曲线上进行现代之旅

深度学习中的激活函数完全指南:在数据科学的诸多曲线上进行现代之旅

原文:Towards Data Sciencedeephub翻译组:zhangzc 自2012年以来,神经网络研逐渐成为了人工智能研究的主流,深度模型迅速取代了之前的各种benchmarks。在这些创新中,激活函数对神经网络的性能和稳定性起着至关重要的作用。这篇文章将尽可能简要地概...[2020/3/19]

Flink设置并行度的方式和执行级别

Flink设置并行度的几种方式 代码中设置setParallelism() 全局设置: env.setParallelism(3);  算子设置(部分设置): sum(1).setParallelism(3) 客户端CLI设置: ./bin/f...[2020/3/19]

利用mnist数据集进行深度神经网络

初始神经网络 这里要解决的问题是,将手写数字的灰度图像(28 像素 x28 像素)划分到 10 个类别中(0~9)。我们将使用 MINST 数据集,它是机器学习领域的一个经典数据集,其历史几乎和这个领域一样长,而且已被人们深入研究。这个数据集包含 60000 张训练图像和 10000 ...[2020/3/17]

从线性回归到神经网络

背景:一直想要梳理一下自己对广义线性模型的认识及思考,所有就有了这篇随笔。 前提: 1、首先明确,介绍模型会按照模型的三要素来展开,即模型(模型的参数空间),策略(如何选择最优模型,一般指代价函数/损失函数),算法(模型学习参数的方法,包括最优化方法等) 2、因为介绍的模型都是线性...[2020/3/17]

人工智能机器学习常用算法总结及各个常用算法精确率对比

本文讲解了机器学习常用算法总结和各个常用分类算法精确率对比。收集了现在比较热门的TensorFlow、Sklearn,借鉴了Github和一些国内外的文章。 机器学习的知识树,这个图片是Github上的,有兴趣的可以自己去看一下: 地址:https: github.com/trekhleb...[2020/3/17]

大规模机器学习

这一节主要讲了一些适用于大规模机器学习的算法及策略,并比较了梯度下降、随机梯度下降和小批量梯度下降的优劣。目前来说,大规模机器学习中用的最多的还是小批量梯度下降,毕竟它在执行效率和性能之间达到了一个平衡。当然,对于小批量梯度下降来说,如何选择合适的批量大小又是一个值得深思的问题。 梯度下...[2020/3/17]

Boosting算法进化史

背景: 当前的热门算法中,除了神经网络在图像和文字、音频等领域大放异彩之外,集成学习中的xgboost,lightGBM,CatBoost也在kaggle等机器学习平台上成为了炙手可热的工具。   明确概念: 1、Boosting(提升) 2、Adaptive Boo...[2020/3/17]

关于win10在tensorflow的安装及在pycharm中运行步骤详解

关于win10在tensorflow的安装及在pycharm中运行步骤详解

本文介绍在win10中安装tensorflow的步骤: 1、安装anaconda3 2、新建conda环境变量,可建多个环境在内部安装多个tensorflow版本,1.x和2.x版本功能差别太大,代码也很大区别 3、环境中安装python和fensorflow 4、用tensorf...[2020/3/17]

CTR学习笔记&代码实现1-深度学习的前奏LR-&gt;FFM

CTR学习笔记系列的第一篇,总结在深度模型称王之前经典LR,FM, FFM模型,这些经典模型后续也作为组件用于各个深度模型。模型分别用自定义Keras Layer和estimator来实现,哈哈一个是旧爱一个是新欢。特征工程依赖feature_column实现,这里做的比较简单在后面的深...[2020/3/16]

462
2
记录数:1995 页数:1/4012345678910下一页尾页
加载更多