经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI

【Model Log】模型评估指标可视化,自动画Loss、Accuracy曲线图工具,无需人工参与!

1. Model Log 介绍 Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning)、深度学习(Deep Learning)模型训练评估指标可视化工具,与 TensorFlow、Pytorch、PaddlePaddle结合使用,可以记录...[2020/6/27]

深度学习“四大名著”发布!Python、TensorFlow、机器学习、深度学习四件套!

深度学习“四大名著”发布!Python、TensorFlow、机器学习、深度学习四件套!

Python 程序员深度学习的“四大名著”: 这四本书着实很不错!我们都知道现在机器学习、深度学习的资料太多了,面对海量资源,往往陷入到“无从下手”的困惑出境。而且并非所有的书籍都是优质资源,浪费大量的时间是得不偿失的。 给大家推荐这几本好书并做简单介绍: 1、《Deep Lear...[2020/6/27]

深入浅出腾讯BERT推理模型--TurboTransformers

Overview TurboTransformers是腾讯最近开源的BERT推理模型,它的特点就是一个字,快。本人用BERT(huggingface/transformers)在V100上做了测试,测试结果和官宣的基本一致:TurboTransformers的推理速度要比Pytorc...[2020/6/27]

概率论的数学基础

概率论的数学基础

作者|Tivadar Danka 编译|VK 来源|Towards Data Science 抽象是为了隐藏不相关的东西,只关注重要的细节。虽然有时看起来很可怕,但它是管理复杂性的最佳工具。 如果你让n个数学家来定义数学是什么,你可能会得到2n个不同的答案。我的定义是,它是一...[2020/6/26]

windows下用pip安装tensorflow-cpu(不需要Anaconda)一步到位

感觉用Anconda安装TF2.X.X太麻烦了,软件体积还大,因此打算用pip结合virtualenv直接安装并集成到jupyter lab。 一、安装准备 1.1环境要求: python3.5-3.7 pip版本大于19 virtualenv 环境 环境的检测: python ...[2020/6/26]

HIVE架构

UI:      用于提交查询的客户端,hive自带有CLI(command line)。 DRIVER:            ...[2020/6/25]

用直方图和箱线图理解数据

作者|Rashida Nasrin Sucky 编译|VK 来源|Towards Data Science 了解如何从直方图和箱线图中提取信息 理解这些数据并不意味着只得到平均值、中位数和标准差。很多时候,了解数据的可变性、传播或分布是很重要的。直方图和箱线图都有助于提供有关...[2020/6/24]

Tensorflow实现对fashion mnist(衣服,裤子等图片)数据集的softmax分类

Tensorflow实现对fashion mnist(衣服,裤子等图片)数据集的softmax分类

首先我们要明确的是下面我们讲解的是一个很基础的神经网络,因为我们只是为了通过下面这个实例来为大家解释如何使用tensorflow2.0这个框架。整个神经网络的架构是首先是flatten层(把图片从二维转化为一维),然后经过一系列的全连接网络层,中间穿插着一些dropout层来避免过拟合,...[2020/6/24]

神经网络简易教程

作者|Renu Khandelwal 编译|VK 来源|Medium 在这篇文章中,我们将了解神经网络的基础知识。 这个博客的先决条件是对机器学习的基本理解,如果你尝试过一些机器学习算法,那就更好了。 首先简单介绍一下人工神经网络,也叫ANN。 很多机器学习算法的灵感来自...[2020/6/24]

Hadoop介绍

Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台,允许使用简单的编程模型在大量的计算机集群上对大型数据集进行分布式处理。 下面是Hadoop的版本: HDFS(分布式文件系统):解决海量数据存储 YARN(作业调度和集...[2020/6/24]

卸载tensorflow-cpu重装tensorflow-gpu操作

问题描述:为了把之前的CPU版本的tensorflow卸载,换成GPU版本的tensorflow,经历了一番折腾。 BUG1 Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问 看指向的路径,感觉...[2020/6/23]

TensorFlow中如何确定张量的形状实例

我们可以使用tf.shape()获取某张量的形状张量。 import tensorflow as tf x = tf.reshape(tf.range(1000), [10, 10, 10]) se = tf.Se ion() se .run(tf.shape(x)) ...[2020/6/23]

解决tensorflow 释放图,删除变量问题

解决tensorflow 释放图,删除变量问题

问题,在一个程序内构建好了一个图,运行完之后想重新使用这个图进行计算,或者想同时在train完的时候做test,就会提示***变量已存在。 解决办法: 待一个图运行完之后加上tf.reset_default_graph来重置默认的图。 补充知识:tensorflow 张量插入或者删除的...[2020/6/23]

浅谈tensorflow使用张量时的一些注意点tf.concat,tf.reshape,tf.stack

有一段时间没用tensorflow了,现在跑实验还是存在一些坑了,主要是关于张量计算的问题。tensorflow升级1.0版本后与以前的版本并不兼容,可能出现各种奇奇怪怪的问题。 1 tf.concat函数 tensorflow1.0以前函数用法:tf.concat(concat_dim,...[2020/6/23]

使用tensorflow根据输入更改tensor shape

涉及随机数以及类RNN的网络构建常常需要根据输入shape,决定中间变量的shape或步长。 tf.shape函数不同于tensor.shape.as_list()函数,后者返回的是常值list,而前者返回的是tensor。 使用tf.shape函数可以使得中间变量的tensor形状随输入...[2020/6/23]

Tensorflow实现神经网络的前向传播

我们构想有一个神经网络,输入为两个input,中间有一个hidden layer,这个hiddenlayer当中有三个神经元,最后有一个output。 图例如下:        在实现这个神经网络的前向传播之前,我们先补充一下重要的知识。...[2020/6/23]

深入浅出PyTorch(算子篇)

Tensor 自从张量(Tensor)计算这个概念出现后,神经网络的算法就可以看作是一系列的张量计算。所谓的张量,它原本是个数学概念,表示各种向量或者数值之间的关系。PyTorch的张量(torch.Tensor)表示的是N维矩阵与一维数组的关系。 torch.Tensor的使...[2020/6/23]

【赵强老师】Kafka的持久化

一、Kafka持久化概述 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点: 对象的内存开销非常高,通常是要存储的数据的两倍甚至更高 ...[2020/6/23]

TensorFlow的环境配置与安装教程详解(win10+GeForce GTX1060+CUDA 9.0+cuDNN7.3+tensorflow-gpu 1.12.0+python3.5.5)

记录一下安装win10+GeForce GTX1060+CUDA 9.0+cuDNN7.3+tensorflow-gpu 1.12.0+python3.5.5 之前已经安装过pycharm、Anaconda以及VS2013,因此,安装记录从此后开始 总体步骤大致如下: 1、确认自己电脑...[2020/6/22]

tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this T

遇到了这个问题,意思是你的 CPU 支持AVX AVX2 (可以加速CPU计算),但你安装的 TensorFlow 版本不支持 解决:1. 如果是初学者 或者 没有太大计算速度的需求,在开头加上这两行忽略这个提示即可 import os os.environ[''TF_CP...[2020/6/22]

Tensorflow与Keras自适应使用显存方式

Tensorflow支持基于cuda内核与cudnn的GPU加速,Keras出现较晚,为Tensorflow的高层框架,由于Keras使用的方便性与很好的延展性,之后更是作为Tensorflow的官方指定第三方支持开源框架。 但两者在使用GPU时都有一个特点,就是默认为全占满模式。在训练的情况...[2020/6/22]

深入浅出Transformer

Transformer Transformer是NLP的颠覆者,它创造性地用非序列模型来处理序列化的数据,而且还获得了大成功。更重要的是,NLP真的可以“深度”学习了,各种基于transformer的模型层出不穷,如BERT、GPT-2、T-NLG,而且模型参数量呈指数级增长。 T...[2020/6/22]

使用OpenCV进行实时车道检测

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 大约十年前,当谷歌的人还在试验一辆原型车时,我预见了自己的第一辆自动驾驶汽车。当时我立刻被这个想法迷住了。不可否认,我不得不等待一段时间,直到这些概念向社区开放,现在看来等待确实是值得的! ...[2020/6/22]

沃尔玛的产品知识图谱

作者|Karthik Deivasigamani 编译|VK 来源|Medium 介绍 电子商务目录是通过从卖家、供应商/品牌获取数据而创建的。合作伙伴(销售商、供应商、品牌)提供的数据往往不完整,有时会遗漏我们客户正在寻找的关键信息。尽管合作伙伴遵循一个规范(一种发送产品数据...[2020/6/22]

原来你是这样的BERT,i了i了! —— 超详细BERT介绍(一)BERT主模型的结构及其组件

原来你是这样的BERT,i了i了! —— 超详细BERT介绍(一)BERT主模型的结构及其组件 BERT(Bidirectional Encoder Representations from Transformers)是谷歌在2018年10月推出的深度语言表示模型。 一经推出便席卷整个...[2020/6/22]

无梯度强化学习:使用Numpy进行神经进化

作者|Jacob Gursky 编译|VK 来源|Towards Data Science 介绍 如果我告诉你训练神经网络不需要计算梯度,只需要前项传播你会怎么样?这就是神经进化的魔力!同时,我要展示的是,所有这一切只用Numpy都可以很容易地做到!学习统计学你会学到很多关于基...[2020/6/22]

EM(最大期望)算法推导、GMM的应用与代码实现

  EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。 使用EM算法的原因   首先举李航老师《统计学习方法》中的例子来说明为什么要用EM算法估计含有隐变量的概率模型参数。   假设有三枚硬币,分别记作A, B, C。这些硬币正面出现的概率分别是$\pi,p,q$。...[2020/6/22]

FlinkSQL源码阅读-schema管理

在Flink SQL中, 元数据的管理分为三层: catalog-> database-> table, 我们知道Flink SQL是依托calcite框架来进行SQL执行树生产,校验,优化等等, 所以本文讲介绍FlinkSQL是如何来结合Calcite来进行元数据管理的....[2020/6/22]

Keras 切换后端方式(Theano和TensorFlow)

实验室新装了keras,发现keras默认后端是tensorflow,想换回theano,看了官方文档也没搞懂,最终搞定,很简单。 中文文档的描述:keras中文文档,切换后端 其实就是在C:\Users\75538(75538是我的windos用户名字,找你对应的用户名就行)下有个文件夹...[2020/6/19]

keras实现theano和tensorflow训练的模型相互转换

我就废话不多说了,大家还是直接看代码吧~ </pre><pre code_snippet_id="1947416" snippet_file_name="blog_20161025_1_3331239" name="code" cla ="python"> ...[2020/6/19]

Python中的数据结构

作者|ANIRUDDHA BHANDARI 编译|VK 来源|Analytics Vidhya 概述 在深入研究数据科学和模型构建之前,Python中的数据结构是一个需要学习的关键概念 了解Python提供的不同数据结构,包括列表、元组等 介绍 数据结构听起来是一个...[2020/6/19]

InternalError: cudaGetDevice() failed. Status: CUDA driver version is insufficient for CUDA runtime version

安装TensorFlow 2.0.0以后,运行出现了下面的错误: tensorflow.python.framework.errors_impl.InternalError: cudaGetDevice() failed. Status: CUDA driver version is...[2020/6/19]

YOLO V4的模型训练

1、YOLO V4模型训练的基本思路   所有机器学习涉及模型训练,一般都有训练集、验证集、测试集,因此需要准备数据集。有了数据集,再调用训练的算法,获取训练的结果。v3、v4模型训练方法相同。   2、YOLO V4模型训练的体验   利用已有数据,体验一下模型训练的...[2020/6/19]

机器学习:梯度下降

作者|Renu Khandelwal 编译|VK 来源|Medium 什么是梯度下降? 梯度下降法是一种减少成本函数的迭代机器学习优化算法,使我们的模型能够做出准确的预测。 成本函数(C)或损失函数度量模型的实际输出和预测输出之间的差异。成本函数是一个凸函数。 为什么我们需要梯度...[2020/6/19]

6个开源数据科学项目

6个开源数据科学项目

作者|PRANAV DAR 编译|VK 来源|Analytics Vidhya 概述 利用这段时间,用这些顶级的开源项目来制作你的数据科学简历 从Facebook AI的计算机视觉框架到OpenAI的GPT-3模型,我们涵盖了广泛的开源数据科学项目 介绍 “到目前...[2020/6/19]

写给程序员的机器学习入门 (六) - 应用递归模型的例子

这一篇将会举两个例子说明怎么应用递归模型,包括文本情感分类和预测股价走势。与前几篇不同,这一篇使用的数据是现实存在的数据,我们将可以看到更高级的模型和手法??。 例子① - 文本感情分类 文本感情分类是一个典型的例子,简单的来说就是给出一段话,判断这段话是正面还是负面的,例如淘宝或者...[2020/6/19]

决策树和随机森林

作者|PRATEEK JOSHI 编译|VK 来源|Analytics Vidhya 决策树与随机森林的简单类比 让我们从一个思维实验开始,它将说明决策树和随机森林模型之间的区别。 假设银行必须为客户批准一笔小额贷款,而银行需要迅速做出决定。银行检查此人的信用记录和财务状况,发现...[2020/6/19]

tensorflow之读取jpg图像长和宽实例

有时需要读取jpg图像的长和宽,tensorflow提供了很好的支持 直接上示例 decode_jpeg_data = tf.placeholder(dtype=tf.string) decode_jpeg = tf.image.decode_jpeg(decode_jpeg_d...[2020/6/19]

Win10下用Anaconda安装TensorFlow(图文教程)

笔者之前在学习TensorFlow,也在自己的笔记本上完成了安装,在PyCharm中进行学习。但是最近为了使用python的科学计算环境,我把之前的环境卸载了,并用Anaconda重新安装了TensorFlow,由于自己的笔记本已经很旧了,显卡不行,所以这里介绍一下cpu版本的安装方法和自己遇到的...[2020/6/19]

Tensorflow 2.0 DLL load failed: 找不到指定的模块

Tensorflow 2.0 DLL load failed: 找不到指定的模块

安装Tensorflow 2.0以后,运行 import tensorflow as tf 出现下面的错误: 原因及解决的办法:以前是用pip install tensorflow-gpu安装的,没有指定版本,删除以前安装的版本,指定版本为2.0.0-alpha0安装: ...[2020/6/17]

方差分析介绍(结合COVID-19案例)

作者|GUEST BLOG 编译|VK 来源|Analytics Vidhya 介绍 “事实是每个人都相信的简单陈述。也就是事实是没有错的,除非它被人发现了错误。假设有一个没人愿意相信的建议,那么它要直到被发现有效的时候才能成为事实。” –爱德华·泰勒 我们正在应对一场空前规...[2020/6/17]

涨姿势了解一下Kafka消费位移可好?

涨姿势了解一下Kafka消费位移可好?

摘要:Kafka中的位移是个极其重要的概念,因为数据一致性、准确性是一个很重要的语义,我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事,包括: 概念剖析 kafka的两种位移 关于位移(Offset),其实在kafka的世界里...[2020/6/17]

dotnet Microsoft.Recognizers.Text 超强大的自然语言关键词提取库

本文和大家介绍一个使用超级简单,但是功能特别强大的自然语言关键词提取库,可以根据输入的自然语言提取出里面的信息。例如我在一句话里面说了哪些数值变量或者说了手机号码等 先看看下图的一个效果,下图是尝试识别一句话里面的数值信息 新建一个 WPF 项目,大概运行效果如下 ...[2020/6/16]

用python做时间序列预测九:ARIMA模型简介

本篇介绍时间序列预测常用的ARIMA模型,通过了解本篇内容,将可以使用ARIMA预测一个时间序列。 什么是ARIMA? ARIMA是''Auto Regre ive Integrated Moving Average''的简称。 ARIMA是一种基于时间序列历史值和历史值上的预测...[2020/6/16]

用python做时间序列预测十:时间序列实践-航司乘客数预测

本文以航司乘客数预测的例子来组织相关时间序列预测的代码,通过了解本文中的代码,当遇到其它场景的时间序列预测亦可套用。 航司乘客数序列 预测步骤 # 加载时间序列数据 _ts = load_data() # 使用样本熵评估可预测性 print(f''原序列样本熵:{SampEn(...[2020/6/16]

YOLO V4 :win10+cpu环境的体验

YOLO V4 :win10+cpu环境的体验

1、前言   Yolo V3已经体验了,接下来是V4版本。   关于V4版本,学术界褒贬不一。从工业界实际应用角度看,V4做了不少的优化,精度提升了10%,速度提升了12%。详细参见: 《如何评价新出的V4》(https: www.zhihu.com/question/390...[2020/6/16]

Ubuntu 20.04下源码编译安装ROS 2 Foxy Fitzroy

    ROS 2 Foxy Fitzroy(以下简称Foxy)于2020年6月5日正式发布了,是LTS版本,支持到2023年5月。本文主要根据官方的编译安装教程[1]完成,并记录编译过程中遇到的问题。 1. 系统要求 在官方给出的Foxy目标系统中,Ubun...[2020/6/15]

在tensorflow下利用plt画论文中loss,acc等曲线图实例

直接上代码: fig_lo = np.zeros([n_epoch]) fig_acc1 = np.zeros([n_epoch]) fig_acc2= np.zeros([n_epoch]) for epoch in range(n_epoch): start_time ...[2020/6/15]

Detectron2 API 之 config | 十五

作者|facebookresearch 编译|Flin 来源|Github detectron2.config package cla detectron2.config.CfgNode(init_dict=None, key_list=None, new_allowed=Fal...[2020/6/15]

痛并快乐的YOLO初体验

痛并快乐的YOLO初体验

1、前言   最近因为需要研究视频的物体识别和行为识别,上网了解了一下,YOLO是目前实时视频物体识别的应用最广泛的算法。   因此,作为小白的我,也准备体验一下YOLO算法的效果。   先上网了解了一下YOLO算法的背景资料,有V1,V2,V3,V4四个版本,其中V4版本虽然创...[2020/6/15]

462
2
记录数:2300 页数:1/4612345678910下一页尾页
加载更多
 友情链接: NPS