经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI
java Zookeeper简述

java Zookeeper简述

目录Zookeeper 角色LeaderFollowerObserverZookeeper 工作原理(原子广播) Znode 四种形式的目录节点ZooKeeper 安装和使用常用命令总结 Zookeeper 是一个分布式协调服务,可用于服务发现,分布式锁,分布式领导选举,配置管理等。Zoo...[2021/9/6]

CSS 即将支持嵌套,SASS/LESS 等预处理器该何去何从_CSS教程_CSS

最近,有一则非常振奋人心的消息,CSS 即将原生支持嵌套 -- Agenda+ to publish FPWD of Nesting,表示 CSS 嵌套规范即将进入规范的 FWPD 阶段。 目前对应的规范为 -- CSS Nesting Module。 随着 CSS 自定义属性(CSS V...[2021/8/16]

教你如何在pycharm中安装opencv,tensorflow,keras

目录一.首先安装Anaconda,python和pycharm 二.首先安装opencv 三.安装tensorflow和kera 四.小结 我在安装环境的时后,怎么都装不上去,搞了好久,现在来写一下心得。 一.首先安装Anaconda,python和pycharm 有很多教程,我就不在...[2021/8/9]

Hbase列式存储入门教程

目录1、逻辑结构2、物理结构3、增删改查4、应用场景5、参考资料 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。分布式是因为HBase底层使用HDFS存储数据,可扩展也是基于HDFS的横向扩展能力,作为大数据的存储当然支持海量数据的存储,NoSQL非关系型数据库表结构和关系型数...[2021/7/12]

《统计学习方法》第1章习题

《统计学习方法》第1章习题

习题1.1 统计学习方法的三要素为:模型、策略、算法。 模型即需要用函数 \(Y=f_\theta(X)\) 或者条件概率分布 \(P_\theta(Y|X)\) 表示。 策略即寻找合适的损失函数,表示预测值与真实值之间的误差,进而构建风险函数。风险函数就是最优化的目标函数。 算法即学习...[2021/6/28]

05-无约束优化算法

05-无约束优化算法 目录一、无约束最小化问题二、下降法三、梯度下降法四、最速下降法五、牛顿法六、牛顿法收敛性分析 凸优化从入门到放弃完整教程地址:https: www.cnblogs.com/nickchen121/p/14900036.html 一、无约束最小化问题 [无约束最小化问题...[2021/6/28]

医疗知识图谱的构建和应用

医疗知识图谱是实现智慧医疗的基石,有望带来更高效精准的医疗服务;然而,现有知识图谱构建技术在医学领域中普遍存在效率低、限制多、拓展性差等问题。                   ...[2021/6/28]

06-等式约束优化算法

06-等式约束优化算法 目录一、简介二、等式约束凸二次规划三、等式约束的Newton方法四、求解KKT系统五、总结 凸优化从入门到放弃完整教程地址:https: www.cnblogs.com/nickchen121/p/14900036.html 一、简介 注:这里通过 KKT 条件对等...[2021/6/28]

上采样/下采样

上采样/下采样  样本不均衡时解决方式 在实际应用中经常出现样本类别不均衡的情况,此时可以采用上采样或者下采样方法 上采样upsampling 上采样就是以数据量多的一方的样本数量为标准,把样本数量较少的类的样本数量生成和样本数量多的一方相同,称为上采样。 下采样subsamp...[2021/6/28]

Answer Questions with Right Image Regions: A Visual Attention Regularization Approach

Answer Questions with Right Image Regions: A Visual Attention Regularization Approach 之前模型存在的问题 尽管现有的 VQA 模型已经从视觉注意力中受益很多,但一个紧迫的问题在于缺乏视觉基础的指导。 这通常...[2021/6/28]

08-ADMM算法

08-ADMM算法 目录一、ADMM 算法动机二、对偶问题三、对偶上升法四、对偶分割五、乘子法(增广拉格朗日函数)5.1 步长为 $\rho$ 的好处六、ADMM算法6.1 ADMM 的 scaled form 形式七、ADMM的收敛性证明思路八、写在最后 凸优化从入门到放弃完整教程地址:h...[2021/6/28]

TensorFlow简介

TensorFlow简介 本节将从五个方面对 TensorFlow 进行一个简单的介绍。包括 TensorFlow 是什么、为什么选择TensorFlow、TensorFlow 的发展、TensorFlow 能干什么以及 TensorFlow 的核心理念。 什么是 TenosrFlow ...[2021/6/21]

LPF: A Language-Prior Feedback Objective Function forDe-biased Visual Question Answering

LPF: A Language-Prior Feedback Objective Function forDe-biased Visual Question Answering

LPF: A Language-Prior Feedback Objective Function forDe-biased Visual Question Answering 相关工作 作者介绍了之前消除语言偏见模型,其主要分为两种: annotation-based methods non...[2021/6/21]

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 摘要翻译

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 摘要翻译

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 预测深度,表面的法向量以及语义标签,使用了常见的多尺度卷积结构 Abstrac...[2021/6/21]

《CNN Image Retrieval in PyTorch: Training and evaluati-ng CNNs for Image Retrieval in PyTorch》代码思路解读

       这是一个基于微调卷积神经网络的图像检索的代码实现,这里我就基于代码做一个实现思路的个人解读,如果有不对的地方或者不够详细的地方,欢迎大家指出。 代码的GitHub地址:filipradenovic/cnnimageretrieval-pyt...[2021/6/21]

干货|车来了APM应用性能体验实践

车来了是以大数据、人工智能技术为基础,通过连接人与车,提供智慧交通、城市公共出行等服务的实时公交App,目前在实时公交领域排位全国第一,已覆盖超过350个城市,用户量超过1.5亿,月活用户超过3000万。 对于亟需查询公交车实时位置的用户来说,App的稳定性和性能十分重要。用户原本就因为等车而...[2021/6/21]

凸优化从入门到放弃(目录)

凸优化从入门到放弃 00-凸优化引言 01-凸集 02-凸函数 03-凸优化问题(暂无) 04-拉格朗日对偶问题和KKT条件 05-无约束优化算法(暂无) 06-等式约束优化算法(暂无) 07-内点法(不等式约束优化算法)(暂无) 08-ADMM算法(暂无) 本篇教程采用 Boyd and Va...[2021/6/21]

02-凸函数

02-凸函数 目录1 基本性质和例子2 保留凸性的运算3 共轭函数4 拟凸函数5 对数凹/对数凸函数6 关于广义不等关系的凸性 1 基本性质和例子 [凸函数] 一个函数 \(f: R^n\rightarrow R\) 是凸的,如果定义域 \(dom\,f\) 是凸集,并且对于所有 \(x,y...[2021/6/21]

pytorch中的add_module函数

现只讲在自定义网络中add_module的作用。 总结: 在自定义网络的时候,由于自定义变量不是Module类型(例如,我们用List封装了几个网络),所以pytorch不会自动注册网络模块。add_module函数用来为网络添加模块的,所以我们可以使用这个函数手动添加自定义的网络模块。当然...[2021/6/21]

大数据学习记录_02_hadoop基础以及集群安装

第一部分 大数据简介 第一节 大数据的定义 ? 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 第二节 大数据的特点 大数据的特点可以用IBM曾经提出的“5V”来描述...[2021/6/21]

Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法

报错信息: java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1 at org.apache.h...[2021/6/21]

yolov5 AssertionError: Image Not Found解决方案daily-

运行yolov5 train.py报错:A ertionError: Image Not Found ../data/image xxx.png 运行环境 ????一开始在笔记本上用显卡跑训练是可以正常运行的,后来随着数据量越来越大,笔记本显卡显存不够用了,改用学校的浪潮服务器来跑,但出现了报错...[2021/6/15]

强化学习入门之智能走迷宫-策略迭代算法

0x00 机器学习基础 机器学习可分为三类 监督学习 无监督学习 强化学习 三种学习类别的关键点 监督学习需要人为设置参数,设置好标签,然后将数据集分配到不同标签。 无监督学习同样需要设定参数,对无标签的数据集进行分组。 强化学习需要人为设置初始参数,然后通过数据的反馈,不断修改参数,使...[2021/6/15]

强化学习入门之智能走迷宫-价值迭代算法

0x01 价值迭代算法基础概念 0x01.1 奖励 若要实现价值迭代,首先要定义价值,在迷宫任务中,到达目标将获得奖励。 特定时间t给出奖励Rt称为即时奖励 未来获得的奖励总和Gt被称为总奖励 Gt=R(t+1)+R(t+2)+R(t+3) 考虑时间因素,需要引入折扣率,这样可以在最后拟合时获...[2021/6/15]

数据挖掘与生活

数据挖掘与生活 前言 写这篇文章的目的是想给公司同事介绍一下数据挖掘的入门知识,旨在增强大家对数据挖掘了解与兴趣,并将这门技术应用到工作和生活中,发挥集体智慧为公司产品增加数据挖掘应用场景。另外对于我自己,以教代学,也可以更好发现自己知识盲点,让输出倒逼输入。 本来是计划写成ppt的,但准备过...[2021/6/15]

pytorch_pretrained_bert如何将tensorflow模型转化为pytorch模型

pytorch_pretrained_bert将tensorflow模型转化为pytorch模型 BERT仓库里的模型是TensorFlow版本的,需要进行相应的转换才能在pytorch中使用 在Google BERT仓库里下载需要的模型,这里使用的是中文预训练模型(chinese_L-12...[2021/6/7]

Celery异步任务

情景: 用户发起request,并等待response返回。在本些views中,可能需要执行一段耗时的程序,那么用户就会等待很长时间,造成不好的用户体验,比如发送邮件、手机验证码等。 使用celery后,情况就不一样了。 解决: 将耗时的程序放到celery中执行。 Celery 是一个包...[2021/6/7]

NLP实战高手课 给你一整套从开发到部署的落地经验

NLP (自然语言处理) 被誉为人工智能皇冠上的明珠,它在电商、翻译、金融、智能硬件、医疗等各个行业已经有了越来越广泛的应用。NLP 已经迎来了属于它的黄金时代,各个企业对 NLP 工程师的需求也越来越多。   由于 NLP 本身的复杂性,仅仅会调用几个开源框架,调一调参数,显然是...[2021/6/7]

信息熵和条件熵

引言 今天在逛论文时突然看到信息熵这个名词,我啪的一下就记起来了,很快啊!!这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗,信息熵我可熟了,章口就来,信息熵是负熵 .......淦,负熵又是啥。好家伙,一整门课的知识都还给老师了,只记得老师给我们大肆推荐的《JinPingMei》.....[2021/6/7]

Tensorflow与RNN、双向LSTM等的踩坑记录及解决

1、tensorflow(不定长)文本序列读取与解析 tensorflow读取csv时需要指定各列的数据类型。 但是对于RNN这种接受序列输入的模型来说,一条序列的长度是不固定。这时如果使用csv存储序列数据,应当首先将特征序列拼接成一列。 例如两条数据序列,第一项是标签,之后是特征序列...[2021/5/31]

3、环境搭建-Linux上hadoop的全分布配置

安装配置hadoop和jdk 配置/usr/local rc/hadoop/etc/hadoop/下的四个文件 hdfs-site.xml <configuration> <property> <!-- DFS的名称节点在本地文件系统位置 --> &l...[2021/5/31]

Pytorch多卡训练

前一篇博客利用Pytorch手动实现了LeNet-5,因为在训练的时候,机器上的两张卡只用到了一张,所以就想怎么同时利用起两张显卡来训练我们的网络,当然LeNet这种层数比较低而且用到的数据集比较少的神经网络是没有必要两张卡来训练的,这里只是研究怎么调用两张卡。 现有方法 在网络上查找了多卡训...[2021/5/31]

基于1588PTP精密时钟同步(时间同步服务)技术介绍

基于1588PTP精密时钟同步(时间同步服务)技术介绍 基于1588PTP精密时钟同步(时间同步服务)技术介绍 京准电子科技官微——ahjzsz  1.1.           P...[2021/5/31]

AI入门与项目实战(基础概念) - ys-fullStack

AI入门与项目实战(基础概念) - ys-fullStack

一、概念 1、人工智能、机器学习、深度学习 (1)人工智能; (2)机器学习(从数据中自动分析获得的模型,并利用模型对未知数据进行预测)是人工智能的一个实现途径,即选择合适的算法对模型训练; (3)深度学习是机器学习的一个方法发展而来。 2、人工智能三要素:数据、算法、计算力; 3、...[2021/5/31]

大数据开发-Flink-窗口全解析

Flink窗口背景 Flink认为Batch是Streaming的一个特例,因此Flink底层引擎是一个流式引擎,在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲,Window是用来对一个无限的流设置一个有限的集合,从而在有界的数据集上进行操作的一种机...[2021/5/31]

1、大数据 Hadoop配置和单机Hadoop系统配置

1、大数据 Hadoop配置和单机Hadoop系统配置

#查看服务器ip ip add #设置主机名称 hostnamectl set-hostname master bash #查看 hostname #绑定ip vi /etc/hosts 添加 服务器IP地址 master #查看 h状态 systemctl status hd...[2021/5/31]

最优传输算法——Benamou Brenier算法

Benamou Brenier算法 Brief 是一种连续数值方法,将最优传输问题转化为一个容易处理的\(d+1\)维凸变分问题。我们将会用Wa erstein测地线的理论描述它(相比于找到映射,这个方法是找到测地曲线\(\mu_t\))。 另外两个经典的连续方法是: Angenent-...[2021/5/24]

深入浅出图神经网络 第2章 神经网络基础 读书笔记

第2章 神经网络基础 2.1 机器学习基本概念 2.1.1 机器学习的分类 机器学习有以下几种常见的分类方法: 根据训练数据是否有标签可分为: 监督学习:训练数据中每个样本都有标签,通过标签指导模型进行训练 无监督学习:训练数据完全没有标签,算法从数据中发现约束关系,如数据之间的关联等,典型...[2021/5/24]

深入浅出图神经网络 第3章 卷积神经网络 读书笔记

第3章 卷积神经网络 卷积神经网络CNN是目前应用最广泛的模型之一,具有局部连接、权值共享等特点,是一种深层前馈神经网络。 3.1 卷积与池化 卷积与池化是CNN中的两个核心操作。 3.1.1 信号处理中的卷积 题外话:因为这部分的核心知识应该是属于《信号与系统》这门课程的,但...我没学...[2021/5/24]

AI技术内参,干货密集度相当高

AI技术内参,干货密集度相当高

今天的人工智能,犹如一百年前的电,正在给人类带来同样巨大,甚至更加精彩的变化。   这是一个属于人工智能的时代。人工智能正在渗透到各行各业,并且离我们越来越近,新的时代中,我们应 该如何利用好新武器?   为你系统剖析人工智能核心技术,精讲人工智能国际顶级学术会议核...[2021/5/24]

数据标准化

1 为何需要标准化 有的数据,不同维度的数量级差别较大,导致有的维度会主导整个分析过程。如下图所示: 该图的数据维度\(d=30\),样本量\(n=40\),上面的图是对原始数据做PCA后,第一个PC在各个维度上的权重的平行坐标图,下面的图则是对数据做标准化之后的情况。可以发现,在原始数据...[2021/5/24]

强化学习建模之前必须思考的问题

强化学习建模之前必须思考的问题

强化学习是智能体与环境的交互,通过交互信息来感知环境,从而调整自己的行为,选择出最好的结果。 【相当于人做了多次的探索,把最后的劳动成果以状态值函数、动作状态对值函数等方式表达出来。对人学习过程的简单模拟】 需要思考的问题: 研究什么问题,与环境中的什么东西相关? 哪些行为可以影响到环境...[2021/5/24]

最大期望算法(Expectation-Maximization algorithm,EM)

最大期望算法(Expectation-Maximization algorithm,EM) 最大期望算法(Expectation-Maximization algorithm,EM) 一、EM算法的广义步骤 二、先写出EM的公式 三、其收敛性的证明 四、公式推导方法1 4.1 E-M步骤公...[2021/5/24]

友盟+《小程序用户增长白皮书》:线下或是小程序重要的增长点

友盟+近日发布了《小程序用户增长白皮书》,白皮书总结了友盟+在小程序统计分析和精细化运营方面的方法论、解决方案和成功案例,以下为白皮书的部分内容: 移动互联网已经进入存量市场,移动设备数、用户数、用户时长都处于存量市场竞争。2020年新应用上线做到腰部以上活跃度的难度已经非常大,用户整体呈下降...[2021/5/24]

我国北斗三号卫星的创新和技术特点

我国北斗三号卫星的创新和技术特点

我国北斗三号卫星的创新和技术特点 我国北斗三号卫星的创新和技术特点 京准电子科技官微——ahjzsz       北斗三号首批组网卫星以“一箭双星”方式在西昌卫星发射中心发射升空,卫星成功入轨,标志着我国北斗系统拉开全球组网的序幕。    相对于北...[2021/5/24]

Jupyter Notebook 对虚拟环境的访问

本文写作时间:2021 年 5 月 前言: Jupyter Notebook 默认并不支持 Conda,无法访问虚拟环境中的资源,自然也无法切换不同的虚拟环境运行笔记。通过插件 nb_conda 可以添加对 Conda 环境的支持。 官方对于 nb_conda 的描述是:Provides C...[2021/5/24]

大数据开发-Flink-1.13新特性

介绍 大概4月,Flink1.13就发布了,参加 了Flink1.13 的Meetup,收获还是挺多,从大的方面讲就是FlingSql的改进和优化,资源调度管理方面的优化,以及流批一体Flink在运行时与DataStream API的优化,另外就是State backend 模块的优化,本篇文章...[2021/5/24]

深入浅出图神经网络 第4章 表示学习 读书笔记

第4章 表示学习 在第2章的时候提到了机器学习的第一步就是提取特征。而表示学习就是自动地从数据中学习特征,并直接用于后续的任务。 4.1 表示学习 4.1.1 表示学习的意义 表示学习要回答3个问题: 如何判断一个表示比另一个表示更好? 如何挖掘这些表示? 使用什么样的目标去得到一个好的表示...[2021/5/24]

深入浅出图神经网络 第1章 图的概述 读书笔记

深入浅出图神经网络 第1章 图的概述 读书笔记

写在前面 之前为了应付课程Project对GNN的学习就是半路出家,全靠网上的博客。所以现在对于一些GNN底层最基本的东西还不是很清楚,觉得理应学明白一点。之前就对《深入浅出图神经网络》一书有所耳闻,看了网上的一些评论认为这本书的内容还是偏浅偏简单,我认为权当一个引子作为学习GNN的第一步也没什...[2021/5/17]

大数据开发-Flink-数据流DataStream和DataSet

Flink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面大数据开发-Flink-体系结构 && 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink. DataSource是程序的数据源输入,可以...[2021/5/17]

462
2
记录数:1950 页数:1/3912345678910下一页尾页
加载更多
 友情链接: NPS