经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
大数据/云/AI:HadoopApache PigApache KafkaApache StormImpalaZookeeperSASTensorFlow人工智能基础Apache KylinopenstackFlinkMapReduce
 大数据/云/AI

SSAS表格模型

Analysis Services 是在决策支持和业务分析中使用的分析数据引擎 (Vertipaq) 。 它为商业智能提供企业级语义数据模型功能 (BI) 、数据分析和报告应用程序,如 Power BI、Excel以及其他数据可视化工具。Vertipaq是一个列式存储内存数据库引擎。Analys...[2021/3/1]

如何使用Reactor完成类似Flink的操作

一、背景 Flink在处理流式任务的时候有很大的优势,其中windows等操作符可以很方便的完成聚合任务,但是Flink是一套独立的服务,业务流程中如果想使用需要将数据发到kafka,用Flink处理完再发到kafka,然后再做业务处理,流程很繁琐。 比如在业务代码中想要实现类似Flin...[2021/3/1]

理解深度学习:神经网络的双胞胎兄弟-自编码器(上)

前言 本篇文章可作为<利用变分自编码器实现深度换脸(DeepFake)>的知识铺垫。 自编码器是什么,自编码器是个神奇的东西,可以提取数据中的深层次的特征。 例如我们输入图像,自编码器可以将这个图像上“人脸”的特征进行提取(编码过程),这个特征就保存为自编码器的潜变量,例如这张人...[2021/3/1]

开发工具-scala处理json格式利器-json4s

1.为什么是json4s 从json4s的官方描述 At this moment there are at least 6 json libraries for scala, not counting the java json libraries. All these libraries ...[2021/3/1]

Hive-常见调优方式&#160;&& 两个面试sql

Hive作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大;数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调...[2021/3/1]

CVer想知道的都在这里了,一起分析下《中国计算机视觉人才调研报告》吧!

最近闲来无事,老潘以一名普通算法工程师的角度,结合自身以及周围人的情况,理性也感性地分析一下极市平台前些天发布的2020年度中国计算机视觉人才调研报告。 以下的“计算机视觉人才”简称“人才”,感觉说人才有点怪怪的感觉?自己也算人才么?老潘只不过是一个普普通通的算法工程师罢了(逃)。 ...[2021/3/1]

算法 - 链表操作思想 && case

算法 - 链表操作题目套路 前面这一篇文章主要讲链表操作时候的实操解决方式,本文从本质讲解链表操作的元信息,学完后,再也不怕链表操作题目了。 1.链表的基本操作 链表的基本操作无外乎插入,删除,遍历 插入的化,要考虑到前驱节点和后继节点,记住下面的伪代码 nex = 当前节点.n...[2021/3/1]

浅谈深度学习:如何计算模型以及中间变量的显存占用大小

前言 亲,显存炸了,你的显卡快冒烟了! torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten rc/THC/generic...[2021/3/1]

大数据开发-Spark-Streaming处理数据到mysql

前面一篇讲到streamin读取kafka数据加工处理后写到kafka数据,大数据开发-Spark-开发Streaming处理数据 && 写入Kafka是针对比如推荐领域,实时标签等场景对于实时处理结果放到mysql也是一种常用方式,假设一些车辆调度的地理位置信息处理后...[2021/3/1]

利用语音识别和图像识别技术将视频转为图文并茂的文案

做在线教育的老师和视频自媒体的朋友经常会遇到过这样的烦恼: 1.录好了一节视频课程,学生看视频的时候也看明白了,但是想线下复习、理解,于是想找老师要视频文案。 2.想整理之前的视频内容,方便以后出书。 3.某个视频的金句或者图片挺好的,想用到自己的文案中。 等等。。。 HTWCore提供了这样的...[2021/3/1]

【图像处理】使用OpenCV+Python进行图像处理教程(一)

       OpenCV是进行图像处理的工具,也是计算机视觉领域近十几年不断发展和完善的产物。面对这个已基本成熟的开源库知识体系,我们新生代有必要不断地总结、回顾,以新的视角快速融入计算机视觉的奥秘世界。       &n...[2021/3/1]

Mac mini M1使用简单体验(编程、游戏、深度学习)

Mac mini M1使用简单体验(编程、游戏、深度学习)

好久不见了各位! 前一阵子忍不住剁手买了M1芯片的mac mini,为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上,之前的工作也就由mbp2017彻底换成mac mini了,要换就换彻底点,不要给自己了留后路,哼。 为什么买mini而不是macb...[2021/2/22]

大数据开发-linux下常见问题详解

1.user is currently user by proce 3234 问题原因:root --> --> root 栈递归一样 解决方式:exit 退出当前到 再退出到root 然后执行命令即可。 2.列出某目录下的目录而不是文件 参考:ls --h...[2021/2/22]

实现TensorRT-7.0插件自由!(如果不踩坑使用TensorRT插件功能)

实现TensorRT-7.0插件自由!(如果不踩坑使用TensorRT插件功能)

本系列为新TensorRT的第一篇,为什么叫新,因为之前已经写了两篇关于TensorRT的文章,是关于TensorRT-5.0版本的。好久没写关于TensorRT的文章了,所幸就以新来开头吧~ 接下来将要讲解的TensorRT,将会是基于7.0版本。 7版本开头的TensorRT变化...[2021/2/22]

浅谈深度学习的落地问题

前言 深度学习不不仅仅是理论创新,更重要的是应用于工程实际。 关于深度学习人工智能落地,已经有有很多的解决方案,不论是电脑端、手机端还是嵌入式端,将已经训练好的神经网络权重在各个平台跑起来,应用起来才是最实在的。 (caffe2-ios:https: github.com/Kle...[2021/2/22]

NTP时钟服务器(时钟系统)助力阜阳卷烟厂

NTP时钟服务器(时钟系统)助力阜阳卷烟厂

NTP时钟服务器(时钟系统)助力阜阳卷烟厂 NTP时钟服务器(时钟系统)助力阜阳卷烟厂 京准电子科技官微——ahjzsz 数字化车间,以产品整个生命周期的相关数据作为基础,在计算机虚拟环境中,对整个生产过程进行仿真、评估和优化操作,并进一步扩展到整个产品生命周期的新型生产方式。 数...[2021/2/19]

思考:2021年还可以入门深度学习吗?

前言 过年时闲来无事,瞎翻自己的博客,偶然看到之前写的一篇文章: 一篇文章解决机器学习,深度学习入门疑惑 这篇文章原先发布于2018年中旬,那会正是深度学习、神经网络无脑火热的时候。火热到什么程度?火热到显卡一度卖脱销(不是因为挖矿),研究生导师集体推荐学生转深度学习方向、毕业论文...[2021/2/19]

Fast R-CNN训练自己的数据集时遇到的报错及解决方案

最近使用Fast R-CNN训练了实验室的数据集,期间遇到一些报错,主要还是在配置环境上比较麻烦,但可以根据提示在网上找到解决这些错误的办法。这里我只记录一些难改的报错,以后再遇见这些时希望能尽快解决~   报错汇总: 1、a ert (boxes[:, 2] >=...[2021/2/18]

【目标检测】用Fast R-CNN训练自己的数据集超详细全过程

目录: 一、环境准备 二、训练步骤 三、测试过程 四、计算mAP          寒假在家下载了Fast R-CNN的源码进行学习,于是使用自己的数据集对这个算法进行实验,下面介绍训练的全过程。 一、环境准备 &nbs...[2021/2/18]

Caffe介绍与测试及相关Hi35xx平台下caffe yolox的使用参考

这一篇我大概讲讲Caffe框架下MNIST的实现与基于Hi35xx平台下caffe yolox的运用等,供大家参考 1、Caffe介绍与测试   caffe全称Caffe Convolutional Architecture For Feature Embedding,是一个...[2021/2/18]

人脸检测

Haar级联分类器 正常人的脸一定具备眼睛、鼻子、嘴巴等特征,每个特征都做成一个专门的检测分类器,所有分类器串起来,全部检测通过则判定为人脸。   分类器下载地址: https: github.com/opencv/opencv/tree/master/data/haar...[2021/2/18]

智能驾驶数据网络时间同步(PTP时钟服务器)分析

智能驾驶数据网络时间同步(PTP时钟服务器)分析 随着汽车电子的日益复杂化以及汽车电子电气架构(EEA)的升级,人们对于联网智能汽车的需求也在逐步上升,大量先进技术往汽车上应用,如高级驾驶辅助系统(ADAS)、自动驾驶等,这些新技术也对车载网络的带宽有了更高的要求。从而使用以太网技...[2021/2/18]

目标跟踪综述:Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation

目标跟踪综述:Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation

标题:相关过滤无人机空中跟踪技术综述与实验评估 作者:Changhong Fu, Geng Lu 链接:Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation 代码...[2021/2/18]

大数据开发-Spark-开发Streaming处理数据&#160;&& 写入Kafka

1.Spark Streaming简介 Spark Streaming从各种输入源中读取数据,并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。在每个时间区间开始的时候,一个新的批次就创建出来,在该区间内收到的数据都会被添加到这个批次中。在时间区间结束时,批次停止增长,时间区间的...[2021/2/18]

大数据开发-Spark-初识Spark-Graph && 快速入门

1.Spark Graph简介 GraphX 是 Spark 一个组件,专门用来表示图以及进行图的并行计算。GraphX 通过重新定义了图的抽象概念来拓展了 RDD: 定向多图,其属性附加到每个顶点和边。为了支持图计算, GraphX 公开了一系列基本运算符(比如:mapVertices...[2021/2/18]

利用Python Numpy从零开始步步为营计算Word2Vec词向量

利用Python Numpy从零开始步步为营计算Word2Vec词向量 牛伯雨 词向量建模是自然语言处理当中的重要基础步骤。有了用向量表示的词汇,计算机就可以更好地处理文本数据了。 2013年,Mikolov et al. (2013)提出的Word2Vec是一个里程碑式的词向量建...[2021/2/18]

大数据开发-Spark Join原理详解

数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段,Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来...[2021/2/18]

人生,就是一场孤独的旅行

从 Pytorch 转向 Tensorflow 已有一段时间,直到今天也没发现太好的 Pytorch 教程,心想倒不如自己写一个系列。除技术文章,也写写其他方面的东西。 2017年3月1号,我发布了第一篇公众号文章。随后也陆陆续续的发表了几篇,但毕竟没坚持下来。这两年经历了不少事,想着...[2021/2/18]

主动降噪,通话降噪及AI降噪之辨

近日,三星发布的Buds Pro 耳机中,宣传有以下功能。其中涉及到噪声的,有主动降噪,通话降噪及智能降噪,很多人对他们的具体用途容易混淆,今天我们来辨析一下。                  ...[2021/2/18]

蓝牙通话链路和手机通话链路有区别么?

近日友人推了一个博客:https: blog.csdn.net/david_tym/article/detail 80963732 作者对手机中通话链路进行了详细的分析。其中包括了经典的CP Call(运营商提供的电话业务)和流行的AP Call(VoIP等OTT业务)的链路,值得一看...[2021/2/18]

大数据开发-从cogroup的实现来看join是宽依赖还是窄依赖

前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContex...[2021/2/18]

大数据开发-linux后台运行,关闭,查看后台任务

在日常开发过程中,除了例行调度的任务和直接在开发环境下比如Scripts,开发,很多情况下是shell下直接搞起(小公司一般是这样),看一下常见的linux后台运行和关闭的命令,这里做一个总结,主要包括:fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令等 一...[2021/2/18]

写给程序员的机器学习入门 (十一) - 对象识别 YOLO - 识别人脸位置与是否戴口罩

写给程序员的机器学习入门 (十一) - 对象识别 YOLO - 识别人脸位置与是否戴口罩

这篇将会介绍目前最流行的对象识别模型 YOLO,YOLO 的特征是快,识别速度非常快??,然而精度相对 Faster-RCNN 只差一点点 (YOLOv3 之后)。阅读这篇需要先了解对象识别的原理,如果你没看过这个系列的前几篇文章 (介绍 RCNN, Fast-RCNN, Faster-...[2021/2/18]

Transformer

Transformer Model 性质: 1. Transformer是Seq2Seq类模型. 2. ransformer不是RNN. 3.仅依赖attention和全连接层. 准确率远高于RNN类. 各种weights: \(weights \space\space \alpha...[2021/2/18]

机器学习入门实战——基于knn的airbnb房租预测

机器学习入门实战——基于knn的airbnb房租预测

数据读取 import pandas as pd features=[''accommodates'',''bathrooms'',''bedrooms'',''beds'',''price'',''minimum_nights'',''maximum_nights'',''numbe...[2021/2/18]

初识YOLO

初识YOLO

什么是YOLO2算法 “You Only Look Once” YOLO的核心思想就是利用整张图作为网络的输入,直接在输出层回归bounding box的位置和bounding box所属的类别。 Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测,整个系统如...[2021/2/1]

剪枝决策树原理与Python实现

剪枝决策树原理与Python实现

目录一、决策树模型二、选择划分2.1 信息熵和信息增益2.2 增益率2.3 基尼指数三、剪枝3.1 预剪枝3.2 后剪枝3.3 剪枝示例3.4 预剪枝和后剪枝对比四、Python实现4.1 基尼值和基尼指数4.2 选择划分特征4.3 后剪枝算法4.4 训练算法4.6 导入鸢尾花数据集测试...[2021/2/1]

paddlepaddle训练网络的基本流程一(入门示例) - you-wh

入门示例 pdpd静态图大体上是如下这样一个过程,先有个印象,具体参考代码理解 首先定义前向网络(定义模型时需要占位),指标计算(label,lo ,outs),优化器 train函数:   设置paddle的数据读取对象reader,类似torch的dataloader,rea...[2021/2/1]

飞机大战(1)--添加logo和加载动画

注:以下代码都是用scratch 3.0版本编写 素材链接: 链接:https: pan.baidu.com 1sXqeZVuFgVTYT0OtqxXilw 提取码:1126 一、背景添加     导入背景之后,就开始组织代码,着手编写 &nb...[2021/2/1]

K近邻分类器(李飞飞CS231n学习笔记---lecture2:K最近邻算法)

在讲解K近邻分类器之前,我们先来看一下最近邻分类器(Nearest Neighbor Cla ifier),它也是K = 1时的K近邻分类器。 目录最近邻分类器定义存在问题K近邻分类器(KNN)定义距离测量参数选择存在问题源代码 最近邻分类器 定义 最近邻分类器是在最小距离分类的基...[2021/2/1]

物以类聚人以群分:聚类分析的一些挑战和进展

物以类聚人以群分:聚类分析的一些挑战和进展 作者:凯鲁嘎吉 - 博客园 http: www.cnblogs.com/kailugaji/ 来源:VALSE Webinar21-04期VALSE在线学术报告 1. 学术报告 报告嘉宾:彭玺 (四川大学) 报告题目:深度聚类:...[2021/2/1]

深度学习 – 微积分、信息论 - 基本概念

深度学习 – 微积分、信息论 - 基本概念

    微积分   导数:当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作f''(x0)或df(x0)/dx。其图像表示为如下: ...[2021/2/1]

大数据开发-Spark-RDD实操案例-http日志分析

1.在生产环境下,如何处理配置文件 && 表的数据处理 配置文件,或者配置表,一般是放在在线db,比如mysql等关系型数据库,或者后台rd直接丢给你一份文件,数据量比起整个离线数据仓库的大表来说算很小,所以这种情况下,一般的做法是将小表,或者小文件广播出去,那么下面一个...[2021/2/1]

大数据开发-Spark-拷问灵魂的5个问题

1.Spark计算依赖内存,如果目前只有10g内存,但是需要将500G的文件排序并输出,需要如何操作? ①、把磁盘上的500G数据分割为100块(chunks),每份5GB。(注意,要留一些系统空间!) ②、顺序将每份5GB数据读入内存,使用quick sort算法排序。 ...[2021/2/1]

SpingBoot+Dubbo+Zookeeper实现简单分布式开发的应用详解

开始接触分布式概念,学习之前要准备搭建Dubbo和Zookeeper环境的简单搭建。 Window下安装Zookeeper和Dubbo-admin 1、Apache官网下载Zookeeper 点击官网地址下载最新版 下载完成后,打开apache-zookeeper-3.6.2-bin\...[2021/1/25]

【Hadoop】:MapReduce实现序列化

一.序列化简介 什么是序列化呢?     序列化:对象———》字节序列 反序列化:字节序列——》对象 备注:对象在内存(RAM)当中 字节序列:可以在磁盘(ROM)当中,也可以在网络当中进行传输 序列化的根本缘故:将对象从RAM里的数据 转化成ROM...[2021/1/25]

关于“Unsupervised Deep Embedding for Clustering Analysis”的优化问题

关于“Unsupervised Deep Embedding for Clustering Analysis”的优化问题 作者:凯鲁嘎吉 - 博客园 http: www.cnblogs.com/kailugaji/     Deep Embedding C...[2021/1/25]

距离:欧氏距离,曼哈顿距离,余弦距离

目录欧式距离曼哈顿距离欧式距离与曼哈顿距离的比较余弦距离汉明距离 欧式距离 欧式距离也称为欧几里得距离或者欧几里得度量,是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧式距离就是两点之间的距离。 二维: x = \(\sqrt{(x_2-x_...[2021/1/25]

机器学习的三个步骤

所谓机器学习,在形式上可近似等同于,在数据对象中通过统计或推理的方法,寻找一个有关特定输入和预期输出的功能函数 f(如图 1 所示)。通常,我们把输入变量(特征)空间记作大写的 X,而把输出变量空间记作大写的 Y。那么所谓的机器学习,在形式上就近似等同于 Y≈f(X)。 图 1:机器...[2021/1/25]

Sklearn 与 TensorFlow 机器学习实战—一个完整的机器学习项目

本章中,你会假装作为被一家地产公司刚刚雇佣的数据科学家,完整地学习一个案例项目。下面是主要步骤: 项目概述。 获取数据。 发现并可视化数据,发现规律。 为机器学习算法准备数据。 选择模型,进行训练。 微调模型。 给出解决方案。 部署、监控、维护系统。 使用真实数据 学习机器学习时,...[2021/1/25]

462
2
记录数:1832 页数:1/3712345678910下一页尾页
加载更多
 友情链接: NPS