经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 人工智能基础

AlexNet

目录AlexNet的特点使用ReLU激活函数加速收敛如何理解ReLU函数的非线性 Paper: ImageNet Cla ification with Deep Convolutional Neural Networks Github:https: github.com/pytorc...[2021/1/18]

算法 - 如何从股票买卖中,获得最大收益

作为一名从副业中已赚取几个月工资的韭菜,显然对这类题目很有搞头,但是实际中往往不知道的是股票的未来价格,所以需要预测,而你的实盘实际上也会反过来影响股票,所以没人能完整预测股票的走势,那些从回溯中取的最大值的算法,就是下面的几种,有必要掌握一下,假若某一天你穿越回去,你任选一种算法,那么...[2021/1/18]

算法 - 链表操作题目套路

0. 前言 简单的题目,但是没有练习过或者背过,可能反而也写不出来,在面试中往往是在短时间内就写完,你没有时间画图,没有时间推演,这些都只能在脑子里快速完成,有时候拼了很久,觉得还是没有感觉,即使写出来了,在过后的一周到一个月照样会忘记,bug free地写出来还是很费力,作为对此深有体...[2021/1/18]

算法-Leetcode几个双指针问题

1.搜索插入位置 https: leetcode-cn.com/problem earch-insert-position/ cla Solution { public int searchInsert(int[] nums, int target) { in...[2021/1/18]

大数据开发-Spark-RDD的持久化和缓存

大数据开发-Spark-RDD的持久化和缓存

1.RDD缓存机制 cache, persist Spark 速度非常快的一个原因是 RDD 支持缓存。成功缓存后,如果之后的操作使用到了该数据集,则直接从缓存中获取。虽然缓存也有丢失的风险,但是由于 RDD 之间的依赖关系,如果某个分区的缓存数据丢失,只需要重新计算该分区即可。 涉及...[2021/1/18]

大数据开发-Spark-共享变量之累加器和广播变量

Spark 累加器与广播变量 一、简介 在 Spark 中,提供了两种类型的共享变量:累加器 (accumulator) 与广播变量 (broadcast variable): 累加器:用来对信息进行聚合,主要用于累计计数等场景; 广播变量:主要用于在节点间高效分发大对象。 ...[2021/1/18]

大数据开发-Spark-闭包的理解

1.从Scala中理解闭包 闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 如下面这段匿名的函数: val multiplier = (i:Int) => i * 10 函数体内有一个...[2021/1/18]

图像的加密与解密

图像加密与解密 图像加密解密使用的是按位异或的运算,一真一假方为真,全真全假皆为假。 比方说,3和5进行按位异或,3的二进制为11,5的二进制为101,运算之后得到二进制110,换算成十进制也就是得到6,那么3、5、6这三个数字,任意两个进行按位异或运算都可以得出另一个。  ...[2021/1/18]

大数据开发-Docker-使用Docker10分钟快速搭建大数据环境,Hadoop、Hive、Spark、Hue、Kafka、ElasticSearch.....

立个坑,教程后续补上,当然这不是最重要的,如果你仅仅想有个环境可以测试,只需要下面 三步 1.git clone https: github.com/hulichao/docker-bigdata ` 2.安装docker和docker-compose, 然后cd docker-b...[2021/1/12]

大数据开发-解决Windows下,开发环境常遇的几个问题

1.背景 大数据开发的测试环境,很多人不以为然,其实重复的打包,上传,测试虽然每次时间大概也就几分钟,但是积累起了往往会花费很多的时间,但是一个完整的测试环境在生产环境下往往难形成闭环,抛开堡垒机权限不说,hadoop,hive,spark等服务端的权限也会难倒一群英雄好汉,主要是太繁琐...[2021/1/12]

大数据开发-Spark-一文理解常见RDD

1.五个基本Properties A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitio...[2021/1/12]

算法-回溯问题解决框架

1.回溯问题简介 回溯问题,就是决策树的遍历过程,回溯问题需要有下面几个问题考虑 路径:已经做出的选择,即从根节点到当前节点的路径 选择列表:当前情况下还可以做哪些选择,即继续往下遍历节点,可以走哪些路 结束条件:到达决策树的叶子节点,或者不满足条件停止 2.回溯问...[2021/1/12]

写给程序员的机器学习入门 (十 补充) - 对象识别 Faster-RCNN - 改进识别人脸位置与是否戴口罩的模型

在前一篇文章中我介绍了如何使用 Faster-RCNN 模型实现识别人脸位置与是否戴口罩,这一篇我将介绍如何改进模型的精度,并且介绍如何支持视频识别。过去的文章我基本上都只介绍模型的实现原理与使用例子,没有过度追求精确率,这是为了让读者抛开细节理解,但实际应用机器学习的时候我们还是需要对...[2021/1/11]

一般回归问题、线性回归与模型的正确设定

1 一般回归问题 一般来说,计量经济学教材会从线性回归讲起,但这里再在线性回归之前,理一理更一般性的回归问题。 先看定义一下什么叫回归: 定义1 回归函数(Regre ion Function):\(\mathbb{E}(y|\mathbf{x})\)就是\(y\)对\(\math...[2021/1/11]

线性回归:最小二乘法实现 - Violet-Egar

线性回归:最小二乘法实现 - Violet-Egar

目录一、线性回归二、最小二乘法三、最小二乘法(向量表示)四、Python实现 一、线性回归 给定由n个属性描述的样本x=(x0, x1, x2, ... , xn),线性模型尝试学习一个合适的样本属性的线性组合来进行预测任务,如:f(x) = w1x1 + w2x2 + ... + ...[2021/1/11]

线性回归:梯度下降法原理与实现 - Violet-Egar

线性回归:梯度下降法原理与实现 - Violet-Egar

目录一、线性回归二、梯度下降法的数学原理三、梯度下降法优化四、Python实现 一、线性回归 关于线性回归的详细介绍可以参见我的上一篇博文《线性回归:最小二乘法实现》。在《线性回归:最小二乘法实现》中我已经说明了线性回归模型建立的关键在于求解: \[(w^*, b^*)=\arg\...[2021/1/11]

对数几率回归(逻辑回归)原理与Python实现 - Violet-Egar

对数几率回归(逻辑回归)原理与Python实现 - Violet-Egar

目录一、对数几率和对数几率回归二、Sigmoid函数三、极大似然法四、梯度下降法四、Python实现 一、对数几率和对数几率回归 在对数几率回归中,我们将样本的模型输出\(y^*\)定义为样本为正例的概率,将\(\frac{y^*}{1-y^*}\)定义为几率(odds),几率表示的...[2021/1/11]

神经网络模型与误差逆传播算法 - Violet-Egar

目录一、神经元模型1.1 M-P神经元1.2 激励函数1.2.1 单位阶跃函数1.2.2 logistic函数(sigmoid)1.2.3 tanh函数(双曲正切函数)1.2.4 ReLU(修正线性单元)1.2.5 激励函数对比1.3 罗森布拉特感知器1.4 Adaline(自适应线性神...[2021/1/11]

文本单词one-hot编码

单词->字母->向量 神经网络是建立在数学的基础上进行计算的,因此对数字更敏感,不管是什么样的特征数据都需要以向量的形式喂入神经网络,无论是图片、文本、音频、视频都是一样。 one-hot编码,也就是独热编码,是一种常用的编码手段。在多分类识别的时候,喂入神经网络的标签就是...[2021/1/4]

卷积神经网络CNN-学习1

卷积神经网络CNN-学习1         十年磨一剑,霜刃未曾试。   简介:卷积神经网络CNN学习。 CNN中文视频学习链接:卷积神经网络工作原理视频-中文版 CNN英语原文学习链接:卷积神经网络工作原理视频-英文版 一、定义  &nbs...[2021/1/4]

Tensorflow2.0-mnist手写数字识别示例

Tensorflow2.0-mnist手写数字识别示例             读书不觉春已深,一寸光阴一寸金。   简介:通过CNN 卷积神经网络训练后识别出手写图片,测试图片mnist数据集中的0、1、2、4。      ...[2021/1/4]

华为游戏小程序快应用账号登录6004报错集合

@目录总结常见的code码华为技术的答复 转载请标明出处: https: dujinyang.blog.csdn.net/ 本文出自:【奥特曼超人的博客】 总结常见的code码 华为小程序(快应用)登录比较简单,报错也比较无厘头。 以下是常见返回的状态码: 总结: -...[2021/1/4]

Tensorflow环境配置&安装

Tensorflow环境配置&安装                  明知故犯,是不想有遗憾。   背景:Tensorflow 环境配置和安装。 一、安装 Anaconda 二、建立、激活、安装、验证、使用 Tensorflow 1.检查Anacond...[2020/12/28]

Tensorflow学习-1

Tensorflow学习-1        人生若只如初见,何事秋风悲画扇。   简介:Tensorflow基本使用、常量/变量、tensorflow2.0兼容tensorflow1.0版本。 一、代码示例 1 import tensorflow a...[2020/12/28]

人工智能与世界的革新

开始进入了工业4.0新时代,采用时代的新科技解决原来不易解决的困难 原文链接:http: www.cnblogs.com/bitecheng/p/14141291.html[2020/12/21]

猫狗识别训练-迁移学习

下载数据集 下载地址:https: www.kaggle.com/c/dogs-vs-cat data 下载的训练集中有2.5W张猫猫狗狗的图片,我这里只用训练测试集压缩包就行了,验证集和测试集都可以从中切分。 观察图片可得知命名方式,猫图片为cat.数字.jpg,狗图片为dog...[2020/12/21]

Anaconda Tensorflow GPU 配置

工具和环境 Windows10; Anaconda3 64bit 地址 https: www.anaconda.com/download/#windows;(直接利用上一篇博文配置) 前言 因为前面配置Visual Studio平台下Tensorflow C++Api调用,已经安装好...[2020/12/21]

大数据开发-Spark调优常用手段

大数据开发-Spark调优常用手段

Spark调优 spark调优常见手段,在生产中常常会遇到各种各样的问题,有事前原因,有事中原因,也有不规范原因,spark调优总结下来可以从下面几个点来调优。 1. 分配更多的资源 分配更多的资源: 它是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而...[2020/12/21]

大数据开发-Scala-类型检查与模式匹配详解

0.前言 类型检查和类型转换在每个语言里面都有对应实现,比如Java 中的instanceof 和 isInstance ,当然Scala语言也有,但是相对于其他语言,Scala 为了简化开发,产生了强大的模式匹配,其原理和Java中的switch-case很类似,但是其匹配能力更强,不...[2020/12/21]

大数据开发-Scala 下划线的多种场景

1.简述 Scala 的下划线在各种语法中几乎都要插一脚,其目的是代表某些特殊场合或者简化代码,不必去想命名该怎么取。下面介绍几种下划线的使用场合 2. _ 有哪些使用方式 2.1 初始化变量 跟Java 类似,成员变量未初始化会给一个默认值,Scala中也一样,只可以初始化成员变量,...[2020/12/21]

大数据开发-表数据波动、码值分布波动监控

经历一番推理演算,每个字段逐字分析,接着https: blog.csdn.net/hu_lichao/article/detail 110358607 前面的理论,本篇对前面的监控做了更进一步的设计产出,看完绝对不会浪费您的时间。 设计摘要: 任务执行、监控和报警从设计上是可以完全分...[2020/12/14]

D2Det: Towards High Quality Object Detection and Instance Segmentation

D2Det: Towards High Quality Object Detection and Instance Segmentation

D2Det是一种two-stage算法,类似于Faster-RCNN,在Faster-RCNN的基础上进行了一些改进,总体框架如下图(a)所示: 和Faster-RCNN相比,改进的地方在于: 1. Dense local regre ion 如上图(b)所示,Fas...[2020/12/14]

最新版 | 2020李沐《动手学深度学习》中文版pdf重磅开源!

对于初学者来说,直接阅读英文资料,效率慢,估计读着读着都没有信心读下去了。对于初学者,中文资料是再好不过了。强烈推荐李沐等人开源《动手学深度学习》最新版!完整中文版 PDF 重磅开源! 链接: https: pan.baidu.com 1_I55X54g1J6tF3mcojdiiQ ...[2020/12/14]

tf.keras.layers.MaxPool2D 简介

tf.keras.layers.MaxPool2D 简介

tf.keras.layers.Max2D( pool_size=(2, 2), strides=None, padding=''valid'', data_format=None ) pool_size:2个整数的整数或元组/列表:(pool_height,pool_width...[2020/12/14]

联邦学习白皮书

1.联邦学习定义 隐私保护的分布式机器学习框架,各参与方无需共享数据资源,就可以进行数据联合训练,建立最终机器学习模型。(合作共赢模式,共同富裕策略) 特征: 参与方数据保留在本地,一定程度上保证数据安全性 参与者联合训练模型,共同富裕 参与方地位平等 与中心化的机器学习建模效果相...[2020/12/14]

GPS对时器(GPS对时仪)为电力信息化系统助力

GPS对时器(GPS对时仪)为电力信息化系统助力 GPS对时器(GPS对时仪)为电力信息化系统助力 安徽京准电子科技官微——ahjzsz 摘 要:集控站时钟同步是影响电力系统运行稳定性和可靠性的重要因素之一。本文首先详细介绍了利用GPS时钟实现集控站全网部时钟同步的原理和过程,继而...[2020/12/14]

大数据开发-数仓ads层指标计算

ads层数据往往是最终的结果指标数据,在大屏展示,或者实时流处理时候使用,通过下面两个例子来练习业务大屏展示sql该怎么写。 1.会员分析案例 1.1 数据准备 表结构如下,其中此表是dws层以天为维度的会员表,比如每天的会员信息汇总, use dws; drop table if ...[2020/12/14]

写给程序员的机器学习入门 (九) - 对象识别 RCNN 与 Fast-RCNN

因为这几个月饭店生意恢复,加上研究 Faster-RCNN 用掉了很多时间,就没有更新博客了??。这篇开始会介绍对象识别的模型与实现方法,首先会介绍最简单的 RCNN 与 Fast-RCNN 模型,下一篇会介绍 Faster-RCNN 模型,再下一篇会介绍 YOLO 模型。 图片分类与对...[2020/12/8]

RefineDet

RefineDet可以看成是SSD,RPN,FPN算法的结合,其主要思想是:Faster-RCNN等two-stage算法,对box进行两次回归,因而精度高,但是速度慢;YOLO等one-stage算法,对box只进行一个回归,速度快,但是精度低.RefineDet将两者结合起来,对bo...[2020/12/8]

基于openeuler aarch_64 下,从源码的角度搭建Tensorflow - ZhiBo-Li

为什么从源码编译Tensorflow? 安装过的人们都知道如果 pip install tensorflow 的话会报错Your CPU supports instructions that this TensorFlow binary was not compiled to...[2020/12/8]

猫狗识别训练

下载数据集 下载地址:https: www.kaggle.com/c/dogs-vs-cat data 下载的训练集中有2.5W张猫猫狗狗的图片,我这里只用训练集压缩包就行了,验证集和测试集都可以从中切分。 观察图片可得知命名方式,猫图片为cat.数字.jpg,狗图片为dog.数...[2020/12/8]

计算机视觉有关会议21个(进入计算机前200)

计算机视觉有关会议21个(进入计算机前200)

      一档: 1、CVPR,全称:IEEE/CVF Conference on Computer Vision and Pattern Recognition 2、NeurIPS,全称:Neural Information Proce ing...[2020/12/8]

写给程序员的机器学习入门 (十) - 对象识别 Faster-RCNN - 识别人脸位置与是否戴口罩

每次看到大数据人脸识别抓逃犯的新闻我都会感叹技术发展的太快了,国家治安水平也越来越好了??。不过那种系统个人是没办法做出来的,今天我们只试着做个简单的,怎么根据图片把没有戴口罩的家伙抓出来??。这篇会介绍实用性比较强的对象识别模型 Faster-RCNN,需要的基础知识比较多,如果对机器...[2020/12/8]

Keras官方中文文档:函数式模型API

函数式模型接口 Keras的函数式模型为Model,即广义的拥有输入和输出的模型,我们使用Model来初始化一个函数式模型 from keras.models import Model from keras.layers import Input, Dense a = Input...[2020/12/8]

安装MMDetection

MMDetection是一个基于Pytorch实现的深度学习和目标检测代码库,包含了Faster-RCNN,YOLO,SSD等主流的目标检测算法代码和已经训练好的模型,方便我们进行目标检测算法的研究.MMDetection的安装步骤如下: 1. 创建一个Conda环境并Act...[2020/12/8]

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结,后面是一道连续日期的sql题目及其解法套路。 1.当前日期和时间 select current_timestamp -- 2020-12-05 19:16:29.284 2.获取当前日期,当前是 2020-12-05 SELECT current_date...[2020/12/8]

大数据开发-Flume-频繁产生小文件原因和处理

1.问题背景 通过flume直接上传实时数据到hdfs,会常遇到的一个问题就是小文件,需要调参数来设置,往往在生产环境参数大小也不同 1.flume滚动配置为何不起作用? 2.通过源码分析得出什么原因? 3.该如何解决flume小文件? 2. 过程分析 接着上一篇,https: ...[2020/12/8]

算法-一个经典sql 题和一个Java算法题

1.sql题描述 话说有一个日志表,只有两列,分别是连续id和num 至于啥意思,把它当金额把。现在想知道连续次数3次及以上的num,数据如下 id num 1 1 2 1 3 1 4 2 5 3 6 4 7 4 8 4 那么结果只有1,...[2020/12/8]

基于done文件的数据监控-理论

1 问题 除了像Alibaba 的 Dataworks 外,很难有另外的公司能够把数据调度,数据监控,数据血缘,元数据管理等作为一体化的平台了,包括我司在内的一些厂,往往把这些建设独立开来,由不同的团队负责,其中数据平台调度功能是绝大多数公司都有的基础平台,但是调度的功能程度就各不同了,...[2020/12/8]

算法-双指针问题解决思路

算法中的双指针使用,有时候会觉得很巧妙,解决了很多的问题,有必要归纳总结一下,首先双指针也是个很宽泛的概念,它类似于遍历中的 i 和 j 但是其区别是,两个指针是同时移动的,即没有贡献复杂度从O(N) 到 O(N*N) ,所以被很多算法大佬所推崇,所以基于此归纳总结出双指针的常见解法和套...[2020/12/8]

575
2
记录数:1323 页数:1/2712345678910下一页尾页
加载更多
 友情链接: NPS  问卷模板