经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Hadoop

hadoop集群搭建及易踩坑收录

 配置前先把域名映射配好哈 详情参考我的其他随笔   下载好hdfs.tar.gz 后 在/home/ldy下 mkdir app     tar -xzvf hdfs.tar.gz  -C  /home/...[2019/7/19]

KUDU数据导入尝试一:TextFile数据导入Hive,Hive数据导入KUDU

背景 SQLSERVER数据库中单表数据几十亿,分区方案也已经无法查询出结果。故:采用导出功能,导出数据到Text文本(文本>40G)中。 因上原因,所以本次的实验样本为:【数据量:61w条,文本大小:74M】 选择DataX原因 试图维持统一的异构数据源同步方案。(其实行不通) 试图进...[2019/7/19]

最新大数据学习路线

最近很多人问小编现在学习大数据这么多,他们都是如何学习的呢。很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门? 应该学习哪些技术? 学习路线又是什么? 今天特意为大家整理了一份大数据从入门到精通的学习路线。并且附带学习资料和视频。希望能够帮助到大家。 第一...[2019/7/15]

大数据第一讲

第一讲:大数据基础入门 第一节:为什么要学习大数据 1、目的:很好工作 2、对比:Java开发和大数据开发 第二节:什么是大数据? 举例: 1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算? 2、天气预报: 问题:(1)大量的天气数据如何存储?...[2019/7/12]

大数据常用技术栈一览

大数据常用技术栈一览

大数据常用技术栈一览 —— GitHub 地址:https: github.com/heibaiying/BigData-Notes,主要技术栈如下: ?? 前 言 大数据常用技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统——HDFS 分布式计算框架——M...[2019/7/8]

大数据思考

1.前言        记得从上大学的时候就已经听说过这个词语 以前的理解可能就是数据量超大很多嘛 到这几年大数据这个词语被人们谈论得也越来越频繁 也越来越想了解它的所以自己才会去学习 我觉得做任何事之前肯定有某种驱使你去了解它的过程 以下仅是自己个人的理...[2019/7/8]

用三台虚拟机搭建Hadoop全分布集群

用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home oftware下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1   1.安装jdk 准备好免安装压缩包放在...[2019/7/5]

Hadoop框架起步之图解SSH、免密登录原理和实现方法

1. 前言 emmm….最近学习大数据,需要搭建Hadoop框架,当弄好linux系统之后,第一件事就是SSH免密登录的设置。对于SSH,我觉得使用过linux系统的程序员应该并不陌生。可是吧,用起来简单,真让你说出个所以然,还是件比较困难的事(大佬绕路,此篇文章不属于你~)。然后,我就好奇心...[2019/7/5]

缺乏投资、股价暴跌,谁在“谋杀”Hadoop?

近日,Hadoop 领域发生几件不太美好的事情,先是 MapR 宣布如果无法获得新的投资,就必须要裁员百余人,并关闭硅谷总部,再是 Cloudera 股价暴跌 43,估值缩水。眼看 Hadoop 三大商业公司起高楼,为何忽然之间楼斜了呢?为了搞清楚其中原因,我们采访了多位行业内的技术专家。[2019/7/3]

Hive的一些学习内容

Hive相关 什么是metastore? metadata是元数据,包含数据库、表、字段、分区等信息。作用:客户端连接MetaStore服务,metastore再去连接MySQL数据库存储元数据,有了metastore服务可以实现多客户端同时连接MySQL。 metastore三种...[2019/7/3]

在Ubuntu上安装hadoop-2.7.7

1.安装open-vm-tools sudo apt-get install open-vm-tools 2.安装openjdk sudo apt-get install openjdk-8-jdk 3.安装配置 h apt-get install open ...[2019/7/2]

到底要怎么学习大数据?

大数据开发学习内容:Java语言基础:Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射,多线程、Swing程序与集合类;HTML、CSS与JavaScript:PC端网站布局、HTML5+C...[2019/6/28]

啃掉Hadoop系列笔记(03)-Hadoop运行模式之本地模式

    Hadoop的本地模式为Hadoop的默认模式,不需要启用单独进程,直接可以运行,测试和开发时使用。     在《啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建》中若环境搭建成功,则直接可以使用本地模式。 &n...[2019/6/26]

啃掉Hadoop系列笔记(01)-Hadoop框架的大数据生态

一、Hadoop是什么     1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构     2)主要解决,海量数据的存储和海量数据的分析计算问题。     3)广义上来说,HADO...[2019/6/24]

对于程序员来说,如何才能快速转行赶上大数据这辆高铁呢?

    大数据为大家整理了Ofer Mendelevitch自己的观点。   Mendelevitch认为无论是Java程序员还是业务分析师都有机会成为数据科学家,以下是他对不同人群给出的具体建议: Java程序员   作为Java开发者,你对软件工程的规则已经了然于心,第一步需要了解机器学习的...[2019/6/24]

大数据就业的三大方向和最热门十大岗位

当下,大数据方面的就业主要有三大方向: 一是数据分析类大数据人才, 二是系统研发类大数据人才, 三是应用开发类大数据人才。 他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。   在学习大数据的过程当中有遇见任何问题,可以加入我的Jav...[2019/6/24]

啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建

一、新增一个普通用户bigdata        设置bigdata用户具有root权限 二、配置静态ip     若机器为克隆的则该文件下存在多个物理地址, 删除eth0该行;将eth1修改...[2019/6/24]

大数据学习计划

大数据如此火热的现在,想必许多小伙伴都想要加入这个行业。也是我们今天就要拿出收藏已久的大数据学习计划。帮助你不走弯路,迈向大数据 1 大数据应用离不开基础软件的支撑,且大部分大数据组件部署在 Linux 操作系统上的用户空间,也有很多组件也借鉴了Linux 操作系统的一些设计精髓,所以 Lin...[2019/6/21]

大数据学习详细路线

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣扣群: 142974151,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,...[2019/6/19]

Consul初探-服务注册和发现

前言 经过上一篇的学习,现在已经来到了服务注册发现环节;Consul 的核心功能就是服务注册和发现,Consul 客户端通过将自己注册到 Consul 服务器集群,然后等待调用方去发现服务,实现代理转发到真正的业务系统,还可以基于服务发现做负载均衡,甚至可以在客户端请求到底服务之前进行拦截,做一些...[2019/6/17]

Hadoop、storm和Spark Streaming简单介绍(非原创)

文章大纲 一、Hadoop是什么二、storm是什么三、Spark Streaming是什么四、Spark与storm比较五、参考文章   一、Hadoop是什么 1. 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可...[2019/6/17]

云计算与大数据介绍(非原创)

文章大纲 一、什么是云计算二、什么是大数据三、云计算与大数据、人工智能关系四、参考文章 一、什么是云计算 云计算(Cloud Computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用,...[2019/6/17]

大数据处理逻辑与关键技术(非原创)

文章大纲 一、大数据概念介绍二、大数据处理逻辑三、数据库处理关键技术四、数据相关从业者和角色五、参考文章   一、大数据概念介绍 https: www.jianshu.com/p/5b488c39af80 二、大数据处理逻辑 大数据处理的数据级...[2019/6/17]

大数据到底要怎么学习?

今天为大家带来IT界最为火爆的大数据行业的硬核知识点——大数据挖掘技术的体系分析。想要了解大数据或者开始学习大数据的你一定不要错过。   对于大数据的挖掘请求,包括面向于文本的挖掘、机器学习等,挖掘算法的复杂度高、数据的计算量大,针对于大数据的规模大、速度快以及类型多样的特点,将大数据挖掘...[2019/6/17]

Mac上Hive安装配置

Mac上Hive安装配置

Mac上Hive安装配置   1、安装 下载hive,地址:http: mirror.bit.edu.cn/apache/hive/ 之前我配置了集群,tjt01、tjt02、tjt03,这里hive安装在tjt01机器上。 我下载的是“apache-h...[2019/6/17]

大数据处理技术怎么学习呢?

首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、St...[2019/6/12]

分享4个最受欢迎的大数据可视化工具

分享4个最受欢迎的大数据可视化工具

想像阅读书本一样阅读数据流?这只有在电影中才有可能发生。 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式。 大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了。 为了满足并超越客户的期望,大数据可视化...[2019/6/12]

大数据从入门到精通

大数据被认为是“未来的新石油”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。 作为 IT 类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。国内 IT、通讯、行业招聘中,有 10% 都是和大数据相...[2019/6/10]

从零开始大数据学习路线

从零开始大数据学习路线

 “怎么学习大数据?学大数据要学编程吗?大数据都学什么知识” 等等类似的问题。而近期类似的问题越来越多, 那么,零基础学员大数据学习路线图该如何去系统化设置呢?今天就来说说,真正专业的大数据学习路线是哪些?  推荐一个大数据学习群 142974151每天晚上20:10都有一...[2019/6/10]

零基础如何学习好大数据?

小白如何学习大数据?相信下面我们讲到的入门级学习方法,能够让你快速入门。 如今的大数据行业刚刚起步,但这也不代表我们无法去系统的学习,尤其是对于一些小白。了解系统的学习大数据的方法将更有利于自己更加快速有效的去学习大数据。本人作为一名编程小白,在自学了几个月的java开发之后(ps:无java基...[2019/6/10]

什么是大数据,学习大数据需要什么基础?大数据学习路线和就业方向

什么是大数据,学习大数据需要什么基础?大数据学习路线和就业方向

一、首先要搞清楚什么是大数据 大数据又称巨量资料,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。 专业的来讲:大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化...[2019/6/6]

大数据学习路线

一、大数据介绍 大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题: 数据来源广,该如何采集汇总?...[2019/6/4]

零基础大数据新手学习路线教程

零基础大数据新手学习路线教程

大数据~数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求。 如何学好大数据? 第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴《码出高效》编码规约 知识点 一.Java基础入门:Jav...[2019/6/4]

大数据必修三大技能 ,你知道吗?

大数据,人工智能技术引领科技潮流,推开大数据时代的大门!国家点赞!政策扶持,前景斐然!紧接着,学习大数据的人才便如过江之鲫,络绎不绝!整体形势,欣欣向荣!在这里,小编为大家送上技术干货,助大家一臂之力,学习大数据技术,一定要注重培训质量,只有如此,方可事半功倍!接下来,就为大家讲解,大数据必修的三...[2019/6/4]

Hive搭建与简单使用

Hive搭建与简单使用

hive搭建与简单使用(1) 标签(空格分隔): hive,mysql hive相当于编译器的组件,他并不存储数据,元数据存储在mysql中,数据则存放在hdfs中,通过hive,可以利用sql语句对存储在hdfs的数据进行处理。 安装前准备 Hadoop要搭建好(参考前面的文章) mysq...[2019/6/3]

大数据如何快速有效的学习?

近几年大数据处于火热中,觉得大数据很火,就业很好,薪资很高。。。。。。。许多人想要转行,那么作为大数据初学者想往大数据方向发展,该学哪些技术,学习路线是什么样的,如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业...[2019/5/30]

hadoop一主一从部署(1)

一、安装前说明 主机IP:192.168.132.128 从机IP:192.168.132.129 1. 所有的安装包我放在了/root/这个目录下,你要根据自己情况去修改,这点必须注意 2. 采用的安装包如下 jdk-7u79-linux-x64.tar.gz,hadoop-2.8.0.tar....[2019/5/30]

我所理解的云计算 -来自王坚博士的谈话领悟

  当云计算成了一种公共服务,一种基础设施,像我们生活中使用的电一样,方便,可靠,安全,简单,那么才真正发挥了它的价值。   信息时代的互联网,都是自家打井挖水喝,而阿里云做的呢是想建一个自来水厂,配置大型的计算设备,用操作系统进行资源调配,最大限度地满足人们的用水需要,无论是高峰还是低谷,无...[2019/5/27]

什么是MapReduce?

【学习笔记】 什么是MapReduce?马 克-to-win @ 马克java社区:1)MapReduce是面向大数据并行程序设计的模型和方法,这一点很像我们前面讲的MVC,MVC解决动态网站问题而 MapReduce解决大数据问题,和 2)MapReduce也是一个并行计算软件框架。比如前面...[2019/5/27]

自学大数据路线

大数据学习线路图 这个学习线路图,主要是介绍接下来要学习的买个阶段,以及每个阶段能学到什么知识!       第一阶段: 主要学习java基础,学完出来并不能找工作,因为学的都是基础,需要更进一步的努力,如果...[2019/5/27]

《大数据原理与技术》学习笔记(一)大数据概述

大数据概述 物联网、云计算和大数据,是第三次信息化浪潮的产物。 技术支撑:存储设备容量的不断增加、CPU处理能力大幅提升、网络带宽不断增加。 数据产生方式:经历了运营式系统、用户原创阶段,进入了感知式系统阶段,物联网技术,可穿戴设备、各种传感器之类的使数据量更大、更密集。 大数据的4V说法 ...[2019/5/27]

一起学习大数据啦

建了个群30191235,交流大数据相关问题,分享大数据相关资料。 有兴趣的小伙伴一起啊。 为什么会有这个群? 原文链接:http: www.cnblogs.com/warn/p/10910016.html[2019/5/24]

怎么学习大数据?

那大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、...[2019/5/24]

HBASE的安装过程及运行HBASE程序的需要配置的内容

HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https: mirrors.tuna.tsinghua.edu.cn/apache/hbase table/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Window...[2019/5/22]

零基础学习大数据该从哪里学起

零基础学习大数据该从哪里学起

大数据应该学什么?如果是有基础就根据个人情况来定,如果是零基础想学习大数据,大数据应该学什么?大数据要学的东西有很多,下面列举了一些学习大数据就该学习的技术,许多想学习大数据不知道大数据应该学什么的,可以参考一下。 首先学习大数据,先了解什么是大数据,了解大数据大概的运用,自己是否对大数据感兴...[2019/5/21]

hbase与hdfs的交互

hdfs和hbase的交互,和写MapReduce程序类似,只是需要修改输入输出数据和使用hbase的javaAPI对其进行操作处理即可 public cla HBaseToHdfs extends ToolRunner implements Tool { privat...[2019/5/21]

学习大数据的正确方法

大数据已然成为当前IT业界的红人,然而在很多人想涉足这个领域时,却对大数据的学习具有畏难情绪,望而却步,知难而退。大数据的学习真的有那么难吗?据我学习大数据的经验来说,大数据是挺难的,难在其系统庞大,很难系统地、全面地学习,但是也有方法啃下这块硬骨头。 第一步当然是搞清楚怎么学习,这个问题的答...[2019/5/20]

如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术

由于大数据技术涉及内容太庞杂,大数据应用领域广泛,而且各领域和方向采用的关键技术差异性也会较大,难以三言两语说清楚,本文来说说到底要怎么学习它,以及怎么避免大数据学习的误区,以供参考。大数据要怎么学:数据科学特点与大数据学习误区。推荐一个大数据学习群 142974151每天晚上20:10都有一节【...[2019/5/20]

大数据学习路线,来qun里分享干货,

大数据学习路线,来qun里分享干货,

一、Linux lucene: 全文检索引擎的架构 solr: 基于lucene的全文搜索服务器,实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面。 推荐一个大数据学习群 142974151每天晚上20:10都有一节【免费的】大数据直播课程,专注大数据分...[2019/5/16]

大数据入门,到底要怎么学习大数据?

大数据入门,到底要怎么学习大数据?

很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展。但该学哪些技术,学习路线是什么样的呢? 其实就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个好学,哪个钱多。 ...[2019/5/13]

472
2
记录数:198 页数:1/41234下一页尾页
加载更多