经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Hadoop » 查看文章
Hadoop基础教程
来源:cnblogs  作者:dong66  时间:2018/11/23 10:04:42  对本文有异议

绪论

大数据处理

数据的价值

受众较少

一种不同的方法

Hadoop

基于Amazon web Service的云计算

云太多

第三种方法

不同类型的成本

AWS:Amazon的弹性架构

本书内容

安装并运行Hadoop

基于本地Ubuntu主机的Hadoop系统

实践环节:检查是否已安装JDK

实践环节:下载Hadoop

实践环节:安装SSH

实践环节:使用Hadoop计算圆周率

实践环节:配置伪分布式模式

实践环节:修改HDFS的根目录

实践环节:格式化NameNode

实践环节:启动Hadoop

实践环节:使用HDFS

实践环节:MapReduce的经典入门程序-字数统计

使用弹性MapReduce

实践环节:使用管理公职太在EMR运行WordCount

使用EMR的其它方式

AWS生态系统

本地Hadoop与EMR Hadoop的对比

小结

理解MapReduce

键值对

具体含义

为什么采用键/值数据

MapReduce作为一系列键/值变换

MapReduce的Hadoop Java API

编写MapReduce程序

实践环节:设置classpath

实践环节:实现WordCount

实践环节:构建JAR文件

实践环节:在本地Hadoop集群运行WordCount

实践环节:在EMR上运行WordCount

0.20之前的版本的java MapReduce API

Hadoop提供的Mapper和reducer实现

?

?

开发MapReduce程序

高级MapReduce技术

故障处理

系统运行与维护

Hive:数据的关系试图

与关系数据库协同工作

使用Flume收集数据

展望未来

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号