经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Flink » 查看文章
Flink源码分析 - 源码构建
来源:cnblogs  作者:chaojianok  时间:2019/4/29 8:36:01  对本文有异议

原文地址:https://mp.weixin.qq.com/s?__biz=MzU2Njg5Nzk0NQ==&mid=2247483692&idx=1&sn=18cddc1ee0decfe24323dafdb05a048d

本篇介绍一下如何从源码构建Flink,构建Flink源码是学习和研究Flink源码的基础,有助于更好的了解Flink。

环境准备

环境/软件 版本 备注
OS Ubuntu 14.04 LTS
Maven 3.0.5
Java 1.8.0_161
Flink 1.8

构建前先确认下Maven和JDK版本,至少需要Maven 3.x和Java 8才能构建。

构建源码

具体步骤如下:

  1. #先查看下maven和Java版本
  2. #mvn -v
  3. #java -version
  4. #下载源码
  5. git clone https://github.com/apache/flink.git
  6. #进入源码目录
  7. cd flink
  8. #切换到一个稳定分支
  9. git checkout release-1.8
  10. #构建源码
  11. #-DskipTests跳过执行测试程序
  12. #-Dfast跳过测试、QA插件和JavaDocs,加快构建速度
  13. #建议加上-Dfast参数,避免在构建的过程中会遇到各种各样的问题
  14. mvn clean install -DskipTests -Dfast

看到下面输出表示构建成功了。

  1. [INFO] ------------------------------------------------------------------------
  2. [INFO] BUILD SUCCESS
  3. [INFO] ------------------------------------------------------------------------
  4. [INFO] Total time: 12:03.086s
  5. [INFO] Finished at: Wed Apr 24 10:38:46 CST 2019
  6. [INFO] Final Memory: 478M/1300M
  7. [INFO] ------------------------------------------------------------------------

至此,Flink就构建成功了。

测试

Flink已经构建好了,这里用 SocketWindowWordCount 的例子来测试一下,看看是否可以正常执行。首先按照下面的步骤启动Flink。

  1. #在源码目录下执行
  2. ./build-target/bin/start-cluster.sh
  3. #执行后输出如下,表示启动成功
  4. Starting cluster.
  5. Starting standalonesession daemon on host ubuntu.
  6. Starting taskexecutor daemon on host ubuntu.

启动成功后可以打开http://127.0.0.1:8081看到Flink的web UI,如下图所示。

Flink web UI

使用nc命令监听指定端口。

  1. nc -l 9002
  2. #然后随便输入点东西,比如像下面这样
  3. #这些东西在提交 SocketWindowWordCount Job之前或之后输入都是可以的
  4. hello world
  5. word count
  6. hi
  7. flink
  8. ha ha

运行Flink测试example,这里用Flink WordCount Job来测试一下。

  1. #在源码目录下执行,指定9002端口,这个端口要和刚刚 nc 命令监听的端口一致
  2. ./build-target/bin/flink run ./build-target/examples/streaming/SocketWindowWordCount.jar --port 9002

查看SocketWindowWordCount Job的输出。

  1. #在源码目录下执行
  2. tail -100f ./build-target/log/flink-*-taskexecutor-0-*.out
  3. #执行后输出如下
  4. hello : 1
  5. world : 1
  6. word : 1
  7. count : 1
  8. hi : 1
  9. flink : 1
  10. ha : 2

也可以在Flink web UI里查看输出,如下图所示。

Task Manager Output

原文链接:http://www.cnblogs.com/cjblogs/p/10785899.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号