经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Flink » 查看文章
快速构建第一个Flink工程
来源:cnblogs  作者:独孤风  时间:2019/9/10 12:29:50  对本文有异议

file

本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行.

在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。

构建工具

Flink项目可以使用不同的构建工具进行构建。为了能够快速入门,Flink 为以下构建工具提供了项目模版:

这些模版可以帮助你搭建项目结构并创建初始构建文件。

Maven

环境要求

唯一的要求是使用 Maven 3.0.4 (或更高版本)和安装 Java 8.x

创建项目

使用以下命令之一来 创建项目

使用Maven archetypes

  1. $ mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.9.0

运行quickstart脚本

  1. curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0

file

下载完成后,查看项目目录结构:

  1. tree quickstart/
  2. quickstart/
  3. ├── pom.xml
  4. └── src
  5. └── main
  6. ├── java
  7. └── org
  8. └── myorg
  9. └── quickstart
  10. ├── BatchJob.java
  11. └── StreamingJob.java
  12. └── resources
  13. └── log4j.properties

示例项目是一个 Maven project,它包含了两个类:StreamingJobBatchJob 分别是 DataStream and DataSet 程序的基础骨架程序。
main 方法是程序的入口,既可用于IDE测试/执行,也可用于部署。

我们建议你将 此项目导入IDE 来开发和测试它。
IntelliJ IDEA 支持 Maven 项目开箱即用。如果你使用的是 Eclipse,使用m2e 插件 可以
导入 Maven 项目
一些 Eclipse 捆绑包默认包含该插件,其他情况需要你手动安装。

请注意:对 Flink 来说,默认的 JVM 堆内存可能太小,你应当手动增加堆内存。
在 Eclipse 中,选择 Run Configurations -> Arguments 并在 VM Arguments 对应的输入框中写入:-Xmx800m
在 IntelliJ IDEA 中,推荐从菜单 Help | Edit Custom VM Options 来修改 JVM 选项。

构建项目

如果你想要 构建/打包你的项目,请在项目目录下运行 ‘mvn clean package’ 命令。命令执行后,你将 找到一个JAR文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:target/-.jar

注意: 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口,我们建议你相应地修改 pom.xml 文件中的 mainClass 配置。这样,Flink 可以从 JAR 文件运行应用程序,而无需另外指定主类。

Gradle

环境要求

唯一的要求是使用 Gradle 3.x (或更高版本) 和安装 Java 8.x

创建项目

使用以下命令之一来 创建项目

Gradle示例:

build.gradle

  1. buildscript {
  2. repositories {
  3. jcenter() // this applies only to the Gradle 'Shadow' plugin
  4. }
  5. dependencies {
  6. classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
  7. }
  8. }
  9. plugins {
  10. id 'java'
  11. id 'application'
  12. // shadow plugin to produce fat JARs
  13. id 'com.github.johnrengelman.shadow' version '2.0.4'
  14. }
  15. // artifact properties
  16. group = 'org.myorg.quickstart'
  17. version = '0.1-SNAPSHOT'
  18. mainClassName = 'org.myorg.quickstart.StreamingJob'
  19. description = """Flink Quickstart Job"""
  20. ext {
  21. javaVersion = '1.8'
  22. flinkVersion = '1.9.0'
  23. scalaBinaryVersion = '2.11'
  24. slf4jVersion = '1.7.7'
  25. log4jVersion = '1.2.17'
  26. }
  27. sourceCompatibility = javaVersion
  28. targetCompatibility = javaVersion
  29. tasks.withType(JavaCompile) {
  30. options.encoding = 'UTF-8'
  31. }
  32. applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]
  33. task wrapper(type: Wrapper) {
  34. gradleVersion = '3.1'
  35. }
  36. // declare where to find the dependencies of your project
  37. repositories {
  38. mavenCentral()
  39. maven { url "https://repository.apache.org/content/repositories/snapshots/" }
  40. }
  41. // 注意:我们不能使用 "compileOnly" 或者 "shadow" 配置,这会使我们无法在 IDE 中或通过使用 "gradle run" 命令运行代码。
  42. // 我们也不能从 shadowJar 中排除传递依赖(请查看 https://github.com/johnrengelman/shadow/issues/159)。
  43. // -> 显式定义我们想要包含在 "flinkShadowJar" 配置中的类库!
  44. configurations {
  45. flinkShadowJar // dependencies which go into the shadowJar
  46. // 总是排除这些依赖(也来自传递依赖),因为 Flink 会提供这些依赖。
  47. flinkShadowJar.exclude group: 'org.apache.flink', module: 'force-shading'
  48. flinkShadowJar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
  49. flinkShadowJar.exclude group: 'org.slf4j'
  50. flinkShadowJar.exclude group: 'log4j'
  51. }
  52. // declare the dependencies for your production and test code
  53. dependencies {
  54. // --------------------------------------------------------------
  55. // 编译时依赖不应该包含在 shadow jar 中,
  56. // 这些依赖会在 Flink 的 lib 目录中提供。
  57. // --------------------------------------------------------------
  58. compile "org.apache.flink:flink-java:${flinkVersion}"
  59. compile "org.apache.flink:flink-streaming-java_${scalaBinaryVersion}:${flinkVersion}"
  60. // --------------------------------------------------------------
  61. // 应该包含在 shadow jar 中的依赖,例如:连接器。
  62. // 它们必须在 flinkShadowJar 的配置中!
  63. // --------------------------------------------------------------
  64. //flinkShadowJar "org.apache.flink:flink-connector-kafka-0.11_${scalaBinaryVersion}:${flinkVersion}"
  65. compile "log4j:log4j:${log4jVersion}"
  66. compile "org.slf4j:slf4j-log4j12:${slf4jVersion}"
  67. // Add test dependencies here.
  68. // testCompile "junit:junit:4.12"
  69. }
  70. // make compileOnly dependencies available for tests:
  71. sourceSets {
  72. main.compileClasspath += configurations.flinkShadowJar
  73. main.runtimeClasspath += configurations.flinkShadowJar
  74. test.compileClasspath += configurations.flinkShadowJar
  75. test.runtimeClasspath += configurations.flinkShadowJar
  76. javadoc.classpath += configurations.flinkShadowJar
  77. }
  78. run.classpath = sourceSets.main.runtimeClasspath
  79. jar {
  80. manifest {
  81. attributes 'Built-By': System.getProperty('user.name'),
  82. 'Build-Jdk': System.getProperty('java.version')
  83. }
  84. }
  85. shadowJar {
  86. configurations = [project.configurations.flinkShadowJar]
  87. }

setting.gradle

  1. rootProject.name = 'quickstart'

或者运行quickstart脚本

  1. bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11

查看目录结构:

  1. tree quickstart/
  2. quickstart/
  3. ├── README
  4. ├── build.gradle
  5. ├── settings.gradle
  6. └── src
  7. └── main
  8. ├── java
  9. └── org
  10. └── myorg
  11. └── quickstart
  12. ├── BatchJob.java
  13. └── StreamingJob.java
  14. └── resources
  15. └── log4j.properties

示例项目是一个 Gradle 项目,它包含了两个类:StreamingJobBatchJobDataStreamDataSet 程序的基础骨架程序。main 方法是程序的入口,即可用于IDE测试/执行,也可用于部署。

我们建议你将 此项目导入你的 IDE 来开发和测试它。IntelliJ IDEA 在安装 Gradle 插件后支持 Gradle 项目。Eclipse 则通过 Eclipse Buildship 插件支持 Gradle 项目(鉴于 shadow 插件对 Gradle 版本有要求,请确保在导入向导的最后一步指定 Gradle 版本 >= 3.0)。你也可以使用 Gradle’s IDE integration 从 Gradle 创建项目文件。

构建项目

如果你想要 构建/打包项目,请在项目目录下运行 ‘gradle clean shadowJar’ 命令。命令执行后,你将 找到一个 JAR 文件,里面包含了你的应用程序,以及已作为依赖项添加到应用程序的连接器和库:build/libs/--all.jar

注意: 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口,我们建议你相应地修改 build.gradle 文件中的 mainClassName 配置。这样,Flink 可以从 JAR 文件运行应用程序,而无需另外指定主类。

未来,我们将分别介绍:Flink流处理应用程序,Flink批处理应用程序。

更多Flink原理知识:

穿梭时空的实时计算框架——Flink对时间的处理

大数据实时处理的王者-Flink

统一批处理流处理——Flink批流一体实现原理

原文链接:http://www.cnblogs.com/tree1123/p/11495964.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号