经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Flink

Flink1.9整合Kafka

本文基于Flink1.9版本简述如何连接Kafka。 流式连接器 我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义的source支持从文件、目录、socket,以及 collections...[2019/9/20]

Flink入门宝典(详细截图版)

本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做说明。 一、Fl...[2019/9/19]

Storm VS Flink ——性能对比

1.背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API ...[2019/9/12]

Flink文章测试

Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 原文链接:http:...[2019/9/12]

Flink中TaskManager端执行用户逻辑过程(源码分析)

TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProce or类的proce Input()方法中 通过一个while(true)中不停的拉取上游的数据,然后调用streamOperator.proce...[2019/9/11]

快速构建第一个Flink工程

本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行. 在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。 ...[2019/9/10]

超越Storm,SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件,Storm就是无状态的计算框架,每一条消息来了以后和前后都没有关系,一条是一条。比如我们接收电力系统传感器的数据,当电压超过240v就报警,这就是无状态的数据。但是如果我们需要同时判断多个电压,比如三相电路,我们判断三...[2019/9/10]

Flink的Job启动TaskManager端(源码分析)

Flink的Job启动TaskManager端(源码分析)

前面说到了  Flink的TaskManager启动(源码分析)  启动了TaskManager 然后  Flink的Job启动JobManager端(源码分析)  说到JobManager会将转化得到的TDD发送到Task...[2019/9/10]

统一批处理流处理——Flink批流一体实现原理

实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处理的呢? 无限流处理:输入数据没有尽头;数据处理从当前或者过去的某一个时间...[2019/9/10]

Flink中Periodic水印和Punctuated水印实现原理(源码分析)

在用户代码中,我们设置生成水印和事件时间的方法a ignTimestampsAndWatermarks()中这里有个方法的重载 我们传入的对象分为两种 A ignerWithPunctuatedWatermarks(可以理解为每条数据都会产生水印,如果不想产生水印,返回一个nul...[2019/9/2]

Flink中Idle停滞流机制(源码分析)

前几天在社区群上,有人问了一个问题   既然上游最小水印会决定窗口触发,那如果我上游其中一条流突然没有了数据,我的窗口还会继续触发吗? 看到这个问题,我蒙了???? 对哈,因为我是选择上游所有流中水印最小的一条作为当前水印时间,那万一最小水印的那条流突然里面没有数据了 那...[2019/9/2]

Flink的Job启动JobManager端(源码分析)

通过前面的文章了解到 Driver将用户代码转换成streamGraph再转换成Jobgraph后向Jobmanager端提交 JobManager启动以后会在Dispatcher.java起来RPC方法submitJob(jobGraph),用于接收来自Driver转化得到的J...[2019/8/30]

Flink快速入门--安装与示例运行

flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。 首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https: flink...[2019/8/29]

Flink的Job启动Driver端(源码分析)

整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 JobManager转化成execut...[2019/8/28]

Flink的TaskManager启动(源码分析)

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner 来看一下它的main方法中 最后被start了起来 start其实是将taskManager...[2019/8/27]

Flink 1.8 Basic API Concepts 基本API概念

Flink 1.8 Basic API Concepts 基本API概念

参考:https: ci.apache.org/project flink/flink-docs-release-1.8/dev/api_concepts.html DataSet and DataStream Flink具有特殊类DataSet和DataStream来表示程序中的数...[2019/8/19]

Flink+Druid构建实时OLAP的探索

Flink+Druid构建实时OLAP的探索

场景 k12在线教育公司的业务场景中,有一些业务场景需要实时统计和分析,如分析在线上课老师数量、学生数量,实时销售额,课堂崩溃率等,需要实时反应上课的质量问题,以便于对整个公司的业务情况有大致的了解。 方案对比 对比了很多解决方案,如下几种,列出来供参考。 方案实时入库...[2019/8/12]

flink两种安装方式

Flink Standalone 集群 HA 配置   1. HA 集群环境规划 使用三台节点实现两主两从集群(由于笔记本性能限制,不能开启太多虚拟机,其实使用三 台和四台机器在安装配置上没有本质区别) Jobmanager:hadoop100hadoop101【一个 activ...[2019/7/29]

Flink实战(八) - Streaming Connectors 编程

1 概览 1.1 预定义的源和接收器 Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。 1.2 绑定连接器 连接器提供用于与各种第三方系统连接的代码。目前...[2019/7/29]

Flink实战(六) - Table API & SQL编程

1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Proce Function嵌入到Data...[2019/7/26]

Flink实战(七) - Time & Windows编程

0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Proce ing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运...[2019/7/26]

Flink实战(七) - Time & Windows编程

0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Proce ing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运...[2019/7/23]

Flink实战(六) - Table API & SQL编程

1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Proce Function嵌入到Data...[2019/7/22]

Flink流式计算

Structured Streaming A stream is converted into a dynamic table. A continuous query is evaluated on the dynamic table yielding a new dynamic table...[2019/6/17]

Flink源码分析 - 剖析一个简单的Flink程序

本篇文章首发于头条号Flink程序是如何执行的?通过源码来剖析一个简单的Flink程序,欢迎关注头条号和微信公众号“大数据技术和人工智能”(微信搜索bigdata_ai_tech)获取更多干货,也欢迎关注我的CSDN博客。 在这之前已经介绍了如何在本地搭建Flink环境和如何创建Flink应用...[2019/6/6]

01.Flink笔记-编译、部署

Flink开发环境部署配置 Flink是一个以Java及Scala作为开发语言的开源大数据项目,代码开源在github上,并使用maven来编译和构建项目。所需工具:Java、maven、Git。 本次操作是在windows环境下。 一、工具安装 Java配置(略) maven配置 ...[2019/5/30]

Flink本地安装和创建Flink应用

原文地址:Flink本地安装和创建Flink应用 原文链接:http: www.cnblogs.com/cjblog p/10885524.html[2019/5/20]

Flink本地环境安装部署

Flink本地环境安装部署

本次主要介绍flink1.5.1版本的本地环境安装部署,该版本要求jdk版本1.8以上。 下载flink安装包:http: archive.apache.org/dist/flink/flink-1.5.1/ 解压flink安装包 tar -zxvf flink-1.5.1-bin...[2019/4/30]

Flink源码分析 - 源码构建

原文地址:https: mp.weixin.qq.com ?__biz=MzU2Njg5Nzk0NQ==&mid=2247483692&idx=1&sn=18cddc1ee0decfe24323dafdb05a048d 本篇介绍一下如何从源码构建Flink,构建Fli...[2019/4/29]

初识Flink

初识Flink

本文主要是简单介绍一下Flink基础信息,更多有关Flink的介绍可以查看官方文档。 Big Data wikipedia 大数据(Big data),又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。 百...[2019/4/15]

591
2
记录数:30 页数:1/11
加载更多