经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Flink

flink编译支持CDH6.2.0(hadoop3.0.0)

准备工作 因为在编译时需要下载许多依赖包,在执行编译前最好先配置下代理仓库 <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mi...[2020/1/20]

Flink入门(五)——DataSet Api编程指南

Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天,Flink正在飞速发展。由于性能的优势和兼顾批处理,流处理的特性,Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink...[2020/1/7]

flink time and watermark

流处理中时间本质上就是一个普通的递增字段(long型,自1970年算起的微秒数),不一定真的表示时间。 watermark只是应对乱序的办法之一,大多是启发式的,在延迟和完整性之间抉择。(如果没有延迟,就不够完整;如果有延迟,极端情况就是批处理,当然完整性足够高)   o...[2019/12/23]

flink基本原理

一、简介 开源流式处理系统在不断地发展,从一开始只关注低延迟指标到现在兼顾延迟、吞吐与结果准确性,在发展过程中解决了很多问题,编程API的易用性也在不断地提高。本文介绍一下 Flink 中的核心概念,这些概念是学习与使用 Flink 十分重要的基础知识,在后续开发 Flink 程序过...[2019/12/16]

「漏洞预警」Apache Flink 任意 Jar 包上传导致远程代码执行漏洞复现

漏洞描述 Apache Flink是一个用于分布式流和批处理数据的开放源码平台。Flink的核心是一个流数据流引擎,它为数据流上的分布式计算提供数据分发、通信和容错功能。Flink在流引擎之上构建批处理,覆盖本地迭代支持、托管内存和程序优化。近日有安全研究人员发现apache flin...[2019/11/26]

flink 流式处理中如何集成mybatis框架

flink 流式处理中如何集成mybatis框架

flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开...[2019/11/20]

Flink入门(一)——Apache Flink介绍

Apache Flink是什么? ? 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎A...[2019/11/19]

[Flink]测试用的fake温度传感器

 

Storm VS Flink ——性能对比

1.背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API ...[2019/9/12]

Flink文章测试

Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 Flink文章测试 原文链接:http:...[2019/9/12]

Flink中TaskManager端执行用户逻辑过程(源码分析)

Flink中TaskManager端执行用户逻辑过程(源码分析)

TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProce or类的proce Input()方法中 通过一个while(true)中不停的拉取上游的数据,然后调用streamOperator.proce...[2019/9/11]

快速构建第一个Flink工程

本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行. 在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。 ...[2019/9/10]

超越Storm,SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件,Storm就是无状态的计算框架,每一条消息来了以后和前后都没有关系,一条是一条。比如我们接收电力系统传感器的数据,当电压超过240v就报警,这就是无状态的数据。但是如果我们需要同时判断多个电压,比如三相电路,我们判断三...[2019/9/10]

Flink的Job启动TaskManager端(源码分析)

Flink的Job启动TaskManager端(源码分析)

前面说到了  Flink的TaskManager启动(源码分析)  启动了TaskManager 然后  Flink的Job启动JobManager端(源码分析)  说到JobManager会将转化得到的TDD发送到Task...[2019/9/10]

统一批处理流处理——Flink批流一体实现原理

实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处理的呢? 无限流处理:输入数据没有尽头;数据处理从当前或者过去的某一个时间...[2019/9/10]

Flink中Periodic水印和Punctuated水印实现原理(源码分析)

在用户代码中,我们设置生成水印和事件时间的方法a ignTimestampsAndWatermarks()中这里有个方法的重载 我们传入的对象分为两种 A ignerWithPunctuatedWatermarks(可以理解为每条数据都会产生水印,如果不想产生水印,返回一个nul...[2019/9/2]

Flink中Idle停滞流机制(源码分析)

前几天在社区群上,有人问了一个问题   既然上游最小水印会决定窗口触发,那如果我上游其中一条流突然没有了数据,我的窗口还会继续触发吗? 看到这个问题,我蒙了???? 对哈,因为我是选择上游所有流中水印最小的一条作为当前水印时间,那万一最小水印的那条流突然里面没有数据了 那...[2019/9/2]

Flink的Job启动JobManager端(源码分析)

通过前面的文章了解到 Driver将用户代码转换成streamGraph再转换成Jobgraph后向Jobmanager端提交 JobManager启动以后会在Dispatcher.java起来RPC方法submitJob(jobGraph),用于接收来自Driver转化得到的J...[2019/8/30]

Flink快速入门--安装与示例运行

flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。 首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https: flink...[2019/8/29]

Flink的Job启动Driver端(源码分析)

整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 JobManager转化成execut...[2019/8/28]

Flink的TaskManager启动(源码分析)

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner 来看一下它的main方法中 最后被start了起来 start其实是将taskManager...[2019/8/27]

Flink 1.8 Basic API Concepts 基本API概念

参考:https: ci.apache.org/project flink/flink-docs-release-1.8/dev/api_concepts.html DataSet and DataStream Flink具有特殊类DataSet和DataStream来表示程序中的数...[2019/8/19]

Flink+Druid构建实时OLAP的探索

场景 k12在线教育公司的业务场景中,有一些业务场景需要实时统计和分析,如分析在线上课老师数量、学生数量,实时销售额,课堂崩溃率等,需要实时反应上课的质量问题,以便于对整个公司的业务情况有大致的了解。 方案对比 对比了很多解决方案,如下几种,列出来供参考。 方案实时入库...[2019/8/12]

flink两种安装方式

flink两种安装方式

Flink Standalone 集群 HA 配置   1. HA 集群环境规划 使用三台节点实现两主两从集群(由于笔记本性能限制,不能开启太多虚拟机,其实使用三 台和四台机器在安装配置上没有本质区别) Jobmanager:hadoop100hadoop101【一个 activ...[2019/7/29]

Flink实战(八) - Streaming Connectors 编程

1 概览 1.1 预定义的源和接收器 Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。 1.2 绑定连接器 连接器提供用于与各种第三方系统连接的代码。目前...[2019/7/29]

Flink实战(六) - Table API & SQL编程

Flink实战(六) - Table API & SQL编程

1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Proce Function嵌入到Data...[2019/7/26]

Flink实战(七) - Time & Windows编程

0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Proce ing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运...[2019/7/26]

Flink实战(七) - Time & Windows编程

0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Proce ing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运...[2019/7/23]

Flink实战(六) - Table API & SQL编程

1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Proce Function嵌入到Data...[2019/7/22]

Flink流式计算

Flink流式计算

Structured Streaming A stream is converted into a dynamic table. A continuous query is evaluated on the dynamic table yielding a new dynamic table...[2019/6/17]

Flink源码分析 - 剖析一个简单的Flink程序

本篇文章首发于头条号Flink程序是如何执行的?通过源码来剖析一个简单的Flink程序,欢迎关注头条号和微信公众号“大数据技术和人工智能”(微信搜索bigdata_ai_tech)获取更多干货,也欢迎关注我的CSDN博客。 在这之前已经介绍了如何在本地搭建Flink环境和如何创建Flink应用...[2019/6/6]

01.Flink笔记-编译、部署

Flink开发环境部署配置 Flink是一个以Java及Scala作为开发语言的开源大数据项目,代码开源在github上,并使用maven来编译和构建项目。所需工具:Java、maven、Git。 本次操作是在windows环境下。 一、工具安装 Java配置(略) maven配置 ...[2019/5/30]

Flink本地安装和创建Flink应用

原文地址:Flink本地安装和创建Flink应用 原文链接:http: www.cnblogs.com/cjblog p/10885524.html[2019/5/20]

Flink本地环境安装部署

本次主要介绍flink1.5.1版本的本地环境安装部署,该版本要求jdk版本1.8以上。 下载flink安装包:http: archive.apache.org/dist/flink/flink-1.5.1/ 解压flink安装包 tar -zxvf flink-1.5.1-bin...[2019/4/30]

Flink源码分析 - 源码构建

Flink源码分析 - 源码构建

原文地址:https: mp.weixin.qq.com ?__biz=MzU2Njg5Nzk0NQ==&mid=2247483692&idx=1&sn=18cddc1ee0decfe24323dafdb05a048d 本篇介绍一下如何从源码构建Flink,构建Fli...[2019/4/29]

初识Flink

本文主要是简单介绍一下Flink基础信息,更多有关Flink的介绍可以查看官方文档。 Big Data wikipedia 大数据(Big data),又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。 百...[2019/4/15]

591
2
记录数:42 页数:1/11
加载更多