经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Scala

实时计算数据架构的演变

传统数据基础架构 传统单体数据架构最大的特点便是集中式数据存储,大多数分为计算层和存储层。 存储层,主要是负责存储企业各种系统产生的数据,如 Web 业务系统、订单系统、CRM 系统,ERP 系统、监控系统,数据比如系统的订单交易量,网站的活跃用户数,每个用户的交易额。 所有的操作均需...[2019/9/19]

flink有什么优势值得大家这么热衷

flink有什么优势值得大家这么热衷

flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。 同时 flink 支持高度容错的状态管理,防止状态在计算过程中因为系统异常而丢失,flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护...[2019/9/19]

Scala 匹配模式

模式匹配 Scala是没有Java中的switch case语法的,相对应的,Scala提供了更加强大的match case语法,即模式匹配,类替代switch case,match case也被称为模式匹配 Scala的match case与Java的switch cas...[2019/9/2]

Scala 隐式转换和隐式参数

Scala 隐式转换和隐式参数

介绍 Scala提供的隐式转换和隐式参数功能,是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定,将某种类型的对象转换成其他类型的对象。通过这些功能,可以实现非常强大,而且特殊的功能。   Scala的隐式转换,其实最核心的就是定义隐式转换函数...[2019/9/2]

Scala 数组操作之Array、ArrayBuffer以及遍历数组

ArrayBuffer   在Scala中,如果需要类似于Java中的ArrayList这种长度可变的集合类,则可以使用ArrayBuffer。   如果不想每次都使用全限定名,则可以预先导入ArrayBuffer类 import scala.c...[2019/8/30]

Scala 函数式编程

将函数赋值给变量 Scala中的函数是一等公民,可以独立定义,独立存在,而且可以直接将函数作为值赋值给变量 Scala的语法规定,将函数赋值给变量时,必须在函数后面加上空格和下划线   def sayHello(name: String) { printl...[2019/8/30]

Scala 函数式编程

将函数赋值给变量 Scala中的函数是一等公民,可以独立定义,独立存在,而且可以直接将函数作为值赋值给变量 Scala的语法规定,将函数赋值给变量时,必须在函数后面加上空格和下划线   def sayHello(name: String) { printl...[2019/8/30]

scala 函数式编程之集合操作

Scala的集合体系结构   Scala中的集合体系主要包括:Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。这个结构与Java的集合体系非常相似。   Scala中的集合是分成可变和不可变两类集合...[2019/8/30]

spark针对web日志正则匹配

    针对于web日志做分析是学习spark常用练习项目。此文介绍web日志正则匹配相关小提示。  实例测试   从网上找了一个acce 日志案列 218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] ...[2019/8/28]

Scala 系列(二)—— 基本数据类型和运算符

Scala 系列(二)—— 基本数据类型和运算符

一、数据类型 1.1 类型支持 Scala 拥有下表所示的数据类型,其中 Byte、Short、Int、Long 和 Char 类型统称为整数类型,整数类型加上 Float 和 Double 统称为数值类型。Scala 数值类型的取值范围和 Java 对应类型的取值范围相同。 数据...[2019/8/28]

Scala 基础语法

Scala 基础语法

Scala解释器的使用   ·REPL:Read(取值)-> Evaluation(求值)-> Print(打印)-> Loop(循环)。scala解释器也被称为REPL,会快速编译scala代码为字节码,然后交给JVM来执行。 &nb...[2019/8/27]

Scala 函数基础入门

函数的定义与调用 在Scala中定义函数时,需要定义函数的函数名、参数、函数体。 我们的第一个函数如下所示:      def sayHello(name: String, age: Int) = {         if (age &...[2019/8/27]

restapi(6)- do it the functional way, 重温函数式编程

  再次看了看上篇博客的源代码,发现连自己都看不懂了。想是为了赶时间交货不知不觉又回到OOP行令模式了,看看下面这段代码: (post & parameters(''pid,''desc.?,''width.as[Int].?,''heigth....[2019/8/26]

restapi(5)- rest-mongo 应用实例:分布式图片管理系统之一,rest 服务

  最近有同事提起想把网页上的图片存在MongoDB里,我十分赞同。比起把图片以文件形式存放在硬盘子目录的方式,MongoDB有太多的优势。首先,MongoDB是分布式数据库,图片可以跨服务器存储。在一个集群环境里通过复制集、分片等技术可以提高图片读取速度、实现数据的高可用和安...[2019/8/23]

Scala2.12 从入门到精通实战高端视频课程(含网盘下载地址)

  Scala快速入门到精通 下载地址链接:https: pan.baidu.com 1bqGIKyF  密码:ojwd 下载后使用视频中自带的专用播放器打开视频就能看见机器码,然后把机器码发过来,我们会根据机器码为您制作播放码 原文链接:http:...[2019/8/19]

Bookmarks - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2865/   MapReduce计算框架各个步骤详解(主要是Shuffle) - CSDN博客最近经历的一些大数据(Spark/Hadoop)面试题 - CSDN博客最新大数...[2019/8/15]

Scala面试题汇总 - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2855/ scala常见笔试题(囊括了scala的精髓)   scala最近几年很火,主要是因为其在大数据领域的应用。 下面这些面试题,基本上是scala函数式编程的精髓。 ...[2019/8/15]

重要的博客收集 - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2862/ 1.Java 用自定义类型作为HashMap的键 https: egmentfault.com/a/1190000002655085   2. MSI ca...[2019/8/15]

restapi(4)- rest-mongo : MongoDB数据库前端的httpserver

   完成了一套标准的rest风格数据库CRUD操作httpserver后发现有许多不足。主要是为了追求“通用”两个字,想把所有服务接口做的更“范generic”些,结果反而限制了目标数据库的特点,最终产生了一套功能弱小...[2019/8/12]

restapi(3)- MongoDBEngine : MongoDB Scala编程工具库

最近刚好有同事在学习MongoDB,我们讨论过MongoDB应该置于服务器端然后通过web-service为客户端提供数据的上传下载服务。我们可以用上节讨论的respapi框架来实现针对MongoDB的CRUD操作。在谈到restapi之前我在这篇讨论先介绍一下MongoDB数据库操作的scala...[2019/8/7]

Scala当中parallelize并行化的用法

[学习笔记] parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。 例如:val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分...[2019/7/29]

restapi(2)- generic restful CRUD:通用的restful风格数据库表维护工具

   研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具。前面谈过身份验证和使用权限、文件的上传下载,这次来到具体的数据库表维护。我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式。http服务端数据表维护CRUD有几个标准的部分组成:Model...[2019/7/23]

请给出一个Scala RDD的HelloWorld例子

[学习笔记]package comimport org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject TestRDD {  def main(...[2019/7/23]

windows scala helloworld例子详解

windows scala helloworld例子详解

[学习笔记] windows scala helloworld例子详解: 在操作系统中,我们的Test3.scala会生成Test3.cla ,然后cla 文件被虚拟机加载并执行, 这一点和java是一样的。 以object关键字修饰一个类名,这种语法叫做孤立对象,这个对象是单例的。...[2019/7/22]

Scala 孤立对象和单例对象方法体的用法和例子

[学习笔记] 1  以object关键字修饰一个类名,这种语法叫做孤立对象,这个对象是单例的。 相当于将单例类和单例对象同时定义。相当于java中的单例,即在内存中只会存在一个Test3实例。创建一个Scala Object,它相当于java的static, 不要用Scala-cla...[2019/7/22]

Scala当中什么是RDD(Resilient Distributed Datasets)弹性分布式数据集

RDD(Resilient Distributed Datasets)弹性分布式数据集。你不好理解的话,可以把RDD就可以看成是一个简单的"动态数组"(比如ArrayList),对其操作,也只需要 调用它的方法而已,和java中的ArrayList一样。但它与一般动态数组的区别在于:RDD是分布的...[2019/7/22]

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

[学习笔记] 一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素...[2019/7/22]

restapi(1)- 文件上传下载服务

  上次对restapi开了个头,设计了一个包括了身份验证和使用权限的restful服务开发框架。这是一个通用框架,开发人员只要直接往里面加新功能就行了。虽然这次的restapi是围绕着数据库表的CRUD操作设计的,但文件类数据在服务端与客户端之间的交换其实也很常用,特别是多媒体类如图片...[2019/7/19]

Akka-CQRS(16)- gRPC用JWT进行权限管理

   前面谈过gRPC的SSL/TLS安全机制,发现设置过程比较复杂:比如证书签名:需要服务端、客户端两头都设置等。想想实际上用JWT会更加便捷,而且更安全和功能强大,因为除JWT的加密签名之外还可以把私密的用户信息放在JWT里加密后在服务端和客户端之间传递。当然,最基本的是通...[2019/7/16]

Windows32位或64位下载安装配置Scala

[学习笔记]   Windows 32位或64位下载安装配置Scala:1)下载地址:http: www.scala-lang.org/download/,看我的spark那节,要求scala是2.11以上,我就下载:scala-2.11.8.msi。2)安装:双击scala-2...[2019/7/12]

restapi(0)- 平台数据维护,写在前面

restapi(0)- 平台数据维护,写在前面

   在云计算的推动下,软件系统发展趋于平台化。云平台系统一般都是分布式的集群系统,采用大数据技术。在这方面akka提供了比较完整的开发技术支持。我在上一个系列有关CQRS的博客中按照实际应用的要求对akka的一些开发技术进行了介绍。CQRS模式着重操作流程控制,主要涉及交易数...[2019/7/11]

Akka-CQRS(15)- Http标准安全解决方案:OAuth2+JWT

Akka-CQRS(15)- Http标准安全解决方案:OAuth2+JWT

  上期讨论过OAuth2, 是一种身份认证+资源授权使用模式。通过身份认证后发放授权凭证。用户凭授权凭证调用资源。这个凭证就是一种令牌,基本上是一段没什么意义的加密文,或者理解成密钥也可以。服务方通过这个令牌来获取用户身份信息,也就是说服务端必须维护一个已经获得身份验证的用户信息清单。...[2019/7/10]

Akka-CQRS(14)- Http标准安全解决方案:OAuth2-资源使用授权

   上一篇讨论了SSL/TLS安全连接,主要是一套在通信层面的数据加密解决方案。但我们更需要一套方案来验证客户端。要把不能通过验证的网络请求过滤掉。 OAuth2是一套行业标准的网络资源使用授权协议,也就是为用户提供一种授权凭证,用户凭授权凭证来使用网络资源。申请凭证、然后...[2019/7/5]

Akka-CQRS(13)- SSL/TLS for gRPC and HTTPS:自签名证书产生和使用

  到现在,我们已经完成了POS平台和前端的网络集成。不过,还是那句话:平台系统的网络安全是至关重要的。前一篇博客里我们尝试实现了gRPC l/tls网络连接,但测试时用的证书如何产生始终没有搞清楚。现在akka-http开发的ws同样面临HTTPS的设置和使用问题。所以,特别抽出这篇...[2019/6/24]

play framework + sbt入门之环境搭建

一 sbt的使用 SBT = (not so) Simple Build Tool,是scala的构建工具,与java的maven地位相同。其设计宗旨是让简单的项目可以简单的配置,而复杂的项目可以复杂的配置。 sbt使用了ivy,默认将依赖包保存在用户目录.ivy下面,如果觉得默认路径不合...[2019/6/21]

Akka-CQRS(12)- akka-http for http-web-service: Routing-服务项目接口

Akka-CQRS(12)- akka-http for http-web-service: Routing-服务项目接口

   上篇提到,按当前对web-service功能需要,我们需要完成数据转换marshalling,服务接口routing这两部分的调研和示范。上篇已经完成了对序列化marshalling的讨论,这篇就介绍一下routing了。akka-http提供了一套功能强大,使用又很方便...[2019/6/20]

Akka-CQRS(11)- akka-http for http-web-service: Marshalling-数据序列化

Akka-CQRS(11)- akka-http for http-web-service: Marshalling-数据序列化

  前面几篇讨论了关于gRPC方式的前后端连接集成方式。gRPC也是一个开放的标准,但讲到普及性就远远不及基于http/1.1协议的web-service了。特别是gRPC的前端编程还是有一定的门槛,所以作为一种开放的网络大平台还是必须考虑用web-service方式的集成。平台服务ap...[2019/6/20]

Scala可变参数列表,命名参数和参数缺省详解

Scala可变参数列表,命名参数和参数缺省详解

重复参数 Scala在定义函数时允许指定最后一个参数可以重复(变长参数),从而允许函数调用者使用变长参数列表来调用该函数,Scala中使用“*”来指明该参数为重复参数。例如: scala> def echo (args: String *) = | for (arg...[2019/6/19]

Scala常用List列表操作方法示例

Scala常用List列表操作方法示例

把Scala List的几种常见方法梳理汇总如下,日常开发场景基本上够用了。 创建列表 scala> val days = List("Sunday", "Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Satu...[2019/6/18]

详解Java中的scala正则表达式

Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式。 eg:使用正则表达式查找单词 Scala 实例中使用 String 类的 r() 方法构造了一个Regex对象。(也可直接new一个Regex对象实例)然后使用 findFirstIn...[2019/6/18]

Scala中正则表达式以及与模式匹配结合(多种方式)

正则表达式 """原生表达 val regex="""([0-9]+)([a-z]+)""".r val numPattern="[0-9]+".r val numberPattern="""\s+[0-9]+\s+""".r 说明:.r()方法简介:Scala...[2019/6/18]

scala当中的文件操作和网络请求的实现方法

1、读取文件当中每一行的数据 def main(args: Array[String]): Unit = { 注意文件的编码格式,如果编码格式不对,那么读取报错 val file: BufferedSource = Source.fromFile("F:\\file...[2019/6/17]

Scala求和示例代码

Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上,并兼容现有的Java程序。 Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。 ...[2019/6/17]

如何利用 Either 和 Option 进行函数式错误处理

前言 我将讨论 Scala 风格的模式匹配,但首先我需要通过 Either 概念建立一些背景知识。Either 的其中一个用法是函数式风格的错误处理,我会在本期文章中对其进行介绍。 在 Java 中,错误的处理在传统上由异常以及创建和传播异常的语言支持进行。但是,如果不存在结构化异常处理又...[2019/6/13]

【SCALA】2、驼峰,下划线互转

  1、刚开始写scala,发现确实还是很不熟悉,api以及语法的使用都不是很简洁,这写出来跟java也没差多少。。。 献丑了   package spark /** * @ProjectName: cutter-point * @Pack...[2019/6/12]

Akka-CQRS(8)- CQRS Reader Actor 应用实例

  前面我们已经讨论了CQRS-Reader-Actor的基本工作原理,现在是时候在之前那个POS例子里进行实际的应用示范了。 假如我们有个业务系统也是在ca andra上的,那么reader就需要把从日志读出来的事件恢复成ca andra表里的数据行row。首先,我们需要在ca a...[2019/5/31]

spark与Scala安装过程和步骤及sparkshell命令的使用

Spark与Scala版本兼容问题: Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本(2.12.x)。 请注意,自Spark 2.2.0...[2019/5/27]

Scala快速入门 - 基础语法篇

Scala快速入门 - 基础语法篇

原文地址:Scala快速入门 - 基础语法篇 原文链接:http: www.cnblogs.com/cjblog p/10904595.html[2019/5/23]

14. Scala使用递归的方式去思考,去编程

14.1 基本介绍       -Scala饰运行在Java虚拟机(Java Virtual Machine)之上,因此具有如下特点         1) 轻松实现和丰富的Java类库互联互通         2) 它既支持面向对象的编程方式,又支持函数式编程         3) ...[2019/5/22]

Akka-CQRS(7)- CQRS Reader Actor 示范

   我们在这篇通过一个具体CQRS-Reader-Actor的例子来示范akka-persistence的query端编程和应用。在前面的博客里我们设计了一个CQRS模式POS机程序的操作动作录入过程,并示范了如何实现CQRS的写端编程。现在我们可以根据这个例子来示范如何通过...[2019/5/21]

346
2
记录数:126 页数:1/3123下一页尾页
加载更多