经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 Scala

Spark Core知识点复习-1

Day1111 Spark任务调度 Spark几个重要组件 Spark Core RDD的概念和特性 生成RDD的两种类型 RDD算子的两种类型 算子练习 分区 RDD的依赖关系 DAG:有向无环图 任务提交 缓存 ...[2019/11/12]

restapi(9)- caching, akka-http 缓存

restapi作为前后端交互的枢纽:面对大批量的前端请求,需要确保回复的及时性。使用缓存是一项有效工具。我们可以把多数前端请求的回复response存入缓存,特别是一些需要大量计算才能获取的回复值,更可以大大提高后端的反应速度。值得庆幸的是akka-http已经提供了对缓存的支持,是基于...[2019/11/12]

Scala Types 2

Scala Types 2

存在类型 形式: forSome { type ... } 或 forSome { val ... } 主要为了兼容 Java 的通配符 示例 Array[_] 等价于 Array[T] forSome { type T} Map[_, _] 等价于 Map[T, U] f...[2019/11/4]

Scala Types 1

在 Scala 中所有值都有一种对应的类型 单例类型 形式:value.type,返回类型 value / null 场景1:链式API调用时的类型指定 cla Super { def m1(t: Int) = {println(t); this} def m2(t: I...[2019/10/30]

restapi(8)- restapi-sql:用户自主的服务

  学习函数式编程初衷是看到自己熟悉的oop编程语言和sql数据库在现代商业社会中前景暗淡,准备完全放弃windows技术栈转到分布式大数据技术领域的。但是在现实中理想总是不如人意,本来想在一个规模较小的公司展展拳脚,以为小公司会少点历史包袱,有利于全面技术改造。但现实是:即使...[2019/10/29]

新手如何进入大数据领域,学习路线是什么

大数据不是某个专业或一门编程语言,实际上它是一系列技术的组合运用。 有人通过下方的等式给出了大数据的定义。 大数据 = 编程技巧 + 数据结构和算法 + 分析能力 + 数据库技能 + 数学 + 机器学习 + NLP + OS + 密码学 + 并行编程 虽然这个等式看起来很长...[2019/10/12]

Scala Type Parameters 2

类型关系 Scala 支持在泛型类上使用型变注释,用来表示复杂类型、组合类型的子类型关系间的相关性 协变 +T,变化方向相同,通常用在生产 假设 A extends T, 对于 Clazz[+T],则 Clazz[A] 也可看做 Clazz[T] 官网示例 abstr...[2019/10/10]

Scala Type Parameters 1

类型参数 表现形式:在名称后面以方括号表示, Array[T] 何处使用 cla 中,用于定义变量、入参、返回值 cla Pair[T, S](val first: T, val second: S) scala 可自动推断具体的类型 val p = new Pair(42...[2019/10/9]

Scala Class etc. 2

Higher-Order Functions def 定义的是方法,而不是函数 函数可作为变量存在,可直接调用,也可作为值传递给其他函数 _ 后缀将普通方法变为函数: ceil _ 根据上下文编译器可以自动将方法转换为函数,也可省略 _ 后缀 高阶函数,接收函数的函数 参数类型推导 ...[2019/10/8]

Scala Operators, File & RegExp

Scala Operators, File & RegExp

Operators Thread.`yield`() 反引号除了用于命名标识符,还可以在调用方法时避免冲突(yield 为 Scala 关键字,但也是 Thread 的方法) 中缀运算符(infix operators),实际是带两个参数的方法,定义时跟普通方法一样;a to b 实际是...[2019/10/8]

Scala Collection Method

接收一元函数 map 转换元素,主要应用于不可变集合 (1 to 10).map(i => i * i) (1 to 10).flatMap(i => (1 to i).map(j => i * j)) transform 与 map 相同,不过用于可变集合,直...[2019/10/8]

Scala XML

XML 直接在代码中使用 XML 字面量 val doc: Elem = <html><head><title>Test</title></head><body>test</body></htm...[2019/10/8]

Scala Future

Future scala.concurrent.Future 异步执行代码块 import java.time._ import scala.concurrent._ import ExecutionContext.Implicits.global 全局线程池 Future { ...[2019/10/8]

restapi(7)- 谈谈函数式编程的思维模式和习惯

restapi(7)- 谈谈函数式编程的思维模式和习惯

  国庆前,参与了一个c# .net 项目,真正重新体验了一把搬砖感觉:在一个多月时间好像不加任何思考,不断敲键盘加代码。我想,这也许是行业内大部分中小型公司程序猿的真实写照:都是坐在电脑前的搬砖工人。不过也不是没有任何收获,在搬砖的过程中我似乎发现了一些现象和造成这些现象背后...[2019/10/8]

Scala Class etc.

Cla es 一个源文件可包含多个类,每个类默认都是 public 类字段必须初始化,编译后默认是 private,自动生成 public 的 getter etter ;Person 示例 private 字段,生成 private 的 getter etter val 字段,只生成...[2019/9/30]

Scala Basis

基础 Scala 中数据类型也是 cla 7 种数值类型: Byte, Char, Short, Int, Long, Float, and Double Boolean 类型 原始类型与 cla 类型无区别,可在数字上调用方法(隐式转换为对应的方法调用,如对 Int 操作转为 ...[2019/9/29]

Scala Data Structure

Arrays Array 固定长度;ArrayBuffer 可变长度 arr.toBuffer, buf.toArray 初始化是不要使用 new 使用 () 访问元素 使用 for (elem <- arr) 遍历元素;倒序 arr.reverse 使用 for (elem ...[2019/9/29]

[Scala]集合中List元素转Tuple元素的函数迭代写法

____ 本文链接: https: www.cnblogs.com enwren/p/Scala-Lis-2-Tuple.html ——   Scala没有提供相应写法, 但迭代写法仍然可以做到。   有两种写法...[2019/9/26]

实时计算数据架构的演变

传统数据基础架构 传统单体数据架构最大的特点便是集中式数据存储,大多数分为计算层和存储层。 存储层,主要是负责存储企业各种系统产生的数据,如 Web 业务系统、订单系统、CRM 系统,ERP 系统、监控系统,数据比如系统的订单交易量,网站的活跃用户数,每个用户的交易额。 所有的操作均需...[2019/9/19]

flink有什么优势值得大家这么热衷

flink有什么优势值得大家这么热衷

flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。 同时 flink 支持高度容错的状态管理,防止状态在计算过程中因为系统异常而丢失,flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护...[2019/9/19]

Scala 匹配模式

模式匹配 Scala是没有Java中的switch case语法的,相对应的,Scala提供了更加强大的match case语法,即模式匹配,类替代switch case,match case也被称为模式匹配 Scala的match case与Java的switch cas...[2019/9/2]

Scala 隐式转换和隐式参数

介绍 Scala提供的隐式转换和隐式参数功能,是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定,将某种类型的对象转换成其他类型的对象。通过这些功能,可以实现非常强大,而且特殊的功能。   Scala的隐式转换,其实最核心的就是定义隐式转换函数...[2019/9/2]

Scala 数组操作之Array、ArrayBuffer以及遍历数组

ArrayBuffer   在Scala中,如果需要类似于Java中的ArrayList这种长度可变的集合类,则可以使用ArrayBuffer。   如果不想每次都使用全限定名,则可以预先导入ArrayBuffer类 import scala.c...[2019/8/30]

Scala 函数式编程

将函数赋值给变量 Scala中的函数是一等公民,可以独立定义,独立存在,而且可以直接将函数作为值赋值给变量 Scala的语法规定,将函数赋值给变量时,必须在函数后面加上空格和下划线   def sayHello(name: String) { printl...[2019/8/30]

Scala 函数式编程

Scala 函数式编程

将函数赋值给变量 Scala中的函数是一等公民,可以独立定义,独立存在,而且可以直接将函数作为值赋值给变量 Scala的语法规定,将函数赋值给变量时,必须在函数后面加上空格和下划线   def sayHello(name: String) { printl...[2019/8/30]

scala 函数式编程之集合操作

Scala的集合体系结构   Scala中的集合体系主要包括:Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。这个结构与Java的集合体系非常相似。   Scala中的集合是分成可变和不可变两类集合...[2019/8/30]

spark针对web日志正则匹配

    针对于web日志做分析是学习spark常用练习项目。此文介绍web日志正则匹配相关小提示。  实例测试   从网上找了一个acce 日志案列 218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] ...[2019/8/28]

Scala 系列(二)—— 基本数据类型和运算符

一、数据类型 1.1 类型支持 Scala 拥有下表所示的数据类型,其中 Byte、Short、Int、Long 和 Char 类型统称为整数类型,整数类型加上 Float 和 Double 统称为数值类型。Scala 数值类型的取值范围和 Java 对应类型的取值范围相同。 数据...[2019/8/28]

Scala 基础语法

Scala解释器的使用   ·REPL:Read(取值)-> Evaluation(求值)-> Print(打印)-> Loop(循环)。scala解释器也被称为REPL,会快速编译scala代码为字节码,然后交给JVM来执行。 &nb...[2019/8/27]

Scala 函数基础入门

函数的定义与调用 在Scala中定义函数时,需要定义函数的函数名、参数、函数体。 我们的第一个函数如下所示:      def sayHello(name: String, age: Int) = {         if (age &...[2019/8/27]

restapi(6)- do it the functional way, 重温函数式编程

  再次看了看上篇博客的源代码,发现连自己都看不懂了。想是为了赶时间交货不知不觉又回到OOP行令模式了,看看下面这段代码: (post & parameters(''pid,''desc.?,''width.as[Int].?,''heigth....[2019/8/26]

restapi(5)- rest-mongo 应用实例:分布式图片管理系统之一,rest 服务

  最近有同事提起想把网页上的图片存在MongoDB里,我十分赞同。比起把图片以文件形式存放在硬盘子目录的方式,MongoDB有太多的优势。首先,MongoDB是分布式数据库,图片可以跨服务器存储。在一个集群环境里通过复制集、分片等技术可以提高图片读取速度、实现数据的高可用和安...[2019/8/23]

Scala2.12 从入门到精通实战高端视频课程(含网盘下载地址)

  Scala快速入门到精通 下载地址链接:https: pan.baidu.com 1bqGIKyF  密码:ojwd 下载后使用视频中自带的专用播放器打开视频就能看见机器码,然后把机器码发过来,我们会根据机器码为您制作播放码 原文链接:http:...[2019/8/19]

Bookmarks - 雄霸天下-无人能挡

Bookmarks - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2865/   MapReduce计算框架各个步骤详解(主要是Shuffle) - CSDN博客最近经历的一些大数据(Spark/Hadoop)面试题 - CSDN博客最新大数...[2019/8/15]

Scala面试题汇总 - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2855/ scala常见笔试题(囊括了scala的精髓)   scala最近几年很火,主要是因为其在大数据领域的应用。 下面这些面试题,基本上是scala函数式编程的精髓。 ...[2019/8/15]

重要的博客收集 - 雄霸天下-无人能挡

文章转载自:http: www.pythonheidong.com/blog/article/2862/ 1.Java 用自定义类型作为HashMap的键 https: egmentfault.com/a/1190000002655085   2. MSI ca...[2019/8/15]

restapi(4)- rest-mongo : MongoDB数据库前端的httpserver

   完成了一套标准的rest风格数据库CRUD操作httpserver后发现有许多不足。主要是为了追求“通用”两个字,想把所有服务接口做的更“范generic”些,结果反而限制了目标数据库的特点,最终产生了一套功能弱小...[2019/8/12]

restapi(3)- MongoDBEngine : MongoDB Scala编程工具库

最近刚好有同事在学习MongoDB,我们讨论过MongoDB应该置于服务器端然后通过web-service为客户端提供数据的上传下载服务。我们可以用上节讨论的respapi框架来实现针对MongoDB的CRUD操作。在谈到restapi之前我在这篇讨论先介绍一下MongoDB数据库操作的scala...[2019/8/7]

Scala当中parallelize并行化的用法

Scala当中parallelize并行化的用法

[学习笔记] parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。 例如:val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分...[2019/7/29]

restapi(2)- generic restful CRUD:通用的restful风格数据库表维护工具

restapi(2)- generic restful CRUD:通用的restful风格数据库表维护工具

   研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具。前面谈过身份验证和使用权限、文件的上传下载,这次来到具体的数据库表维护。我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式。http服务端数据表维护CRUD有几个标准的部分组成:Model...[2019/7/23]

请给出一个Scala RDD的HelloWorld例子

请给出一个Scala RDD的HelloWorld例子

[学习笔记]package comimport org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject TestRDD {  def main(...[2019/7/23]

windows scala helloworld例子详解

[学习笔记] windows scala helloworld例子详解: 在操作系统中,我们的Test3.scala会生成Test3.cla ,然后cla 文件被虚拟机加载并执行, 这一点和java是一样的。 以object关键字修饰一个类名,这种语法叫做孤立对象,这个对象是单例的。...[2019/7/22]

Scala 孤立对象和单例对象方法体的用法和例子

[学习笔记] 1  以object关键字修饰一个类名,这种语法叫做孤立对象,这个对象是单例的。 相当于将单例类和单例对象同时定义。相当于java中的单例,即在内存中只会存在一个Test3实例。创建一个Scala Object,它相当于java的static, 不要用Scala-cla...[2019/7/22]

Scala当中什么是RDD(Resilient Distributed Datasets)弹性分布式数据集

Scala当中什么是RDD(Resilient Distributed Datasets)弹性分布式数据集

RDD(Resilient Distributed Datasets)弹性分布式数据集。你不好理解的话,可以把RDD就可以看成是一个简单的"动态数组"(比如ArrayList),对其操作,也只需要 调用它的方法而已,和java中的ArrayList一样。但它与一般动态数组的区别在于:RDD是分布的...[2019/7/22]

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

[学习笔记] 一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素...[2019/7/22]

restapi(1)- 文件上传下载服务

  上次对restapi开了个头,设计了一个包括了身份验证和使用权限的restful服务开发框架。这是一个通用框架,开发人员只要直接往里面加新功能就行了。虽然这次的restapi是围绕着数据库表的CRUD操作设计的,但文件类数据在服务端与客户端之间的交换其实也很常用,特别是多媒体类如图片...[2019/7/19]

Akka-CQRS(16)- gRPC用JWT进行权限管理

   前面谈过gRPC的SSL/TLS安全机制,发现设置过程比较复杂:比如证书签名:需要服务端、客户端两头都设置等。想想实际上用JWT会更加便捷,而且更安全和功能强大,因为除JWT的加密签名之外还可以把私密的用户信息放在JWT里加密后在服务端和客户端之间传递。当然,最基本的是通...[2019/7/16]

Windows32位或64位下载安装配置Scala

Windows32位或64位下载安装配置Scala

[学习笔记]   Windows 32位或64位下载安装配置Scala:1)下载地址:http: www.scala-lang.org/download/,看我的spark那节,要求scala是2.11以上,我就下载:scala-2.11.8.msi。2)安装:双击scala-2...[2019/7/12]

restapi(0)- 平台数据维护,写在前面

   在云计算的推动下,软件系统发展趋于平台化。云平台系统一般都是分布式的集群系统,采用大数据技术。在这方面akka提供了比较完整的开发技术支持。我在上一个系列有关CQRS的博客中按照实际应用的要求对akka的一些开发技术进行了介绍。CQRS模式着重操作流程控制,主要涉及交易数...[2019/7/11]

Akka-CQRS(15)- Http标准安全解决方案:OAuth2+JWT

Akka-CQRS(15)- Http标准安全解决方案:OAuth2+JWT

  上期讨论过OAuth2, 是一种身份认证+资源授权使用模式。通过身份认证后发放授权凭证。用户凭授权凭证调用资源。这个凭证就是一种令牌,基本上是一段没什么意义的加密文,或者理解成密钥也可以。服务方通过这个令牌来获取用户身份信息,也就是说服务端必须维护一个已经获得身份验证的用户信息清单。...[2019/7/10]

346
2
记录数:144 页数:1/3123下一页尾页
加载更多