课程介绍：

Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具有非常好的易用性。

课程大纲

Spark的架构设计
1.1 Spark的速度为什么如此的快？
1.2 Spark 生态系统
1.3 Spark的架构设计剖析
1.4 RDD计算流程解析
1.5 Spark的出色容错机制
1.6 Spark分布式架构与单机多核架构的异同
1.7 Spark的企业级应用
l Spark在Amazon中的应用
l Spark在Yahoo!的应用
l Spark在西班牙电信的应用
l Spark在淘宝的应用
 

Spark集群的安装和设置
2.1 在一台机器上运行Spark
2.2 在Mesos上部署Spark
2.3 在YARN上部署Spark
2.4 通过SSH在众多机器上部署Spark
2.5 Spark集群设置
 

Spark开发环境配置及流程
3.1 Scala简介、为什么Spark会使用Scala作为开发语言
3.2使用Eclipse开发Spark程序
3.3深入使用Spark Shell
3.4远程调试Spark程序
3.5 Spark编译
3.6配置Spark源码阅读环境
3.6.1 Maven
3.6.2
3.7 Spark 编程实战Java\Scala\Python语言的案例
3.7.1 Spark WordCount
3.7.2 Spark 排序
3.7.3. 使用Spark读取HDFS\File 数据
 

快速掌握Scala
4.1 Scala变量声明、操作符、函数的使用实战
4.2 apply方法
4.3 Scal的控制结构和函数
4.4 Scala数组的操作、Map的操作
4.5 Scala中的类
4.6 Scala中对象的使用；
4.7 Scala中的继承
4.8 Scala中的特质
4.9 Scala中集合操作
 

Spark On Yarn
l Spark on Yarn & Spark as a service
l Spark on Yarn原理
l Spark on Yarn实践
l JobServer架构
l JobServer API介绍
l JobServer配置与部署
 

SparkContext解析和数据加载以及存储
6.1 源码剖析SparkContext
6.2 Scala、Java、Python使用SparkContext
6.4 加载数据成为RDD
6.5 把数据物化
 

深入实战RDD
7.1 DAG
7.2 深入实战各种Scala RDD Function
7.3 Spark Java   RDD Function
7.4 RDD的优化问题
 

Shark与Spark SQL
l Shark与Hive及Shark数据模型
l 安装和配置Shark及Shark数据类型
l 使用Shark处理数据
l 在Spark程序中使用Shark Queries
l SharkServer
l Spark SQL架构
l Parquet支持
l DSL
l SQL on RDD&UDF&JDBC Server
l DataFrame API
l Hive交互
l 外部数据源API
l 与Spark其他组件的交互
l Catalyst查询优化器
 

Spark程序的测试
9.1 编写可测试的Spark程序
9.2 Spark测试框架解析
9.3 Spark测试代码实战
 

Spark   Streaming
l Spark Streaming概述
l Spark Streaming安装
l 和 Storm 性能对比分析
l DStream
l Operations
l Persistence