#9527

极客时间《Spark核心原理与实战》掌握亿级Spark数据分析之道

课程介绍

Spark核心原理与实战【完结】

此“王磊-Spark核心原理与实战课程 掌握亿级Spark数据分析之道”课程由千年教育收集整理。

Spark通过构建一个同时支持大数据和人工智能的统一数据分析平台，让大数据问题变得简单，让更多的公司和机构从大数据中获益。作为大数据中最受欢迎的分析工具，Spark博大精深，且发展迅速，它也影响改变着我们每个人的工作和生活。掌握Spark就是掌握了大数据时代的脉搏，对大数据开发工程师来说，掌握Spark可谓至关重要。

但是，如果不能很好的理解Spark背后的原理，就无法充分发挥Spark的功能特点。如何保障可扩展性和高效性是数据模型设计的关键，是学习Spark的难点之一。如何保证系统任务长期稳定，基于海量数据的任务调优，则是学习Spark的又一个关键难点。

讲师介绍

王磊老师是《offer来了：Java面试核心知识点精讲.原理篇》&《offer来了：Java面试核心知识点精讲.架构篇》两本书的作者，并且有着十余年丰富的物联网、大数据研发以及技术架构经验，对物联网及大数据的原理和技术实现有着深刻理解。长期从事海外项目的研发和交付工作，对异地多活数据中心的建设及高可用、高并发系统的设计，有丰富的实战经验。

你将获得

深入理解Spark内核原理；

熟练掌握Spark API及使用场景；

全面解析Spark性能调优方案；

快速搞定Spark ML机器学习实战

课程大纲

| ├──01-课程介绍.mp4 29.65M
| ├──02-内容综述.mp4 47.40M
| ├──03-Spark简介及生态介绍.mp4 73.03M
| ├──04-Spark原理及特点：模块概述+特点.mp4 78.47M
| ├──05-Spark原理及特点：运行模式+集群组角色.mp4 76.12M
| ├──06-Spark原理及特点：Spark作业运行流程.mp4 88.56M
| ├──07-Spark的运行环境安装：Standalone入门实战.mp4 22.19M
| ├──08-Spark的运行环境安装：YARN入门实战.mp4 28.22M
| ├──09-Spark批处理做作业入门Demo.mp4 42.98M
| ├──10-Spark流处理做作业入门Demo.mp4 38.50M
| ├──11-SparkRDD原理：RDD抽象及相关概念.mp4 46.69M
| ├──12-SparkRDD原理：RDD依赖关系、Stage、RDD持久化、SparkPreferredLocation及CheckPoint原理和使用.mp4 25.00M
| ├──13-SparkRDD实战：如何利用外部数据集生成RDD？.mp4 44.85M
| ├──14-SparkRDD实战：Transformation和Action概念、LazyLoad及SparkFunction的3种实现方式.mp4 98.25M
| ├──15-SparkRDD实战：常用Transformation原理及实战.mp4 63.22M
| ├──16-SparkRDD实战：Action原理和实战、Spark广播变量原理和使用.mp4 102.15M
| ├──17-SparkSQL、DataFrame、DataSet原理和使用.mp4 36.53M
| ├──18-SparkSQLJoin操作及SparkSQLFunction.mp4 70.45M
| ├──19-SparkSQL原理和执行过程.mp4 22.73M
| ├──20-常用数据格式原理和使用：TEXT、CSV、JSON、PARQUET在Spark中的使用.mp4 177.62M
| ├──21-常用数据格式原理和使用：ORC、AVRO在Spark中的使用.mp4 39.93M
| ├──22-SparkConnecter：HDFS及HBase.mp4 69.31M
| ├──23-SparkConnecter：MongoDB.mp4 62.33M
| ├──24-SparkConnecter：Cassandra.mp4 25.52M
| ├──25-SparkConnecter：MySQL及Kafka.mp4 63.02M
| ├──26-SparkConnecter：ElasticSearch.mp4 26.51M
| ├──27-SparkStearming原理及实战：创建一个SparkStreaming应用.mp4 24.52M
| ├──28-SparkStearming原理及实战：DStream操作、数据持久化及性能优化.mp4 20.64M
| ├──29-SparkStructuredStearming原理及实战：StructuredStreaming概念、特点、数据模型和应用实战.mp4 27.70M
| ├──30-SparkStructuredStearming原理及实战：StructuredStearming事件时间、延迟数据处理策略、容错语义和编程模型.mp4 39.89M
| ├──31-SparkStructuredStearming原理及实战：StructuredStearming时间窗口操作、水位线和数据更新模式.mp4 113.51M
| ├──32-SparkStructuredStearming原理及实战：StreamJoin操作、重复数据处理、多Watermark处理策略、StructuredStearming结果输出.mp4 75.98M
| ├──33-Spark文件读写原理.mp4 12.40M
| ├──34-内存调优：JVM内存调优、堆外内存设置及storageFraction设置.mp4 19.72M
| ├──35-任务调优：Executor数量内存及CPU配置、设置合理的并行度、Task等待时长调优、Blacklisting调优.mp4 34.86M
| ├──36-失败重试与黑名单机制、推测式执行、资源申请机制.mp4 24.38M
| ├──37-SparkOnYARN：Client模式与Cluster模式.mp4 29.67M
| ├──38-SparkOnYARN：FIFOScheduler、CapacityScheduler原理和使用.mp4 27.10M
| ├──39-SparkOnYARN：YARNFairScheduler原理、使用及特点.mp4 31.94M
| ├──40-Spark文件读写原理.mp4 12.19M
| ├──41-内存调优：JVM内存调优、堆外内存设置及storageFraction设置.mp4 19.98M
| ├──42-任务调优：Executor数量内存及CPU配置、设置合理的并行度、Task等待时长调优、Blacklisting调优.mp4 33.97M
| ├──43-数据调优：数据本地性、复用RDD、BroadCast、Kryo序列化和CheckPoint.mp4 41.52M
| ├──44-算子调优.mp4 35.28M
| ├──45-SparkSQL调优和SparkStreaming调优.mp4 16.73M
| ├──46-Spark数据倾斜问题处理.mp4 11.36M
| ├──47-Spark机器学习概述：机器学习应用场景、分类和常用算法.mp4 21.41M
| ├──48-机器学习流程：数据收集与存储、数据清理与转换.mp4 43.22M
| ├──49-机器学习流程：模型训练、模型测试、模型部署与整合、模型监控与反馈及数据探索和可视化.mp4 23.48M
| ├──50-Spark常用统计方法：基础统计、相关性分析、数据抽样.mp4 37.87M
| ├──51-分类模型：概念与种类、线性回归及逻辑回归原理实现.mp4 46.21M
| ├──52-分类模型：朴素贝叶斯原理实现、决策树原理实现及协同过滤原理.mp4 62.67M
| ├──53-聚类模型：基于K-Means的聚类算法原理实现.mp4 23.03M
| ├──54-MLPipLine：如何通过SparkMLPipLine模式实现模型训练？.mp4 17.68M
| ├──55-Spark3.0新特性概述.mp4 29.41M
| ├──56-Spark未来趋势：为什么需要数据湖？.mp4 8.76M
| ├──57-Spark未来趋势：DeltaLake原理.mp4 14.89M
| ├──58-Spark未来趋势：DeltaLake实战.mp4 31.92M
| ├──59-Spark应用番外篇：大数据任务调度.mp4 35.43M
| ├──60-结束语.mp4 17.14M
| └──资料地址.txt 0.05kb

jamison普通

收藏 海报 链接