编辑推荐
导语_点评_推荐词
媒体评论
评论
目录
目录第1章 开始使用Apache Sparkt11.1 简介 11.2 使用二进制文件安装Spark 21.3 通过Maven构建Spark源码 51.4 在Amazon EC2上部署Spark 71.5 在集群上以独立模式部署Spark 131.6 在集群上使用Mesos部署Spark 181.7 在集群上使用YARN部署 191.8 使用Tachyon作为堆外存储层 22第2章 使用Spark开发应用 272.1 简介 272.2 探索Spark shell 272.3 在Eclipse中使用Maven开发Spark应用 292.4 在Eclipse中使用SBT开发Spark应用 332.5 在Intellij IDEA中使用Maven开发Spark应用 342.6 在Intellij IDEA中使用SBT开发Spark应用 36第3章 外部数据源 383.1 简介 383.2 从本地文件系统加载数据 393.3 从HDFS加载数据 403.4 从HDFS加载自定义输入格式的数据 453.5 从Amazon S3加载数据 463.6 从Apache Cassandra加载数据 493.7 从关系型数据库加载数据 54第4章 Spark SQL 574.1 简介 574.2 理解Catalyst优化器 604.3 创建HiveContext 634.4 使用case类生成数据格式 664.5 编程指定数据格式 674.6 使用Parquet格式载入及存储数据 694.7 使用JSON格式载入及存储数据 734.8 从关系型数据库载入及存储数据 754.9 从任意数据源载入及存储数据 78第5章 Spark Streaming 805.1 简介 805.2 使用Streaming统计字数 825.3 Twitter流数据处理 845.4 Kafka流数据处理 88第6章 机器学习——MLlib 946.1 简介 946.2 创建向量 956.3 创建向量标签 976.4 创建矩阵 996.5 计算概述统计量 1016.6 计算相关性 1026.7 进行假设检验 1046.8 使用ML创建机器学习流水线 106第7章 监督学习之回归——MLlib 1097.1 简介 1097.2 使用线性回归 1107.3 理解代价函数 1127.4 使用Lasso线性回归 1167.5 使用岭回归 117第8章 监督学习之分类——MLlib 1198.1 简介 1198.2 逻辑回归分类 1198.3 支持向量机二元分类 1248.4 决策树分类 1278.5 随机森林分类 1348.6 梯度提升树（GBTs）分类 1398.7 朴素贝叶斯分类 140第9章 无监督学习——MLlib 1439.1 简介 1439.2 使用k-means聚类 1449.3 主成分分析的降维 1499.4 奇异值分解降维 155第10章 推荐系统 15910.1 简介 15910.2 显性反馈的协同过滤 16110.3 隐性反馈的协同过滤 164第11章 图像处理——GraphX 16911.1 简介 16911.2 基本图像运算 17011.3 使用PageRank 17111.4 查找连通分量 17411.5 相邻聚合实现 177第12章 优化及调优 18012.1 简介 18012.2 内存优化 18312.3 使用压缩提升性能 18512.4 使用序列化提升性能 18612.5 优化垃圾回收 18712.6 优化并行度的级别 18712.7 理解未来的优化——Tungsten项目 188
内容介绍
Spark是一个基于内存计算的开源集群计算系统，它非常小巧玲珑，让数据分析更加快速，已逐渐成为新一代大数据处理平台中的佼佼者。本书内容分为12章，从认识Apache Spark开始讲解，陆续介绍了Spark的使用、外部数据源、Spark SQL、Spark Streaming、机器学习、监督学习中的回归和分类、无监督学习、推荐系统、图像处理、优化及调优等内容。本书适合大数据领域的技术人员，可以帮助他们更好地洞悉大数据，本书也适合想要学习Spark进行大数据处理的人员，它将是一本绝佳的参考教程。
作者介绍
Rishi Yadav拥有17年设计和开发企业级应用的经验。他是一位开源软件专家，引领了美国公司的大数据趋势。Rish被评为2014年40位40岁以下硅谷杰出工程师之一。他于1998年获得杰出的印度理工学院（Indian Institute of Technology，IIT）德里分校的学士学位。大约在10年前，Rishi创办了InfoObjects，这是一家以深度探索数据为宗旨的企业。该公司已连续4年被列入发展快公司5000强。InfoObjects也被授予了2014及2015年度湾区杰出工作地点首名的桂冠。Rishi还是一位开源社区贡献者和活跃的博主。
评论晒单