微信扫码查看移动端店铺
~
更多参数>>
本书以介绍大数据处理技术为主线,详细介绍了基于Hadoop的大数据处理框架及其组成部分,并且讲述了基于Spark和Storm的大数据处理技术,同时还介绍了大数据处理的其他技术及其应用。
本书既可以作为高等院校数据科学与大数据、大数据技术与应用、软件工程及相关专业的教材,也可以供系统分析师、系统架构师、软件开发工程师和项目经理,以及其他学习大数据技术的读者阅读和参考。
王道平,男,1964年出生,博士。1982年考入清华大学计算机系,1999年至2001年在清华大学从事博士后研究工作,美国得克萨斯大学阿灵顿商学院高级访问学者,现为北京科技大学经济管理学院教授。博士生导师。主要研究方向为供应链与物流管理、智能管理信息系统等。承担国家自然科学基金课题2项,省部级课题多项,主编的教材《现代物流信息技术》和《供应链设计理论与方法》被评为北京市高等教育精品教材。
第l章 大数据处理概论 1.1 大数据简介 1.1.1 大数据的概念 1.1.2 大数据的特征 1.1.3 大数据的关键技术 1.1.4 大数据的发展 1.2 大数据的操作流程 1.2.1 大数据采集 1.2.2 大数据存储 1.2.3 大数据处理 1.2.4 大数据分析 l.3 大数据的处理方式 1.3.1 批处理 1.3.2 流式计算 1.3.3 流式计算和批处理的对比 本章小结 习题第2章 基于HadooP的大数据处理 2.1 Hadoop简介 2.1.1 Hadoop的发展简史 2.1.2 Hadoop的优势 2.1.3 Hadoop1.O与HadooP 2.2 Had00p的架构与组件 2.2.1 Hadoop的架构 2.2.2 Hadoop的基础组件 2.2.3 Hadoop的其他组件 2.3 Hadoop的具体应用 2.3.1 Hadoop在百度的应用 2.3.2 Hadoop在华为的应用 2.3.3 Hadoop在中国移动的应用 本章小结 习题第3章 基于Hadoop的分布式文件系统HDFS 3.1 HDFS简介 3.1.1 分布式文件系统的基本概念 3.1.2 HDFS的基本概念 3.1.3 HDFs的设计目标及局限性 3.1.4 HDFS的可靠性措施 3.2 HDFS的架构、存储原理及主要工作流程 3.2.1 HDFS的架构 3.2.2 HDFs的存储原理 3.2.3 HDFS的主要工作流程 3.3 HDFS的性能优化 3.3.1 调整数据块尺寸 3.3.2 规划网络与节点 3.3.3 调整服务队列数量 3.3.4 调整磁盘配置或空间 本章小结 习题第4章 并行计算框架MapReduce 4.1 MapReduce简介 4.1.1 分布式并行编程 4.1.2 Map和Reduce 4.1.3 MapReduce编程模型常用组件 4.2 MapReduce的工作流程 4.2.1 MapReduce工作流程概述 4.2.2 MapReduce的各个执行阶段 4.2.3 Shuffle过程详解 4.3 MapReduce的具体应用 4.3.1 MapReduce在关系代数运算中的应用 4.3.2 MapReduce在矩阵乘法 中的应用 4.3.3 MapReduce在矩阵向±乘法中的应用 本章小结 习题第5章 分布式数据仓库Hive 5.1 Hive简介 5.1.1 Hive的基本架构 5.1.2 Hive的工作原理 5.1.3 Hive的数据组织 5.2 Hive数据模型 5.2.1 Hive的数据类型和文件存储格式 5.2.2 Hive动态分区 5.2.3 Hive索引 5.3 Hive查询语言HiveQL 5.3.1 Hive表定义 5.3.2 数据的导人和导出 5.3.3 HiveQL查询 本章小结 习题第6章 基于Spark的大数据处理 6.1 Spark简介 6.1.1 Spark的概述 6.1.2 Spark的特点 6.1.3 Spark的安装 6.1.4 Spark的实例 6.2 Spark的流处理模型 6.2.1 Spark Streaming的概述 6.2.2 Spark Streaming的架构 6.2.3 Spark Streaming的工作原理 6.2.4 Spark Streaming的性能调优 6.3 Spark的企业级应用 6.3.1 Spark在亚马逊中的应用 6.3.2 Spark在淘宝中的应用 6.3.3 Spark在雅虎中的应用 本章小结 习题第7章 基于Storm的大数据处理 7.1 Storm简介 7.1.1 Storm的概述 7.1.2 Storm的特点 7.1.3 Storm的部署 7.2 基于Storm的流式数据处理 原理 7.2.1 Storm的系统架构 7.2.2 Storm的通信机制 7.2.3 Storm的编程模型 7.3 Storm的相关应用 7.3.1 Storm的实时大数据 平台在携程中的应用 7.3.2 基于Storm的在线学习 平台数据处理 本章小结 习题第8章 大数据处理的其他技术及 应用 8.1 图数据库 8.1.1 图数据库简介 8.1.2 图数据库的内部结构 8.1.3 图数据库的应用 8.2 基于Flink的大数据处理技术 8.2.1 Flink技术简介 8.2.2 Flink的特性 8.2.3 Flink的应用 8.3 基于Kafka的大数据处理技术 8.3.1 Kafka技术简介 8.3.2 Kafka功能介绍 8.3.3 Kafka的应用 本章小结 习题附录 常用中英文术语对照表参考文献