本书是高校的大数据导论课程教材,清楚地介绍了大数据相关的概念、理论、术语与基础技术,并使用真实连贯的商业案例以及简单的图表,帮助读者更清晰地理解大数据技术。本书可作为高等院校相关专业“大数据基础”“大数据导论”等课程的教材,也可供有一定实践经验的软件开发人员、管理人员和所有对大数据感兴趣的人士阅读。
第1章 大数据概述
1.1 什么是大数据
1.1.1 大数据的来源
1.1.2 大数据的定义
1.1.3 从信息技术(IT)转向数据技术(DT)
1.2 大数据的数据特征及对科学研究的影响
1.2.1 大数据的数据特征
1.2.2 大数据对科学研究的影响
1.3 大数据的数据类型
1.4 大数据的价值及相关技术
1.4.1 大数据的可用性及衍生价值
1.4.2 大数据存储及处理技术
1.5 大数据的发展趋势
习题
第2章 大数据与云计算
2.1 云计算概述
2.1.1 云计算的提出
2.1.2 云计算的定义
2.1.3 云计算的概念模型
2.1.4 云计算的特点
2.2 云计算的主要部署模式
2.2.1 公有云
2.2.2 私有云
2.2.3 混合云
2.3 云计算的主要服务模式
2.3.1 基础设施即服务(IaaS)
2.3.2 平台即服务(PaaS)
2.3.3 软件即服务(SaaS)
2.3.43 种服务模式之间的关系
2.4 云计算与大数据体系架构的关系
2.4.1 云计算基础设施Google平台
2.4.2 大数据基础设施Hadoop平台
2.5 物联网、大数据和云计算之间的关系
2.5.1 认识物联网
2.5.2 边缘计算
2.5.3 雾计算
2.5.4 大数据和云计算之间的关系
习题
第3章 从产业结构来探索大数据技术
3.1 大数据产业结构概述
3.2 大数据的解决方案
3.2.1 大数据的产生、采集与处理方式
3.2.2 大数据处理的基本流程及相应技术
3.3 大数据采集技术
3.3.1 大数据采集概述
3.3.2 日志采集系统—Flume
3.3.3 消息采集系统—Kafka
3.3.4 Scrapy网络爬虫框架
3.4 大数据预处理技术
3.4.1 数据预处理
3.4.2 数据清洗
3.4.3 数据集成
3.4.4 数据归约
3.5 大数据可视化技术
3.5.1 数据可视化的概念
3.5.2 数据可视化的分类
3.5.3 数据可视化工具
3.5.4 大数据可视化技术的发展方向
习题
第4章 大数据的硬件架构——集群
4.1 集群的来源
4.1.1 并行计算机的发展
4.1.2 通过计算机食物链理解集群
4.2 集群的产生促进了大数据技术的发展
4.3 集群系统的概念及分类
4.3.1 集群的基本概念
4.3.2 集群系统的分类
4.4 集群的结构模型
4.5 集群文件系统
习题
第5章 大数据开发与计算技术
5.1 Hadoop—分布式大数据系统
5.1.1 Hadoop概述
5.1.2 Hadoop架构
5.1.3 Hadoop生态系统
5.2 Spark—大规模数据实时处理系统
5.2.1 Spark概述
5.2.2 弹性分布式数据集
5.2.3 Spark扩展功能
5.3 Storm—基于拓扑的流数据实时计算系统
5.3.1 Storm概述
5.3.2 Storm的组成结构
5.3.3 Storm-Yarn概述
5.4 Hadoop、Spark与Storm的比较
5.5 大数据开发技术与Web应用开发技术的比较
5.5.1 Web应用开发技术简介
5.5.2 大数据开发技术简介
5.5.3 大数据开发技术与Web应用开发技术的应用环境
习题
第6章 大数据存储技术
6.1 数据存储概述
6.2 分布式文件系统
6.2.1 分布式文件系统的设计思路
6.2.2 最早的分布式文件系统
6.2.3 大数据环境下分布式文件系统的优化思路
6.3 结构化大数据的存储—Hive
6.3.1 Hive简介
6.3.2 Hive架构
6.3.3 Hive数据模型与存储
6.4 半结构化大数据的存储—HBase
6.4.1 HBase简介
6.4.2 HBase数据模型
6.4.3 存储架构
6.5 云存储技术
6.5.1 云存储的概念及特性
6.5.2 云存储系统的结构模型
6.5.3 云存储的应用
习题
第7章 大数据分析
7.1 大数据分析与数据分析的关系
7.1.1 对数据分析师的要求
7.1.2 对大数据分析师的要求
7.2 大数据分析的重要性及认识数据
7.2.1 大数据分析的重要性
7.2.2 认识数据
7.3 统计数据分析
7.4 基于机器学习的数据分析
7.4.1 机器学习简介
7.4.2 机器学习的主要用途
7.4.3 有监督学习、无监督学习和强化学习
7.5 经典的机器学习算法
7.5.1 分类算法原理
7.5.2 决策树分类算法
7.5.3 K-均值聚类算法
7.5.4 Apriori关联规则算法
7.5.5 朴素贝叶斯分类算法
7.6 基于图的数据分析
7.7 基于自然语言的数据分析
习题
第8章 大数据与人工智能
8.1 人工智能的概念及分类
8.2 人工智能的发展史
8.3 限制人工智能发展的因素
8.4 大数据与人工智能的关系
8.5 人工智能核心技术概述
8.5.1 深度学习
8.5.2 卷积神经网络
8.5.3 图像处理
8.6 人工智能技术应用
习题
参考文献