资源名称:Hadoop MapReduce实战手册 中文完整pdf
第1章 搭建Hadoop并在集群中运行 1
1.1 简介 1
1.2 在你的机器上安装Hadoop 2
1.3 写WordCountMapReduce示例程序,打包并使用独立的Hadoop运行它 3
1.4 给WordCount MapReduce程序增加combiner步骤 8
1.5 安装HDFS 9
1.6 使用HDFS监控UI 14
1.7 HDFS的基本命令行文件操作 15
1.8 在分布式集群环境中设置Hadoop 17
1.9 在分布式集群环境中运行WordCount程序 22
1.10 使用MapReduce监控UI 24
第2章 HDFS进阶 26
2.1 简介 26
2.2 HDFS基准测试 27
2.3 添加一个新的DataNode 28
2.4 DataNode下架 30
2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况 32
2.6 设置HDFS块大小 33
2.7 设置文件冗余因子 34
2.8 使用HDFS的Java API 35
2.9 使用HDFS的C API(libhdfs) 40
2.10 挂载HDFS(Fuse-DFS) 45
2.11 在HDFS中合并文件 48
第3章 高级Hadoop MapReduce运维 49
3.1 简介 49
3.2 调优集群部署的Hadoop配置 49
3.3 运行基准测试来验证Hadoop的安装 52
3.4 复用Java虚拟机以提高性能 54
3.5 容错和推测执行 54
3.6 调试脚本——分析任务失败 55
3.7 设置失败百分比以及跳过不良记录 59
3.8 共享用户的Hadoop集群——使用公平调度器和其他调度器 61
3.9 Hadoop的安全性——整合使用Kerberos 62
3.10 使用Hadoop的工具接口 69
第4章 开发复杂的Hadoop MapReduce应用程序 72
4.1 简介 72
4.2 选择合适的Hadoop数据类型 73
4.3 实现自定义的Hadoop Writable数据类型 75
4.4 实现自定义Hadoop key类型 79
4.5 从mapper中输出不同值类型的数据 83
4.6 为输入数据格式选择合适的Hadoop InputFormat 87
4.7 添加新的输入数据格式的支持——实现自定义的InputFormat 90
4.8 格式化MapReduce计算的结果——使用Hadoop的OutputFormat 94
4.9 Hadoop的中间(map到reduce)数据分区 96
4.10 将共享资源传播和分发到MapReduce作业的任务中——Hadoop DistributedCache 98
4.11 在Hadoop上使用传统应用程序——Hadoop Streaming 103
4.12 添加MapReduce作业之间的依赖关系 106
4.13 用于报告自定义指标的Hadoop计数器 108
第5章 Hadoop生态系统 110
5.1 简介 110
5.2 安装HBase 111
5.3 使用Java客户端API随机存取数据 114
5.4 基于HBase(表输入/输出)运行MapReduce作业 116
……
资源截图:
评论(0)