10小时入门大数据

时下引领着技术变革的非“大数据”莫属,本课程带你从0基础开始上手,让你全面掌握Hadoop开发的核心技能:HDFS 、YARN 、MapReduce的搭建及框架的应用,了解最火爆最前沿的大数据技术发展趋势,快速入门大数据!

第1章 大数据概述

本章将从几则故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术

第2章 初识Hadoop

本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优缺点、Hadoop的三个核心组件、Hadoop发行版的选择以及Hadoop在企业中的案例分享,为后续深入讲解Hadoop打下坚实的基础

第3章 分布式文件系统HDFS

本章将从Hadoop的设计目标、架构及副本的脚本带大家详细剖析,快速搭建单节点伪分布式HDFS的实验环境,并讲解使用hdfs shell以及Java API的方式操作HDFS文件系统,并详细分析HDFS文件的读写流程,使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及使用…

第4章 分布式资源调度YARN

本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN,快速搭建单节点伪分布式YARN的实验环境并掌握如何提交一个官方自带的MapReduce作业提交到YARN上运行

第5章 分布式计算框架MapReduce

本章将从架构、优缺点、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce,掌握MapReduce应用程序的开发,学会配置JobHistory Server

第6章 Hadoop项目实战

本章将通过对慕课网主站的访问日志进行分析的项目实战,来将前面几个章节讲解的知识点串联起来,综合使用Hadoop的技术进行离线统计分析

第7章 Hadoop分布式集群搭建

本章将带领大家搭建一个三个节点的分布式Hadoop集群环境,让大家对于Hadoop集群的安装有更深入的认识,并将项目实战案例运行在分布式集群环境中

第8章 Hadoop集成Spring的使用

本章将带领大家使用Java社区中最流行的Spring框架来整合Hadoop的使用

第9章 前沿技术拓展: Spark/Flink/Beam

本章将带领大家认识当前大数据领域中非常火爆的三个框架:Spark、Flink以及Beam,并使用这三个框架完成词频统计分析操作,为大家以后更加深入的学习这几个框架打下坚实的基础

第10章 Hadoop3.x新特性

本章将带来大家学习Hadoop3.x版本的一些新特性,实时跟上Hadoop社区的发展

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。