思维导图备注

Hadoop技术内幕：深入解析MapReduce架构设计与实现原理
首页 收藏书籍 阅读记录
  • 书签 我的书签
  • 添加书签 添加书签 移除书签 移除书签

第5章 作业提交与初始化过程分析

浏览 1 扫码
  • 小字体
  • 中字体
  • 大字体
2022-01-24 09:46:41
请 登录 再阅读
上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • 前言
    • 读者对象
    • 如何阅读本书
    • 勘误和支持
    • 致谢
  • 第一部分 基础篇
    • 1.1.2 如何准备Windows环境
    • 1.2 获取Hadoop源代码
    • 第2章 MapReduce设计理念与基本架构
      • 2.1.2 Apache Hadoop新版本的特性
      • 2.2 Hadoop MapReduce设计目标
      • 2.1.3 Hadoop版本变迁
      • 2.3 MapReduce编程模型概述
        • 2.3.2 MapReduce编程实例
      • 2.4 Hadoop基本架构
        • 2.4.2 Hadoop MapReduce架构
      • 2.5 Hadoop MapReduce作业的生命周期
      • 2.6 小结
    • 1.1.3 如何准备Linux环境
    • 1.3 搭建Hadoop源代码阅读环境
      • 1.3.2 Hadoop源代码阅读技巧
    • 1.4 Hadoop源代码组织结构
    • 1.5 Hadoop初体验
      • 1.5.2 Hadoop Shell介绍
      • 1.5.3 Hadoop Eclipse插件介绍
    • 1.6 编译及调试Hadoop源代码
      • 1.6.2 调试Hadoop源代码
    • 1.7 小结
  • 第二部分 MapReduce编程模型篇
    • 3.1.2 新旧MapReduce API比较
    • 3.2 MapReduce API基本概念
      • 3.2.2 Reporter参数
      • 3.2.3 回调机制
    • 3.3 Java API解析
      • 3.3.2 InputFormat接口的设计与实现
      • 3.3.3 OutputFormat接口的设计与实现
      • 3.3.4 Mapper与Reducer解析
      • 3.3.5 Partitioner接口的设计与实现
    • 3.4 非Java API解析
      • 3.4.2 Hadoop Pipes的实现原理
    • 3.5 Hadoop工作流
      • 3.5.2 ChainMapper/ChainReducer的实现原理
      • 3.5.3 Hadoop工作流引擎
    • 3.6 小结
  • 第三部分 MapReduce核心设计篇
    • 4.2 Java基础知识
      • 4.2.2 Java网络编程
      • 4.2.3 Java NIO
    • 第5章 作业提交与初始化过程分析
      • 5.2 作业提交过程详解
        • 5.2.2 作业文件上传
        • 5.2.3 产生InputSplit文件
        • 5.2.4 作业提交到JobTracker
      • 5.3 作业初始化过程详解
      • 5.4 Hadoop DistributedCache原理分析
        • 5.4.2 工作原理分析
      • 5.5 小结
    • 4.3 Hadoop RPC基本框架分析
      • 4.3.2 Hadoop RPC基本框架
      • 4.3.3 集成其他开源RPC框架
    • 第6章 JobTracker内部实现剖析
      • 6.2 JobTracker启动过程分析
        • 6.2.2 重要对象初始化
        • 6.2.3 各种线程功能
        • 6.2.4 作业恢复
      • 6.3 心跳接收与应答
        • 6.3.2 下达命令
      • 6.4 Job和Task运行时信息维护
        • 6.4.2 JobInProgress
        • 6.4.3 TaskInProgress
        • 6.4.4 作业和任务状态转换图
      • 6.5 容错机制
        • 6.5.2 TaskTracker容错
        • 6.5.3 Job/Task容错
        • 6.5.4 Record容错
        • 6.5.5 磁盘容错
      • 6.6 任务推测执行原理
        • 6.6.2 1.0.0版本的算法
        • 6.6.3 0.21.0版本的算法
        • 6.6.4 2.0版本的算法
      • 6.7 Hadoop资源管理
        • 6.7.2 任务选择策略分析
        • 6.7.3 FIFO调度器分析
        • 6.7.4 Hadoop资源管理优化
      • 6.8 小结
    • 4.4 MapReduce通信协议分析
      • 4.4.2 JobSubmissionProtocol通信协议
      • 4.4.3 InterTrackerProtocol通信协议
      • 4.4.4 TaskUmbilicalProtocol通信协议
      • 4.4.5 其他通信协议
    • 第7章 TaskTracker内部实现剖析
      • 7.2 TaskTracker启动过程分析
        • 7.2.2 重要对象初始化
        • 7.2.3 连接JobTracker
      • 7.3 心跳机制
        • 7.3.2 状态发送
        • 7.3.3 命令执行
      • 7.4 TaskTracker行为分析
        • 7.4.2 提交任务
        • 7.4.3 杀死任务
        • 7.4.4 杀死作业
        • 7.4.5 重新初始化
      • 7.5 作业目录管理
      • 7.6 启动新任务
        • 7.6.2 资源隔离机制
      • 7.7 小结
    • 4.5 小结
    • 第8章 Task运行过程分析
      • 8.2 基本数据结构和算法
        • 8.2.2 排序
        • 8.2.3 Reporter
      • 8.3 Map Task内部实现
        • 8.3.2 Collect过程分析
        • 8.3.3 Spill过程分析
        • 8.3.4 Combine过程分析
      • 8.4 Reduce Task内部实现
        • 8.4.2 Shuffle和Merge阶段分析
        • 8.4.3 Sort和Reduce阶段分析
      • 8.5 Map/Reduce Task优化
        • 8.5.2 系统优化
      • 8.6 小结
  • 第四部分 MapReduce高级篇
    • 9.2 从管理员角度进行调优
      • 9.2.2 操作系统参数调优
      • 9.2.3 JVM参数调优
      • 9.2.4 Hadoop参数调优
    • 第10章 Hadoop多用户作业调度器
      • 10.2 HOD
        • 10.2.2 HOD作业调度
      • 10.3 Hadoop队列管理机制
      • 10.4 Capacity Scheduler实现
        • 10.4.2 Capacity Scheduler实现
        • 10.4.3 多层队列调度
      • 10.5 Fair Scheduler实现
        • 10.5.2 Fair Scheduler实现
        • 10.5.3 Fair Scheduler与Capacity Scheduler对比
      • 10.6 其他Hadoop调度器介绍
      • 10.7 小结
    • 9.3 从用户角度进行调优
      • 9.3.2 作业级别参数调优
      • 9.3.3 任务级别参数调优
    • 第11章 Hadoop安全机制
      • 11.1.2 Hadoop对安全方面的需求
      • 11.2 基础知识
        • 11.2.2 Kerberos介绍
      • 11.1.3 Hadoop安全设计基本原则
      • 11.3 Hadoop安全机制实现
        • 11.3.2 HDFS
        • 11.3.3 MapReduce
        • 11.3.4 上层服务
      • 11.4 应用场景总结
        • 11.4.2 作业提交与运行
        • 11.4.3 上层中间件访问Hadoop
      • 11.5 小结
    • 9.4 小结
    • 第12章 下一代MapReduce框架
      • 12.2 下一代MapReduce框架概述
        • 12.2.2 资源统一管理平台
      • 12.3 Apache YARN
        • 12.3.2 Apache YARN工作流程
        • 12.3.3 Apache YARN设计细节
        • 12.3.4 MapReduce与YARN结合
      • 12.4 Facebook Corona
        • 12.4.2 Facebook Corona工作流程
        • 12.4.3 YARN与Corona对比
      • 12.5 Apache Mesos
        • 12.5.2 Apache Mesos资源分配
        • 12.5.3 MapReduce与Mesos结合
      • 12.6 小结
  • 附录A 安装Hadoop过程中可能存在的问题及解决方案
  • 附录B Hadoop默认HTTP端口号以及HTTP地址
  • 参考资料
暂无相关搜索结果！
    展开/收起文章目录

    二维码

    手机扫一扫，轻松掌上学

    《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》电子书下载

    请下载您需要的格式的电子书，随时随地，享受学习的乐趣！
    EPUB 电子书

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度