博客
关于我
MapReduce的编程思想(1)
阅读量:794 次
发布时间:2023-02-07

本文共 693 字,大约阅读时间需要 2 分钟。

1. MapReduce采用分而治之的思想,将数据处理拆分为主要的Map(映射)与Reduce(化简)两步,MapReduce操作数据的最小单位是一个键值对。

2. MapReduce计算框架为主从架构,分别是JobTracker与TaskTracker。

  • JobTracker在集群中为主的角色,它主要负责任务调度和集群资源监控,并不参与具体的计算。
  • TaskTracker在集群中为从的角色,它主要负责汇报心跳和执行JobTracker的命令(启动任务、提交任务、杀死人物、杀死作业和重新初始化)。
  • 客户端,用户编写MapReduce程序通过客户端提交到JobTracker。

3. MapReduce作业(job)是指用户提交的最小单位,而Maop/Reduce任务(task)是MapReduce计算的最小单位。

  • MapReduce作业由JobTracker的作业分解模块分拆为任务交给各个TaskTracker执行,在MapReduce计算框架中,任务分为两种,Map任务和Reduce任务。

4. MapReduce的计算资源划分

  • Hadoop的资源管理采用了静态资源设置方案,即每个节点配置好Map槽和Reduce槽的数据量,一旦Hadoop启动后将无法动态更改。
  • TaskTracker能启动的任务数量是由TaskTracker配置的任务槽(slot)决定。
  • Map任务只能使用Map槽,Reduce任务只能使用Reduce槽。

5. MapReduce的局限性

  • MapReduce的执行速度慢。
  • MapReduce过于底层。
  • 不是所有算法都能用MapReduce实现。

转载地址:http://zgufk.baihongyu.com/

你可能感兴趣的文章
mac 下 react Native ios环境搭建
查看>>
Mac 下使用sourcetree操作git教程
查看>>
mac 下如何建立vue-cli项目
查看>>
Mac 也需要杀毒?我亲测三款顶级杀毒软件,保护你的数据安全!从零基础到精通,收藏这篇就够了!
查看>>
Mac 在命令行快速切换目录 mark
查看>>
MAC 地址(Media Access Control Address)详细介绍-ChatGPT4o作答
查看>>
mac 安装PIL
查看>>
Mac 开发PhoneGap 应用,怎样加入插件 barcodescaner
查看>>
mac 搭建APK反编译环境[转]
查看>>
MAC 显示隐藏文件
查看>>
Mac 的“任务管理器” —— 活动监视器
查看>>
mac 虚拟机安装oracle 11g,MAC+Vmware Fusion安装Oracle11g RAC
查看>>
mac 配置环境变量,讲的太仔细了,非常棒
查看>>
mac-gradle的安装和配置
查看>>
mac/ip/TCP/udp报文格式与理论大小
查看>>
Mac:Permission denied XXX
查看>>
macaca 测试web(2)
查看>>
Macbook / pro卡顿怎么处理?这些方法让它满血复活!
查看>>
MacBook Air怎么重新输入wifi密码
查看>>
MacBook Pro 休眠后五国,自动重启报错
查看>>