• 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • “公路挤成步行街”端午假期超944万人次打卡“网红”重庆 2019-06-24
  • 狗屁不通!知道你的貴村長姓啥嗎? 2019-06-24
  • 解读丨五年前开启的这场教育实践活动,它带来的改变你感受到了吗? 2019-06-23
  • 端午假期国内游客超8900万人次 2019-06-13
  • 页岩气资源税减征30% 2019-06-12
  • 【新时代 新作为 新篇章】“煤老大”渐行渐远 新动能清风徐来 2019-06-12
  • 寻找世界杯上的西安面孔:央视名嘴刘嘉远 2019-06-10
  • 这些人宁愿将每人吃过的饭菜倒掉喂猪,也不愿留给贫寒者,这种腐朽的资本主义的道德该收场了 2019-05-28
  • “拖稿”也自信 美女作家落落来渝聊新书 2019-05-28
  • 地方领导留言板十周年研讨会暨2016人民网网民留言办理工作会议 2019-05-21
  • 冰溪洋博客的博客—强国博客—人民网 2019-05-21
  • 你好,游客 登录
    背景:
    阅读新闻

    青海快3今天开奖结果:一分钟让你知道Hadoop是什么

    [日期:2014-06-17] 来源:CSDN博客  作者:kkdelta [字体: ]

    广西快3 www.eemm1.com   hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。

      Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算.

      大数据在Hadoop处理的流程可以参照下面简单的图来进行理解:数据是通过了Hadoop的集群处理后得到的结果。

    Hadoop是什么

      HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统.

      大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中.

    Hadoop是什么

      MapReduce:Hadoop为每一个input split创建一个task调用Map计算,在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出,保存在HDFS上.

    Hadoop是什么

      Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成.如下图所示:

    Hadoop是什么

      NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点.NameNode同时保存了文件系统运行的状态信息. DataNode中存储的是被拆分的blocks.Secondary NameNode帮助NameNode收集文件系统运行的状态信息.JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker.TaskTracker负责某一个map或者reduce任务.

    原文链接://blog.csdn.net/kkdelta/article/details/7696025





    收藏 推荐 打印 | 录入: | 阅读:
    本文评论   查看全部评论 (0)
    表情: 表情 姓名: 字数
    点评:
           
    评论声明
    • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
    • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
    • 本站管理人员有权保留或删除其管辖留言中的任意内容
    • 本站有权在网站内转载或引用您的评论
    • 参与本评论即表明您已经阅读并接受上述条款
  • 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • “公路挤成步行街”端午假期超944万人次打卡“网红”重庆 2019-06-24
  • 狗屁不通!知道你的貴村長姓啥嗎? 2019-06-24
  • 解读丨五年前开启的这场教育实践活动,它带来的改变你感受到了吗? 2019-06-23
  • 端午假期国内游客超8900万人次 2019-06-13
  • 页岩气资源税减征30% 2019-06-12
  • 【新时代 新作为 新篇章】“煤老大”渐行渐远 新动能清风徐来 2019-06-12
  • 寻找世界杯上的西安面孔:央视名嘴刘嘉远 2019-06-10
  • 这些人宁愿将每人吃过的饭菜倒掉喂猪,也不愿留给贫寒者,这种腐朽的资本主义的道德该收场了 2019-05-28
  • “拖稿”也自信 美女作家落落来渝聊新书 2019-05-28
  • 地方领导留言板十周年研讨会暨2016人民网网民留言办理工作会议 2019-05-21
  • 冰溪洋博客的博客—强国博客—人民网 2019-05-21
  • 时时彩两期计划表 北京11选5开奖查询 上海快三综合走势 2019年第96期三肖中特 云南快乐十分任伍遗漏 浙江20选5走势图开奖 一码规律 安徽十一选五怎么玩 吉林11选5前二位跨度遗漏值尾走势图 一波中特莫语论坛 河北十一选五遗漏什么时候出 体彩排列5预测精华 福利彩票双色球基本走势图 纸牌二八杠规则 安徽时时彩遗漏