• 中美研究人员发现新型狗流感病毒 2019-07-12
  • BEATS为中国新年推出 全新配色霹雳红Solo3 Wireless无线头戴式耳机 2019-07-11
  • 煤炭供应链市场规模超2万亿 瑞茂通搭建生态圈加速平台扩张 2019-07-11
  • 候选企业:中粮可口可乐辽宁公司 2019-07-08
  • 社区商铺投资,显露复苏迹象 2019-07-04
  • [福]——“幸福”也就是指人的感觉和欲望的满足,达到那种男女在一起而感情融合的“好”的感觉。中国的古人就认定:男女融合在一起的感觉就是人的所有的感觉结果中的最愉 2019-07-04
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-07-04
  • 回复@看着就想笑:难道公有制社会主义就不能生存发展吗?事实上公有制会生存发展的更好! 2019-07-03
  • “奥运新秀”亮相上海 亚帆联杯等你来看 2019-07-02
  • 端午节,跟随习近平找寻中华民族“精气神” 2019-06-29
  • 借“谈心”暗示罪犯行贿!“80后”监狱指导员沦为阶下囚 2019-06-29
  • 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • 你好,游客 登录
    背景:
    阅读新闻

    青海省快三直播:大数据分析系统Hadoop的13个开源工具

    [日期:2018-06-06] 来源:搜狐  作者:佚名 [字体: ]

    广西快3 www.eemm1.com   hadoop是由Apache基金会开发的 个大数据分布式系统基础架构,较早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

      用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为较流行的大数据分析系统,然而其赖以生存的HDFS和MapReduce组件却让其 度陷入困境——批处理的工作方式让其只适用于离线数据处理,在要求实时性的场景下毫无用武之地。

      因此,各种基于Hadoop的工具应运而生,本次为大家分享Hadoop生态系统中较常用的13个开源工具,其中包括资源调度、流计算及各种业务针对应用场景。先,我们看资源管理相关。

      资源统 管理/调度系统

      在公司和机构中,服务器往往会因为业务逻辑被拆分为多个集群,基于数据密集型的处理框架也是不断涌现,比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4,它们诞生于不同的实验室,并各有所长。

      为了减少管理成本,提升资源的利用率, 个共同的想法产生——让这些框架运行在同 个集群上;因此,就有了当下众多的资源统 管理/调度系统,本次为大家介绍ApacheMesos及YARN:

    大数据

      1、ApacheMesos

      代码托管地址:ApacheSVN

      Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享,支持Hadoop、MPI、Hypertable、Spark等。

      Mesos是Apache孵化器中的 个开源项目,使用ZooKeeper实现容错复制,使用LinuxContainers来隔离任务,支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序,提供基于Web的用户界面来提查看集群状态。

      2、HadoopYARN

      代码托管地址:ApacheSVN

      YARN又被称为MapReduce2.0,借鉴Mesos,YARN提出了资源隔离解决方案Container,但是目前尚未成熟,仅仅提供Java虚拟机内存的隔离。

      对比MapReduce1.x,YARN架构在客户端上并未做太大的改变,在调用API及接口上还保持大部分的兼容,然而在YARN中,开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是 个的服务,负责调度、启动每 个Job所属的ApplicationMaster,另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护,并向RM保持心跳。ApplicationMaster负责 个Job生命周期内的所有工作,类似老的框架中JobTracker。

      Hadoop上的实时解决方案

      前面我们有说过,在互联网公司中基于业务逻辑需求,企业往往会采用多种计算框架,比如从事搜索业务的公司:网页索引建立用MapReduce,自然语言处理用Spark等。

      3、ClouderaImpala

      代码托管地址:GitHub

      Impala是由Cloudera开发, 个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax),可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的,第 个版本发布于2012年末。

      Impala不再使用缓慢的Hive+MapReduce批处理,而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成),可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。

      4、Spark

      代码托管地址:Apache

      Spark是个开源的数据分析集群计算框架,较初由加州大学伯克利分校AMPLab开发,建立于HDFS之上。Spark与Hadoop 样,用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现,使用Scala作为应用框架。

      Spark采用基于内存的分布式数据集,优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是,Spark和Scala紧密集成,Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop 起运行(通过YARN、Mesos等实现)。

      5、Storm

      代码托管地址:GitHub

      Storm是 个分布式的、容错的实时计算系统,由BackType开发,后被Twitter捕获。Storm属于流处理平台,多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。

      Hadoop上的其它解决方案

      就像前文说,基于业务对实时的需求,各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案,其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

      6、Shark

      代码托管地址:GitHub

      Shark,代表了“HiveonSpark”, 个专为Spark打造的大规模数据仓库系统,兼容ApacheHive。无需修改现有的数据或者查询,就可以用100倍的速度执行HiveQL。

      Shark支持Hive查询语言、元存储、序列化格式及自定义函数,与现有Hive部署无缝集成,是 个更快、更强大的替代方案。

      7、Phoenix

      代码托管地址:GitHub

      Phoenix是构建在ApacheHBase之上的 个SQL中间层,完全使用Java编写,提供了 个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为 个或多个HBasescan,并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器,对于简单查询来说,其性能量 是毫秒,对于百万 别的行数来说,其性能量 是秒。Phoenix完全托管在GitHub之上。

      Phoenix值得关注的特性包括:1,嵌入式的JDBC驱动,实现了大部分的java.sql接口,包括元数据API;2,可以通过多个行键或是键/值单元对列进行建模;3,DDL支持;4,版本化的模式仓库;5,DML支持;5,通过客户端的批处理实现的有限的事务支持;6,紧跟ANSISQL标准。

      8、ApacheAccumulo

      代码托管地址:ApacheSVN

      ApacheAccumulo是 个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路,基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo较早由NSA开发,后被捐献给了Apache基金会。

      对比GoogleBigTable,Accumulo主要提升在基于单元的访问及服务器端的编程机制,后 处修改让Accumulo可以在数据处理过程中任意点修改键值对。

      9、ApacheDrill

      代码托管地址:GitHub

      本质上,ApacheDrill是GoogleDremel的开源实现,本质是 个分布式的mpp查询层,支持SQL及 些用于NoSQL和Hadoop数据存储系统上的语言,将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上 个框架,只包含了Drill愿景中的初始功能。

      Drill的目的在于支持更广泛的数据源、数据格式及查询语言,可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析,将是 个专为互动分析大型数据集的分布式系统。

      10、ApacheGiraph

      代码托管地址:GitHub

      ApacheGiraph是 个可伸缩的分布式迭代图处理系统,灵感来自BSP(bulksynchronousparallel)和Google的Pregel,与它们区别于则是是开源、基于Hadoop的架构等。

      Giraph处理平台适用于运行大规模的逻辑计算,比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算,被Facebook作为其OpenGraph工具的核心,几分钟内处理数万亿次用户及其行为之间的连接。

      11、ApacheHama

      代码托管地址:GitHub

      ApacheHama是 个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

      12、ApacheTez

      代码托管地址:GitHub

      ApacheTez是基于HadoopYarn之上的DAG(有向无环图,DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成 个较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,减少任务的运行时间。由Hortonworks开发并提供主要支持。

      13、ApacheAmbari

      代码托管地址:ApacheSVN

      ApacheAmbari是 个供应、管理和监视ApacheHadoop集群的开源框架,它提供 个直观的操作工具和 个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作,使集群操作大大简化,版本发布于2012年6月。

      ApacheAmbari现在是 个Apache的顶 项目,早在2011年8月,Hortonworks引进Ambari作为ApacheIncubator项目,制定了Hadoop集群好致简单管理的愿景。在两年多的开发社区显着成长,从 个小团队,成长为Hortonworks各种组织的贡献者。Ambari用户群 直在稳步增长,许多机构依靠Ambari在其大型数据大规模部署和管理Hadoop集群。

      目前ApacheAmbari支持的Hadoop组件包括:HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。





    收藏 推荐 打印 | 录入:Cstor | 阅读:
    本文评论   查看全部评论 (0)
    表情: 表情 姓名: 字数
    点评:
           
    评论声明
    • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
    • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
    • 本站管理人员有权保留或删除其管辖留言中的任意内容
    • 本站有权在网站内转载或引用您的评论
    • 参与本评论即表明您已经阅读并接受上述条款
  • 中美研究人员发现新型狗流感病毒 2019-07-12
  • BEATS为中国新年推出 全新配色霹雳红Solo3 Wireless无线头戴式耳机 2019-07-11
  • 煤炭供应链市场规模超2万亿 瑞茂通搭建生态圈加速平台扩张 2019-07-11
  • 候选企业:中粮可口可乐辽宁公司 2019-07-08
  • 社区商铺投资,显露复苏迹象 2019-07-04
  • [福]——“幸福”也就是指人的感觉和欲望的满足,达到那种男女在一起而感情融合的“好”的感觉。中国的古人就认定:男女融合在一起的感觉就是人的所有的感觉结果中的最愉 2019-07-04
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-07-04
  • 回复@看着就想笑:难道公有制社会主义就不能生存发展吗?事实上公有制会生存发展的更好! 2019-07-03
  • “奥运新秀”亮相上海 亚帆联杯等你来看 2019-07-02
  • 端午节,跟随习近平找寻中华民族“精气神” 2019-06-29
  • 借“谈心”暗示罪犯行贿!“80后”监狱指导员沦为阶下囚 2019-06-29
  • 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • 新11选5走试图 福建十一选五任选基走势图 roleplay真人游戏 青海11选5号码推荐 苏州体彩网 甘肃快3投注下载 江苏7位数中奖金额 香港六合彩现场开奖手机网址 湖南幸运赛车开奖助手 福建时时彩如何购买 棒球规则及动画演示 排球比赛 大乐透2019042 新疆十一选五选杀号 腾讯分分彩组60漏洞