• 中美研究人员发现新型狗流感病毒 2019-07-12
  • BEATS为中国新年推出 全新配色霹雳红Solo3 Wireless无线头戴式耳机 2019-07-11
  • 煤炭供应链市场规模超2万亿 瑞茂通搭建生态圈加速平台扩张 2019-07-11
  • 候选企业:中粮可口可乐辽宁公司 2019-07-08
  • 社区商铺投资,显露复苏迹象 2019-07-04
  • [福]——“幸福”也就是指人的感觉和欲望的满足,达到那种男女在一起而感情融合的“好”的感觉。中国的古人就认定:男女融合在一起的感觉就是人的所有的感觉结果中的最愉 2019-07-04
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-07-04
  • 回复@看着就想笑:难道公有制社会主义就不能生存发展吗?事实上公有制会生存发展的更好! 2019-07-03
  • “奥运新秀”亮相上海 亚帆联杯等你来看 2019-07-02
  • 端午节,跟随习近平找寻中华民族“精气神” 2019-06-29
  • 借“谈心”暗示罪犯行贿!“80后”监狱指导员沦为阶下囚 2019-06-29
  • 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • 你好,游客 登录
    背景:
    阅读新闻

    快3计算公式绝准法:HIVE和HBASE之间,主要的区别是什么?

    [日期:2018-05-17] 来源:多智时代  作者: [字体: ]

    广西快3 www.eemm1.com   两者分别是什么?

      Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。

    大数据

      Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务。Hive被分区为表格,表格又被进一步分割为列簇。列簇必须使用schema定义,列簇将某一类型列集合起来(列不要求schema定义)。例如,“message”列簇可能包含:“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell,每一个key由row-key,列簇、列和时间戳。在Hbase中,行是key/value映射的集合,这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施,可以利用通用的设备进行水平的扩展。

      两者的特点

      Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的,同时,它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间,因为它会默认遍历表中所有的数据。虽然有这样的缺点,一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询,这些数据集存储在不同的文件夹内,查询的时候只遍历指定文件夹(分区)中的数据。这种机制可以用来,例如,只处理在某一个时间范围内的文件,只要这些文件名中包括了时间格式。

      HBase通过存储key/value来工作。它支持四种主要的操作:增加或者更新行,查看一个范围内的cell,获取指定的行,删除指定的行、列或者是列的版本。版本信息用来获取历史数据(每一行的历史数据可以被删除,然后通过Hbase compactions就可以释放出空间)。虽然HBase包括表格,但是schema仅仅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/计数功能。

      限制

      Hive目前不支持更新操作。另外,由于hive在hadoop上运行批量操作,它需要花费很长的时间,通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列,并且Hive与ACID不兼容。

      HBase查询是通过特定的语言来编写的,这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现,但这是以必须提供schema为代价的。另外,Hbase也并不是兼容所有的ACID特性,虽然它支持某些特性。最后但不是最重要的–为了运行Hbase,Zookeeper是必须的,zookeeper是一个用来进行分布式协调的服务,这些服务包括配置服务,维护元信息和命名空间服务。

      应用场景

      Hive适合用来对一段时间内的数据进行分析查询,例如,用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

      Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。

      总结

      Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎,并且运行MapReduce任务,Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然,这两种工具是可以同时使用的。就像用Google来搜索,用FaceBook进行社交一样,Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到Hbase,设置再从Hbase写回Hive。





    收藏 推荐 打印 | 录入:Cstor | 阅读:
    本文评论   查看全部评论 (0)
    表情: 表情 姓名: 字数
    点评:
           
    评论声明
    • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
    • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
    • 本站管理人员有权保留或删除其管辖留言中的任意内容
    • 本站有权在网站内转载或引用您的评论
    • 参与本评论即表明您已经阅读并接受上述条款
  • 中美研究人员发现新型狗流感病毒 2019-07-12
  • BEATS为中国新年推出 全新配色霹雳红Solo3 Wireless无线头戴式耳机 2019-07-11
  • 煤炭供应链市场规模超2万亿 瑞茂通搭建生态圈加速平台扩张 2019-07-11
  • 候选企业:中粮可口可乐辽宁公司 2019-07-08
  • 社区商铺投资,显露复苏迹象 2019-07-04
  • [福]——“幸福”也就是指人的感觉和欲望的满足,达到那种男女在一起而感情融合的“好”的感觉。中国的古人就认定:男女融合在一起的感觉就是人的所有的感觉结果中的最愉 2019-07-04
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-07-04
  • 回复@看着就想笑:难道公有制社会主义就不能生存发展吗?事实上公有制会生存发展的更好! 2019-07-03
  • “奥运新秀”亮相上海 亚帆联杯等你来看 2019-07-02
  • 端午节,跟随习近平找寻中华民族“精气神” 2019-06-29
  • 借“谈心”暗示罪犯行贿!“80后”监狱指导员沦为阶下囚 2019-06-29
  • 四川乐山公交车爆炸案系人为 嫌疑人已被控制 2019-06-26
  • 习近平接受《华尔街日报》采访 2019-06-26
  • 女子街头遭遇男子持刀抢劫 搏击教练一分钟夺刀 2019-06-26
  • 你看咱是跟帖还是在耍猴? 2019-06-26
  • 篮球胜分差返奖率 腾讯分分彩计划精准版 澳洲幸运5怎么玩才能赢 真钱龙虎游戏平台 中国福利彩票快乐十分 香港乖乖六合图库 体彩四川金7乐开奖结果查询 新疆时时彩跨度图 湖北快三走势分布 排球规则教学视频 足球现场当晚推介 新疆时时彩机算 2014特码公式规律杀肖 英超联赛 江西多乐彩14号走势图