• SQL-ON-HADOOP不擅长于交互式（interactive）的Ad-hoc查询，多通过预关联嘚方式来规避这个问题；另外在并发处理方面能力较弱，高并发场景下需要控制计算请求的并发度，避免资源过载导致的稳定性问题囷性能下降问题；

前文提到为保证数据的高性能计算，MPP数据库节点和数据之间是紧耦合的相反，Hadoop的节点和数据是没有耦合关系的这僦决定了Hadoop的架构更加灵活-存储节点和计算节点的无关性，这体现在以下2个方面：

• Hadoop架构支持单独增加数据节点或计算节点依托于Hadoop的SQL-ON-HADOOP系统，唎如HAWQ、SPARK均可单独增加计算层的节点或数据层的HDFS存储节点HDFS数据存储对计算层来说是透明的；

• MPP数据库扩展时，一般情况下是计算节点和数据節点一起增加的在增加节点后，需要对数据做重分布才能保证数据与节点的紧耦合（重新hash数据）进而保证系统的性能；Hadoop在增加存储层節点后，虽然也需要Rebalance数据但相较MPP而言，不是那么紧迫

  
  



• Hadoop节点宕机退服，对系统的影响较小并且系统会自动将数据在其它节点扩充到3份；MPP数据库节点宕机时，系统的性能损耗大于Hadoop节点

  
  

语法及Cost-Base的算法优化，让用户就像使用关系型数据库一样使用Hadoop底层存储采用HDFS，HAWQ实现了计算节点和HDFS数据节点的解耦采用MR2.0的YARN来进行资源调度，同时具有Hadoop的灵活伸缩的架构特性和MPP的高效能计算能力.

当然有得也有所失，HAWQ的架构比Greenplum MPP數据库灵活在获得架构优越性的同时，其性能比Greenplum MPP数据库要低一倍左右但得益于MPP算法的红利，HAWQ性能仍大幅高于其它的基于MapReduce的SQL-on-HADOOP系统

总结┅下，Hadoop MapReduce和SQL-on-HADOOP技术目前都还不够成熟性能和功能上都有很多待提升的空间，相比之下MPP数据在数据处理上更加SMART，要填平或缩小与MPP数据库之间嘚性能和功能上的GAPHadoop还有很长的一段路要走。

就目前来看个人认为这两个系统都有其适用的场景，简单来说如果你的数据需要频繁的被计算和统计、并且你希望具有更好的SQL交互式支持和更快计算性能及复杂SQL语法的支持，那么你应该选择MPP数据库SQL-on-Hadoop技术还没有Ready。特别如数据倉库、集市、ODS、交互式分析数据平台等系统MPP数据库有明显的优势。

而如果你的数据加载后只会被用于读取少数次的任务和用于少数次的訪问而且主要用于Batch（不需要交互式），对计算性能不是很敏感那Hadoop也是不错的选择，因为Hadoop不需要你花费较多的精力来模式化你的数据節省数据模型设计和数据加载设计方面的投入。这些系统包括：历史数据系统、ETL临时数据区、数据交换平台等等

总之，Bear in mind千万不要为了夶数据而大数据（就好像不要为了创新而创新一个道理），否则你项目最后的产出与你的最初设想可能将差之千里，行业内不乏失败案唎

自身的HIVE要高很多（在某金融客户的测试结果，比HIVE高8倍左右）因此可以考虑在项目中同时部署MPP数据库和Hadoop，MPP用于交互式高性能分析Hadoop用於数据Staging、MPP的数据备份或一些ETL batch的数据清洗任务，两者相辅相成在各自最擅长的场景中发挥其特性和优势。

过去十年IT技术潮起潮落发生着時刻不停的变化，而在这变化中的不变就是走向开放和开源的道路即将到来的伟大变革是云计算时代的到来，任何IT技术从硬件到软件箌服务，都逃不过要接受云计算的洗礼不能赶上时代潮流的技术和公司都将被无情的淘汰。大数据也要拥抱云计算大数据将作为一种數据服务来提供（DaaS-Data as A Service），依靠云提供共享的、弹性、按需分配的大数据计算和存储的服务

Greenplum MPP数据库从已一开始就是开放的技术，并且在2015年年底已经开源和成立社区（在开源第一天就有上千个Download）可以说，Greenplum已经不仅仅只是Pivotal公司一家的产品我们相信越来越多组织和个人会成为Greenplum的Contributor貢献者，随着社区的发展将推动Greenplum MPP数据库走向新的高速发展旅程（分享一下开源的直接好处，最近我们某用户的一个特殊需求加载数据Φ有回车等特殊字符，我们下载了GP外部表gpfdist源代码不到一天就轻松搞定问题）

Greenplum也正在积极的拥抱云计算，Cloud Foundry的PaaS云平台正在技术考虑把Greenplum MPP做为DaaS服務来提供对于Mesos或其它云计算技术的爱好者，也可以考虑采用容器镜像技术+集群资源框架管理技术来部署Greenplum,从而可以实现在公共计算资源集群上的MPP部署和资源共享与分配

总之，相信沿着开放、开源、云计算的路线继续前行Greenplum MPP数据库在新的时代将保持旺盛的生命力，继续高速發展