搜狐首页 科技 明日传奇2

手机搜狐

SOHU.COM

年支出达8亿!Hadoop在云端安了家

【IT168评论】所有大数据和Hadoop生态系统相关的企业都非常兴奋,因为这其中很少有企业会被淘汰出局,但企业似乎并没有找到Hadoop的正确打开方式,不过这也不影响他们不断地砸钱。如果试试将整个生态系统搬到云端,就会发现一切都不一样了。

根据Gartner的初步估计,2016年Hadoop的分配支出达到8亿美元,比2015年增长了40%。不幸的是,所有这些支出中只有14%的企业实际用于Hadoop部署,与2015年的10%相差无几。

一大亮点是:Hadoop部署越来越多地迁移到云,在那里可能有更多的机会成功。

在你对“Hadoop”这个词不以为意,认为它已经被Apache Spark或者其他大数据基础设施所取代的时候,你就错了。

Gartner在其对“Hadoop”的调查中包括所有“商业打包和支持的开源Apache相关项目”。换句话说,老式HDFS和MapReduce包含在Gartner的定义中,YARN,Pig,Hive,HBase,ZooKeeper,Avro,Flume,Kafka,Oozie,Parquet,Solr,Spark和Sqoop也包含在其中,整个调查结果是非常全面客观和可信的。

事实上,正如Gartner分析师Merv Adrian解释的,“调查是与所有大数据项目相关的。”当然,盲目信任也是不可取的,考虑到大数据已经成为主流,大数据Hadoop项目也成为主流选择的观点是错误的。

正如Gartner所说,企业似乎陷入了不断进行Hadoop实验的状态,却迟迟不能投入实践:

▲Gartner

不仅2016年的Hadoop部署只有小幅增长,部署的渠道也全面下降。我们需要深入研究一下大数据定义,历史数据可能并不总是好的:

▲Gartner

总之,大数据已经进行了足够的炒作,但还没有得到应有的成功。

搬到云端!

Hortonworks最近一个季度,收入同比增长了39%。在2016年,该公司的收入接近2亿美元,其中1.26亿美元来自Hadoop平台。

对于Hortonworks而言,这一成功最可能归结于其对云不断增长的拥抱。目前有大约25%的Hortonworks客户在其公有云中运行其软件,要知道在两年前这个数字大约是0%。云端才是开发人员想要的软件运行地,而Hortonworks则抓住了这一趋势。虽然亚马逊和微软Azure,可能远远超过Hortonworks,Cloudera或MapR,成为Hadoop转向云端的直接受益者,但这是一个企业必须承认的潮流。

Hadoop部署迁移到云的主要驱动力之一是用Hadoop工作的复杂性。几乎每天都有一个新的Apache项目补充进来加速Hadoop创新,这是除Google之外的主流企业不可能跟上的步伐。例如,想要获得最新最好的流媒体分析数据,其他企业通常使用的是不成熟并且缺乏支持的软件,Gartner指出。

Gartner表示,基于云的交付模型允许企业更好地吸收Hadoop生态系统中的组件(通常是Apache项目)的不断变化。将升级Hadoop组件的繁重工作留给云提供商,这也使得更容易管理、分离存储和计算。

坦率地说,这也是大数据项目的特征使然。正如AWS产品战略负责人马特·伍德(Matt Wood)说的那样,那些出去购买昂贵基础设施的企业会发现问题范围和域名的转移真的很快,当他们准备好解决原来的问题时,业务早已经开始变化了。换句话说,云不仅使大数据可管理,而且也使其更具生产力和竞争力。

将Hadoop生态系统迁移到云端这件事,传统的Hadoop供应商是不会做的,考虑到越来越多的数据将存在于亚马逊、微软和谷歌的公有云上,数据的力量很可能推动企业将Hadoop搬上云端。

精选