搜狐首页 科技 王子大人

手机搜狐

SOHU.COM

容器和微服务在 Hadoop 生态系统中找到一席之地

写在前面

最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来越受欢迎,这个现状也可能会发生改变。

容器和微服务都可将单层应用(monolithic application)的代码拆分为更为精细的部件,简化了开发和测试,也是部署复杂应用和代码重用的关键。

虽然刚开始将这种技术应用于大数据,但在数据流方面,微服务已经显示出良好的潜力。欧洲电商公司一位技术经理表示,微服务可以简化部署和代码重用。

Otto GmbH 是德国汉堡一家多渠道零售商,它的商业智能系统的首席平台架构师 Rupert Steffner表示,使用微服务,“可以精简当前的工作”,进一步说,对于某些类型的应用,如果不使用微服务,“是不明智的做法,因为你是在不停重复同样的功能。”

Steffner所说的应用类型即对在线零售网站进行实时分析工作的多功能人工智能(AI)机器人程序。Otto融合了微服务、Docker容器和流处理技术来支持这些AI机器人程序。

注:本文转载自微信公众号「 Docker 」,微信号ID:dockerone。内容解释权归原作者所有。

容器和微服务,厉害了

云计算是将Hadoop、Spark和其他大数据技术推向虚拟化、容器和微服务的动力之一。还有许多基础设施需要构建,但目前已经有公司开始用技术简化这个过程。

“以前Hadoop多运行在裸机上,后来在虚拟机上也可以了;比如亚马逊云、Azure云和OpenStack。而现在,又要转移到容器上去。”Tom Phelan,BlueData软件公司的联合创始人和首席架构师,该公司是Hadoop或Spark集群自动生成平台制造商。

“以前,Hadoop集群在裸机上的表现更好,但这种情况正在改变,”Tom Phelan说。他承认容器还需要进一步成熟,并提到Hadoop最初的设计并不是微服务类型的架构。位于加州圣克拉拉的BlueData最近更新了软件以增强容器支持,推出Hadoop集群Kerberos自动设置和Linux特权访问管理工具。

微服务的另两个驱动因素是敏捷性和流,Hadoop发行版厂商MapR Technologies公司的MapR数据和应用方面的高级副总裁,JackNorris表示,使用机器人程序的顾客需要快速适应数据和机器学习模型。

对“事件驱动”型构架的应用来说尤为如此,因为这样的构架包含越来越多的数据流组件。Norris说,随着Hadoop和Spark应用流变得越来越复杂,更新也变得越来越难了。但是,由于微服务专注于数据管道事件,这会给发展带来更多的灵活性。这也改变了之前 Hadoop的发展方式。

精选