
>>>合作联系微信:bushyu<<<
文章来源:中科院dba平台 编辑:lily
最近,中科院计算所发布了一个DBA平台,平开放全部API接口,同时开源Easy ML技术代码。BDA大数据深度分析平台为中科院计算所网络数据科学与技术重点实验室大数据分析小组研发的一站式大数据分析平台,旨在帮助用户降低大数据分析门槛,解决从原始数据到分析结果转化难的问题。DBA平台主要特点:
简单易用:提供可拖拽式的图形化操作界面,帮助用户快速构建和执行分析任务。
大规模可扩展:内部算法基于Spark内存分布式计算框架,具有强大的大数据处理能力。
深度分析:具有丰富的机器学习算法,涵盖分类聚类、文本分析、个性化推荐等方向。
混合计算:支持Map-Reduce、Spark和单机程序并行混合执行,单机/分布式算法。
开放共享:支持数据、程序模块和分析任务的发布和共享,降低使用者的时间成本。
BDA 平台包括两大组件:分布式大数据分析函数与算法库BDA Lib和可视化任务构建与管理平台BDA Studio,可极大提升用户对大数据分析的效率和体验。
![]()
![]()
什么是 Easy ML 系统?
机器学习算法已然成为诸多大数据应用中不可或缺的核心组件。然而,由于机器学习算法很难,尤其是在分布式平台比如 Hadoop 和 Sparks 上,机器学习的全部潜能远远没有发挥出来。关键障碍不仅来自算法本身的实现,还常常来自涵盖多步操作和不同算法的实际应用过程。
我们的平台 Easy Machine Learning 提供了一个通用的数据流系统,可以降低将机器学习算法应用于实际任务的难度。在该系统中,一个学习任务被构造为一个有向非循环图(DAG/directed acyclic graph),其中每个节点表征一步操作(即机器学习算法),每一条边表征从一个节点到后一个即节点的数据流。任务可被人工定义,或根据现有任务/模板进行克隆。在把任务提交到云端之后,每个节点将根据 DAG 自动执行。图形用户界面被实现,从而可使用户以拖拉的方式创建、配置、提交和监督一项任务。主要有点:
降低定义和执行机器学习任务的障碍;
共享和重用算法的实现,作业DAG和实验结果;
将独立算法和分布式算法无缝集成在一个任务中。
该系统包含三个主要组件:
![]()
![]()
如何参与我们的项目?
准备好必需的环境和开发工具。按照 https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md 这里的步骤,你可以在你的计算机中创建我们的系统。
怎样使用 Easy ML 开发环境?
在运行 Easy ML 之后,你能使用我们官方账号 bdaict@hotmail.com、密码 bdaict 登录 http://localhost:18080/EMLStudio.html。我们建议使用 Chrome 浏览器。
![]()
正如下图所示,用户可以根据左边菜单的选择算法和数据集创建一个机器学习任务(一个数据流 DAG)。用户可以点击选择在 Program 和 Data 菜单项下面的算法和数据集,同样也可以点击 Job 菜单项选择现存的任务,并复制和做一些必要的修改。用户同样可以在右边的菜单修改任务信息和每一个结点的参数值。任务中的结点可以对应于单机 Linux 程序或在 Spark、Hadoop Map-Reduce 上运行的分布式程序。
![]()
在点击了 submit 按钮后,该任务被提交给云端运行。每个节点的状态由不同的颜色表示,如下图所示:
![]()
用户可以右键点击完成的执行节点上 green output port 按钮来预览输出数据。也可以从每个完成的执行节点的右键菜单中检查 stdout 和 stderr 日志。用户可以通过右键单击相应的输出端口来检查节点的输出。执行时打印的标准输出和标准错误信息可通过右键单击相应节点并选择菜单中 Show STDOUT/Show STDERR 的方式进行检查。
![]()
在结束后(无论成功与否),任务可以被继续修改,再次提交并运行,如下图所示。我们的系统指挥安排受影响的节点来运行。不受影响的节点输出直接重用,以节省运行时间和系统资源。
用户可以上传自己的算法包和数据集来建立自己的任务,并分享给他人。通过点击 upload program 按钮,弹出窗口允许用户指定算法包的必要信息,包括名称、类别、描述和命令行特征字符串等,如下图所示。其中最重要的在于使用预定格式编写特征字符串。它定义了节点的输入端口、输出端口和参数设置。我们在面板中开发了一个工具来帮助用户编写命令行字符串模式。通过点击 upload data 按钮,用户可以用与上传算法包相似的方式上传数据集。
![]()
参考资料
论文:http://www.bigdatalab.ac.cn/~junxu/publications/CIKM2016_BDADemo.pdf
GitHub :https://github.com/ICT-BDA/EasyML
项目地址:http://159.226.40.104:18080/dev/
api接口:http://159.226.40.104:18080/api/#package
![]()
热门文章推荐
注意!互联网再无BAT,只剩AT和TMDB!
DBA泪奔了,亚马逊用机器学习自动调优DBMS!
破解“人脸识别神经元”编码,机器产生意识成可能!
最新|周志华教授发布最新版gcforest论文和代码!
马化腾:马云和李彦宏都错了,场景比数据和技术都重要!
最新|谷歌董事长:我可以直接告诉你,互联网很快消失!
斯坦福CS231n:卷积神经网络视觉识别课程讲义
独家|面对人工智能,下个像柯洁一样哭泣的可能就是你!