搜狐首页 科技 非正常事件

手机搜狐

SOHU.COM

大数据管控平台既是“智能管家”又是“决策高参”

随着互联网、数码设备、物联网等技术的发展,全球数据生产呈现爆炸式的增长趋势,新一代信息产业处于加速变革期,当今世界已进入大数据时代。大数据是21世纪的“钻石矿”,收集、拥有和汇总数据,掌握数据挖掘、分析和利用的技术,就掌握了“互联网+”时代的先进生产力。抢抓机遇,开发应用好大数据这一基础性战略资源,对提升政府治理能力、优化民生公共服务、促进经济转型和创新发展有重大意义。

然而,各行业要运用大数据,就需要把所有的数据内容(包括文档、报表、账单、网页、图片、传真,甚至多媒体音频、视频、等各信息载体和模式)进行集中管理和控制,结合强大的元数据搜索引擎,为各用户提供商务智能和大数据分析。吉贝克信息技术有限公司作为国内领先的大数据资产及应用服务公司,基于国际领先的数据仓库、数据挖掘技术,自主研发出“大数据管控平台”,成为帮助用户管理数据仓库的“智能管家”和支持企业管理决策的“高级参谋”,并已成功应用于东方证券、长江证券、上海证券、东北证券等。

一、吉贝克大数据管控平台系统介绍

“吉贝克大数据管控平台”利用先进的数据管理技术,对数据仓库的数据进行统一管理和监控,通过严格的数据质量管控,准确追踪数据整合和数据质量问题,确保数据仓库稳定运行,并能够配合客户轻松便捷地管理数据仓库,支持管理决策。

“吉贝克大数据管控平台”主要由ETL(数据仓库技术)调度管理、ETL监控管理、数据质量管理、元数据管理四大功能组成。

基于四大功能可以实现:

1. 快速定位和解决后台ETL程序发生异常时时的问题;

2. 侦测业务系统结构发生的变化和代码值的增删改;

3. 预知业务系统数据质量问题引起的数据准确性;

4. 业务发生变化或扩展时数据仓库及时调整和响应;

吉贝克大数据管控平台功能构架图如下:

二、吉贝克大数据管控平台功能

1.ETL调度管理

ETL调度管理模块可以集成各种主流ETL工具开发的ETL程序、数据库的存储过程、以及各种脚本,在平台中实现统一管理调度。将客户整个公司各系统的ETL任务集中到平台,实现运维人员一个平台就能管理所有系统ETL任务的目标,提高了工作效率。

2.ETL监控管理

ETL监控管理模块可以集成 ETL程序的日志,把监控日志保存到平台中,包括ETL任务加载开始时间、结束时间、成功或失败状态、加载记录数等;对于存储过程、各种脚本开发的ETL程序有相应的日志模块把详细日志信息存储到平台中;ETL加载发生错误的信息会保存到错误日志中,便于追查发生错误的原因。

精选