搜狐首页 科技 欢乐颂2

手机搜狐

SOHU.COM

智能运维及海量日志搜索分析的实践之路

本文根据〖2016全球运维大会?深圳站〗现场演讲嘉宾分享内容整理而成。

讲师简介:陈军

17年IT及互联网研发管理经验,曾就职于Cisco、Google、腾讯和高德软件,历任高级软件工程师、专家工程师、技术总监、技术副总裁等岗位。他发明了四项计算机网络和分布式系统的美国专利,拥有美国加州大学计算机硕士学位。

导言

陈军:谢谢那么多人来参加这个大会,感谢这个机会。刚才前面有一位朋友问到日志分析的情况,日志易就是专门做日志分析的,我也专门讲一下日志。

实际上日志只是一个方面,我今天要讲的是一个更大的话题,《IT运维分析与海量日志搜索》。

IT运维分析

“IT运维分析”是这两年新提出来的概念,过去那么多年我们一直在讲的运维,实际上讲的是运维管理,即ITOM。

而ITOA是这两年随着大数据技术的产生而产生的,它就是把大数据的技术用在IT运维产生的数据上面。

因为IT运维本身就会产生大量的数据,用大数据的技术去处理IT运维产生的数据,来提高IT运维的效率。它的用途是在可用性监控、应用性能监控、故障根源分析、安全审计这些方面。

据Gartner估计,到2017年15%的大企业会积极使用ITOA,在2014年的时候这个数字只有5%。这个报告还是基于欧美的市场,欧美IT方面的投入更大、更加精细化,在他们那里才做到明年有15%的大企业积极用ITOA。

很多公司还停留在ITOM(IT运维管理)的阶段,ITOA是一个新的阶段,要去做分析,分析之后来提升管理水平。

ITOA的四种数据来源

ITOA是把大数据的技术用在IT运维产生的数据上面,所以数据的来源就很重要,它分析些什么数据?

机器数据: 其实主要就是日志,服务器、网络设备产生的数据;

通信数据: 实际上就是网络抓包,这些流量的数据,把它抓包解包之后会产生大量的数据;

代理数据: 在.NET/Java这些字节码里面插入你的监控代码,去统计函数调用的情况、堆栈使用的情况,在代码这一级来进行分析,插入代码也可以获得一些程序执行的数据;

探针数据: 在全国各地布点来模拟用户的请求,来发起ICMP的ping、HTTP GET这种请求,对系统进行检测,看延时的情况、响应的情况。

所以,ITOA就是围绕着这四种数据来源,使用大数据的技术来做分析。

美国一家ITOA公司做的用户调查,这四种数据来源使用占比,大家可以看到:

精选