DevOps的三板斧

赞助

如果你觉得我写得还行,欢迎付费支持。

话说这些天电视上正在热映《隋唐英雄》,虽然我并没有看,但是对当年田连元老先生的评书联播《隋唐演义》却是记忆犹新,特别是故事里面讲到的程咬金的三板斧:拍蒜瓣、戳脚指甲盖、胡椒面,每每听来总是让人忍俊不禁,不过这些貌似无厘头的招数在实战中却往往有出奇制胜的效果,由此可见简单实用永远都是硬道理,在当前这个倡导DevOps的年代,我们这些程序员自然也要学一些运维方面的本事才好安身立命,下面结合一些真实案例说说我在日常工作中常用的三板斧。

第一板斧:AWK

Web服务器负载飙升,猜测是访问量激增造成的,如何验证?如果有监控,这自然不是什么难事,但如果没有呢?亦或者监控不能显示即使数据,此时如何是好?

前提:日志已经通过logrotate按天切分,其内容类似下面的样子:

1.2.3.4 - - [01/Jan/2013:00:01:01 +0800] "GET /path HTTP/1.1" ...

利用AWK,我们可以很方便的计算一天中每分钟的访问量是多少:

shell> awk -F: '
    {
        count[$2":"$3]++
    }
    END {
        for (minute in count) print minute, count[minute]
    }
' /path/to/log | sort > count.log

下面列出生成的count.log文件中的部分数据,结果一目了然,不多说了:

18:55 14450
18:56 14926
18:57 15645
18:58 16678
18:59 19032
19:00 29134
19:01 34665
19:02 35558
19:03 35545
19:04 35829
19:05 35608

如果想要以秒为单位来统计,也是类似的方法,这里就不多说了。

第二板斧:Strace

程序运行很慢,我们如何知道到底慢在哪?此时可以利用strace的「-T」选项,不过需要注意的是,strace的结果在标准错误里,使用前最好重定向到标准输出。

下面让我们过滤某个PHP进程中操作时间大于0.001秒的操作:

shell> strace -T -p <PID> 2>&1 | awk 'substr($NF, 2, 8) > 0.001'
lstat64("/var/www", {...}) = 0 <0.001596>

如果问题比较简单,通常这样就够了,但如果问题相对复杂,那么我们仅仅过滤出耗时的操作是不够的,最好附上完整的上下文,此时如果用AWK来做的话,代码会变得很复杂,别忘了我们还有grep,通过它的「A」和「B」选项可以很方便的保存上下文,此外利用它的正则功能,可以模拟判断时间的大小。

下面让我们过滤某个PHP进程中操作时间大于0.001秒的操作,并附上前后两行上下文:

shell> strace -T -p <PID> 2>&1 | \
       grep -E -A 2 -B 2 '<([1-9]|0\.[1-9]|0\.0[1-9]|0\.00[1-9])'
getcwd("/var/www/script", 4096) = 32 <0.000081>
lstat64("/var", {...}) = 0 <0.000805>
lstat64("/var/www", {...}) = 0 <0.001596>
lstat64("/var/www/script", {...}) = 0 <0.000105>
lstat64("/var/www/script/test.php", {...}) = 0 <0.000112>

补充:本例中使用的是PHP程序,之所以会出现一堆lstat64操作是因为PHP配置中没有设定合适的realpath_cache_size,具体就不多说了,大家自行查阅相关资料。

第三板斧:Gnuplot

数字总是苍白的,不如图形来得直观,Gnuplot在绘图方面非常简单,就拿文章开头统计访问量的例子来说,以count.log为数据源,代码大致如下:

#!/usr/bin/gnuplot

set terminal png size 500,400
set grid
set xdata time
set timefmt "%H:%M"
set format x '%H'
set xlabel "Time"
set ylabel "Count"
set output "count.png"
plot "count.log" using 1:2 with line notitle

最终生成的图形是不是比数字直观多了:

Gnuplot绘图

Gnuplot绘图

有了Gnuplot,我们甚至可以通过CRON之类的方式打造简易的图形化监控系统。

DevOps代表着未开软件开发的方向,它倡导小团队,强调单兵作战能力,此时的程序员作为团队中的一员,已经不能再仅仅局限于开发的角色,必须在运维方面武装自己,希望大家都能有自己的三板斧,当然我们可不是古惑仔,而是程咬金。

DevOps的三板斧》上有10条评论

  1. Pingback引用通告: 记一次丢包网络故障

  2. Pingback引用通告: 凝雪博客 » 【转】记一次丢包网络故障

  3. Pingback引用通告: 凝雪博客 » 【转】DevOps的三板斧

  4. Pingback引用通告: 通过Nginx,Tomcat访问日志(access log)记录请求耗时 – Log@X.X.B

  5. 看前面的文章的时候一直以为你说运维的呢,还在说自己太差劲了,这么多问题都没有研究深入进去,看这篇文章才知道您是开发呢,哈哈,不管开发还是运维,像您学习了。

发表评论

电子邮件地址不会被公开。 必填项已用*标注