Skip to main content

 路由器网 > 新闻资讯 >

服务故障定位的一些浅谈

2013-11-12 01:24 浏览:

网站的并发量高,容易出现的问题各种各样,针对一些故障有些小技巧,谈不上什么。只是一些拙见。

现在很多网站的模式是:nginx+tomcat 前段nginx做转发 (proxy) ——后面的tomcat (java程序)。在高并发的情况下容易出现:

1: 一种是java虚拟机的内存的溢存的现象——用户的体现大多数是:网站的访问速度响应过慢。这个时候java程序处于假死的状态;查看可以用如下命令:top -p pid(java的程序的pid) 查看的内存占用情况。然后和该java虚拟机的实际规定的内存参数进行比较即可,看出java程序是否出现溢存情况。

2:并发量高的情况还容易出现tcp链接过高导致大量的time-wait过高释放不了——表现服务响应过慢。可以用:netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 可以查看当前系统的tcp链接情况。其中的TIME-WAIT过高的情况。我一般处理的方法:

(1)前端转发连接到java程序的:重启java程序。

(2)一个是前端硬件的负载连接到本地服务器的转发:重启nginx

有的时候出现重启不能释放掉TIME-WAIT连接。一般处理的方法把前端的负载均衡对后面的转发的IP的把其中TIME-WAIT过高的服务器这个IP去掉,然后关掉nginx ,一般会解决这个问题。我相信很多网站多做了多个节点的部署(负载均衡)。然后把问题的服务器重新加入负载之中,启动nginx。

3:最近出现一个情况就是在机房网线出现问题。这几天很多人老是说调用服务出现比以往的超时很多。处理的方法:在不同的机器对该IP ping下大包查看下,看看是否出现丢包的情况:比如: ping 192.169.1.12 -s 10240 查看下ping的时候的丢包率,如果出现丢包再在问题服务器上: ping 127.0.0.1 -s 10240 看看该服务器的网卡是否有问题,然后判断问题的出现情况。

4:还有出现问题的时候,多想想该问题有几种可能造成这个现象。逐一排查下,一般的问题很容易解决。其中很多命令需要熟悉比如:top(很喜欢这个命令一目了然让你了解你的系统状况)、free -g 、df -h 、uptime 、iostat、netstat等等。说这么多,其实最重要还是监控做好,能够第一时间通知你故障以便做及时处理。还有做好冗余措施。如果一套系统挂掉可以及时切到备用系统上。以免影响提供服务。

--如果出现观点错误请大家,指正。