>

笔者先给出紧急故障解决的流程图sbf282.com:,我

- 编辑:澳门博发娱乐官网 -

笔者先给出紧急故障解决的流程图sbf282.com:,我

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

  故障处理完毕后,总结分析如下:

1、重新插拔网线其实只是物理上的一个操作,不会改变任何软件的配置,小编建议重新在水晶头上做做文章,看看水晶头是否有松动或者线序连接错误。

可以直接登录远端的云主机

这种情况一般是通过私有网登录云主机,挂了一个外网port,发现这个port不起作用。

这个时候排查的一般思路是

 ip r get 114.114.114.114

看看走的哪个路由,路由是否推进路由表。

ifconfig eth0 down

eth0先卸掉,只能走外网网卡,在ping一下114.114.114.114.

重启网络设备。

其它问题,如果现场不能解决,就通报关键用户并联系厂商解决。

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

  排错总结

  1. 进行ping测试上网设备到公网的延时

检查端口

是否把默认端口改了?常用的端口如下:

HTTP - port 80
Proxy - port 3128
SSH - port 22
FTP - port 21

但是为了安全,有时候会把ssh默认端口改掉,然后死活连不上去。

这一步可以使用telnet

telnet <server> <port>

如果看到 connection refused,那么是因为端口没有开启。

在本文中,笔者就以网络不通的故障为例,讲解网络运维的紧急故障处理的比较通用的思路和解决方式。

确定其他人的症状相同

  (3).环路可造成广播风暴,数据流量猛增,造成汇聚设备上联口拥塞,远程无法登录。电脑中ARP病毒后不停发包,也能造成设备死机,远程无法登录,两种情况有相似之处。

| 去掉路由器,电脑单机测试(有的外网接口为光纤接口无法进行单机测试)

网线接口,电源

如果还有问题,那么看看这个通路中,是不是有网线接口没插好,电源没插上。

这边还有个段子,微软的技术支持说,大部分打电话过来反应网络不通的客户,到最后很多都是网线没插好,但是你要直接跟他们说你去看看是不是网线没插好,客户肯定会说,“怎么可能,我怎么可能会犯这么低级的错误!”其实这些人就是犯了这么低级的错误,但是顾客是上帝啊,所以你要说,“可能是接触不好,你把网线先拔下来,再插上去试试。”这样既解决了问题,又照顾了客户的面子。

紧急故障解决的通用流程

图一

  案例二:用户端交换机环路引起故障


获取到ip地址了吗

接下来排查的一个点可以考虑是否从dhcp服务器获取到正确的ip地址。很有可能网管改了dhcp服务器或者是ip路由啥的。那么重启网络设备,重新刷一下可能可以解决:

# /etc/init.d/network restart
# tail -f /var/log/message
# ifconfig -a
# route

service networking restart 

debian系统

 /etc/init.d/networking restart

二层网络是否正常:如果用户或终端)ping网关不通,则检查下端二层网络、用户网线、三层网关设备以下网线或光纤是否正常,端口是否UP,是否有CRC error报文统计。检查二层网络中的交换机设备是否能正常学习到用户MAC地址,检查三层网关设备与二层交换设备之间的连通性、二层设备的CPU利用率是否正常,是否有二层环路造成或病毒攻击。首先确保用户或终端)能正常ping通网关设备。

在笔者所在公司中,很多自己开发的、只限于公司员工使用的服务都是内网服务,比如OA、邮箱、ERP等等。而像QQ、微博那样的则属于外网服务了。

  故障现象


ping那个ip

直接ping那个ip,看看通不通。

如果直接ping ip是通的,但是ping域名不行,那么可能是dns server有问题。

这个时候就需要看一看 /etc/resolv.conf 这个文件

vi /etc/resolv.conf

输出示例

domain openstacklocal
search openstacklocal
nameserver 202.101.172.46
nameserver 114.114.114.114
nameserver 223.5.5.5
nameserver 202.101.172.47

这个里面就是dns server的ip。

直接ping一下dns server。看看dns server是否正常,有没有挂掉。或者把公共服务的dns 域名加入。比如 114.114.114.114,或者阿里的 223.5.5.5

还有一种可能,ping不通是因为服务器管理员吧icmp应答关掉了。这个时候可以试试tcping。

sbf282.com 1

Paste_Image.png

随着信息化进程的飞速发展,网络已经成为每个现代企业必须的要素之一。相对于网络维护,网络运维更加侧重于保障网络系统的正常运行,运维有运行和维护两层含义。对于一个系统,有时出错我们无法预知,系统越复杂,其难维护难度更大,为了减少损失,我们尽可能地去预防各种错误,对于突发情况,尽可能地去修复。

然而在相对较小的网络环境中,网络管理员负责的事情是从设计规划网络,建设网络,管理服务器,到购买网络设备等所有与网络有关的事情,经常被作为"万精油"来使用。所以说做这一行的挑战是很大的,是否能有长进取决于自己。如果能够一直坚持做下来,并且抓紧时间不断补充新知识,最终还是可以达到网络管理的顶峰。

在网络的管理运维过程中,可以说故障是不可避免的。如果有管理员企图打造零故障的网络,只能是徒劳。因为网络故障有太多的随机性和偶然性,何况还有人为因素。所以,管理员要做的是掌握网络排错技巧,积累经验培养敏锐的嗅觉,能够少走弯路,快速定位并排除故障。笔者做技术支持时目睹过不少网管的排错过程,也看过一些别人的排错文章,发现有不少人有意或者无意地走了不少弯路。下面很大家共享两例网络排错案例,希望对朋友们有所启发。

sbf282.com 2

使用 traceroute 试试

如果完全ping不同服务器,那么试试traceroute这个命令。它能提供从你这一端,到服务器之间详细的信息。你可以看到到底是那个网关路由挂了。

root@debian-test-master:~# traceroute v2ex.com
traceroute to v2ex.com (180.96.71.148), 30 hops max, 60 byte packets
 1  223.252.223.3 (223.252.223.3)  0.419 ms 223.252.223.2 (223.252.223.2)  0.659 ms  0.644 ms
 2  115.238.118.237 (115.238.118.237)  0.605 ms 114.113.197.173 (114.113.197.173)  0.703 ms 115.238.118.241 (115.238.118.241)  0.521 ms
 3  115.238.118.89 (115.238.118.89)  0.330 ms * 115.238.118.97 (115.238.118.97)  0.295 ms
 4  * * *
 5  61.164.31.253 (61.164.31.253)  2.064 ms 61.164.31.137 (61.164.31.137)  5.728 ms 61.164.13.117 (61.164.13.117)  1.237 ms
 6  202.97.68.225 (202.97.68.225)  8.226 ms  4.743 ms  8.830 ms
 7  * * *
 8  202.102.73.54 (202.102.73.54)  13.977 ms 202.102.73.78 (202.102.73.78)  14.047 ms  14.026 ms
 9  180.96.51.118 (180.96.51.118)  104.830 ms  104.053 ms  104.359 ms
10  * * *
11  180.96.71.130 (180.96.71.130)  10.000 ms  9.954 ms  9.941 ms
12  180.96.71.138 (180.96.71.138)  13.497 ms  11.722 ms  12.609 ms

当然,现在更好的工具是 mtr。但是一般服务器上都没有装,要先手工装一下。它结合了 tracerouteping的功能。并且是动态的。

在本文开始前,笔者先给出紧急故障解决的流程图,见图一。

假设4:某个分公司C用户发现无法访问服务器a,询问后得知其他用户故障现象相同。

  (2).由于造成环路的端口未使用,没有配置业务,导致交换机无法在13志中产生环路告警,也未能报告出哪个VLAN故障。

回答:

编译参考:http://www.cyberciti.biz/tips/linux-network-diagnose-tools.html

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

终端→接入交换机→联网路由器→核心路由器→核心交换机→服务器

  (1).用户交换机走线杂乱,线路未作标签,业务走向不明,是造成环路故障的主要原因。

网关地址一般都会设置192.168.1.1或者192.168.1.254,小编的网关是192.168.31.1

看看默认的路由/网关ip

如果traceroute 结果是都不能到你自己这边的网关,那么大概是路由没设置好。

使用这个命令

 route
 route add default gw 192.168.1.254 eth0

或者

ip route

sbf282.com 3

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

  排错过程

因为你的情况说得不具体,下面就可能的情况进行分析:

抓包

这是最后一步,上抓包工具,看看具体是啥原因导致网络不通。

可以利用wiresharktcpdump等。

...

因为A与B用户访问服务器a、b走过的是同样的网络路径,所以一般可以证明是服务器b本身问题或者是服务器b接入交换机硬件设备或上下行网络链路问题。

  通过对这个网络的故障分析,我们总结出以下几点:首先是当网络出现故障的时候,一定要多到用户端了解情况,最好能通过用户对故障的描述抓住网络故障的实质。其次,当出现奇怪的网络现象时,可以分析是否是用户端的机器中了病毒导致这种现象发生,并不一定是网络设备的问题。


查看防火墙的日志

到了这一步,那么再看看防火墙的日志吧。也许是因为防火墙的问题。可以先关掉防火墙,重复上面几步,如果问题解决了,那么就是防火墙的原因,把你的主机加入白名单吧。

# iptables -L -n
# tail -f /var/log/messages
# /etc/init.d/iptables stop

据说线下环境默认镜像把防火墙都打开了。

 iptables -A INPUT -p icmp -j ACCEPT
 iptables -A INPUT -p tcp  -j ACCEPT
 iptables -A INPUT -p udp  -j ACCEPT

图一

只是从自己的机器对网络和服务做出判断并不够客观,也不够严谨。前面我们已经大致的推测出故障原因,在这一节我们尝试对这个推测进行证明。

  三口流量不正常,最后确定是三口所带的用户问题,用户端不停地发包,流量过大造成三层交换机上联口拥塞,从而影响其他用户正常上网。

sbf282.com 4

吃饭不积极,网络有问题。

导读:为了提高广大初入此行的网管读者们的紧急故障处理水平,故策划了本文,将这几年来的经验撰写出来,与读者分享管理思路和控制管理能力的思维。

sbf282.com 5

  到用户端检查,将用户所用的公网IP配置在笔记本电脑上直接上网,上网正常,确定用户端光电转换器和线路无故障。检查用户交换机配置正常,但是只要接上用户交换机,机房内三层交换机就无法正常工作,判断用户交换机故障。由于用户交换机无资料,无法确定每个端口的业务明细,只有采取将交换机上的连接线一个个拔出,同时检查机房三层交换机运行情况的方法来判断故障点的位置。当将用户交换机e 2/8端口线路拔出后,机房内人员报告三层交换机运行恢复正常,立刻检查该线路,发现这条线路的另一端连接在第e 2/29端口,原来是这条线路两端都连接在交换机上造成环路,导致链路拥塞,用户无法上网。详细检查发现造成环路的端口都未配置,并且没有业务使用,交换机没有发出环路告警。

sbf282.com 6拼127.1能拼通的话可以确定电脑设备TCP/IP的协议没有问题;

三层网络是否正常:可以通过telnet/console口登陆三层设备,如果有问题,通过ping、tracert、show logging、端口统计、CPU利用率统计、链路状态、路由表状态、MPLS标签表状态等对问题进行分析,在业务忙时,不得擅自重启或倒换三层核心路由器等设备。

以下表格(表二)有助于理解故障寻找的过程和思路:

  总结:两个简单的案例,带给我们不少启发。希望管理员朋友们在日常的维护工作中注意机房内的资料整理,确保线路连接整齐规范。在处理故障时多注意观察三层交换机日志和端口流量,能有效地减少网络故障和处理故障时间。

1、网线没制作到位

解决建议:检查路由器连接猫之间的线缆有没有问题,是否断线,线序是否不正确,路由器接口是否有松动。如果是使用了自己制作的网线,建议你去买一根成品的跳线换上。sbf282.com 7

除了购买成品跳线外,你也可以自己动手重新做一遍,需要准备工具和材料有:

压线钳*1把

剥线钳*1把

适当长度的网线*1条

水晶头>2个

注:压线钳如果带了剥线功能,那就不用准备剥线钳了,水晶头最好准备2个以上。

制作线序如下:

1、568A标准:绿白-1,绿-2,橙白-3,蓝-4,蓝白-5,橙-6,棕白-7,棕-8

2、568B标准:橙白-1,橙-2,绿白-3,蓝-4,蓝白-5,绿-6,棕白-7,棕-8sbf282.com 8

做交叉线或直通线都可以,现在的设备大多自适应。

当客户端发生网络中断的故障后,首先判断用户或终端)到三层网关设备之间通道是否存在问题,从用户或终端)上ping网关是否能通,用户或终端)自身是否发生问题。

表二

  记下出现故障时显示的那个网关的MAC地址,然后在楼道交换机上根据这个MAC地址查到是哪个机器,拔掉该机器的网线后,网络恢复正常。至于为何中午下班时上网正常,是因为用户下班时将中病毒的机器关了,所以大家都又能够正常上网。中毒机器杀毒后也恢复正常。

  1. 进行ping测试上网设备到内网网关延时

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

现在公司信息中心的岗位划分的比较细,如果你是某个专业应用的项目组,那么假设你现在已经大致知道了发生了什么事,还知道了哪些部门需要对此事负责,那么就致电需要对此事负责的部门,询问当前是不是一次计划内的停机或者检修。如果是的话,弄明白为什么事前没有收到通知。如果不是计划内的,告诉他们你已经掌握的所有事情,这可以帮助他们尽快修复。然后致电所有你在排查期间帮助过你的其他部门或者同事,通报最新的消息给他们。最后致电你的关键用户,向他们解释发生了什么事,告知有望恢复正常的时间,并通过有效手段发布通知所有可能受到影响的终端用户群。

  故障解决

2、WiFi芯片性能不好

WiFi芯片就和我们手机CPU对手机的作用一样,一款没有性能保障的WiFi芯片,肯定会导致连接的不稳定,建议选择路由器时,注意看一下WiFi芯片。一般好一点的有博通、高通、海思、瑞昱、联发科,如果你在网上购买如何查看WiFi芯片是什么品牌的呢?

如京东上,一般在无线路由器产品的参数页会标注着,如果没有表示WiFi芯片也就是路由器处理器,那就不要购买,连芯片品牌都不敢标,估计也就是三流路由器。sbf282.com 9

本文由胜博发-运维发布,转载请注明来源:笔者先给出紧急故障解决的流程图sbf282.com:,我