案例36     烽火ONU下联设备ARP攻击导致同一PON口下所有用户pppoe拨号困难

AN5116-02系列EPON设备，下挂09A,07A的ONU，全部为FTTB设备。某日该OLT有一个PON口下带的FTTB用户出现拨号678的故障，但拨号并不是每次都拨不上，有时拨号十次或二十多次偶尔还是能够成功拨到BRAS的，拨通后宽带业务使用正常，无掉包或网速慢等问题。网络拓扑如下：

1、ONU设备工作状态是否正常，有无断电、断纤等告警；

2、设备丢包率是否正常；

3、BRAS地址池是否过满；

4、设备设置MAC地址老化时间是否适合；

1、检查ONU到OLT的物理通道是否正常，首先对该处进行OLT上联、ONU下联进行PING包处理，目的是检查整个通路到BRAS的情况。实际分析处理无物理通路故障。

2、检查OLT设备的FDB表，以及投诉点07A设备的ARL表。当我们进行拨号的时候，可以在29槽看到上层8505交换机的MAC地址，也可以在EC2槽位上看到用户拨号电脑的MAC地址，并且业务VLAN ID正确；同时看07A设备ARL表，可以看26口上学到的8505的MAC，也可看到用户端口学到的用户电脑的MAC，且VLAN ID正确。由以上信息可以证明在设备内部的VLAN学习及地址转发情况都是正常的， 

3、在OLT上联口做拨号测试，进一步判断故障点，挑空电口做测试，发现每次拨号都能成功；再进一步了解情况，做各处的拨号测试，将故障范围缩小在了一个PON口上，即其它几个PON口拨号都正常，仅一个PON口下的共计10台ONU拨号不正常。怀疑存在环回，再检查FDB表，对比29槽和该槽位的地址表，并未发现有EC2板存在上层设备地址的情况，而且此处也设置了ONU ACL，已经杜绝了下联ONU端口环回情况，但不能排除ONU下挂交换机的硬件环回情况，因为此处有大量FTTB_ONU下挂或级联交换机的情况。

4、再继续从抓包分析入手，分别在镜像ONU上联、EC2前面板、OLT上联口等三处同时安排人员，各挂一台电脑，将每次pppoe拨号包的流程进行抓包。实施后发现PPPOE拨号的PADI广播包不是每次都能到达上联口，直到成功发送出上联口才能收到BRAS的PADO回复，那样才能成功拨号上网。而我们从某次pppoe发包，ONU端抓包发现共发送了两次拨号直到第7个PADI广播才收到PADO回复，对比EC2抓包，只收到了总共3个PADI广播包；而上联口当然只收到了一个PADI的广播包，也就是最后一次拨号成功了。反复进行了多次pppoe抓包，都是随机性的拨号成功，有时候拨号十几次才拨号成功。从上述情况看就是因为PADI广播包在ONU->EC2丢失一次，在EC2->GSWC->GUP7丢失一次。请参考下图，ONU处总共发出7次PADI才成功的流程：

得知故障根源后，要确定是什么缘由导致丢弃PADI包才行。与烽火厂家人员联系后，了解到OLT系统内部有广播包的门限限制，我们AN5116-02系统内部每个PON口的广播包带宽是2048kbit/s。我们再次抓包，并且不过滤包，在包中发现有一个MAC为00:27:19:5d:61:62的设备不停的向上层发送大量ARP广播包，不停的查找192.168.1.1的地址是对应哪台设备，它完全把目的地址为ff:ff:ff:ff:ff:ff的广播类型带宽资源占用耗尽，很明显这是属于病毒包。找到该包的VLAN Tag值，立即找出了对应的是一台AN5006-09A设备的端口，立即屏蔽掉该端口业务，发现拨号每次都能正常了，故障解决。赴现场发现该台09A下面下挂一台交换机，这个交换机上没有做任何设置，默认的VLAN 1也没有关闭，导致不停的向上发送ARP包，造成广播类型带宽资源耗尽，致使正常用户拨号受阻。请看下图，大量无用ARP广播包：

总结：

平时我们分析故障抓包总是通过过滤等手段逐步细化定位问题，虽然某些问题如语音可以通过此法逐步定位问题，但此次故障仅过滤pppoed报文不能完全定位出问题，相反抓包不过滤看全部的包，才能发现是其它的ARP攻击包占用了广播包带宽。同时抓包需要在OLT的上联口，EC2盘上，09AONU的端口上分别抓包，分析PPPOE协议的报文是否正确

       案例37：   承载设备选型不当导致用户ITV障碍

1月27日接都宝电信营业厅代办员反映：小区内部分用户家中 IPTV在晚上高峰时段观看画面较卡，影响观看质量，查修员现场检查线路正常故障原因分析

1、设备有无丢包；

2、ONU带宽分配是否过小；

3、ONU上联PON口及OLT上联口，端口流量均正常；

4、ONU设备的换能力、带宽处理能力不足。

1、测试网络质量和带宽等相关指标。 首先加2000包PING测交换机，延时正常，无丢包。登陆至二层交换机，display int e1/0/1，查看交换机上联口状态如下：

a)  查看交换机上联口无错误包及碰撞帧，端口流量正常。

b)  登陆芜南路c200 OLT，上show run查看该onu带宽分配正常。

c)  showint epon-olt_0/1/3及show int gei_0/4/1，查看ONU上联PON口及OLT上联口，端口流量均正常，无带宽拥塞现象。

   2、分段进行测试判断障碍点

现场在ONU端口启用CVLAN，直连PC机测试正常。而从交换机连接则观看画面较卡。将D402ONU更换F820ONU后，现场测试正常。联系用户，经连续三个晚上观察，障碍恢复。

总结：

为彻底解决网络隐患，现场将都此驻地网小区D400型ONU统一更换成F820型ONU。同时，在今后工程建设中，要严格按照业务需求及建设模式选择相应设备，确保网络质量满足业务承载需求。该驻地网是2009年EPON网络建设初期进行建设的，因当时网络建设经验不足，有部分楼道交换机是通过D400这种FTTH型ONU进行承载的，如78栋、72栋、73栋等。而D400型ONU一般是应用于家庭用户，各项功能指标，包括交换能力、带宽处理能力均不符合FTTB+LAN建设模式需要，造成在业务高峰时段无法满足IPTV等流媒体业务对网络高质量的承载要求，也不符合省公司FTTB+LAN模式下的设备选型规范。将D400更换至F820型FTTB类ONU后，网络承载能力符合要求。

案例38： 用户路由器问题导致中兴OLT某PON口下用户宽带拨号678

中兴OLT设备下某PON口用户申告宽带业务不能正常使用，拨号出现“678”错误。

（1）   PON口发光状态是否正常

（2）   PON板运行状态是否正常

（3）   OLT设备配置是否正确

（4）   用户端是否存在环路或者异常报文

1、通过资源系统查看障碍用户都是上联至中兴OLT设备的同一PON下，OLT上查看端口流量发现大量异常广播包，PON口及内联口ONU流量都出现异常，查看结果如下：

C220#show interface epon-olt_0/5/2（查看PON口流量）

epon-olt_0/5/2 is activate,line protocolis up.

Description is none.

The port is activate.

 Input rate:  473004456(bps),  638063(pps);

 Output rate: 108025208(bps), 637103(pps);

 Input bandwidth thoughput:  47.3%;（备注：此处可以看到PON口的入流量值比较大）

  Output bandwidth thoughput: 10.8%;

 Interface peak rate  :

   Input peak rate: 516569016(bps);

   Out peak rate: 128452696(bps);

 Total statistic:

 Broadcasts: 1451631339.（备注：广播报文数量过大） 

C220#show interfaceepon-onu_0/5/2:1（查看此PON口下ONU流量）

  ONU statistic:

  Input rate: 29979080(bps),  40727(pps);

  Output rate: 744(bps),  0(pps);

Input bandwidththoughput:  99.9%;（备注：此处可以看出该ONU入流量值已接近100%）

  Output bandwidth thoughput: 0.0%;

Broadcasts: 94181693;（备注：广播报文数量过大）

C220#show interfaceepon-onu_0/5/2:3（查看此PON口下另一ONU流量）

  ONU statistic:

  Input rate: 30003208(bps),  40761(pps);

  Output rate: 128(bps),  0(pps);

Input bandwidththoughput:  100.0%;（备注：此处可以看出该ONU入流量值已到100%）

  Output bandwidth thoughput: 0.0%;

 Broadcasts: 96021246;（备注：广播报文数量过大，存在异常） 

2、OLT上查看上联口广播包数量远小于该PON下行广播包数量，同时OLT上已经对广播包进行限速（100pps），则可以断定该PON口的异常广播包并非来自上层网络。遂对OLT设备进行更换PON板操作，基本排除硬件故障，但用户障碍仍然存在。

3、现场查看OLT版本为P2T6版本，检查配置发现PON口P2P模式为full，所有业务在二层均互通，存在较大风险，遂将端口P2P模式改为group，清空该PON口counter后，经过一段时间的观察，端口流量恢复正常，如下：

C220#show interfaceepon-olt_0/5/2

epon-olt_0/5/2is activate,line protocol is up.

  Description is none.

  The port is activate.

  The port link up/down notification is trapinform

  The port has 64 onus,  the number of registered onus is 29

  OLT statistic:

  Input rate: 7196432(bps),  3755(pps);

  Output rate: 3345552(bps),  2(pps);

Input bandwidththoughput:  0.7%;

  Output bandwidth thoughput: 0.3%;

  Interface peak rate  :

    Input peak rate: 9178264(bps);

    Out peak rate: 5408408(bps);

  Total statistic:

Input :

      Bytes: 741994243, Packets:  3537366;

      Unicasts: 3537366;

      Multicasts: 0;

      Broadcasts: 0;

    Output:

      Bytes: 391686537, Packets:  4437;

      Unicasts: 0;

      Multicasts: 30;

   Broadcasts: 4407.

4、该PON口流量恢复正常后，经回访仍有用户拨号678，在OLT上抓包发现用户上报PPPOEPADI包，但BRAS没有回复PADO包，抓包如下：

后BRAS侧重新配置数据后，可以看到部分用户业务恢复，如下:

5、现场反馈该PON下部分ONU下挂路由器PPPOE拨号依然是678，单机拨号正常，同时在抓包中分析发现将该PON口下ID为24的ONU去激活后，业务可以恢复正常。现场重启该ONU设备（中兴F803），OLT对其数据重新进行下发，该用户业务恢复正常，过段时间障碍现象再次重现，遂初步断定为该ONU下端口用户问题导致，逐步关闭该ONU设备各端口，当关闭第7个端口后经测试该ONU及其他ONU下业务均可恢复正常。

6、在OLT上抓包发现该用户下挂TP-Link路由器不断发大量无为ARP报文Gratuitous Arp（7888pps）报文，地址192.168.1.1，当其他路由器（非TP-Link，未获取公网IP时地址为192.168.1.1）广播ARP包时，该TP-Link发送大量的Gratuitous Arp 192.168.1.1MAC地址重复更新ARP表项报文(8365pps)，影响其他用户正常的PPPOE拨号，将该路由器中断后业务恢复正常，后检查其他楼层设备，业务正常。此类

总结：此类障碍是由于用户端原因向上层网络不断发送大量非法广播报文导致，由于接入层设备靠近用户端，用户环路、病毒攻击等不确定的因素不可避免，因此须在汇接设备上做好相关安全性配置以及风险检测机制。

        案例39：  PON网管操作导致OLT重启

新开设备中兴C220，不明原因设备重启。

1、中兴C220设备电源故障。

2、设备应急故障。

3、数据配置问题、版本问题。

1.登陆中兴C220，查看网管告警记录，无异常告警。由于C220设备重启，登陆设备查看告警记录，设备没有记录重启前设备告警。

2.现场查看机房电源，C220设备电源均正常。排除电源问题。

3.现场倒换主控板，设备均正常，没有中断，排除主控板问题。

4.联系中兴厂家查看原因，没有找到设备重启原因。待观察。

5.观察中，有电话来称C220下新开业务，帮查看下ONU是否能发现。在PON网管上操作，查询未认证ONU，C220设备突然重启。此时怀疑是PON网管导致OLT设备重启。

6.联系中兴办事处，确认PON网管操作中查询未认证ONU是否会导致OLT设备重启。中兴办事处联系研发已确认，OLT版本为V1.1.3P4，在PON网管查看未认证ONU时有很大几率导致OLT重启。

7.中兴厂家将新上C220，打补丁gcsas_r4.pat，问题解决。在PON网管操作，OLT不再重启。补丁解决了组装ONUNAME时，MODULE溢出导致OLT重启。

(四)总结：

此故障为设备软件问题，中兴办公事处称有个省份出现过类似情况。接入网设备类型多，版本更多。新入网的设备，往往都是新版本，这个就需要厂家做好软件的测试和及时升级，及时更新补丁。

案例40：  家庭网关设备长发光导致该PON口下所有用户业务中断

在开发区局华为MA5680T下0/11/4 PON口下挂的用户反映电话宽带均不能正常使用，在工作人员上门检测后发现用户端收光正常，但是在OLT上查看该PON口下所有设备均是离线状态。

引起故障的原因可能有以下几个方面：

1.OLT设备PON口或EPBA单板芯片故障

2.光路不稳定

3.存在流氓ONU

1：初步分析为EPBA单板的EMAC芯片故障，现场更换EPBA单板，但故障现象依然存在，排除芯片故障原因

2：在分光器处利用ONU测试仪测试，发现收光均在－15dBm左右。关闭对应PON口，收不到光，排除光路问题。

3：拆除分光器，直接将用户联至该PON口。业务恢复，排除用户端设备故障，将分管器安装上，将这一用户连上业务正常，排除分光器问题。

4：将用户尾纤一一连接，当连至一用户时，所有用户终端，在OLT上显示离线，拆除该用户尾纤，业务恢复。存在流氓ONU。到用户家查看该设备，经检测设备长发光。更换设备所有用户均恢复正常。