案例9: DSP资源耗尽导致AG语音全阻故障

某AG局华为UA5000设备语音全阻,AG下所有用户摘机忙音,被叫对方提示“您拨打的用户忙”,数据业务正常。

1、设备供电不正常;
2、网络接口故障
3、业务单板运行不正常
4、端口外线短路导致DSP芯片资源耗尽

1、怀疑AG由于掉电原因导致数据丢失。登录设备查看数据配置,确认所有数据配置都正常,因此排除数据丢失可能性。
2、网络接口故障。命令查看H248接口正常,排除AG到软交换网络没有问题,排除网络故障。
UA5000(config)#displayif-h248 all
----------------------------------------------------------------------------
接口标识传输方式接口状态 MG端口 MGIP地址 MGC端口 MGCIP地址/用?
----------------------------------------------------------------------------
0 ALF/UDP 正常 2944 10.28.199.117 2944 10.26.64.13
----------------------------------------------------------------------------
3、业务单板运行不正常。登录设备查看所有单板运行正常,排除单板不正常原因。
UA5000(config-narrow-resource)#displayboard 0
-------------------------------------------------------------------------
槽号板名称状态扣板0 扣板1 在线/离线
-------------------------------------------------------------------------
0 PWX2 正常
1 PWX2 正常
2
3
4 H601PVMD 备用正常 H602ETCM
5 H601PVMD 主用正常 H602ETCM
6 H601EP1A 正常
7
8 A32 正常
9 A32 正常
10 A32 正常
11 A32 正常
12 A32 正常
13 A32 正常
4、端口外线短路导致DSP芯片资源耗尽。查看告警信息,发现短时间内有大量的DSP资源分配不足告警。
UA5000(config)#displayalarm history all list
29865 2010-05-10 19:58:47 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29864 2010-05-10 19:58:42 DSP资源分配不足告警
机架0; 槽位号:8; 端口号:2
29863 2010-05-10 19:58:29 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29862 2010-05-10 19:58:26 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29861 2010-05-10 19:58:22 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29859 2010-05-10 19:58:18 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29858 2010-05-10 19:58:11 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29857 2010-05-10 19:58:07 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:19
29856 2010-05-10 19:58:06 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:19
29855 2010-05-10 19:58:05 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:19
29854 2010-05-10 19:58:04 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:19
29853 2010-05-10 19:58:03 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29852 2010-05-10 19:58:03 DSP资源分配不足告警
机架0; 槽位号:8; 端口号:2
29851 2010-05-10 19:58:01 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29850 2010-05-10 19:57:59 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29849 2010-05-10 19:57:49 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:19
29848 2010-05-10 19:57:36 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:19
29847 2010-05-10 19:57:34 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:15
29845 2010-05-10 19:57:27 DSP资源分配不足告警
机架0; 槽位号:11; 端口号:18
29844 2010-05-10 19:57:26 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:19
29843 2010-05-10 19:57:24 DSP资源分配不足告警
机架0; 槽位号:16; 端口号:30
29842 2010-05-10 19:57:22 DSP资源分配不足告警
机架0; 槽位号:8; 端口号:2
5、查看设备有大量DSP资源分配不足告警,怀疑由此导致。经过咨询厂家,通过如下方法进行查询,确认DSP资源已经耗尽。DSP即语音编码通道资源,一块主控板64个通道,一个通道即是一个语音用户在线占用资源,$表示占用,0表示空闲。
UA5000(config)#narrowresource
UA5000(config-narrow-resource)#displaydsp state 0/4/0
{<cr>|startdspchannel<U><0,767> }:
命令:
displaydspstate 0/4/0
------------------------------------------------------------------------------
DSP通道号 DSP通道状态 0-空闲 $-占用为G.711通道 A-占用为全速率通道 W-消耗
X-故障 @-IP 环回 *-PCM 环回 #-禁用
------------------------------------------------------------------------------
0000-0049 $$$$$ $$$$$ $$$$$ $$$$$ $$$$$ $$$$$ $$$$$ $$$$$ $$$$$ $$$$$
0050-0099 $$$$$ $$$$$ $$$$$
------------------------------------------------------------------------------
统计结果: 共查询 64 个DSP通道
其中 64 个空闲通道, 0 个占用为G.711通道, 0个占用为全速率通道, 0 个消耗通道, 0 个故障, 0 个IP环回, 0 个PCM环回, 0 个禁用
------------------------------------------------------------------------------
为什么会导致DSP资源耗尽?再次查看告警记录,发现部分端口告警非常多,怀疑是端口外线短路,导致频繁占用资源请求。通过外线测试,确认外线质量存在问题。
UA5000(config)#test
UA5000(config-test)#potsloop-line-test 0/16/19
{<cr>|busy<K> }:
命令:
potsloop-line-test 0/16/19
机?0 槽位 16 端口 19 ( 电话号码 4055275 MG接口号 0 终端标识号 A275 )
正在测试, 请稍?.....
测试端口 : 0/16/19
电话号码 : 4055275
MG接口号 : 0
终端标识号: A275
------------------------------------------------------
测试项目结果
------------------------------------------------------
A->地交流电压(伏特) 0.093
B->地交流电压(伏特) 0.094
A->B 交流电压(伏特) 0.001
A->地直流电压(伏特) -0.632
B->地直流电压(伏特) -0.210
A->B 直流电压(伏特) -0.422
A->地绝缘电阻(欧姆) 8.562K
B->地绝缘电阻(欧姆)>10M
A->B 绝缘电阻(欧姆) 2.316K
A->B 环阻 (欧姆) 4.467K
A->B反极性电阻(欧姆) 3.611K
A->地电容 (微法) 0.260
B->地电容 (微法) 0.039
A->B 电容 (微法) 0.036
定性结论 A线地气
------------------------------------------------------
通过测试告警中的端口外线,发现端口存在地气。
为解决问题,复位DSP扣板。方法如下:
UA5000(config)#diagnose
UA5000(diagnose)%%dspreset 0/4/0 //4槽位主控板上编号0的DSP扣板(每块主控板上有2个槽位可以安装DSP扣板,一般一块主控板只配一块DSP扣板)
{force<K>|gracenum<K>|gracetime<K> }:force
命令:
dsp reset0/4/0 force
复位DSP会对业务有影响,确实要复位DSP扣板? (y/n)[n]: y
复位后2分钟,查看DSP扣板,时隙都为空闲状态。测试业务正常。
displaydspstate 0/5/0
------------------------------------------------------------------------------
DSP通道号 DSP通道状态 0-空闲 $-占用为G.711通道 A-占用为全速率通道 W-消耗
X-故障 @-IP 环回 *-PCM 环回 #-禁用
------------------------------------------------------------------------------
0000-0049 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000
0050-0099 00000 00000 0000
------------------------------------------------------------------------------
总结:
以上问题是由于用户外线导致DSP口吊死资源耗尽,最终导致所有业务中断,通过复位DSP扣板恢复业务。经深入分析,复位DSP扣板只能临时恢复业务,最终彻底解决故障还需要将存在“地气”的端口问题解决。
碰到此类故障,有时感觉无从下手,但只要认真分析,逐步排查,仔细查看设备告警运行状态,还是能圆满解决。