网站丢包严重，表现为访问间歇性打不开、页面加载卡顿、请求超时、部分资源加载不全，Ping测试会出现大量请求超时。丢包代表数据包在传输途中丢失，问题可能出在访客内网、运营商骨干链路、服务器机房、安全防护、CDN回源链路，需要先判断丢包影响范围，再由近到远逐层排查处理。
一、先定位丢包发生位置
1、使用MTR工具做路由探测
看丢包出现在哪一跳。如果前面节点就出现丢包，属于中间运营商链路；最后几跳丢包，则是机房、服务器本身问题。
2、区分故障范围
仅个别用户丢包，问题在访客本地；某一个运营商大面积丢包，属于网间互通；全国多运营商都丢包，重点排查服务器、防火墙、CDN。
3、直连源站IP测试
直连源站依旧高丢包，故障在源站机房；直连源站正常，域名访问丢包严重，则问题来自CDN节点或者回源链路。
二、访客与局域网侧处理
1、WiFi环境容易出现随机丢包，优先网线直连测试；重启光猫、路由器，设备长时间运行会出现报文处理异常。
2、关闭后台下载、云盘同步、视频大流量任务，带宽跑满会造成局域网丢包。
3、代理、加速器软件会改变路由路径，中转节点质量差直接带来高丢包，关闭后重新测试。
三、服务器机房与系统层面优化
1、查看服务器带宽占用，出口带宽跑满之后，超出流量的数据包直接被丢弃，造成严重丢包，根据业务规模扩容带宽。
2、监控CPU、内存、磁盘IO。服务器负载满载，网卡处理报文能力下降，会出现本机网卡丢包，升级配置，业务高峰不要执行备份、采集任务。
3、检查服务器网卡，网卡错误包、溢出包持续增长，说明网卡驱动或者硬件异常，需要修复驱动或更换硬件。
4、单线机房晚高峰跨运营商访问，网间互通拥堵，会出现跨网用户大量丢包。短期依靠CDN缓解，长期优先选用BGP多线机房。
四、防火墙、WAF安全策略排查
1、防火墙、WAF防护阈值设置过低，流量稍微上涨就触发丢包限流，出现访问抖动。调高合理阈值，查看防护日志确认是否误丢正常业务数据包。
2、不要对IP段做一刀切限速，部分规则不会直接阻断连接，而是丢弃部分数据包，表现为Ping丢包、网页时好时坏。
3、确认安全组没有做流量压制，放行业务所需全部IP段，尤其是CDN全部回源IP。
五、CDN环境下丢包处理
1、CDN个别边缘节点故障，该节点覆盖地区用户访问丢包严重，开启CDN节点自动故障调度，自动绕过故障节点。
2、CDN回源链路不稳定，回源出现大量丢包，造成用户访问异常。优化回源链路，调高缓存命中率，减少回源请求。
3、CDN回源被源站防火墙限流丢包，即使没有完全拦截，也会造成业务不稳定，源站需要放行CDN回源IP。
六、运营商链路故障处理
1、MTR看到丢包出现在运营商骨干中间节点，属于运营商网络故障，站长可以提交工单给到机房反馈路由异常，等待运营商修复调整。
2、跨境业务国际链路本身存在固有丢包，属于物理距离带来的客观现象，配置海外CDN节点缓解，无法做到零丢包。
发表评论