阿里云域名云服务器采用cdn加速后蜘蛛抓取失败

阿里云服务器

网站运营到一定阶段,比如网站流量运营到3000uv以上,已经形成规模,拥有稳定的用户,这时对云服务器的要求提升了一定高度,普通配置的云服务器速度已经无法满足当前用户的访问需求,几十个ip访问,看不出来问题,但是同时在线1000以上的ip用户,速度明显感觉慢了很多,这时站长开始想到了cdn加速。

阿里云的cdn加速确实可以改善用户的访问体验,网页打开速度明显提升80%以上,解决了云服务器负载压力问题,但是其他问题来了,发现网站流量降低了,经过seo诊断,网站被搜索引擎降权。

进入百度站长平台后台检测抓取诊断,发现模拟蜘蛛抓取失败,返回错误,问题根源终于发现,原来购买了阿里云cdn加速后,网页打开速度提上去了,但是百度蜘蛛却遇到了闭门羹,经过和阿里云技术工程沟通,需要在域名dns解析时添加百度蜘蛛专项解析,绝大部分cdn加速由于经常更换ip,ip是随机更换,而百度蜘蛛的dns服务器短时间内无法及时更新dns缓存服务,当cdn加速变化新ip时,百度蜘蛛服务器仍然按照原来的ip抓取,造成抓取失败,所以,我们把百度蜘蛛做个专项解析即可,相当于多一步解析而已,这样当百度蜘蛛ip抓取时,为蜘蛛ip提供一个固定静态ip即可。

这样既让百度蜘蛛按照静态ip抓取网页,又能让用户访问使用动态ip打开网页,实现加速功能。