正文 蜘蛛老是抓取一些js图片css不抓内容怎么办 米米素材网V管理员 /2022-06-15 / 阅读 0615 不抓取内页/栏目页怎么办?不用理会,让蜘蛛抓取,千万不要把这些css,js,图片在robots中禁止抓取,这样是不好的,可能导致我们网站整站都不抓取. 因为css/js/图片是搜索引擎现在必须要抓取的. 提升用户体验,有专门蜘蛛抓取页面做数据分析,不让它抓取不好. 当遇到这些问题不用处理,尤其是不要禁止蜘蛛抓取.
发表评论