不抓取内页/栏目页怎么办?不用理会,让蜘蛛抓取,千万不要把这些css,js,图片在robots中禁止抓取,这样是不好的,可能导致我们网站整站都不抓取. 因为css/js/图片是搜索引擎现在必须要抓取的
不抓取内页/栏目页怎么办?不用理会,让蜘蛛抓取,千万不要把这些css,js,图片在robots中禁止抓取,这样是不好的,可能导致我们网站整站都不抓取.
因为css/js/图片是搜索引擎现在必须要抓取的.
提升用户体验,有专门蜘蛛抓取页面做数据分析,不让它抓取不好.
当遇到这些问题不用处理,尤其是不要禁止蜘蛛抓取.
发表评论