织梦CMS - 轻松建站从此开始!

澳门金沙

当前位置: 主页 > 百度糯米 >

如何提升搜索引擎爬虫的效率来改进SEO工作 - 站长之家

时间:2018-06-17 00:07来源:未知 作者:admin 点击:
首先robots文件是个很强的利器,当网站上面拥有重复内容、无意义页面等(需要屏蔽的主要是拥有重复内容或无内容的无意义页面,其他的,黑帽做法可以留下,你懂的。),就可以果断的屏蔽掉。动态url:当无意生成什么爬虫陷阱(无限循环型,比如被人说烂的例子,日历程序的下一月无限存在。),爬虫往往可以靠参数分析出哪些有可能是陷阱,就此逃掉。好处是,如果没注意过爬虫陷阱这个问题,动态url能帮一把。但可能会有极少数情况,好好的页面被错误判断了。缺点主要有二,一是伪静态的本质是从动态url重定向,这个比较拖累服务器速度,也会略微拖慢爬虫抓取效率。二是当生成之前所说的无限循环页面时,因为url没有参数什么的,看上去和正常页面一摸一样,爬虫就可能会死在里面浪费大量时间。而对于网站流量超级巨大的网站,静态化也是必须的,不然要多配个几倍的服务器。但依然有缺点,比如会生成大量文件、网站更新不灵活等等,对于某些限制文件数量的空间就没法做静态缓存。纯SEO角度上,最好是选择静态缓存的方式,这对于提升爬虫效率是改观非常大的(尤其像WP这种)。除此之外,个人推荐小型网站用伪静态,中大型网站用动态。 (责任编辑:admin)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------