搜索引擎蜘蛛是搜索引擎本身的一个程序，它的作用是对网站的网页进行访问，抓取网页的文字、图片等信息，建立一个数据库，反应给搜索引擎，当用户进行搜索候，搜索引擎就会把搜集到的信息过滤，经过复杂的排序算法将它对用户有用的信息呈现出来。深化剖析网站的SEO表现时，通常我们就会搜索引擎蜘蛛的抓取质量，而其中可以帮我们优化网站可能会接触到下面的几个蜘蛛抓取相关的概念：

         1.爬取率：就是在你既定的时间里网站被蜘蛛获取的页面数量。 

         2.爬取频率：搜索引擎多久对网站或者单个网页发起一次新的爬行。 

        3.爬取深度：一个蜘蛛从开始位置可以点击的深度。 

        4.爬取饱和度：页面被获取的数量。 

         5.爬取优先：那些页面常作为蜘蛛的入口。 

        6.爬取冗余度：网站一般被多少蜘蛛同时爬取。 

        7.爬取mapping：蜘蛛爬取路径还原。 

       1、进步爬取频率进步提升收录 

        搜索引擎蜘蛛的爬取频率很多时候是由网站内容的质量决定，由于只要网站有更新更好的内容，才会吸引蜘蛛来重复抓取，例如很多大型的内容网站，每天更新大量的内容，这样就把蜘蛛不断留在了站内，页面抓取的频率自然会进步。而提升了爬取频率，关于页面中内容和链接的更新就会被搜索引擎蜘蛛更快的抓取到，可以更充沛的收录网站的页面内容信息。 

        很多朋友都说本人的网站快照不更新，或者滞后好几天，个人觉得也是蜘蛛抓取的频率不够形成的。要想快照更新快，特别是新站，前期一定要多做内容建立，内容页面假如没有内容的更新，普通蜘蛛可能不会抓取收录，或者抓取了但是不返回数据，当下次用户搜索时分可能就会调用搜索引擎数据库中存储的一些数据。

        2、研讨蜘蛛爬取习气并优化习气 

       至于后面谈到搜索引擎蜘蛛的爬取深度，饱和度，优先爬取，冗余度以及爬取途径都是关于蜘蛛爬取习气和爬取战略的研讨，由于现在也没有针对性的去理论剖析，所以只能在理论上谈谈本人的一些想法。 

       搜索引擎蜘蛛的爬取深度假如不够深，主要是由于网站在构造规划的时分没有思索到这蜘蛛能否可以充沛抓取或者能否依照一层一层的抓取，这里就触及到链接入口的规划，也就会思索到蜘蛛爬取优先的一些入口，很多时分对一些大的网站做诊断，来提升其流量和收录主要的战略规划就是优化蜘蛛抓取优先的入口，完成的办法就是采用nofollow标签屏蔽一些页面。还需求剖析的可能是爬取的饱和度，由于关于单个页面的爬取太多是在糜费蜘蛛资源，我们假如可以恰当的控制这些资源的分配，那么关于页面的抓取和收录的提升肯定有很大的协助。