用什么方法可以知道搜索引擎删除的页面有哪些

ledvivi

在一个数据量足够庞大的网站中，使用遍历记录的方法查询网站页面的收录情况几乎是不可能的。
由于收录删除有可能由很多原因引起，所以查清楚究竟哪些页面被删除了就十分重要了。
请问大家有什么好方法，能够精确的定位究竟哪些页面在上一次的更新中被删除了呢？
第一个方法:

查服务器日志可以看到每日百度蜘蛛爬过哪些 URL，这是能精确统计的。
百度收录必然包括在百度蜘蛛爬过的 URL 记录里。
可以算下收录与爬行 URL 比例。


观点看法:几百万的收录，对于每天掉的链接统计来讲，确实是一个问题，但还有一个问题是，既然有几百万的收录，即使掉了几十万的收录，也不会影响网站的大局，对于您想知道哪些URL被删除，来讲，也没有太大的意义。大致的了解一个删除的方向足以为今后的网推广做出明确的方向了。

百度的变化是十分快的，没准今天删除了的URL，在明天又会被重新收录，那么统计出了详细的删除URL到了第二天，又需要去统计，这无疑为您的工作添加了更多不必要的麻烦。几百万的收录，也不必在意几十万的数据变化了。即使减少了100万的收录，那又有何影响呢？如果减少再多，可能就是你网站的问题了。

不过作为一个站长来说，这个统计的更大价值，应该是分析导致那些页面被删除的原因，以达到亡羊补牢的效果。比如我的一个导光板网站 www.gzpmma.com 作为一个新站收录很少,那么我觉得做多点的就是增加原创,新张的不稳定性决定了收录数据起伏不定.