环球外贸论坛不抓取动态URL分析
之前在一个推广、SEO优化的知识论坛中发布文章，当然全部都是原创首发的，因为这个论坛的权重还是比较高的，发表的文章几乎都是秒收，后来多次查询收录的时候发现这样的一个问题。动态的URL链接收录比静态的URL链接收录快，而且有时候会出现两个链接一起收录的问题（两个链接都是同一个页面，只是URL不相同）。找了很多的资料看了一下，这种问题是discuz的一个优化漏洞，因为发布文章最先生成的是动态的URL，所以搜索引擎对于这个抓取还是比较快的，直接收录了，但是静态的URL也收录就会容易造成重复收录的现象，根据环球外贸论坛没有收录动态URL的现象对比一下，我发展是robots.txt协议的设置问题。下面看看协议的写法：
环球外贸论坛红色部分正是屏蔽了论坛动态的URL链接，所以搜索引擎就不会抓取这个动态的链接了，也就是说，即使同一个页面有动态URL和静态URL，那么只会抓取静态的URL，因为动态的经过屏蔽，搜索引擎实惠遵守协会不会抓取的，这样也避免了重复收录同一个页面的问题。 所以就是之前收录量上不去的原因，其他论坛应该都没有屏蔽动态URL的，所以收录量比较多，其实有些是重复的 admin 发表于 2013-4-19 09:50 static/image/common/back.gif
所以就是之前收录量上不去的原因，其他论坛应该都没有屏蔽动态URL的，所以收录量比较多，其实有些是重复的
现在很多的论坛都开始做了屏蔽了，同一个页面重复收录不好
页:
[1]