|
|
之前在一个推广、SEO优化的知识论坛中发布文章，当然全部都是原创首发的，因为这个论坛的权重还是比较高的，发表的文章几乎都是秒收，后来多次查询收录的时候发现这样的一个问题。动态的URL链接收录比静态的URL链接收录快，而且有时候会出现两个链接一起收录的问题（两个链接都是同一个页面，只是URL不相同）。
找了很多的资料看了一下，这种问题是discuz的一个优化漏洞，因为发布文章最先生成的是动态的URL，所以搜索引擎对于这个抓取还是比较快的，直接收录了，但是静态的URL也收录就会容易造成重复收录的现象，根据环球外贸论坛没有收录动态URL的现象对比一下，我发展是robots.txt协议的设置问题。下面看看协议的写法：
环球外贸论坛红色部分正是屏蔽了论坛动态的URL链接，所以搜索引擎就不会抓取这个动态的链接了，也就是说，即使同一个页面有动态URL和静态URL，那么只会抓取静态的URL，因为动态的经过屏蔽，搜索引擎实惠遵守协会不会抓取的，这样也避免了重复收录同一个页面的问题。 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
|
窥视卡
雷达卡
发表于 2013-4-19 01:11:28
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
发表于 2013-4-19 09:50:24
楼主