白小姐透码报

邯鄲seo:robots.txt的配置方法以及重要性

邯鄲seo相信很多鳥鳥都很清楚robots.txt文件,robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件,Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。菏澤seo認為認為robots.txt文件重要作用就是robots.tx可以屏蔽重復的內容收錄,避免同一個網頁被百度收錄N次。robots.txt雖然很是重要,但是很少有站長能夠正確配置偽靜態文件,即使是大企業大人物的網站,也很難正確配置好robots.txt。

邯鄲seo

比如ZAC的博客,是使用的wordpress博客系統建立的,因為robots.txt沒有配置好,導致每篇博文,收錄幾十次甚至上百次,菏澤SEO通過檢測ZAC的博客發現,只要博文被評論一次,博文就可能再被百度收錄一次,如果一篇博文被評論一百次,那么這篇博文就可能被百度收錄一百次。是什么原因導致ZAC博客嚴重重復收錄呢?菏澤seo發現,幾乎所有重復收錄的網頁的網址后面都存在?replytocom=****,replytocom是博客的一個參數,****是代表數字,只是數字不同,為什么會出現這種現象?這是因為百度蜘蛛掃描ZAC博客的replytocom參數的頁面“replytocom” 相當無用。ZAC博客應該如何解決這種重復收錄呢?菏澤seo認為,既然ZAC博客進行了偽靜態,就應該把所有動態網址屏蔽掉,robots.txt文件增加一行:Disallow: /*?*即可解決ZAC博客重復收錄現象。

邯鄲seo

邯鄲seo比如康盛創想發布的Discuz!X1.0論壇版本,當時很多站長使用Discuz!X1.0導致百度收錄數量劇增,但帖子數量沒增加,菏澤seo經過全面檢測Discuz!X1.0發現,同一個帖子可以使用五個以上的不同網址訪問,但robots.txt并沒有屏蔽掉重復的網址,導致網站收錄數量劇增,最后很多使用Discuz!X1.0版本的論壇被百度毫不留情的K掉。菏澤seo為了幫助使用Discuz!X1.0的站長,第一時間在Discuz!論壇發布了正確的robots.txt配置文件,菏澤seo同時聯系康盛創想官方反應robots.txt存在的問題。康盛創想積極聽取了adylun 意見,在Discuz!X1.5及更新版本中,菏澤seo發現康盛創想已經幾乎完美配置了robots.txt。

邯鄲seo

菏澤seo自從提供SEO診斷優化服務以來,發現很多網站存在網頁大量重復收錄現象,不少網站因為內容重復收錄,被百度直接K掉,毫不留情。其實只要我們網站正確配置好robots.txt文件,完全可以避免網站內容重復收錄。

標簽: 邯鄲seo robots.txt

演示站
上一篇:長沙網站優化:如何輕松獲得原創文章和關鍵詞?
下一篇:安徽網站優化:做網站不能單純的為了優化而優化網站

相關推薦

發表評論

白小姐透码报 长百集团股票行情 好友房麻将免费下载 政府基金配资 11月股票推荐 福建十一选五走势 立博亚洲即时指数 篮球比分及时网 配资网之家 哇嘎黄色片 北京十一选五最新开 明星江苏麻将攻略 河北十一选五专家推 北京小赛车微信群 中国竞彩足球比分直搐 山东十一选五遗漏走势 广东11选5任5遗