怎么處理:robots.txt文件存在限制指令
- 分類：SEO教程 發布時間：2020-05-12 17:42:33 閱讀：
一些網站新上線或者改版之后，百度首頁收錄有這么一句“由于該網站的robots.txt文件存在限制指令，系統無法提供該頁面的內容描述”的提示，這是不是搜索引擎的抓取問題?當然不是，這是由于網站重新上線時的一個屏蔽操作導致的。
網站robots的屏蔽
出現robots.txt文件存在限制指令的快照
是因為網站上線前或者測試的時候，網站的內容、標題都還需要不斷的修改，為了不讓搜索引擎抓取到頻繁的修改，所以在robots.txt上做了屏蔽搜索引擎的收錄，即disallow:/的限制，在一個網站正式上線前，會做全站屏蔽;網站正式上線后，加以外鏈、友鏈和提交的引導，搜索引擎的蜘蛛過來抓取頁面，發現地址存在，但是被屏蔽了抓取，為了遵循互聯網的抓取規則，不得已快照上只能顯示這句提示，“由于該網站的robots.txt文件存在限制指令，系統無法提供該頁面的內容描述”，這是產生的由來;
那么如何處理這個robots的問題呢
首先第一步是找到根目錄下的robots.txt文件，去掉這一句disallow:/，解除屏蔽抓取;第二步很關鍵，就是到站長平臺下去更新robots文件，告訴搜索引擎你的網站已經對它解除了屏蔽，可以來抓取我的網頁內容了，其中更新robots文件就是對搜索引擎的主動示好，快照更新過來之后，現象就會消失了。
- 猜您喜歡
- SEO新站如何優化？ 03-10
- SEO是什么？為什么要做seo？seo要如何做？ 01-03
- 帝國CMS批量提取第一張圖片作為標題縮略圖 03-05
- 如何購買域名和選擇空間？ 04-10
- 帝國cms怎么做下拉菜單導航 03-13
- 帝國CMS如何更改瀏覽器窗口圖標？ 03-06
- 百度算法合集至2019 03-06
- 百度驚雷算法介紹 04-03
- 怎么處理:robots.txt文件存在限制指令 05-12
- 帝國CMS如何讓別人不能復制你的文章？ 04-10
- 相關推薦
- 帝國cms怎么做下拉菜單導航 03-13
- 百度算法合集至2019 03-06
- 帝國CMS如何更改瀏覽器窗口圖標？ 03-06
- 帝國CMS批量提取第一張圖片作為標題縮略圖 03-05