作者：佚名  來源：未知  2020-10-09 16:58

邊肖：機器人協議的全稱(也叫爬蟲協議、機器人協議等)。)是web爬蟲的排除標準。網站通過機器人協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots.txt是協議，不是命令。

機器人協議(又稱爬蟲協議、機器人協議等。)稱為“Web爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots.txt是協議，不是命令。Robots.txt是在搜索引擎中訪問網站時要查看的第一個文件。Robots.txt文件告訴蜘蛛程序哪些文件可以在服務器上查看。那么站長對機器人了解多少呢？你知道怎么寫機器人文件嗎？以下天啟網小系列為您介紹。

機器人協議原理

機器人協議是國際互聯網社區的共同道德標準，它是基于以下原則建立的：

1.搜索技術要為人類服務，同時尊重信息提供者的意愿，維護其隱私權；

2.網站有義務保護其用戶的個人信息和隱私不受侵犯。

機器人功能

Robots協議用來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。它可以屏蔽網站中的一些大文件，如圖片、音樂、視頻等。節省服務器帶寬；你可以屏蔽掉網站上的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛抓取頁面。

文檔寫作

User-agent: *這里*代表各種搜索引擎，*是通配符。

如何編寫機器人文件

Disallow: /admin/此處的定義是禁止對管理目錄下的目錄進行爬網。

Disallow: /require/這里的定義是禁止對require目錄下的目錄進行爬網。

Disallow: /ABC/這里的定義是禁止在ABC目錄下爬行目錄。

Disallow: /cgi-bin/*。htm禁止訪問所有帶后綴'的URL(包括子目錄)。/cgi-bin/目錄中的“htm”。

不允許： /*？*訪問所有包含問號(？)。

不允許： /。禁止抓取所有圖片。網頁上的jpg格式。

disallow :/ab/ADC . html禁止對ab文件夾下的adc.html文件進行爬網。

Allow: /cgi-bin/這里的定義是允許對cgi-bin目錄下的目錄進行爬網。

這里定義了Allow: /tmp，允許對tmp的整個目錄進行爬網。

Allow:htm$只有后綴為'的網址。允許訪問“htm”。

Allow:gif$允許抓取網頁和gif格式的圖片。

Sitemap:網站地圖告訴爬蟲這個頁面是網站地圖。

robots.txt文件的編寫在這里分享給大家。當搜索蜘蛛訪問一個站點時，它會首先檢查該站點的根目錄中是否存在robots.txt。如果存在，搜索機器人將跟蹤文件的內容。確定訪問范圍；如果文件不存在，所有搜索蜘蛛將能夠訪問網站上不受密碼保護的所有頁面。天齊搜索引擎優化邊肖提醒大家，當你的網站包含你不想被搜索引擎收錄的內容時，你只需要使用robots.txt文件。如果你想讓搜索引擎包含網站上的所有內容，不要創建robots.txt文件。

對網站有哪些處罰

死鏈對網站優化的影響

<<seo怎么做：企業危機公關,怎么有效應對網絡負面信息! 沒有下一篇了>>