深圳網站制作公司易捷網絡歡迎您,我司主營業務:深圳企業網站制作,歡迎來電。
深圳企業網站制作
深圳網站制作業務咨詢
0755-61603557
趙先生:13714247375
深圳網站制作技術支持
您現在的位置:網站首頁 > 深圳網站制作教程

Robots.txt是什么

文章作者:易捷網站制作公司編輯    文章來源:深圳網站制作公司-易捷網絡

Robots.txt是你穿告訴搜索機器人哪些頁面你會喜歡他們不能夠訪問您的網站的文本(而不是html)文件。Robots.txt是不是強制性的搜索引擎,但是搜索引擎一般遵守他們都問什么不該做。務必要澄清robots.txt不從防止搜索引擎抓取您的網站(即它是不一的防火墻或密碼保護的一種)的一種方法,您放置一個robots.txt文件的事實是有點像把一條注釋"請不要輸入"一個解鎖的門——上如不能防止小偷進來,但好人,將不打開門,然后輸入。也就是為什么我們說是否真的有森sitive數據,是太依賴robots.txt,以防止被索引,并顯示在搜索結果的不完善。


robots.txt的位置是非常重要的。它必須是主目錄中,因為否則用戶代理(搜索引擎)不會能夠找到它——他們不中搜索名為robots.txt的文件的整個站點。相反,他們首先主目錄(如http://mydomain.com/robots.txt)中查找和他們那里找不到它,如果他們只是假定此站點沒有robots.txt文件,因此他們索引他們發現路上的一切。因此,如果你不穿robots.txt中適當的位置,不要驚訝搜索引擎索引了您的整個站點。

概念與結構的robots.txt已發展了十多年前,如果您有興趣進一步了解它,請訪問http://www.robotstxt.org/或因為這篇文章中,我們會處理只與一個robots.txt文件的最重要的環節,您可以轉到標準的機器人排除直。下一步我們會與結構繼續robots.txt文件。

Robots.txtFile的結構
一個robots.txt的結構是相當簡單(和幾乎不能靈活)–它是用戶代理和不允許的文件和目錄的一個無窮列表。基本上,語法如下所示:

用戶代理:

不允許:

"用戶代理"是搜索引擎的抓取工具和不允許:列出的文件和要從索引中排除的目錄。在"用戶代理:"和"不允許:"條目,您可以包含注釋行–只是在行的開頭放置,#號:

#所有用戶代理不都允許以查看該/temp目錄。

用戶代理:*

不允許:/temp/

Robots.txtFile的陷阱
當你開始做復雜的文件–即您決定允許不同的用戶代理訪問不同的目錄–可以開始問題,如果你沒有支付費用的robots.txt文件陷阱,特別重視。常見的錯誤包括打字錯誤和有沖突的指令。拼寫錯誤的用戶-代理后用戶代理和Disallow,,缺少冒號的目錄包括拼寫錯誤等。打字錯誤可以很難找到,但在某些情況下驗證工具的幫助。

更嚴重的問題是有邏輯錯誤。例如:

用戶代理:*

不允許:/temp/

用戶代理:Googlebot

不允許:/images/

不允許:/temp/

不允許:/cgi-bin/

上面的示例中是一個允許訪問除在/temp站點上的所有內容的所有代理的robots.txt從目錄。達在這里很好,但更高版本在那里是另一個記錄,為Googlebot指定限制性更強的條款。Googlebot開始讀取robots.txt,它會看到所有文件夾除外/temp/并都允許的(包括Googlebot本身)的所有用戶代理。這是足夠的了解,它不會讀到文件和一切除了/temp/-包括/images/和/cgi-bin,會索引/,你認為你已經告訴它不要Googlebot。你看到一個robots.txt文件結構的簡單但仍嚴重的錯誤可以方便地進行。

用于生成和驗證Robots.txt文件工具
記住,你可以有一個robots.txt文件的簡單語法,您可以始終閱讀這一切都是可以的但它是更易于使用驗證程序類似這樣:http://tool.motoricerca.info/robots-checker.phtml。這些工具報告有關常見的錯誤,如缺少斜杠或冒號,檢測不到的如該會危及你的努力。為例如果您鍵入:

user-agent:*

不允許:/temp/

這是錯誤的因為有"用戶"和"代理"之間沒有斜杠和語法不正確。

在這種情況下當您有一個復雜的robots.txt文件–即你給不同的用戶代理的不同指令或您有一長串的目錄和子目錄中排除,編寫文件手動可以一個真正的痛苦。但不用擔心,——有的工具,將為您生成該文件。什么是更多有允許選擇哪些文件,并點的可視化工具,是要排除的文件夾。即使你不喜歡為robots.txt代買一個圖形化的工具,但在在線工具為您提供幫助。為例服務器端機器人發電機提供的用戶代理的下拉列表,您可以列出文件的文本框,您不希望建立索引。坦白的說,它不好幫了除非您想要設置特定的規則,為不同的搜索引擎,因為在任何情況下,您鍵入的目錄列表,但不只是什么。

本文由網站制作公司易捷網絡發布,轉載請注明文章出處!

深圳網站制作公司易捷網絡科技主營業務:企業網站制作、網站推廣優化、企業郵箱申請、域名空間購買、網站備案、論壇網站制作和企業網站維護。網站建設服務熱線:13714247375
上一篇企業網站制作技術文章:    網站開發細線表格邊框的方法
下一篇企業網站制作技術文章:    交互網頁設計選擇最正確而不是最前衛

深圳網站制作最新案例推薦:

深圳網站制作相關文章閱讀
關于我們
公司簡介
人才招聘
售后服務
聯系我們
網站制作套餐
基本型網站制作套餐
標準型網站制作套餐
品牌型網站制作套餐
綜合型網站制作套餐
網站制作教程
網站制作常見問題
網站優化常見問題
企業郵箱常見問題
網站備案常見問題
聯系方式
聯系人:趙經理
電話:0755-61603557
郵箱:[email protected]
手機:13714247375
地址:廣東.深圳寶安西鄉寶源路鴻源大廈618

微信掃碼咨詢
深圳市易捷網絡科技有限公司版權所有    備案號:粵ICP備12084881號 網站地圖XML
QQ在線咨詢
冰火女王电子游艺