網界文機器人Robot： 一種軟體設計
自動下載::網超文件結構 
與文件全文收集成檢索參考的文件。 
由於網界文機器人是讀取網超文件;
因此，所有網界文機器人皆可以
被認認出其主機, 伺服器, 與 IP


注意:不全然所有的漫游器會以
相同方式解釋 robots.txt 檔案

言外之音:
當然亦有可能設計出簡易的robot只捉取特別的標
robot的功能是由建立者自訂,並不受他人約束的.

所以你要特別小心別太依賴robots.txt 的 
disallow, nofollow, noindex, 特別是
絕對別拿它們來保護你的"最高機密檔案"

Ezer 認為網路世界若過份依賴robots.txt可能
將自然形成一個網路安全的大漏洞