在我看來(lái)robots協(xié)議就是站長(zhǎng)行使網(wǎng)站支配權(quán)的執(zhí)行文件，這是我們作為站長(zhǎng)最基本的權(quán)利。它是搜索引擎蜘蛛爬取網(wǎng)站之前要面對(duì)的第一道關(guān)口，所以robots協(xié)議的重要性也是可想而知了。
