Robots背后的潛規(guī)則

最近，Robot協(xié)議又被拿來說事兒，有人說360違反Robot協(xié)議抓取搜索引擎搜索結果，還有人說著會引起行業(yè)大亂，隨后似乎又有幾個不知名的小網(wǎng)站隨聲附和。不過反駁之說，似乎只見諸文字，真對360搜索反感的網(wǎng)站倒還真沒見到。

Robots協(xié)議是什么?在百科網(wǎng)站里的定義，robot協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機器人協(xié)議等)也就是robots.txt，網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

當搜索蜘蛛訪問站點時，它會首先檢查網(wǎng)站根目錄下是否存在Robots.txt。如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

Robot協(xié)議對于小白用戶并不重要，之前也并不廣為人知。最近和Robots相關的新聞都發(fā)生在電子商務網(wǎng)站，之前有兩個：一個是京東屏蔽一淘的蜘蛛，另一個是淘寶屏蔽百度的蜘蛛。現(xiàn)在，3B大戰(zhàn)鬧得很兇，很多人把Robot協(xié)議拿出來說事兒。

而在我看來，Robot充其量是互聯(lián)網(wǎng)江湖規(guī)矩、“潛規(guī)則”而已。

Robot協(xié)議不是行業(yè)標準，只是“搜索引擎的家規(guī)”。

Google是互聯(lián)網(wǎng)江湖的大佬，Robots的發(fā)展恰恰與Google的發(fā)展密不可分。

當年，谷歌憑借搜索引擎飛速發(fā)展，可很多大型網(wǎng)站原有的商業(yè)模式遭到了嚴重的破壞。為了維護自身的利益，一些歐美大網(wǎng)站聯(lián)合起來與Google談判，要求Google必須做到“有所為有所不為”，于是就有了“Robots協(xié)議”。

對于這份所謂的Robots協(xié)議，很多企業(yè)并不買賬。畢竟，這只是谷歌自己制定的規(guī)范，并不是各大搜索廠商的共識或統(tǒng)一的協(xié)議，也從來沒有任何一家國內(nèi)搜索引擎服務商公開承諾遵守Robots協(xié)議或簽署類似協(xié)議或聲明。 所以，在很多人眼里，充其量是谷歌的“家規(guī)”。

而事實上，這個由搜索引擎制定的協(xié)議，只會規(guī)定如何與網(wǎng)址分享內(nèi)容，絕對不會對于搜索引擎不利的條款。伴隨搜索引擎的發(fā)展，Robots協(xié)議朝著相反的法相發(fā)展：

Robots協(xié)議目的是為了限制谷歌，但最終卻幫助Google和百度這樣的壟斷企業(yè)遏制了后起的競爭者。因為，Google當年在制定這個協(xié)議時，特意留下了后門，即：協(xié)議中不僅包括是否允許搜索引擎進行搜索的內(nèi)容，還包括允許誰和不允許誰進行搜索內(nèi)容。Google和百度在實現(xiàn)了壟斷地位之后，就利用這些排斥性規(guī)則擋住了后來的進入者。

這樣看來，Robots協(xié)議是互聯(lián)網(wǎng)的一份“不平等條約”“壟斷條款”。

值得一提的是，盡管Robot造成了搜索引擎的霸權與壟斷，但當年制定條款的初衷卻非常值得我們尊重。Robot制定的兩個原則是：

1、搜索技術應服務于人類，尊重信息提供者的意愿，并維護其隱私權;

2、網(wǎng)站有義務保護其使用者的個人信息和隱私不被侵犯。

現(xiàn)在，我們由Robot最初的兩個初衷，卻得到得到兩個與眾不同的答案：

抓取搜索頁面無罪

既然，Robot協(xié)議的初衷是為了保護“信息提供的隱私”“最終信息提供者的意愿”，那么對于在搜索引擎結果中，再次抓取的行為則無罪可言：

搜索引擎的結果被抓取，實質(zhì)上是經(jīng)過了兩次Robot。那么，如果第一次Robot是完全符合協(xié)議，保護了信息者的隱私，那么在已經(jīng)保護了隱私的搜索結果里，再次檢索，又怎能破壞隱私呢?

愿意把信息提供給百度的站長們，無非是希望訪問用戶增加、網(wǎng)站流量增加。那么，增加一個新的搜索引擎，檢索其內(nèi)容，為其帶來更多流量和用戶的時候，難道不是最大程度地滿足信息提供者的意愿嗎和需求?

所以，那些擔心百度搜索結果被抓取的人們，或許你們是對百度太沒信心了，你們太過于擔心百度搜索結果中有“隱私”了!

搜索引擎有資格獨占搜索結果么?

那么，百度能否以站長自居也使用Robot協(xié)議，拒絕其他搜索引擎的檢索呢?顯然不能。

對于Robot有人打了個比方：

如果將網(wǎng)站視為酒店里的一個房間，robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進入和參觀，哪些房間因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜索引擎開放。

如果房間代表是每個站長的權利，百度所抓取的內(nèi)容就是整個酒店，事實上它并也沒這個資格，因為搜索引擎是不生產(chǎn)內(nèi)容的，所以，充其量百度是小區(qū)的物業(yè)。那么，物業(yè)有沒有資格在大門口放一塊“請勿打擾”的牌子呢?顯然不能!因為，它代表不了站長，就像小區(qū)物業(yè)沒法干涉你的好朋友去你家串門一樣。

而且，搜索引擎不是制造內(nèi)容和生產(chǎn)內(nèi)容的網(wǎng)站，它不是內(nèi)容的生產(chǎn)者(百度社區(qū)產(chǎn)品不在此討論范圍)，就像物業(yè)一樣，它只是一個托管者而已，它無權干擾和干涉它所檢索的網(wǎng)站被更多的搜索引擎檢索，更無權干涉搜索領域的后起之秀為中小網(wǎng)站帶來更多的用戶和流量。

所以，那些拿Robot協(xié)議說事兒的人們，請想想Robots的初衷是什么?是為了保護站長、內(nèi)容的生產(chǎn)者，而不是保護搜索引擎。而現(xiàn)在，Robots已經(jīng)變成“搜索引擎家規(guī)”和行業(yè)壟斷的潛規(guī)則，這些搜索壟斷巨頭可對流量的壟斷和控制力，正讓讓中小網(wǎng)站岌岌可危。

所以，筆者認為Robots最缺的，不是違反設立初衷去保護日益強悍的搜索引擎，而是對搜索引擎自身的制約。而要想最好最大程度地保護站長，只有讓更多搜索引擎充分競爭，打破搜索引擎壟斷，才能最大程度讓利給站長，也是最快和最可行互聯(lián)網(wǎng)和諧之路。