谷歌已經(jīng)在搜索頁面上顯示AI答案，也就是說，搜索用戶不需要前往提供答案的網(wǎng)站，就可以在AI答案中看到網(wǎng)站的內(nèi)容。面對這一變化，網(wǎng)站只能配合，讓谷歌AI匯總自己的內(nèi)容 ，因為它們承受不起被谷歌封鎖的代價。

谷歌工具會瀏覽網(wǎng)頁內(nèi)容，生成AI答案；之前它會追蹤網(wǎng)頁，生成搜索結(jié)果，二者本質(zhì)上是一樣的。如果網(wǎng)站不愿意分享內(nèi)容，屏蔽谷歌工具，用戶就很難在網(wǎng)上發(fā)現(xiàn)網(wǎng)站內(nèi)容。

新聞出版商面臨挑戰(zhàn)

在搜索領(lǐng)域，谷歌擁有壟斷地位，這種壟斷轉(zhuǎn)化成了谷歌的AI優(yōu)勢，搜索創(chuàng)業(yè)公司和出版商多有不滿，它們大呼“不公平”。對于出版商來說問題可能更嚴重一些，因為它們被迫做出選擇：要么向AI模型提供內(nèi)容，AI可能會將它們的網(wǎng)站淘汰；要么從谷歌搜索中消失。

新聞網(wǎng)站Talking Points Memo的負責人Joe Ragazzo說：“出版商面臨外部危機，無論怎么選擇都是糟糕的。如果選擇退出，你馬上就會死；與谷歌合作只是死得慢一些，因為最終谷歌也會拋棄你?！?

但是，按照谷歌的說法，AI Overviews工具是谷歌長期承諾的一部分，它希望能為出版商及其它企業(yè)提供更有質(zhì)量的信息和更好的發(fā)展機會。

一位谷歌新聞發(fā)言人在聲明中表示：“每一天谷歌會通過WEB向網(wǎng)站提供數(shù)十億的點擊，我們希望谷歌與網(wǎng)站的長期價值交換可以持續(xù)。通過AI Overviews，用戶會發(fā)現(xiàn)搜索將變得更實用，然后用戶就會持續(xù)回來，搜索更多內(nèi)容，從而讓內(nèi)容被發(fā)現(xiàn)的機率大大提升。”

生成式AI帶來改變

從谷歌建立那天起，它就用所謂的Googlebot抓取全球網(wǎng)站的內(nèi)容，建立起龐大的信息內(nèi)容庫。正是因為索引的存在，其它企業(yè)很難挑戰(zhàn)谷歌搜索，即便是財大氣粗的微軟也無法抗衡。

現(xiàn)在生成式AI帶來了新機會，創(chuàng)業(yè)公司可以用AI模型向用戶提供更為簡潔的答案。面對新變化，谷歌有些恐慌，它擔心搜索引擎會被淘汰，而在此之前許多人認為搜索引擎不可能出局。如果創(chuàng)業(yè)公司提供的AI可以威脅到谷歌業(yè)務(wù)，那么創(chuàng)業(yè)公司也必然會從網(wǎng)絡(luò)上抓取內(nèi)容。

當網(wǎng)站內(nèi)容被抓取時，成本由持有內(nèi)容的網(wǎng)站自己承擔，它們要投入金錢、要提供算力、還要存儲內(nèi)容，所以出版商對于爬蟲抓取有一套自己的規(guī)定。只有谷歌、必應(yīng)受到優(yōu)待，因為它們能通過搜索引擎給網(wǎng)站引流。

AI創(chuàng)業(yè)公司Tako的首席執(zhí)行官Alex Rosenberg說，作為搜索創(chuàng)業(yè)公司，最開始時它們很弱小，無法為網(wǎng)站帶來流量，所以年輕公司必須與出版商達成協(xié)議，向它們付費獲取內(nèi)容授權(quán)。

Alex Rosenberg稱：“現(xiàn)在有許多科技公司為內(nèi)容付費，因為它們需要獲取這些內(nèi)容，然后才能真正參與競爭。谷歌不一樣，它沒有必要這樣做?！?

當媒體公司與AI創(chuàng)業(yè)公司達成合作時，旁觀的谷歌實際上并不高興。據(jù)知情者稱，谷歌與Reddit達成了價值6000萬美元的內(nèi)容合作協(xié)議，但谷歌向出版商暗示，它對協(xié)商沒有什么興趣。

面對強大的谷歌，媒體公司沒有優(yōu)勢。年初時谷歌推出AI Overviews，媒體公司馬上表達出擔憂，它們擔心網(wǎng)站流量會受到影響，但媒體公司并沒有找到很好的應(yīng)對方案。

谷歌搜索的綁定策略

谷歌為AI產(chǎn)品準備了特殊爬蟲，Googlebot爬蟲同時為AI Overviews和谷歌搜索服務(wù)。一位新聞發(fā)言人稱，Googlebot管理著AI Overviews，因為AI與谷歌搜索引擎實際上是深度交互的。谷歌搜索頁面會以多種方式呈現(xiàn)內(nèi)容，包括圖片。

谷歌說，出版商可以屏蔽特定頁面或者頁面的特定片斷，讓它們不要出現(xiàn)在AI Overviews中，但這樣做也可能會阻止內(nèi)容出現(xiàn)在谷歌其它搜索功能中。

出版商約有一半的流量來自谷歌搜索，面對屏蔽風險，出版商不敢冒險。

Raptive為出版商和有影響力的人發(fā)聲，公司創(chuàng)新主管Marc McCollum認為，谷歌似乎低估了自身決定對內(nèi)容創(chuàng)作者的威脅，對于那些高度依賴搜索的企業(yè)來說，威脅尤其大；一旦選擇退出，創(chuàng)作者在整體搜索中的存在感將會大大降低。

iFixit網(wǎng)站提供消費電子維修指南，網(wǎng)站CEO Kyle Wiens說，相比與其它AI企業(yè)的合作，與谷歌的關(guān)系更緊張一些。他說：“我可以在不損害業(yè)務(wù)的情況下禁止ClaudeBot（指AI公司Anthropic的爬蟲）抓取我們的內(nèi)容，但如果將Googlebot禁了，我們會損失流量和客戶?！?

AI搜索創(chuàng)企面臨困難

谷歌與Reddit達成合作，Perplexity也在與Reddit商討內(nèi)容授權(quán)問題，但谷歌設(shè)定的價格讓創(chuàng)業(yè)公司難以跟進。谷歌說，與Reddit達成的合作意義深遠，并不局限于訓練數(shù)據(jù)。搜索創(chuàng)業(yè)公司Kagi的創(chuàng)始人Vladimir Prelovac說：“如果按谷歌的價格操作，我們要用20年的營收來支付費用?！?

即使是實力強大的OpenAI也面臨困難，它推出SearchGPT，相當于搜索版聊天機器人。亞馬遜、Goodreads、Uniqlo全都禁止GPT抓取內(nèi)容。OpenAI稱，即使網(wǎng)站拒絕提供AI訓練數(shù)據(jù)，網(wǎng)站內(nèi)容仍會出現(xiàn)在搜索結(jié)果中。

Kagi公司至少有一半的成本來自于搜索數(shù)據(jù)抓取。擁有詳細的網(wǎng)絡(luò)索引是決定搜索引擎強弱的關(guān)鍵。Vladimir Prelovac稱，對于那些想用AI直接輸出答案的企業(yè)來說，數(shù)據(jù)顯得更重要。

Vladimir Prelovac稱：“生成式AI模型本身并不聰明，如果你想讓生成式AI輸出高質(zhì)量內(nèi)容，必須獲取相同的搜索索引內(nèi)容?！?

搜索創(chuàng)業(yè)公司You.com的創(chuàng)始人Richard Socher說，robots.txt文件無處不在，它為抓取制定了規(guī)范，文件迫使創(chuàng)業(yè)公司做出更謹慎的考慮。由于法律并沒有明確規(guī)定，所以企業(yè)可以大量抓取公開數(shù)據(jù)。

Richard Socher稱：“當我們抓取內(nèi)容時，總是想著不要給網(wǎng)站造成太重負擔。只要是擁有robots.txt文件的網(wǎng)站，如果只讓谷歌抓取，禁止其它企業(yè)抓取，本質(zhì)上就是支持谷歌壟斷搜索。”

Neeva是一家搜索創(chuàng)業(yè)公司，它提倡“抓取中立”原則，因為這一原則可以讓創(chuàng)業(yè)公司打造自己的搜索索引。iFixit CEO Kyle Wiens認為，如果將谷歌搜索與它的AI產(chǎn)品分開，也許能解決問題。

DuckDuckGo公司認為，搜索正在經(jīng)歷革命，谷歌索引問題變得越來越重要。該公司高管Kamyl Bazbaz說：“在生成式AI時代，搜索索引極為重要?！?

總之，出版商必須努力掌握自己的命運，不能過度依賴其它任何平臺，包括谷歌。（小刀）