「完美的搜索引擎」是否存在?這家公司向Google發起挑戰

機器之心報導

編輯:陳陳

你需要一群拒絕接受現狀的人,並為之努力多年,直到一個抽像的願景變為現實,即使其他人都不理解。

你每天都在用的搜索引擎,可能並不完美。

大型語言模型(LLMs)能夠解決研究生水平的數學問題,但今天的搜索引擎卻無法準確理解一個簡單的三詞短語。例如,如果你在Google圖片中搜索「shirts without stripes」(沒有條紋的襯衫),結果卻幾乎全是有條紋的襯衫。

圖源:https://x.com/sur4js/status/1876773163222130719

圖源:https://x.com/sur4js/status/1876773163222130719

如何才能打造一個完美的搜索引擎,AI 初創公司 Exa 的 CEO Will Bryk 親自撰寫了一篇文章來回答這個問題。

Will Bryk 表示 Exa 的目標是打造一個比Google更好的搜索引擎,一個能夠像 LLM 那樣真正理解你的搜索引擎。

隨著公司的發展和 LLM 技術的進步,Exa 的目標也在不斷升級,他們不再僅僅滿足於打造比Google更好的搜索引擎,而是希望打造一個完美的搜索引擎。

一個完美的搜索引擎對世界的幫助可能比人們想像的還要大。而 Exa 是目前全球唯一一個致力於實現這一目標的組織。

以下是 Will Bryk 博客內容。

當前的搜索生態系統

儘管近年來關於 AI 搜索的炒作很多,但搜索引擎本身並沒有真正改變。

Google搜索和必應搜索仍然與十年前非常相似。當你輸入一個查詢,比如「shirts without stripes」(沒有條紋的襯衫),它們會將你查詢中的關鍵詞與網絡上的所有文檔進行匹配。然而這種搜索方式在這裏失敗了,因為「without stripes」(沒有條紋)超越了關鍵詞匹配的理解能力。

雖然搜索算法沒有改變,但所有關於 AI 搜索的炒作都來自於 AI 摘要的引入。Google AI overview、SearchGPT、Perplexity—— 這些產品背後都使用了像Google或必應這樣的傳統搜索引擎,然後利用 LLM 生成摘要。

LLM 生成的摘要很簡潔,為我們節省了時間。但不幸的是,LLM 仍然受限於底層搜索引擎的質量。如果必應找不到某些內容,那麼依賴必應的 SearchGPT 也無法找到。因此,今天的 AI 搜索主要是一個節省時間的工具,而不是一個真正更好的搜索引擎,能夠找到我們以前找不到的東西。

我記得在 2021 年,當我告訴我父親我正在構建一個新的搜索引擎時,他回答說:Google還不夠好嗎?

我的回答是它還不夠好。Google的傳統搜索算法對於簡單的查詢非常有效 —— 比如「Taylor Swift boyfriend」(泰萊・斯威夫特的男朋友)或「Walmart homepage」(禾爾瑪主頁)。但一旦查詢變得複雜,它就會徹底失敗 —— 比如「phds in the Bay area who’ve written about flying cars」(在灣區寫過飛行汽車相關文章的博士)。

如果你曾經去 LinkedIn 找人、去 X(原 Twitter)找有趣的文章,或者向朋友打聽好的初創公司,那麼在你意識列根定覺得Google還不夠好,因為你沒有選擇Google來獲取這些信息。但這很荒謬,因為這些本質上都是對網絡信息的搜索,而 2025 年的搜索引擎應該能夠正確處理它們。

問題不在於Google沒有索引到所有這些信息 —— 事實上,Google已經索引了幾乎所有網頁(大約一萬億頁)。問題在於Google的算法從根本上並不是為在一萬億頁面上處理複雜搜索而設計的。

但現在,已經存在能夠近乎完美地處理複雜請求的 AI 系統。我們對搜索引擎也應該有同樣的期待。世界值得擁有一個完美的搜索引擎。

你需要一個完美的搜索引擎

一個完美的搜索引擎是能夠找到你想要的任何信息,無論你的請求有多麼複雜。

它是人類集體知識的數據庫,能夠實時按照你的需求完全組織起來。

然而這樣的搜索引擎還不存在,不過我們可以先展示一些酷炫示例來說明完美搜索是什麼樣子的:

相似想法搜索

假設你有一個想法,並希望在網上找到類似的想法。目前使用傳統搜索引擎是不可能做到這一點的。例如,我有一個關於利用車頂充電的飛行汽車的想法,我想找到數百篇討論這一想法的文章、推文、YouTube 影片和專家,而不是一些與之無關的內容。Google在這方面完全失敗了,因為這種搜索需要真正的理解。如果我有一個能夠基於精確語義匹配內容的完美搜索引擎,我就能立即找到所需的一切。

對人的搜索

我們人類一直在尋找其他人以建立友誼、合作和社區。但我們這個先進社會所構建的最好的人脈搜索工具之一是 LinkedIn。然而,互聯網上的信息遠比這豐富得多。有了完美搜索,你應該能夠找到任何你要找的人。如果我是正在研究 AI 對齊(AI alignment)的本科生,我應該能夠輕鬆找到「那些抽出時間研究 AI 對齊並有博客的本科生」。試試在Google上搜索這個,看看你會得到什麼結果。完美的 web 搜索將把混亂的網絡轉化為比 Meta 或 X 更強大的社交網絡。

多模態搜索

網絡上包含了數十億的影片、圖片和歌曲,但由於我們無法很好地搜索它們,這些內容的大部分價值都被埋沒了。例如,我真的很喜歡那些人們為世界做出某種自我犧牲的影片片段。YouTube 搜索在這方面表現得很糟糕。一個完美的搜索引擎應該能夠找到你想要的任何媒體,無論你的搜索有多麼複雜。

完美控制

Google對搜索結果提供了很少的控制。一般來講,你會輸入幾個關鍵詞並希望搜索引擎能夠很好地理解你。你從來不會想到輸入一個長句子來準確解釋你想要什麼,因為你知道那樣行不通。完美的搜索讓你可以添加任何你想要的過濾器,而且它總是有效的。如果你在尋找要僱傭的人,你將能夠添加諸如「曾在初創公司工作過」的修飾詞,像「既懂 Rust 又懂 C++」這樣的複雜連接詞,以及「沒有在這些學校學習過」的否定條件。網絡將感覺像是一個數據庫,你可以根據自己的意願任意過濾。

全面性

我們每個人幾乎對所有事物的理解都是不完整的。無論你是在尋找公司、博客文章、人物、產品還是論文等,Google 都會為你提供一小部分結果,與此同時,你會錯過其他內容。完美搜索解決了這個問題 – 如果世界上有 387 個實體符合你的條件,你應該能夠找到所有 387 個。不是 10 個,不是 389 個,而是 387 個。正是你所要求的。完美搜索將讓我們所有人對我們的世界有完整的瞭解。

智能體 + 完美搜索

完美搜索最強大的地方在於它不是與人類配對,而是與基於 LLM 的智能體( 2025 年推出)配對。人類與 LLM 聊天,LLM 在後台進行智能體搜索,這個過程可能進行了數百次搜索。

作為最後一個例子,想像我有一個關於飛行汽車如何利用城市基礎設施的想法。我讓 LLM 生成一份報告,列出我可以採取的所有措施來實現這一目標。

LLM 首先在網絡上搜索所有類似的想法,包括帖子、推文、研究論文、新聞文章、影片等。對於每個想法,LLM 會找到網絡上最好的反駁意見(如果存在的話)。然後,LLM 基於所有這些想法創建一個全面、逐步的計劃。接著,針對計劃中的每一步,LLM 會在我所在的城市中找到能夠幫助實施該步驟的人,從供應商到獨立研究人員。LLM 會收集那些公開信息可用的聯繫信息,並為每個人創建一條個性化的消息。

有了 LLM + 完美搜索功能,只需幾分鐘就能製定出一個全面的行動計劃。而如果只有 LLM + 傳統搜索,這將永遠無法完全實現 —— 我將永遠只知道所有相關想法和人員中的一小部分,我的飛行汽車想法也將永遠無法實現。

為什麼完美搜索很重要

我們很難預測完美搜索將被使用和集成到工具中的方式。

我甚至可以說,人類的未來取決於能否正確實現這一點。因為我們所消費的信息對我們有著巨大的影響力。它決定了我們所知道的內容,進而決定了我們如何思考,最終決定了我們如何行動。

目前,世界上的信息完全是一團糟。每天都有大量的內容像消防水帶一樣湧向世界,沒有任何組織性。

儘管人工智能取得了諸多進展,但我們依賴的主要信息工具仍然是Google、社交媒體和主流媒體。這些工具都無法也不致力於提供全面、無偏見、高質量的世界理解。

我們需要修復信息生態系統,以便我們能夠作為一個信息靈通的物種度過下一個十年。

完美搜索從定義上就是我們信息生態系統的解決方案,因為它讓每個人都能完全控制世界的信息 —— 我們的信息 —— 使其易於消化、清晰可讀、有用且可操作。

目前沒有人構建完美搜索,這就是為什麼 Exa 正在構建它。

那麼,為什麼還沒有人構建出一個完美的搜索引擎呢?原因有三 —— 金錢、技術和瘋狂。

要構建完美的搜索引擎,你需要一個具有正確財務激勵的組織。Google每年通過搜索廣告賺取 2000 億美元。完美的搜索不會為Google帶來更多廣告收入 —— 甚至可能減少收入。而 Exa 通過 API 使用和訂閱賺錢,有強烈的動力去改進搜索,直到它變得完美。

要構建完美的搜索引擎,你需要使用新穎的神經方法重新設計搜索算法,而不是關鍵詞方法。傳統的搜索引擎是在二十年前設計的,當時計算機還無法思考。神經搜索引擎更加混亂和不可預測,但隨著時間的推移,它們將勝過傳統搜索引擎。大型公司不會構建神經搜索引擎,因為它們的基礎設施和產品都是圍繞舊範式構建的。而對於新玩家來說,開發所需的機器學習架構和網絡規模基礎設施相當困難。Exa 有自由、經驗,現在還有資源,可以從頭開始以正確的方式構建搜索算法。

要構建完美搜索引擎,你需要有點瘋狂。自 2021 年我們成立公司以來,幾乎所有人都認為我們在做的事情是瘋狂的。「搜索有什麼問題?Google還不夠好嗎?」你需要一群拒絕接受現狀的人,並為之努力多年,直到一個抽像的願景變為現實,即使其他人都不理解。這就是 OpenAI 在智能領域所做的,也是我們打算在知識領域做的事情。

原文鏈接:https://exa.ai/blog/perfect-search