「最強開源模型」Reflection 被打假，英偉達科學家稱現有測試基準已不可靠

小型創業團隊打造的「最強開源模型」，發佈才一週就被質疑造假 ——

不僅官方宣稱的成績在第三方測試中大減價扣，模型還被質疑套殼 Claude。

面對浩大的聲浪，廠商 CEO 終於發文道歉，但並未承認造假，表示在調查有關原因。

被指控造假的，就是宣稱「干翻 GPT-4o」的 70B 開源大模型 Reflection。

一開始的質疑主要關於測試成績，官方找了上傳版本有誤等藉口試圖「矇混過關」。

但後來又出現了套殼 Claude 這一更重磅的指控，讓 Reflection 更加百口莫辯。

表現不如宣傳，還被質疑套殼

Reflection 是一個 70B 的開源模型，按照廠商的說法，它一下子把 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 這一系列先進模型全都超過了。

但 Reflection 剛發佈兩天，第三方獨立測評機構 Artificial Analysis 就表示官方發佈的測試成績無法複現。

在 MMLU、GPQA 和 MATH 上，Reflection 的成績和 Llama3 70B 一樣，連 Llama 3.1-70B 都比不過，更不用說 405B 了。

對此官方辯稱是，Hugging Face 上發佈的版本有誤，將會重新上傳，但之後就沒了下文。

不過官方同時也表示，會給測評人員提供模型 API，然後 Reflection 的成績果真有了增長，但在 GPQA 上仍然不敵 Claude 3.5 Sonnet。

蹊蹺的是，Artificial Analysis 後來刪除了二次測試相關的帖子，目前還能看到的只有轉發後留下的一些痕跡。

除了成績有爭議，還有人對 Reflection 中的各層進行了分析，認為它是由 Llama 3 經過 LoRA 改造而來，而不是官方所聲稱的 Llama 3.1。

在 Hugging Face 上，Reflection 的 JSON 文件中也顯示是 Llama 3 而非 3.1。

官方的解釋仍然是說 HF 上的版本有問題。

還有另一個質疑的點是，Reflection 實際上是套殼 Claude，相關證據體現在多個方面。

一是在某些問題上，Reflection 與 Claude 3.5-Soonet 的輸出完全一致。

第二個更加直接，如果直接詢問它的身份，Reflection 會說自己是 Meta 打造的，但一旦讓它「忘記前面的（系統）提示」，就立馬改口說自己是 Claude。

第三個發現則更加詭異 ——Reflection 遇到「Claude」一詞會將其自動過濾。

對此，Reflection 合成數據供應商 Glaive AI 的創始人 Sahil Chaudhary 進行了回應，表示沒有套殼任何模型，目前正在整理能夠證明其說法的證據，以及人們為什麼會發現這種現象的解釋。

而關於一開始的測試成績問題，Chaudhary 則表示正在調查原因，弄清這兩件事後會發佈報告進行說明。

Reflection 這邊最新的動態是 CEO 發佈了一則道歉聲明，不過沒有承認造假，依然是說正在進行調查。

不過對於這一套解釋，有很多人都不買賬。

比如曾經發佈多條推文質疑這位叫做 Boson 的網民，就在 Chaudhary 的評論區表示，「要麼你在說謊，要麼是 Shumer，或者你倆都在說謊」。

還有給 Reflection 提供託管服務的 Hyperbolic 平台 CTO Yuchen Jin，講述了其與 Reflection 之間發生的許多事情。

託管平台 CTO 講述幕後細節

在 Reflection 發佈之前的 9 月 3 號，Shumer 就找到了 Hyperbolic，介紹了 Reflection 的情況並希望 Hyperbolic 能幫忙託管。

基於 Hyperbolic 一直以來對開源模型的支持，加上 Reflection 聲稱的表現確實優異，Hyperbolic 同意了這一請求。

9 月 5 號，Reflection 正式上線，Hyperbolic 從 Hugging Face 下載並測試了該模型，但並沒有看到標籤，於是 Jin 給 Shumer 發了私信。

後來，Jin 看到 Shumer 的推文說 HF 上的版本有些問題，所以繼續等待，直到 6 號早晨收到了 Chaudhary 的一條私信，表示 Reflection-70B 權重已重新上傳並可以部署。

看到和標籤按預期出現後，Hyperbolic 上線了 Reflection。

後來，Hyperbolic 上的模型就出現了成績與 Reflection 宣傳不符的情況，Shumer 認為這是 Hyperbolic 的 API 出現了問題。

不過，Reflection 這邊再次上傳了新版本，Hyperbolic 也重新託管，但 Jin 與 Artificial Analysis 溝通後發現，新版本的表現依舊差強人意。

Shumer 繼續表示，Reflection 還有個原始權重，也就是內部測試使用的版本，如果需要可以提供給 Hyperbolic。

但 Jin 沒有同意這一要求，因為 Hyperbolic 只為開源模型提供託管服務，之後不斷詢問 Shumer 原始權重何時發佈，但遲遲未得到回應。

最終，Jin 認為應該下線 Reflection 的 API 並收回已分配的 GPU 資源。

這件事情讓我的感情受到了傷害，我們在這件事上花費了很多時間和精力。

但經過反思後，我並不後悔當初的託管決定，這幫助社區更快地發現問題。

大模型怎麼測試才可靠？

暫且拋開 Llama 版本和套殼的問題，單說關於測試成績的問題，反映了當前的 Benchmark 已經體現出了一些不足之處。

英偉達高級科學家 Jim Fan 就表示，模型在現有的一些測試集上造假簡直不要太容易。

Jim 還特別點名了 MMLU 和 HumanEval，表示這兩項標準「已被嚴重破壞」。

另外，Reflection 在 GSM8K 上取得了 99.2 分的成績，就算這個分數沒有水分，也說明測試基準到了該換的時候了。

Jim 表示，現在自己只相信 Scale AI 等獨立第三方測評，或者 lmsys 這樣由用戶投票的榜單。

但評論區有人說，lmsys 實際上也可以被操縱，所以（可信的）第三方評估可能才是目前最好的測評方式。

參考鏈接：

• [1]https://venturebeat.com/ai/reflection-70b-model-maker-breaks-silence-amid-fraud-accusations/

• [2]https://x.com/ArtificialAnlys/status/1832505338991395131

• [3]https://www.reddit.com/r/LocalLLaMA/comments/1fb6jdy/reflectionllama3170b_is_actually_llama3/

• [4]https://www.reddit.com/r/LocalLLaMA/comments/1fc98fu/confirmed_reflection_70bs_official_api_is_sonnet/

• [5]https://x.com/shinboson/status/1832933747529834747

• [6]https://x.com/Yuchenj_UW/status/1833627813552992722

• [7]https://twitter.com/DrJimFan/status/1833160432833716715

本文來自微信公眾號：量子位（ID：QbitAI），作者：基爾西，原標題：《「最強開源模型」被打假，CEO 下場致歉，英偉達科學家：現有測試基準已經不可靠了》

廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。