Anthropic Claude 3 全面完勝 GPT-4，全球最強AI大模型一夜易主

Anthropic Claude 3 來了！作為 OpenAI 最強競爭選手，此次它發佈的新模型家族，以最強版 Claude 3 Opus 為代表，「已經實現了接近人類的理解能力」——在推理、數學、編碼、多語言理解和視覺方面，全面超越 GPT-4 在內的所有大模型，可以說直接重新樹立行業基準。

▲ 幾項數學類評測都是用 0-shot 超越 GPT-4 的 4-8 shot。

除此之外，此前就以長下文窗口見長的 Claude，此次全系列大模型可提供 200K 上下文窗口，並且接受超過 100 萬 Tokens 輸入。

目前可以免費體驗第二強 Sonnet，Opus 最強版供 Claude Pro 付費使用者使用，但大模型競技場也可以免費用。於是乎，網友們已經開始玩瘋了。

另外，Opus 和 Sonnet 也開放 API 訪問，開發者可以立即使用。

最新最強大模型發佈

此次 Claude 3 家族共有三個型號：低階 Haiku、中階 Sonnet 以及高階 Opus，成本和性能依次遞增。

首先，在性能參數上，Claude 3 全系多方面全面提升。其中 Opus 在 MMLU、GPQA、GSM8K 等評估基準上領先於其他所有模型：

還有在視覺能力上，它能可以處理各種視覺格式，包括照片、圖表、圖形和技術圖表。

對於這樣性能結果，有專業人士表達了自己的看法。

比如愛丁堡大學博士生、 中文大模型知識評估基準 C – Eval 提出者之一符堯就表示，像 MMLU / GSM8K / HumanEval 這些基準，已經嚴重飽和：所有模型的表現都相同。

他認為，真正區分模型性能基準的是 MATH and GPQA。

另外，在拒絕回答人類問題方面，Claude 3 也前進了一大步，拒絕回答的可能性顯著降低

在上下文以及記憶能力上，他們用大海撈針（Needle In A Haystack，NIAH）來評估衡量大模型從大量資料中精準召回資訊的能力。

結果 Claude 3 Opus 不僅實現了近乎完美的召回率，超過 99% 的精準率。而且在某些情況下，它甚至能識別出「針」句似乎是人為插入原文的，從而識別出評估本身的侷限性。

還在生物知識、網路相關知識等方面取得了進步，但出於負責任的考慮，仍處於 AI 安全等級 2（ASL-2）。

其次，在響應時間上，Claude 3 大幅縮短，做到近乎即時。

官方介紹，即將發佈的低階 Haiku 能夠在三秒內閱讀並理解帶有圖表的長度約 10k token 的 arXiv 論文。

而中街 Sonnet 能夠在智慧水平更高的基礎上，速度比 Claude 2 和 Claude 2.1 快 2 倍，尤其擅長知識檢索或自動化銷售等需快速響應的任務。

高階 Opus 的智慧水平最高，但速度不減，與 Claude 2 和 Claude 2.1 近似。

官方對三款型號的模型也有清晰的定位。

• 高階 Opus：比別家模型更智慧。適用於複雜的任務自動化、研發和制定策略；
• 中階 Sonnet：比其他同類模型更實惠。更適合規模化。適用於資料處理、RAG、在中等複雜度工作流程中節省時間；
• 低階 Haiku：比同類模型更快速、實惠。適用於與使用者即時互動，以及在簡單工作流程中節省成本；

在價格方面，最便宜的低階定價 0.25 美元（約新台幣 8 元）/1M tokens輸入，最貴的高階定價 75 美元（約新台幣 2,370 元）/1M tokens輸入

對比 GPT-4 Turbo，高階價格確實高出不少，也能體現 AnthropicAI 對這款模型非常有信心。

實測如何？

既如此，那就先免費來嘗嘗鮮~

目前官方頁面已經更新，Claude 展現了「理解和處理圖像」這一功能，包括推薦風格改進、從圖像中提取文字、將 UI 轉換為前端程式碼、理解複雜的方程、轉錄手寫筆記等。

即使是模糊不清的有年代感的手記文件，也能精準 OCR 識別：

底下寫著：你正在使用他們第二大智慧模型 Claude 3 Sonnet。

然鵝，可能是人太多的原因，嘗試了幾次都顯示「Failed」

不過，網友們也已經 po 出了一些測試效果，比如讓 Sonnet 解謎題。

為其提供一些示例，要求它找出數字之間的關係，比如「1 Dimitris 2 Q 3」，意思是3是1和2相加的結果。

結果 Sonnet 成功解出 -1.1 加 8 等於6.9，所以「X」的值應該是 6.9：

還有網友發現 Sonnet 現在也可以讀取 ASCII 碼了，直呼：這是 GPT-4++ 的水平了。

在程式任務上，誰寫的程式碼好先不說，Claude 3 至少不會像 GPT-4 一樣偷懶。

 

好了，感興趣的朋友，可以戳下方連結體驗啦~

https://claude.ai/

參考連結：

[1]https://www.anthropic.com/news/claude-3-family

[2]https://twitter.com/AnthropicAI/status/1764653830468428150/photo/1

稿源：量子位

• 延伸閱讀：昔日創辦人馬斯克怒告OpenAI，阿特曼內部備忘錄向員工表態：我懷念那個透過開發更好的技術與他人競爭的人
• 延伸閱讀：馬斯克不忍了！正式對OpenAI提告：46頁訴狀稱自己被騙慘了、要求賠錢、開源
• 延伸閱讀：OpenAI 指控紐約時報花錢「破解」ChatGPT