單卡就能跑！Meta剛發佈的大型語言模型LLaMA到底有多厲害？

ChatGPT的熱度稍有平息，蟄伏已久的Meta就迅速放出「大招」：一次性發佈四種尺寸的大語言模型LLaMA：7B、13B、33B和65B，不妨用小杯、中杯、大杯和超大杯來理解，這樣感覺上比較形象。 

還聲稱，效果好過GPT，偏向性更低，更重要的是所有尺寸均開源，甚至13B的LLaMA在單個GPU上就能運行。

消息一出，直接在網上掀起一陣熱度，不到一天時間，相關推文的瀏覽量就已經快破百萬。

同在Meta的LeCun當然也得為這次大模型的熱度「添油加柴」，LLaMA直接給他寫了段“AI”Rap： 

• We gotta think about the future, it’s gonna be heresoon
  Maybe we can even put some AI in themoon
  Think about the children, think about the nextgeneration
  Let’s make sure we put the right systems in theirfoundation

 

（不得不說效果不錯，還雙押了，skr～）

不過，話說回來，這次Meta的LLaMA模型的本事到底如何？能做哪些事？一起來一探究竟。

數學程式寫求職信統統都能拿下

Meta發佈的LLaMA是通用大型語言模型，原理就不多贅述，和以往的大型語言模型一樣：將一系列單詞作為輸入，並預測下一個單詞以遞迴生成文字。 

這次，Meta之所以一次給出4個不同大小的LLaMA模型，論文中給出了這樣的解釋：近來的研究表明，對於給定的計算預算，最佳性能不是由最大的模型實現的，而是由基於更多資料訓練的更小的模型實現的。 

也就是說，較小的模型規模加上比較大的資料集，獲得的性能可能會比更大規模模型的要好很多。

一方面，小規模模型需要的計算能力和資源相對來說都會少很多，另一方面，它還能基於更多資料集訓練更多token，更容易針對特定的潛在產品用例進行重新訓練和微調。

除了一把給出四種尺寸的LLaMA，Meta這次還直接開源了這個大語言模型。更重要的是，Meta為了讓自己的工作與開源相容，使用的都是公開的資料。

而開源也不只利好開發人員，同樣也利好Meta。

LLaMA模型也有著其他大語言模型的通病：會產生偏見性、有毒或者虛假的內容。開源吸引來的更多的研究可以幫助解決這個問題。

LLaMA模型到底能做啥？

不過講了這麼多，Meta的這個LLaMA模型到底能做啥？

祖克柏直接在Facebook放出豪言，這是AI大型語言模型裡的新SOTA：生成文字、進行對話、總結書面材料以及解決數學定理或預測蛋白質結構等它都能幹。

論文的最後也給出了一些例子：

比如說，給出幾個數字，它直接就能找出其中的規律並續寫，還balabala解釋了一大通。

ChatGPT之前擅長寫的求職信LLaMA也能輕鬆拿下。

程式、寫小說也是輕鬆的事兒：

效果超越GPT-3

當然按照慣例，在最後LLaMA還是得和其他大型語言模型做做比較。其中，大家比較熟悉的就是GPT-3，直接看看它們倆之間的效果比較：

相較於有1750億參數的GPT-3，最多只有650億參數的LLaMA贏了：它在大多數基準上都要優於GPT-3。

比如說常識推理：

或者說一些基礎問題的解決：

又比如說閱讀理解：

甚至，研究人員還提供了一組評估模型偏見性和毒性的基準，得分越高，偏見就越大：LLaMA以66.6分險勝，偏見性略低於GPT-3。

 

如果還想瞭解更多可以看文末連結～

論文地址：
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
參考連結：
[1] https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
[2] https://twitter.com/GuillaumeLample/status/1629151231800115202
[3] https://twitter.com/ylecun/status/1629243179068268548