Meta 發表最新開源大型語言模型 Code Llama 70B，能力評比接近GPT-4、Gemini Pro

Meta AI發布了一款名為Code Llama 70B的全新改進版本的程式碼生成模型。這款更新後的模型能夠使用各種程式語言（如Python、C++、Java和PHP）根據自然語言提示或根據現有的程式碼片段來撰寫程式。它的速度更快、效果更好、準確度更高。

Code Llama 70B是目前最大的程式碼生成開源人工智慧模型之一，也是程式碼生成領域的最新典範。程式碼生成是人工智慧的一個分支，希望能把創建和修改軟體的過程自動化。想像一下，能夠告訴你的電腦你希望它做什麼，並讓它為你撰寫程式。或者能夠用幾個簡單的命令修改和改進現有程式碼。或者能夠輕鬆地將程式碼從一種語言翻譯成另一種語言。這些都是像Code Llama 70B這樣的程式碼生成模型可以提供的一些可能性。

Today we’re releasing Code Llama 70B: a new, more performant version of our LLM for code generation — available under the same license as previous Code Llama models.

Download the models ➡️ https://t.co/fa7Su5XWDC
• CodeLlama-70B
• CodeLlama-70B-Python
• CodeLlama-70B-Instruct pic.twitter.com/iZc8fapYEZ

— AI at Meta (@AIatMeta) January 29, 2024

但是產生程式碼並不是一項容易的任務。與經常含糊不清和靈活的自然語言不同，程式碼是精確和嚴格的。它必須遵循嚴格的規則和語法，並且必須產生預期的輸出和行為。此外，程式碼通常是複雜且冗長的，需要大量的上下文和邏輯來理解和生成。為了應對這些挑戰，程式碼生成模型需要擁有大量的數據、大量的運算能力和大量的智慧。

這就是Code Llama 70B最大的發揮公間。Code Llama 70B是一款最先進的大型語言模型（LLM），它在5000億個程式碼和程式碼相關數據的基礎上進行了訓練，使其比以前的型號更具能力和穩健性。它還具有包含 100,000 個令牌的更大上下文窗口，這使其能夠處理和生成更長、更複雜的程式碼。

Code Llama 70B是基於Llama 2的，Llama 2是世界上最大的LLM之一，擁有1750億個參數。Llama 2是一個通用的LLM，能夠生成任何領域和風格的文本，從詩歌到新聞文章。Code Llama 70B是Llama 2的一個專門版本，經過專門調整用於 撰寫程式碼，使用了一種稱為自注意力的技術，使其能夠學習程式碼不同部分之間的關係和依賴性。

能力評比接近GPT-4、Gemini Pro

Code Llama 70B的一個亮點是CodeLlama-70B-Instruct，這是一個經過微調的變體，專門用於理解自然語言指令並相應生成程式碼。這個變體在HumanEval上獲得了67.8分，HumanEval 是一個包含 164 個程式設計問題的基準資料集，用於測試程式碼產生模型的功能正確性和邏輯。

此分數超越了先前開放模型的最佳成績，例如CodeGen-16B-Mono（29.3）和StarCoder（40.1），並且與封閉模型相當，例如GPT-4（68.2）和Gemini Pro（69.4）。CodeLlama-70B-Instruct可以處理多種任務，如排序、搜尋、篩選和操作數據，以及實現算法，如二分搜尋、斐波那契和階乘。

Code Llama 70B還包括了CodeLlama-70B-Python，這是一個針對Python進行了最佳化的變體，Python是世界上最流行和廣泛使用的程式語言之一。這個變體在Python程式碼的基礎上又進行了1000億個程式碼的訓練，使其在生成Python程式碼方面更加流暢和準確。CodeLlama-70B-Python還可以處理一系列任務，如網路爬蟲、數據分析、機器學習（ML）和網頁開發。

可用於研究和商業用途

Code Llama 70B 可以在與 Llama 2 和之前的 Code Llama 模型相同的許可下免費下載，允許研究人員和商業用戶使用和修改它。該模型可以透過各種平台和框架存取和使用，例如Hugging Face、PyTorch、TensorFlow和Jupyter Notebook。Meta AI 還提供了有關如何針對不同目的和語言使用和微調模型的文件和教程。

Meta AI的首席執行長馬克·祖克柏在其Facebook上發表的一份聲明中表示：「我們正在開源一個新的、改進的Code Llama，包括一個更大的70B參數模型。編寫和編輯程式碼已經成為當今AI模型最重要的用途之一。對AI模型來說，程式碼能力也被證明對於更嚴格和邏輯地處理其他領域的訊息非常重要。我為這裡的進展感到自豪，並期待將這些進展納入Llama 3和未來的模型。」

Code Llama 70B預計將對程式設計領域和軟體開發行業產生重大影響，因為它提供了一個強大且易於使用的工具來創建和改進程式碼。它還可以降低想要學習程式設計的人的進入門檻，因為它可以根據自然語言指令提供指導和回饋。此外，Code Llama 70B還可以實現新的應用和用例，例如程式碼翻譯、程式碼摘要、程式碼文件、程式碼分析和程式碼偵錯。

Code Llama 70B 和其他 Llama 模型可直接從Meta AI下載。更多資訊和文件可以在GitHub和Hugging Face上找到。