OpenAI 為開發者推出 GPT 聊天機器人 API 大更新，同時降低token價格

OpenAI 宣佈對其大型語言模型 API（包括 GPT-4 和 gpt-3.5-turbo）進行重大更新，包括新增函數呼叫功能、降低使用成本、以及為 gpt-3.5-turbo 模型提供 16000 個 token 的版本。

大型語言模型（LLM）是一種能夠處理自然語言的人工智慧技術，它的“上下文窗口（context window）”相當於一個短期記憶，可以儲存輸入的內容或者聊天機器人的對話內容。在語言模型中，增加上下文窗口大小已經成為一種技術競賽，Anthropic 公司最近宣佈其 Claude 語言模型可以提供 75000 個 token 上下文窗口選項。此外，OpenAI 也開發了一個 32000 個 token 的 GPT-4 版本，但尚未公開推出。

OpenAI 剛剛推出了一個新的 16000 上下文窗口的 gpt-3.5-turbo 版本，名為“gpt-3.5-turbo-16k”，可以處理長度達到 16000 個 token 的輸入，這意味著可以一次處理大約 20 頁的文字，這對於需要模型處理和生成較大文字塊的開發者來說是一個很大的提升。

除了這一變化之外，OpenAI 還列出了至少四個其他主要的新功能：

在 Chat Completions API 中引入函數呼叫功能
GPT-4 和 gpt-3.5-turbo 的改進版和“更易控（more steerable）”的版本
將“ada”嵌入模型的價格降低了 75%
將 gpt-3.5-turbo 模型的輸入 token 價格降低了 25%

函數呼叫功能可以讓開發者更容易地建構能夠呼叫外部工具、將自然語言轉換為外部 API 呼叫或進行資料庫查詢的聊天機器人。例如，它可以將“給 Anya 發郵件，看看她下週五是否想喝咖啡”這樣的輸入轉換為“send_email (to: string, body: string)”這樣的函數呼叫。尤其是，這個功能還可以讓 API 使用者更容易地生成 JSON 格式的輸出，這是之前很難實現的。

關於“更易控”方面，這是一個指代如何讓 LLM 按照你想要的方式行事的專業術語，OpenAI 表示其新的“gpt-3.5-turbo-0613”模型將包含“通過系統消息更可靠地控制”的功能。系統消息是 API 中一種特殊的指令輸入，可以告訴模型如何行事，例如“你是格林姆斯，你只談論奶昔。”

除了功能上的改進之外，OpenAI 還提供了相當大幅度的成本降低。值得注意的是，受歡迎的 gpt-3.5-turbo 模型的 token 價格降低了 25%。這意味著開發者現在可以以每 1000 個 token 約 0.0015 美元、每 1000 個 token 約 0.002 美元的價格使用這個模型，相當於每美元可以處理大約 700 頁文字。gpt-3.5-turbo-16k 模型則定價為每 1000 個 token 0.003 美元、每 1000 個 token 0.004 美元。

OpenAI 還將其“text-embedding-ada-002”嵌入模型的價格降低了 75%。嵌入模型是一種讓電腦理解單詞和概念的技術，可以將自然語言轉換為機器可以理解的數字語言，這對於搜尋文字和推薦相關內容等任務很重要。

由於 OpenAI 不斷更新其模型，舊的模型不會一直存在。今天該公司還宣佈開始淘汰一些早期版本的模型，包括 gpt-3.5-turbo-0301 和 gpt-4-0314。該公司表示，開發者可以繼續使用這些模型直至 9 月 13 日，之後這些舊模型將不再可用。值得注意的是，OpenAI 的 GPT-4 API 仍然處於等待名單中，尚未完全開放。