美國卡內基美隆大學發表 LegoGPT，讓 AI 根據文字提示，生成能實際拼出、穩定不倒的樂高模型

生成式 AI 又有新突破！美國卡內基美隆大學（Carnegie Mellon University）研究團隊日前發表了一項名為 LegoGPT 的新系統，讓 AI 不只是「畫得出來」，更能「拼得出來」。這套模型可根據文字提示生成外觀與主題相符、同時符合物理穩定性的樂高模型，確保這些設計在現實世界中真的可以疊得起來、不會倒。

不只外型，還驗證「站得住」

過去不少 AI 能夠產生 3D 模型，但多數只追求外觀，忽略現實結構所需的支撐與連結。CMU 團隊則導入一套稱為「物理回溯（physics-aware rollback）」的機制：當生成的模型經模擬後發現某塊積木無法站穩，就會自動回溯並改用不同配置，直到整體達到可組裝的穩定狀態。

在論文中，研究人員指出，如果沒有這項機制，AI 所生成的模型只有約 24% 能成功站立；而加上物理驗證後，成功率高達 98.8%。

從語意到積木：AI 如何「預測下一塊磚」？

LegoGPT 的運作方式，基本上是將大型語言模型（LLM）應用在「積木排列」上。研究團隊以 Meta 的 LLaMA-3.2-1B-Instruct 模型為基礎進行訓練，結合一套名為 StableText2Lego 的全新資料集，其中收錄了超過 47,000 組經過穩定性驗證的樂高設計，每組搭配由 GPT-4o 所產生的描述文字。

當使用者輸入像是「一艘流線型飛船」或「帶有大型水箱護罩的復古車款」等提示，系統會逐步預測並放置下一塊積木，並依序構建完成品，確保所有積木都有物理支撐，且不與他處碰撞。

機器手臂與人類雙重驗證：確實可拼、穩定、美觀

為了驗證 LegoGPT 的設計真的能實體拼出來，研究人員讓雙手臂機器人依照 AI 所產生的指令實際組裝，並透過力感測器進行調整。人類測試者也手動依說明書拼出模型，結果證實這些設計「真的能拼、真的穩」。

此外，LegoGPT 還支援簡易的外觀控制，像是使用「金屬紫色電吉他」這類提示，AI 就能輸出對應形狀與顏色的模型。

目前 LegoGPT 只支援 20×20×20 格的積木空間，且僅使用 8 種標準積木類型（不含斜面或裝飾件）。團隊表示未來將擴展積木庫，加入更多尺寸與變化結構，並增加訓練資料中可生成的物件類別。

值得一提的是，研究團隊已將模型、資料集與原始碼開放至 GitHub，有興趣的開發者與教育者可進一步應用，甚至實際拼砌，為樂高創作與 AI 應用開拓更多可能性。