Meta計劃23日發布「最強Llama 3模型」 外媒:將以4050億參數制霸市場
![外媒報導,Meta將於7月23日發布至今最強大的開源LLM。(圖/unsplash)](https://static.ctwant.com/images/cover/26/349426/md-f1451770d2f4d0d3020c0044cf0079ec.jpg)
外媒報導,Meta將於7月23日發布至今最強大的開源LLM。(圖/unsplash)
OpenAI開發的ChatGPT為AI聊天機器人競賽揭開序幕,如今,Meta帶上Llama 3新模型加入戰局。美東時間7月12日周五,媒體援引一名Meta Platforms的員工消息稱,Meta計劃7月23日發佈旗下第三代大語言模型(LLM)Llama 3的最大版本。這一最新版模型將擁有4050億参数,多模態模型,這意味着它將能夠理解和生成圖像和文本。
去年7月Meta發佈的Llama 2有三個版本,最大版本70B的參數規模爲700億。今年4月,Meta發佈Llama 3Meta,稱它爲「至今爲止能力最強的開源LLM」。當時推出的Llama 3有8B和70B兩個版本。Meta CEO祖克伯當時稱,大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源,當時它還在接受訓練。
對比前代,Llama 3有了質的飛躍。Llama 2使用2萬億個token進行訓練,而訓練Llama 3大版本的token超過15萬億。Meta稱,由於預訓練和訓練後的改進,其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。
在訓練後程序得到改進後,模型的錯誤拒絕率(FRR)大幅下降,一致性提高,模型響應的多樣性增加。在推理、代碼生成和指令跟蹤等功能方面,Llama 3相比Llama 2有極大改進,使Llama 3更易於操控。
4月Meta展示,8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集(MMLU)、研究生水平專家推理(GPQA)、數學評測集(GSM8K)、編程多語言測試(HumanEval)等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。英偉達高級科學家Jim Fan認爲,Llama 3的推出已經脫離了技術層面的進步,更是開源模型與頂尖閉源模型可分庭抗禮的象徵。
不同於OpenAI等開發商,Meta致力於開源LLM,不過,這個賽道也越來越擁擠。谷歌、特斯拉CEO馬斯克旗下的xAI和Mistral等競爭對手也發佈了免費的AI模型。
據傳OpenAI正在準備GPT-5模型,有望再次超越業界其他公司,帶來更多強大功能。對此Meta祖克伯向外媒透露,Meta已在考慮Llama 4、Llama 5的開發。