鳳凰網(wǎng)科技訊 3月15日，創(chuàng)新工場CMO發(fā)朋友圈回應Yi大模型“抄襲LLaMA”事件，她表示零一萬物發(fā)布Yi-34B模型訓練的說明，回應對于模型架構(gòu)的探討輿論。

創(chuàng)新工場CMO發(fā)文表示，沿用行業(yè)演進漸成通用、生態(tài)擁抱的基礎架構(gòu)就成了“套模、山寨“?(就像手機app開發(fā)者都得益于ios、Android的共通架構(gòu))。零一萬物會持續(xù)從社區(qū)中虛心學習，持續(xù)進步。

根據(jù)說明內(nèi)容顯示，零一萬物從零開始訓練了Yi-34B和Yi-6B模型，并根據(jù)實際的訓練框架重新實現(xiàn)了訓練代碼，用自建的數(shù)據(jù)管線構(gòu)建了高質(zhì)量配比的訓練數(shù)據(jù)集（從3PB原始數(shù)據(jù)精選到3T token高質(zhì)量數(shù)據(jù)）。

在零一萬物初次開源過程中，我們發(fā)現(xiàn)用和開源社區(qū)普遍使用的LLaMA 架構(gòu)會對開發(fā)者更為友好，對于沿用LLaMA部分推理代碼經(jīng)實驗更名后的疏忽，原始出發(fā)點是為了充分測試模型，并非刻意隱瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，我們正在各開源平臺重新提交模型及代碼并補充LLaMA 協(xié)議副本的流程中，承諾盡速完成各開源社區(qū)的版本更新。

相關閱讀：

零一萬物對Yi-34B訓練過程的說明