2025-10-17
【k8凱發(fā)官網(wǎng)入口科技消息】k8凱發(fā)官網(wǎng)入口從外媒獲悉，蘋果與俄亥俄州立大學(xué)的研究團隊近日發(fā)布了一項突破性研究，提出了一種名為“Fer:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫-Step Discrete Flor:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫-Matching（FS-DFM）”的新型語言模型。該模型基于擴散模型（diffusion model）的改進架構(gòu)，能夠以極快的速度生成高質(zhì)量長文本，速度最高可達傳統(tǒng)自回歸模型（如ChatGPT）的128倍。
與傳統(tǒng)自回歸模型逐詞生成文本的方式不同，F(xiàn)S-DFM通過并行生成多個詞元（token）并在少量迭代步驟中逐步優(yōu)化文本，最終實現(xiàn)完整輸出。研究顯示，F(xiàn)S-DFM僅需8輪迭代即可生成與需上千步迭代的擴散模型相媲美的長文本內(nèi)容。
據(jù)悉，為實現(xiàn)這一目標，研究團隊采用了三重技術(shù)策略：首先訓(xùn)練模型適應(yīng)不同迭代步數(shù)的計算預(yù)算；其次引入“教師”模型引導(dǎo)迭代過程，確保每次更新更準確且避免過度修正；最后優(yōu)化迭代機制，以更少、更穩(wěn)定的步驟達成最終結(jié)果。
在性能評估中，F(xiàn)S-DFM在困惑度（perplexity）和熵（entropy）兩項關(guān)鍵指標上表現(xiàn)優(yōu)異。與70億參數(shù)的Dream擴散模型及80億參數(shù)的LLaDA擴散模型相比，參數(shù)規(guī)模僅17億、13億甚至1.7億的FS-DFM變體均實現(xiàn)了更低的困惑度（表明文本更自然準確）和更穩(wěn)定的熵值（避免文本重復(fù)或混亂）。
研究團隊表示，由于該方法展現(xiàn)出顯著潛力且目前缺乏類似公開模型，他們將發(fā)布代碼和模型檢查點以促進學(xué)術(shù)復(fù)現(xiàn)與進一步探索。
版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載
-k8凱發(fā)官網(wǎng)入口
k8凱發(fā)
京ICP備2022033023號
京公網(wǎng)安備 11030102011456號
