• OpenBA

據(jù) Arxiv 頁面顯示，來自蘇州大學(xué)的一個研發(fā)團隊近日推出一款名為 OpenBA 的開源 seq2seq 模型。

據(jù)悉， OpenBA 是一款具有150億參數(shù)的雙語非對稱seq2seq模型，也是首個加入中國開源模型社區(qū)的大語言模型變體。論文顯示，研究者采用高效的技術(shù)以及采用三階段的訓(xùn)練策略，從頭開始訓(xùn)練了OpenBA模型。

實驗顯示，OpenBA 在 BELEBELE 基準(zhǔn)測試中的性能優(yōu)于 LLaMA-70B，在 MMLU 基準(zhǔn)測試中的性能優(yōu)于 BLOOM-176B，在 C-Eval（hard）基準(zhǔn)測試中的性能優(yōu)于 GLM-130B。