(資料圖)

品玩 6 月 9 日訊，據 huggingface 顯示，新加坡科技設計大學旗下的 DeCLaRe Lab 近日聯手新加坡阿里達摩院推出評估套件 INSTRUCTEVAL。

INSTRUCTEVAL 是一款較為全面的評估套件，專為指令調整的大語言模型設計。研發團隊表示，INSTRUCTEVAL 的評估基于解決問題、寫作能力以及是否和人類的價值觀保持一致。INSTRUCTEVAL 還將會通過模型的預訓練基礎、指令調優數據以及訓練方法等多個因素對大語言模型進行評估。研究結果表明，指令數據的質量是衡量模型性能的最關鍵因素。

研發團隊表示，INSTRUCTEVA 的目標是加深對指令調整模型及其功能進步的理解。