2021 年，智源發(fā)布了 " 悟道 1.0 " 與 " 悟道 2.0"。" 悟道 1.0" 是當(dāng)時(shí)中國首個(gè)超大模型，" 悟道 2.0" 發(fā)布時(shí)成為全球最大的智能模型，模型參數(shù)規(guī)模達(dá)到 1.75 萬億，是 OpenAI 所發(fā)布的 GPT-3 的 10 倍，受到了國內(nèi)外的矚目。也因此，智源被斯坦福、谷歌等企業(yè)列為大模型的先驅(qū)。

盡管如此，由于早期，大模型還缺乏好的應(yīng)用場景和產(chǎn)品，價(jià)值始終無法發(fā)揮，大模型的研發(fā)也曾受到一些爭議。而智源更是在大模型的算法研發(fā)尚未明朗的階段，就已經(jīng)開始了籌備開源與基礎(chǔ)設(shè)施的構(gòu)建，這在當(dāng)時(shí)也令不少行業(yè)人士十分詫異。

(資料圖)

在過去不到一年的時(shí)間里，ChatGPT 帶火了大模型。曾經(jīng)的唱衰者回頭看，才驚覺智源這一舉措的前瞻性。早在大模型的潛力還不為大多數(shù)人所熟悉時(shí)，智源是國內(nèi)為數(shù)不多率先關(guān)注 AI 大模型開源與基礎(chǔ)工作的機(jī)構(gòu)之一。

作為國內(nèi)最早布局大模型研發(fā)的機(jī)構(gòu)，智源區(qū)別于其他家的一點(diǎn)是，在大模型的基礎(chǔ)配套系統(tǒng)與設(shè)施上有更早期、更全面的布局。

大模型的范式變革，注定了算法的創(chuàng)新只是第一步，底層算力、網(wǎng)絡(luò)、存儲(chǔ)、大數(shù)據(jù)、AI 框架等等復(fù)雜的系統(tǒng)性工程問題也同等重要，如同電動(dòng)汽車的普及需要便利的充電樁、針對電車的維修與保養(yǎng)中心等等，需要體系化的基礎(chǔ)設(shè)施支撐。沒有基礎(chǔ)設(shè)施，就相當(dāng)于在馬車時(shí)代發(fā)明了汽車，大模型只能停留在 " 馬拉小車 " 的階段。

大模型時(shí)代的到來，是一場技術(shù)變革解決實(shí)際落地問題的重要突破。

那么，全局考慮下的大模型研發(fā)，又有著怎樣的過人之處？

今年 6 月的智源大會(huì)上，北京智源人工智能研究院交出了一份別開生面的成績單。

黃鐵軍發(fā)布《2023 智源研究院進(jìn)展報(bào)告》

" 悟道 3.0 " 有哪些開創(chuàng)性的成就？

繼 2021 年悟道大模型項(xiàng)目連創(chuàng) " 中國首個(gè) + 世界最大 " 紀(jì)錄之后，時(shí)隔 2 年多，智源發(fā)布并全面開源 " 悟道 3.0" 系列模型。

值得注意的是，智源的關(guān)注點(diǎn)不僅是模型本身，更包括模型背后的算力平臺(tái)建設(shè)、數(shù)據(jù)梳理、模型能力評測、算法測試、開源開放組織等體系化工作。

" 悟道 3.0 " 包括 " 悟道 · 天鷹 "（Aquila）語言大模型系列、" 悟道 · 視界 " 視覺大模型系列，以及一系列多模態(tài)模型成果。同期，F(xiàn)lagOpen 大模型技術(shù)開源體系也上新了天秤（FlagEval）開源大模型評測體系與開放平臺(tái)，

智源自研，更新的架構(gòu)

相比于悟道 1.0、" 悟道 2.0 " 是由智源與多個(gè)外部實(shí)驗(yàn)室聯(lián)合發(fā)布的研究成果，悟道 3.0 系列大模型是由智源研究院團(tuán)隊(duì)自研完成。

2021 年，智源推出了 " 悟道 2.0 " 系列模型，其語言模型、如 GLM 以及文生圖模型、如 CogView 等，經(jīng)過兩年的發(fā)展在相關(guān)領(lǐng)域已實(shí)現(xiàn)進(jìn)一步發(fā)展演進(jìn)。對此，基于過去模型的研究，" 悟道 3.0" 在很多方向進(jìn)行了重構(gòu)。

據(jù)智源研究院副院長兼總工程師林詠華介紹，如語言模型中采用 Decoder-Only 的架構(gòu)，已證實(shí)在加以更高質(zhì)量的數(shù)據(jù)之上，可在大規(guī)模參數(shù)的基礎(chǔ)模型中獲得更好的生成性能；而在文生圖模型中，智源也改用了基于 difussion 模型來進(jìn)行創(chuàng)新。

悟道 · 天鷹 Aquila 基礎(chǔ)模型（7B、33B）則集成了 GPT-3、LLaMA 等模型架構(gòu)設(shè)計(jì)優(yōu)點(diǎn)，在替換更高效的底層算子、重新設(shè)計(jì)實(shí)現(xiàn)了中英雙語 tokenizer 的同時(shí)，升級 BMTrain 并行訓(xùn)練方法，從而使 Aquila 訓(xùn)練過程中達(dá)到比 LLaMA 還要高 24% 的訓(xùn)練效率。

同時(shí)，AquilaChat 還能通過定義可擴(kuò)展的特殊指令規(guī)范，對其它模型和工具的調(diào)用。舉個(gè)例子，對 AquilaChat 給出一個(gè) " 生成唐裝女性肖像圖 " 的指令，AquilaChat 通過調(diào)用智源開源的 AltDiffusion 多語言文圖生成模型，可實(shí)現(xiàn)流暢的文圖生成能力。

文圖生成

深層次數(shù)據(jù)清洗，更合規(guī)、更干凈

" 悟道 · 天鷹 "（Aquila）語言大模型系列由 Aquila 基礎(chǔ)模型、AquilaChat 對話模型和 AquilaCode 文本 - 代碼生成模型構(gòu)成。

今天大模型 " 智能涌現(xiàn) " 能力的出現(xiàn)，與其背后海量的數(shù)據(jù)分不開。 語言數(shù)據(jù)本身蘊(yùn)含著豐富的知識(shí)和智能，大模型靠海量數(shù)據(jù)訓(xùn)練，發(fā)現(xiàn)海量數(shù)據(jù)內(nèi)存在的結(jié)構(gòu)和規(guī)律后，出現(xiàn)了涌現(xiàn)能力。

作為首個(gè)支持中英雙語知識(shí)、開源商用許可的語言大模型，" 悟道 · 天鷹 " Aquila 與 LLaMA、OPT 等以英文為主的學(xué)習(xí)模型不同，其 " 中英雙語 " 的特性提升了訓(xùn)練難度， 要實(shí)現(xiàn)好性能也更具挑戰(zhàn)性。

為此，研究團(tuán)隊(duì)在中英文高質(zhì)量語料基礎(chǔ)上從０開始訓(xùn)練悟道 · 天鷹 Aquila 語言大模型，放入接近 40% 的高質(zhì)量中文語料，包括中文互聯(lián)網(wǎng)數(shù)據(jù)、中文書籍、中文教材、中文文獻(xiàn)及百科等。

此前大部分模型數(shù)據(jù)的主要來源都來自知名的開源數(shù)據(jù)集如 Common Crawl 等。智源在抽取其 100 萬條中文數(shù)據(jù)分析其站源情況后發(fā)現(xiàn)，來自中國大陸的站源僅占 17%，83% 站源來自海外的中文網(wǎng)站，在內(nèi)容合規(guī)性、安全性上有很大的風(fēng)險(xiǎn)。

相較之下，" 悟道 · 天鷹 " Aquila 的中文互聯(lián)網(wǎng)數(shù)據(jù) 99% 來自國內(nèi)網(wǎng)站，并沒有使用 Common Crawl 內(nèi)中文任何預(yù)料，而是使用了智源過去三年多積累的悟道數(shù)據(jù)集，使用戶可以放心地基于它做持續(xù)訓(xùn)練。

與 " 悟道 · 天鷹 " Aquila 同期發(fā)布的智源 FlagEval 大語言模型評測體系目前涵蓋了 22 個(gè)主觀和客觀評測集，84433 道題目，細(xì)粒度刻畫大模型的認(rèn)知能力。基于 " 悟道 · 天鷹 "Aquila 基礎(chǔ)模型（7B）打造的 AquilaChat 對話模型，在 FlagEval 評測榜單（flageval.baai.ac.cn）上，目前暫時(shí)在 " 主觀 + 客觀 " 的評測上領(lǐng)先其他同參數(shù)量級別的開源對話模型，包括基于 LLaMA 系列微調(diào)模型 Alpaca 等。在最新評測結(jié)果中，AquilaChat 以大約相當(dāng)于其他模型 50% 的訓(xùn)練數(shù)據(jù)量（SFT 數(shù)據(jù) + 預(yù)訓(xùn)練數(shù)據(jù)分別統(tǒng)計(jì)）達(dá)到了最優(yōu)性能。但由于當(dāng)前的英文數(shù)據(jù)僅訓(xùn)練了相當(dāng)于 Alpaca 的 40%，所以在英文的客觀評測上還暫時(shí)落后于基于 LLaMA 進(jìn)行指令微調(diào)的 Alpaca。隨著后續(xù)訓(xùn)練的進(jìn)行，相信很快可以超越。

林詠華介紹，這個(gè)結(jié)果主要得益于數(shù)據(jù)質(zhì)量提升。在 LLaMA 中，開源數(shù)據(jù)集 Common Crawl 占比達(dá)到了 67%，相較之下，智源在預(yù)訓(xùn)練數(shù)據(jù)處理時(shí)會(huì)對數(shù)據(jù)進(jìn)行深層次清洗，特別是互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行多次清洗，使數(shù)據(jù)更滿足合規(guī)需要、更干凈。

" 悟道 · 天鷹 "Aquila 語言大模型通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)了在更小的數(shù)據(jù)集、更短的訓(xùn)練時(shí)間，獲得比其它開源模型更優(yōu)的性能。

基于 Aquila-7B 強(qiáng)大的基礎(chǔ)模型能力，智源推出的 AquilaCode-7B " 文本 - 代碼 " 生成模型，是基于 The Stack 數(shù)據(jù)集進(jìn)行抽取和高質(zhì)量過濾，使用了約 200GB 的數(shù)據(jù)進(jìn)行訓(xùn)練，，以小數(shù)據(jù)集、小參數(shù)量，實(shí)現(xiàn)高性能，是目前支持中英雙語的、性能最好的開源代碼模型。此外，AquilaCode-7B 在英偉達(dá)和國產(chǎn)芯片上分別完成了代碼模型的訓(xùn)練，此舉意在通過對多種架構(gòu)的代碼 + 模型開源，推動(dòng)芯片創(chuàng)新和百花齊放。

通用性更強(qiáng)，應(yīng)用門檻低

此前業(yè)界討論大模型時(shí)，往往焦點(diǎn)都放在了語言大模型。有的看法認(rèn)為，視覺和語音是屬于感知層面的智能，很多動(dòng)物也具備，因此感知智能是比較基礎(chǔ)、也比較低端的智能，而語言層面則是更高端的 " 認(rèn)知智能 "。

但人的智能行為是多模態(tài)的，視覺作為 AI 重要組成分支，視覺大模型在近半年里也多有突破，例如 Meta 發(fā)布的通用圖像分割模型 SAM、智源推出的 SegGPT 等。

此次悟道 3.0 系列模型中，智源也發(fā)布了 " 悟道 · 視界 " 視覺大模型系列，包括在多模態(tài)序列中補(bǔ)全一切的多模態(tài)大模型 Emu，最強(qiáng)十億級視覺基礎(chǔ)模型 EVA，一通百通、分割一切的視界通用分割模型，首創(chuàng)上下文圖像學(xué)習(xí)技術(shù)路徑的通用視覺模型 Painter，性能最強(qiáng)開源 CLIP 模型 EVA-CLIP，簡單 prompt（提示）即可視頻編輯的 vid2vid-zero 零樣本視頻編輯技術(shù)。

" 悟道 · 視界 " 視覺大模型系列模型通用性更強(qiáng)，系統(tǒng)化解決了當(dāng)前視覺領(lǐng)域存在的任務(wù)統(tǒng)一、模型規(guī)模化以及數(shù)據(jù)效率等系列瓶頸問題。

比如此次推出的多模態(tài)大模型 Emu ，可接受多模態(tài)輸入、產(chǎn)生多模態(tài)輸出。通過學(xué)習(xí)圖文、交錯(cuò)圖文、交錯(cuò)視頻文本等海量多模態(tài)序列，實(shí)現(xiàn)在圖像、文本和視頻等不同模態(tài)間的理解、推理和生成。在完成訓(xùn)練后，Emu 可在多模態(tài)序列的上下文中補(bǔ)全一切，實(shí)現(xiàn)多輪圖文對話、視頻理解、精準(zhǔn)圖像認(rèn)知、文圖生成、多模態(tài)上下文學(xué)習(xí)、視頻問答和圖圖生成等多模態(tài)能力。

最強(qiáng)十億級視覺基礎(chǔ)模型 EVA，該模型結(jié)合了語義學(xué)習(xí)模型（CLIP）和幾何結(jié)構(gòu)學(xué)習(xí)（MIM）兩大關(guān)鍵點(diǎn)，在僅使用標(biāo)準(zhǔn) ViT 模型的情況下，使 EVA 擁有了更高效、簡單的兩大優(yōu)點(diǎn)，模型通用性更強(qiáng)。目前已在 ImageNet 分類、COCO 檢測分割、Kinetics 視頻分類等廣泛的視覺感知任務(wù)中取得最優(yōu)性能。

多模態(tài)圖文預(yù)訓(xùn)練大模型 EVA-CLIP 是基于視覺基礎(chǔ)模型 EVA 研發(fā)，目前參數(shù)量達(dá)到 50 億參數(shù)。與此前 80.1% 準(zhǔn)確率的 OpenCLIP 相比，EVA-CLIP 5B 版本在 ImageNet1K 零樣本 top1 準(zhǔn)確率達(dá)到了 82.0%。

智源 " 悟道 · 視界 " 的另一成果是，今年年初發(fā)布的一通百通、分割一切的視界通用分割模型，其與 SAM 模型同時(shí)發(fā)布，是首個(gè)利用視覺提示（prompt）完成任意分割任務(wù)的通用視覺模型，可從影像中分割出各種各樣的對象，是視覺智能的關(guān)鍵里程碑。

建立科學(xué)、公正、開放的評測基準(zhǔn)

當(dāng)前，大模型仍具有諸多難以透徹理解的黑盒特性，規(guī)模大、結(jié)構(gòu)復(fù)雜，對其所待開發(fā)的 " 潛力 " 具體形式和上限尚無法確定，傳統(tǒng)的評測方法和基準(zhǔn)在基礎(chǔ)模型評測上也面臨著失效的問題。

在這種迫切的情況下，我們亟需搭建起一套科學(xué)、公正、開放的大模型評測體系，這有助于在學(xué)術(shù)上拉動(dòng)大模型創(chuàng)新，構(gòu)建可以衡量大模型的能力和質(zhì)量的尺子。同時(shí)在產(chǎn)業(yè)上，為不具備研發(fā)和構(gòu)建基礎(chǔ)大模型的企業(yè)提供一個(gè)可信可靠的全面的評測體系，將幫助他們更客觀地選擇適用于自身的大模型。

為此，智源優(yōu)先推出了天秤（FlagEval）大模型評測體系及開放平臺(tái)，創(chuàng)新性地構(gòu)建了 " 能力 - 任務(wù) - 指標(biāo) " 的三維評測框架，細(xì)粒度地刻畫基礎(chǔ)模型的認(rèn)知能力邊界，呈現(xiàn)可視化評測結(jié)果，提供 30 + 能力、5 種任務(wù)、4 大類指標(biāo)共 600 + 維全面評測，任務(wù)維度當(dāng)前包括 22 個(gè)主客觀評測數(shù)據(jù)集和 84433 道題目，更多維度的評測數(shù)據(jù)集正在陸續(xù)集成。

目前，天秤 FlagEval 大模型評測體系及開放平臺(tái)已推出語言大模型評測、多國語言文圖大模型評測及文圖生成評測等工具，并對各種語言基礎(chǔ)模型、跨模態(tài)基礎(chǔ)模型實(shí)現(xiàn)評測。后續(xù)將全面覆蓋基礎(chǔ)模型、預(yù)訓(xùn)練算法、微調(diào)算法等三大評測對象，包括自然語言處理、計(jì)算機(jī)視覺、音頻及多模態(tài)等四大評測場景和豐富的下游任務(wù)。天秤 FlagEval 將繼續(xù)拓展和完善 " 大模型認(rèn)知能力 " 框架，集成豐富的數(shù)據(jù)集與評測指標(biāo)，并探索與心理學(xué)、教育學(xué)、倫理學(xué)等社會(huì)學(xué)科的交叉研究，以期更加科學(xué)、全面地評價(jià)語言大模型。

為未來智能運(yùn)營商提供底層支持

2021 年 3 月，在 " 悟道 1.0 " 的發(fā)布現(xiàn)場，黃鐵軍表示，人工智能的發(fā)展已經(jīng)從 " 大煉模型 " 逐步邁向了 " 煉大模型 " 的階段。在此之前，學(xué)術(shù)界稱 " 大模型 " 一直是 " 預(yù)訓(xùn)練模型 "，但從這一刻起，智源給了一個(gè)更接地氣的叫法，" 大模型 " 概念正式進(jìn)入公眾視野。

不同于國內(nèi)大部分做大模型研發(fā)的公司，可以說，智源是第一個(gè)關(guān)注大模型基礎(chǔ)設(shè)施的團(tuán)隊(duì)。由張宏江、黃鐵軍首次提出的 " 大模型是 AI 時(shí)代的智能基礎(chǔ)運(yùn)營商 " 的說法，如今看來也極具前瞻性。

如果說模型和算法是讓機(jī)器得以轉(zhuǎn)動(dòng)的電力，那么擔(dān)任發(fā)電廠角色的大模型，則非所有機(jī)構(gòu)和企業(yè)都能參與角逐的對象。

同時(shí)我們也看到，基礎(chǔ)設(shè)施的體系化建設(shè)非一家之力可以完成，需要更多機(jī)構(gòu)協(xié)力合作，建立提供數(shù)據(jù)、訓(xùn)練、評測、治理等全套服務(wù)。此前黃鐵軍就曾斷言，" 不可能、也不應(yīng)該有任何一家企業(yè)來完全封閉地主導(dǎo)大模型這么一個(gè)重要的方向。"

大模型技術(shù)經(jīng)過這幾年的你追我趕，研發(fā)技術(shù)上已較為成熟，而 ChatGPT 和 GPT-4 的火爆，將大模型應(yīng)用拉向了大規(guī)模落地的階段。

這當(dāng)中，開源扮演著重要角色。

林詠華作《悟道 · 天鷹大模型——工程化打造 AI 中的 "CPU"》主題報(bào)告

林詠華認(rèn)為，智源大模型開源的必要點(diǎn)在于，基于大模型本身的特色，需要構(gòu)建一個(gè)的開源系統(tǒng)。

從研發(fā)的角度來看，大模型目前還面臨著三個(gè)突出的難題。一方面，大模型技術(shù)復(fù)雜，各種開源框架和算法增加了開發(fā)者的學(xué)習(xí)難度，加上許多開源算法的模塊沒有統(tǒng)一接口，以至于在研究時(shí)僅適配階段就要花耗很多時(shí)間；其次，開源模型質(zhì)量也參差不齊；更重要的是，大模型在系統(tǒng)層面的工程浩大，訓(xùn)練和推理都需要很大的平臺(tái)算力去支持。

面對重重困難，智源先于行業(yè)一步開始大模型的開源工作，目前也取得了一定的成果。具體來看，智源不但開源了悟道大模項(xiàng)目，也打造了大模型技術(shù)開源體系（FlagOpen 飛智），對模型、工具、算法代碼等開源。

其中，F(xiàn)lagOpen 的核心 FlagAI 是大模型算法開源項(xiàng)目，當(dāng)中集成了全球各領(lǐng)域的一些明星模型，如語言大模型 OPT、T5，視覺大模型 ViT、Swin Transformer，多模態(tài)大模型 CLIP 等，也包含了智源自家的明星大模型，此次發(fā)布的悟道 · 天鷹 Aquila 就集成到了 FlagAI 開源項(xiàng)目中（https://github.com/FlagAI-Open/FlagAI ) 。

在目前開源項(xiàng)目中，F(xiàn)lagAI 開源最早，從 2022 年 6 月開始，F(xiàn)lagOpen 整個(gè)開源體系也是圍繞大模型去建設(shè)。從體系化的角度做大模型生態(tài)，智源想將 FlagOpen 打造成新浪潮里的 " 新 Linux" 生態(tài)。

在模型之外，智源也做了很多的工作，例如此前推出的混合架構(gòu)云平臺(tái)九鼎，不僅滿足了不同模型對算力要求的調(diào)度，作為大模型系統(tǒng)創(chuàng)新的試驗(yàn)場，可在平臺(tái)上率先進(jìn)行 AI 系統(tǒng)創(chuàng)新，九鼎還肩負(fù)著用大模型來拉動(dòng)多種 AI 加速算力的重任。

目前，國內(nèi)大部分應(yīng)用層公司的普遍思路主要有兩個(gè)，一類是直接用大模型將現(xiàn)有的軟件升級一遍，另一類是基于行業(yè) Know-How 訓(xùn)練出自己的模型算法、在此基礎(chǔ)上再提供應(yīng)用服務(wù)。對許多企業(yè)來說，從 0 到 1 不斷訓(xùn)練、優(yōu)化大模型往往并不經(jīng)濟(jì)，各行各業(yè)都需要成本足夠低的 AI 基礎(chǔ)設(shè)施。

在開源模式下，企業(yè)憑借公開的源代碼，可以在已有的基礎(chǔ)框架上、基于自身業(yè)務(wù)需求做訓(xùn)練和二次開發(fā)，例如在 FlagAI 上，當(dāng)中集成了很多主流大模型算法技術(shù)，此外還有多種大模型并行處理和訓(xùn)練加速技術(shù)，并且支持微調(diào)，開箱即可使用，應(yīng)用門檻低，對企業(yè)應(yīng)用和開發(fā)者創(chuàng)新都非常友好。

這種基于開源模型做自主創(chuàng)新的方式，發(fā)揮了大模型通用性上的優(yōu)勢，模型效果專業(yè)性也更強(qiáng)，從而釋放出遠(yuǎn)超于當(dāng)前的生產(chǎn)力。

智源始終堅(jiān)持全面開源，在開源體系下豐富算力平臺(tái)、大模型服務(wù)等 AI 基礎(chǔ)設(shè)施，讓企業(yè)不必再 " 重復(fù)造輪子 "、陷入對算力和算法無意義內(nèi)卷中去，而是把更多的精力投入到原創(chuàng)的、專屬的模型研發(fā)和應(yīng)用革新中。

對于企業(yè)而言，使用開源的技術(shù)和產(chǎn)品還遠(yuǎn)不止是成本上的考量，同時(shí)也是對風(fēng)險(xiǎn)的規(guī)避、降低和質(zhì)量的提高。例如 Meta 在今年年初開源的 LLaMa，就規(guī)定了其版權(quán)不可以商用，基于 LLaMa 微調(diào)的新模型也不能商用，而智源所開源的悟道 · 天鷹 Aquila 大模型則是真正在協(xié)議規(guī)定上支持商用。

以大模型為核心的新生態(tài)正在形成，在變革的浪潮里，技術(shù)創(chuàng)新引領(lǐng)不斷向前的方向，而起到支撐性作用的基礎(chǔ)設(shè)施、將決定我們能走得多遠(yuǎn)。智源舉開源之力，促進(jìn)大模型時(shí)代的協(xié)同創(chuàng)新，讓更多企業(yè)能放心地把大模型用起來，一起參與到智能未來藍(lán)圖的繪制中去。

（雷峰網(wǎng)雷峰網(wǎng)）