這兩天 hugging face 的榜單出現(xiàn)了一個(gè)異數(shù)。一個(gè)名為 Falcon 40B 的模型，突然成為了 hugging face" 開(kāi)源 " 大模型排行榜的第一名。

這一成績(jī)直接將一眾大咖加持的開(kāi)源的模型踩在腳下，包括但不限于扎克伯格同學(xué)旗下的 LLaMA、新晉明星獨(dú)角獸 Stability AI 等公司。其中，LLaMA 的模型規(guī)模甚至更大，達(dá)到了 65B ——比 Falcon-40B 大出了 50%。

(相關(guān)資料圖)

按照國(guó)際通用慣例，網(wǎng)友們少不了又要拉踩一把扎克伯格。Hugging Face 過(guò)去一直被認(rèn)為是大模型領(lǐng)域 GitHub，在人類(lèi)大模型的開(kāi)源事業(yè)的道路上不遺余力，被一些觀察者認(rèn)為是 OpenAI 最具潛在挑戰(zhàn)能力的平臺(tái)。因此 Hugging Face 的榜單，被從業(yè)者給予了很高的參考價(jià)值。

按照 Hugging Face 方面表示，其整個(gè)榜單使用 Eleuther AI Harness 的評(píng)估框架，被分成四個(gè)標(biāo)準(zhǔn)：

25 個(gè)小樣本的推理邏輯測(cè)試（ARC：AI2 Reasoning Challenge）、10 個(gè)樣本的嘗試推理測(cè)試（HellaSwag）、5 個(gè)樣本的多任務(wù)準(zhǔn)確性測(cè)試（MMLU）以及誠(chéng)實(shí)測(cè)試（TruthfulQA）

而在全部四項(xiàng)打分中，如圖一所示，除了誠(chéng)實(shí)測(cè)試表現(xiàn)相對(duì)一般外，其他三項(xiàng)都大幅領(lǐng)先對(duì)手。而在新推出的 instruct 版本中，誠(chéng)實(shí)性能力也跟上來(lái)了。

Falcon 備受外界關(guān)注，原因主要有幾點(diǎn)。

一方面，如果僅以這個(gè)榜單數(shù)據(jù)來(lái)看，F(xiàn)alcon 相比于友商的提升幅度很大。LLaMA-65B 之后的排序的分差往往在 0.3 分以?xún)?nèi)，但 Falcon-instruct 直接提升了 3.4 分。

另一方面，F(xiàn)alcon 與馬斯克的火箭重名，但其實(shí)是目前為數(shù)不多的非西方國(guó)家實(shí)驗(yàn)室開(kāi)發(fā)的開(kāi)源大模型產(chǎn)品。Falcon 背后的研發(fā)方來(lái)自阿聯(lián)酋的阿布扎比技術(shù)創(chuàng)新研究所（TII），這也是中東首個(gè)世界頂級(jí)的大模型產(chǎn)品。

TII 的背后則是阿布扎比先進(jìn)技術(shù)研究委員會(huì) ( ATRC ) ，因此是阿聯(lián)酋政府官方扶持技術(shù)創(chuàng)新項(xiàng)目。

而根據(jù)阿聯(lián)酋通訊社的報(bào)道，F(xiàn)alcon-45B 使用了 1 萬(wàn)億個(gè) token 進(jìn)行訓(xùn)練，可以用更少的訓(xùn)練計(jì)算能力實(shí)現(xiàn)更優(yōu)的效果，其僅相當(dāng)于 OpenAI GPT-3 訓(xùn)練計(jì)算的 75%，DeepMind Chinchilla 人工智能的 40%，谷歌 PaLM-62B 訓(xùn)練計(jì)算的 80%。

阿聯(lián)酋通訊社進(jìn)一步表示，作為開(kāi)源的大模型工具，F(xiàn)alcon-45B 的出現(xiàn)：

" 強(qiáng)化了阿聯(lián)酋作為全球 AI 領(lǐng)導(dǎo)者的角色 "。

目前來(lái)說(shuō)，F(xiàn)alcon-40B 雖然是開(kāi)源大模型的第一名，但是和 " 不 Open" 的 OpenAI 相比，還有相當(dāng)大的差距。而在越來(lái)越公司對(duì)開(kāi)源保持謹(jǐn)慎態(tài)度的情況下，F(xiàn)alcon 獲得 " 開(kāi)源大模型第一 " 其實(shí)也算是 " 撿了個(gè)漏 "。不過(guò)很快有從業(yè)者發(fā)推特質(zhì)疑 Hugging Face 的評(píng)價(jià)體系。

有 Inflection AI 員工發(fā)推認(rèn)為 Hugging Face 得出的數(shù)據(jù)與論文的評(píng)分有一定的差異。在這條質(zhì)疑下面，前特斯拉 AI 負(fù)責(zé)人、OpenAI 元老級(jí)人物（founding member）Andrej Karpathy 跟進(jìn)評(píng)論：

" 這就是我目前避免評(píng)論 falcon 的原因 "。

Andrej Karpathy 曾經(jīng)是李飛飛的高徒、全球頂尖的 AI 科學(xué)家，對(duì) OpenAI 的發(fā)展起到了很大的作用，也一手推動(dòng)了特斯拉自動(dòng)駕駛項(xiàng)目的發(fā)展，可以說(shuō)是特斯拉 autopilot 之父。

當(dāng)他對(duì) hugging face 的標(biāo)準(zhǔn)提出質(zhì)疑時(shí)，這并不能被認(rèn)為是一個(gè)輕飄飄的指控。

果然 hugging face 聯(lián)合創(chuàng)始人 Thomas Wolf 聞風(fēng)而至，對(duì)同行進(jìn)行了友善的科普，表示他們的使用的評(píng)價(jià)工具的準(zhǔn)確性是可靠的。這其中詭異的點(diǎn)在于，hugging face 的榜單不是一天發(fā)出的，Eleuther AI Harness 也是一個(gè)主流的評(píng)價(jià)體系。但當(dāng) Falcon 沖榜后，卻出現(xiàn)了兩位對(duì)評(píng)價(jià)體系 " 不理解 "、" 不確定 " 的 " 外賓 "。

看來(lái)硅谷還不是很適應(yīng)來(lái)自中東的神秘科技力量，對(duì)這種 " 新鮮事物 " 條件反射地用審視的眼光去打量。

不過(guò)，F(xiàn)alcon-40B 最大的爭(zhēng)議或許不是來(lái)自于能力，而是來(lái)自于其對(duì) " 開(kāi)源 " 事業(yè)的 " 誠(chéng)心 "。

因?yàn)?Falcon 對(duì)商業(yè)化開(kāi)源留了一個(gè) " 后手 "，雖然使用者原則上免費(fèi)，但如果收入超過(guò) 100 萬(wàn)美金，依然需要繳納 10% 的授權(quán)費(fèi)用。

但由于 falcon 的許可證其實(shí)部分基于 Apache License Version 2.0。后者來(lái)自 Apache 基金會(huì)，對(duì)商業(yè)開(kāi)源是友好的。那如果 falcon 拿著免費(fèi)開(kāi)源的許可協(xié)議，未來(lái)依然會(huì)收取一定的商業(yè)化費(fèi)用，這似乎依然算不上真的 " 開(kāi)源 "。

大模型確實(shí)很燒錢(qián)，即便貴如中東土豪，也不希望徹底的開(kāi)源。

而根據(jù) TII 方面的消息，阿聯(lián)酋方面預(yù)計(jì)將很快發(fā)布新的 Falcon-108B 的千億級(jí)大模型。

無(wú)論是開(kāi)源和閉源、西方和東方、科技投資和石油資本，屆時(shí)圍繞大模型的科技競(jìng)爭(zhēng)可能會(huì)變得更有意思。

圖片來(lái)源：網(wǎng)絡(luò)