整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

迄今為止，GPT-4 憑借多模態(tài)能力已經(jīng)成為 AI 領(lǐng)域備受關(guān)注的大模型，不過(guò)值得注意的是，OpenAI 在推出 GPT-4 時(shí)雖然引入了對(duì)圖像理解的能力，但并沒(méi)有在除了 Be my Eyes（針對(duì)盲人或弱視人士的應(yīng)用程序和服務(wù)）應(yīng)用程序之外的任何地方提供此功能。

(資料圖片)

GPT-4 對(duì)圖像理解能力的示例詳見(jiàn)：

用戶(hù)：這幅畫(huà)有什么好笑的地方？逐一描述它的板塊。

圖片來(lái)源：https://www.reddit.com/r/hmmm/comments/ubab5v/hmmm/

GPT-4：圖片顯示的是一個(gè) "Lightning Cable " 適配器的包裝，有三個(gè)板塊：

板塊 1：一部智能手機(jī)，VGA 連接器（通常用于電腦顯示器的大型藍(lán)色 15 針連接器）插在其充電端口。

板塊 2："Lightning Cable " 適配器的包裝上有一張 VGA 接口的圖片。

板塊 3：VGA 連接器的特寫(xiě)，末端是一個(gè)小的 Lightning 連接器（用于為 iPhone 和其他蘋(píng)果設(shè)備充電）。

這張圖片的幽默感來(lái)自于將一個(gè)大的、過(guò)時(shí)的 VGA 連接器插入一個(gè)小的、現(xiàn)代的智能手機(jī)充電端口的荒謬性。

近日，來(lái)自沙特阿拉伯阿卜杜拉國(guó)王科技大學(xué)的研究團(tuán)隊(duì)推出了一款名為 MiniGPT-4 的新模型，以開(kāi)源的形式提供了此功能。

研究人員還透露，MiniGPT-4 具有許多類(lèi)似于 GPT-4 所展示的功能，下文我們也將分享相關(guān)的實(shí)例。

可執(zhí)行復(fù)雜的視覺(jué)語(yǔ)言任務(wù)的 MiniGPT-4

該團(tuán)隊(duì)發(fā)現(xiàn)盡管 GPT-4 表現(xiàn)出非凡的能力，但是其特殊能力背后的方法并不為眾人所熟知。因此，他們提出「GPT-4 具有先進(jìn)的多模態(tài)生成能力的主要原因在于利用了更先進(jìn)的大型語(yǔ)言模型（LLM）」這一想法。

為了驗(yàn)證這一想法，他們便提出了 MiniGPT-4 模型。

根據(jù)研究團(tuán)隊(duì)發(fā)布的論文顯示，為了構(gòu)建 MiniGPT-4，研究人員使用了基于 LLaMA 構(gòu)建的 Vicuna 作為語(yǔ)言解碼器，并使用 BLIP-2 視覺(jué)語(yǔ)言模型作為視覺(jué)解碼器。

其中，Vicuna 和 BLIP-2 都是開(kāi)源的。這意味使用開(kāi)源軟件可以用較少錢(qián)進(jìn)行訓(xùn)練和微調(diào)，并且沒(méi)有海量數(shù)據(jù)和開(kāi)銷(xiāo)，這也是為什么這個(gè)模型加上了 "mini" 的前綴。

在實(shí)驗(yàn)中，該團(tuán)隊(duì)發(fā)現(xiàn)只對(duì)原始圖像 - 文本對(duì)進(jìn)行預(yù)訓(xùn)練會(huì)產(chǎn)生不自然的語(yǔ)言輸出，包括重復(fù)和零散的句子，缺乏連貫性。為了解決這個(gè)問(wèn)題，其在第二階段策劃了一個(gè)高質(zhì)量、一致性好的數(shù)據(jù)集，利用對(duì)話(huà)模板對(duì)此模型進(jìn)行微調(diào)，這一步被證明對(duì)提高模型的生成可靠性和整體可用性至關(guān)重要。

具體來(lái)看，研究團(tuán)隊(duì)分兩個(gè)階段訓(xùn)練了 MiniGPT-4 模型。

第一階段，研究團(tuán)隊(duì)首先在四張 NVIDIA A100 顯卡上利用了大約 500 萬(wàn)個(gè)對(duì)齊的圖像 - 文本對(duì)，讓 MiniGPT-4 進(jìn)行了十個(gè)小時(shí)的訓(xùn)練。在第一階段之后，Vicuna 能夠理解圖像。但是 Vicuna 的生成能力受到了很大的影響。

為了解決這個(gè)問(wèn)題并提高可用性，研究人員提出了一種通過(guò)模型本身和 ChatGPT 一起創(chuàng)建高質(zhì)量圖像文本對(duì)的新方法。因此，展開(kāi)了第二階段的微調(diào)訓(xùn)練，該模型使用 MiniGPT-4 和 ChatGPT 之間的交互生成的 3,500 個(gè)高質(zhì)量文本圖像對(duì)進(jìn)行了改進(jìn)。ChatGPT 更正了 MiniGPT-4 生成的不正確或不準(zhǔn)確的圖像描述。

這一步顯著提高了模型的可靠性和可用性，MiniGPT-4 能夠連貫地和用戶(hù)友好地談?wù)搱D像，并且只需要在單個(gè) NVIDIA A100 上進(jìn)行七分鐘的訓(xùn)練。讓研究人員自己都感到驚訝的是，這個(gè)階段的計(jì)算效率很高。

MiniGPT-4 架構(gòu)

MiniGPT-4 Vicuna 的語(yǔ)言模型遵循 "Alpaca 公式 "，使用 ChatGPT 的輸出來(lái)微調(diào) LLaMA 系列的 Meta 語(yǔ)言模型。據(jù)說(shuō) Vicuna 與 Google Bard 和 ChatGPT 相當(dāng)，同樣只需相對(duì)較小的訓(xùn)練工作量。

當(dāng)前，該研究團(tuán)隊(duì)已經(jīng)將 MiniGPT-4 的代碼、預(yù)訓(xùn)練的模型和收集的數(shù)據(jù)集在 GitHub 上開(kāi)源：https://minigpt-4.github.io/。

擁有和 GPT-4 相似的圖片解析功能

正如開(kāi)頭所述，該研究團(tuán)隊(duì)推出的 MiniGPT-4 擁有和 GPT-4 相似的功能。譬如：

給它一張圖，便能生成詳細(xì)的圖像描述：

也能講出圖片中搞笑、有趣的部分：「星期一通常被認(rèn)為是一周中最令人恐懼的一天」。還能在進(jìn)一步交互中發(fā)現(xiàn)不尋常的內(nèi)容，如：雖然仙人掌有可能在寒冷的氣候條件下生長(zhǎng)，但很少看到仙人掌生長(zhǎng)站在冰凍的湖泊中間。此外，水面上形成的大冰晶也不是常見(jiàn)的現(xiàn)象。

于是，MiniGPT-4 給出了自己的見(jiàn)解：這張圖片很可能是數(shù)字創(chuàng)作或操控的。

當(dāng)然，和 GPT-4 演示的一樣，MiniGPT-4 也能根據(jù)手繪草圖生成網(wǎng)站：識(shí)別圖像中的問(wèn)題并提供解決方案：以及創(chuàng)造詩(shī)歌或說(shuō)唱歌曲的靈感：此外，也能根據(jù)圖片續(xù)寫(xiě)故事，給產(chǎn)品做廣告，對(duì)圖像展現(xiàn)的畫(huà)面進(jìn)行評(píng)論、檢索與圖片有關(guān)的事實(shí)，以及當(dāng)給定一張準(zhǔn)備好的菜肴照片時(shí)，該模型可以輸出（可能）與之匹配的食譜或者生成一個(gè)適合視障人士的圖像描述。開(kāi)源類(lèi) GPT-4 模型層出不窮

鑒于 OpenAI 沒(méi)有透露太多關(guān)于 GPT-4 架構(gòu)（包括模型大小）、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法的細(xì)節(jié)，強(qiáng)大的 LLM 的開(kāi)源 MiniGPT-4 可能在研究方面具有重要意義。

對(duì)于 MiniGPT-4 的到來(lái)，也引發(fā)了一些 HN 網(wǎng)友的熱議，有網(wǎng)友表示：

在技術(shù)層面上，這個(gè)研究團(tuán)隊(duì)正在做一些非常簡(jiǎn)單的事情 -- 將 BLIP2 的 ViT-L+Q-former，用一個(gè)線(xiàn)性層連接到 Vicuna-13B，并在一些圖像 - 文本對(duì)的數(shù)據(jù)集上只訓(xùn)練這個(gè)小層。

但結(jié)果是相當(dāng)驚人的。它完全打敗了 Openflamingo 和甚至原始的 blip2 模型。最重要的是，它比 OpenAl 的 GPT-4 圖像模態(tài)更早到達(dá)。（這是）開(kāi)源人工智能的真正勝利。

也有媒體評(píng)價(jià)到，「MiniGPT-4 是開(kāi)源社區(qū)在很短時(shí)間內(nèi)取得快速成功的另一個(gè)案例。前幾天，推出，使用從志愿者那里收集的指導(dǎo)數(shù)據(jù)進(jìn)行訓(xùn)練，并打算最終成為一個(gè) ChatGPT 的開(kāi)源平替。這表明純 AI 模型公司的護(hù)城河可能沒(méi)有那么高。在這種趨勢(shì)下，對(duì)于 OpenAI 公司而言，首先應(yīng)該專(zhuān)注于使用 ChatGPT 插件為 GPT-4 建立一個(gè)合作伙伴生態(tài)系統(tǒng)，而不是現(xiàn)在就訓(xùn)練 GPT-5，這是有意義的?！?/p>

事實(shí)上，除了 OpenAssistant、MiniGPT-4 之外，GitHub 上也有網(wǎng)友盤(pán)點(diǎn)了近段時(shí)間來(lái)誕生的許多開(kāi)源模型（https://github.com/nichtdax/awesome-totally-open-chatgpt），如 Databricks 推出的 Dolly 模型、類(lèi) ChatGPT 的 PaLM-rlhf-pytorch、OpenChatKit 等等，為此，你認(rèn)為開(kāi)源大模型在此趨勢(shì)下會(huì)迎來(lái)什么樣的發(fā)展機(jī)遇？歡迎留言分享你的看法。

關(guān)于 MiniGPT-4 模型的更多內(nèi)容可參考：

項(xiàng)目地址：https://minigpt-4.github.io/

GitHub 地址：https://github.com/Vision-CAIR/MiniGPT-4

論文地址：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf

參考：

https://the-decoder.com/minigpt-4-is-another-example-of-open-source-ai-on-the-rise/