機(jī)器之心原創(chuàng)

作者：澤南

(資料圖片僅供參考)

在手機(jī)上用自然語(yǔ)言搜本地相冊(cè)圖片，業(yè)界首個(gè)移動(dòng)端多模態(tài)語(yǔ)義檢索引擎，改變了我們的手機(jī)使用體驗(yàn)。

習(xí)慣了搜索引擎的我們，在手機(jī)上找本地文件的時(shí)候往往卻束手無(wú)策：如今每個(gè)人的智能手機(jī)上，存上千張照片已是常態(tài)，有時(shí)候想找某張具體的照片就像大海撈針。

不過(guò)在今年華為的 P60 系列發(fā)布會(huì)上出現(xiàn)了這樣一項(xiàng)功能 —— 智慧搜圖，基于多模態(tài)大模型技術(shù)在端側(cè)輕量化應(yīng)用，手機(jī)上第一次有了自然語(yǔ)言圖片搜索能力。既然是自然語(yǔ)言，就意味著在找圖這件事上可以對(duì)手機(jī)講人話了。

如果記不得想找的照片是何時(shí)何地拍攝的，只大概記得照片中出現(xiàn)的人或物怎么辦？只要把能想到的幾個(gè)詞寫到搜索框里，智慧搜索就能給你找到：

或者用語(yǔ)音喚醒小藝用一句話形容想要找的照片內(nèi)容，比如搜索「去年在長(zhǎng)白山滑雪的照片」，就可以直接找到手機(jī)里所有那次去玩的照片：再進(jìn)一步，你也可以搜索「騎自行車的人」、「戶外的聚會(huì)」等描述性的概念。

相比以前基于標(biāo)簽的照片搜索方式，智慧搜圖可以讓手機(jī)更加「聰明」，響應(yīng)速度更快，輸出結(jié)果更高效。結(jié)合多模態(tài)語(yǔ)義模型技術(shù)，華為的智慧搜圖在云端對(duì)上億級(jí)圖文數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，對(duì)更通用化的語(yǔ)義擁有了理解能力。更重要的是，模型部署在端側(cè)，搜索計(jì)算是在本地完成的，進(jìn)一步保護(hù)隱私安全。

這不禁讓人懷疑，華為的手機(jī)是不是已經(jīng)有了破解圖形驗(yàn)證碼的能力？

手機(jī)自然語(yǔ)言搜圖，為啥這么難？

以前在很多手機(jī)上，你可以通過(guò)輸入時(shí)間、人物、地點(diǎn)等關(guān)鍵詞找到想要的特定照片。這是通過(guò) AI 算法識(shí)別圖片類型和文字，以及地理信息等文件固有標(biāo)簽來(lái)實(shí)現(xiàn)的，不過(guò)一般來(lái)說(shuō)，它們只能識(shí)別出有限的類別。

在使用「常規(guī)」方法時(shí)，你需要通過(guò)短標(biāo)簽及其組合進(jìn)行搜索，例如「風(fēng)景」、「貓」、「食物」等等，手機(jī)支持的短標(biāo)簽數(shù)量有限，只能滿足你的一小部分意圖，大部分時(shí)候還是需要手動(dòng)去相冊(cè)里翻找，效率很低。

標(biāo)簽都給你打好了，但選擇的種類有限。

這并不奇怪，因?yàn)樵谒暮蠖隧敹嗍呛?jiǎn)單的圖像識(shí)別模型，搜索的自由度趨近于無(wú)，當(dāng)然也不能理解人的意圖。在使用這樣的系統(tǒng)時(shí)，有時(shí)候結(jié)果會(huì)變成讓我們猜模型到底能識(shí)別哪些標(biāo)簽。

要想實(shí)現(xiàn)「智慧搜圖」，AI 模型需要能同時(shí)理解自然語(yǔ)言與圖像兩種模態(tài)的數(shù)據(jù)，而在手機(jī)上，我們還需要使用一系列壓縮算法盡可能利用有限的算力，并從工程角度盡量加快推理速度。

具體而言，先不管部署到手機(jī)端的困難，要想實(shí)現(xiàn)對(duì)圖片和文本的語(yǔ)義級(jí)理解，讓手機(jī)自己「看懂照片」，我們需要經(jīng)歷一段三步走的過(guò)程。

物理世界產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)如圖片、語(yǔ)音和文本，在 AI 算法中會(huì)被轉(zhuǎn)化為結(jié)構(gòu)化的多維向量，向量標(biāo)識(shí)出關(guān)系，檢索就是在計(jì)算向量之間的距離，通常距離越近相似度就越高。

構(gòu)建智慧的搜圖技術(shù)，首先需要訓(xùn)練多模態(tài)語(yǔ)義模型，通過(guò)對(duì)比學(xué)習(xí)令相同語(yǔ)義的文字與圖片距離特別近，不同語(yǔ)義的數(shù)據(jù)距離特別遠(yuǎn)，從而把自然語(yǔ)言及圖片等多模態(tài)數(shù)據(jù)轉(zhuǎn)換成相同語(yǔ)義空間下的向量；其次，我們需要使用該多模態(tài)模型編碼被檢索的圖片；最后當(dāng)我們輸入一句話時(shí)，手機(jī)就會(huì)通過(guò)檢索系統(tǒng)快速地定位與內(nèi)容相匹配的圖片了。

在整個(gè)語(yǔ)義搜圖的過(guò)程中，首要的挑戰(zhàn)是如何更好地將語(yǔ)義相同的圖片與文字匹配起來(lái)。多模態(tài)模型需要編碼用戶的個(gè)人圖片，最好是將模型部署在手機(jī)端側(cè)，而部署到手機(jī)端，就意味著必須對(duì)多模態(tài)模型進(jìn)行壓縮與加速，這里將需要大量的工程實(shí)踐。

業(yè)界首個(gè)手機(jī)端多模態(tài)語(yǔ)義模型

這個(gè)「智慧搜圖」的背后，是華為通過(guò)輕量化的多模態(tài)語(yǔ)義模型，讓手機(jī)可以高效理解自然語(yǔ)言和照片含義，實(shí)現(xiàn)了業(yè)界首個(gè)可端側(cè)部署的輕量化多模態(tài)語(yǔ)義模型。相比傳統(tǒng)打標(biāo)簽的方式，它的體驗(yàn)可是要好太多了。我們不再需要猜測(cè)圖片的標(biāo)簽，直接輸入自然語(yǔ)言就能檢索到對(duì)應(yīng)的圖片。毫不夸張地說(shuō)，它讓手機(jī)本地搜圖，從難用跳到了好用。

基礎(chǔ)：多模態(tài)模型

在人工智能領(lǐng)域里，Transformer 是個(gè)里程碑式的技術(shù)，它既催生了 ChatGPT 這樣的 NLP 技術(shù)突破，也在視覺領(lǐng)域上擁有非常不錯(cuò)的效果。通過(guò) Transformer 對(duì)文本與圖片同時(shí)進(jìn)行表征，再通過(guò)弱監(jiān)督對(duì)比學(xué)習(xí)拉近相同語(yǔ)義的圖片與文字，拉遠(yuǎn)不同語(yǔ)義的圖片與文字，我們就能獲得一個(gè)不錯(cuò)的多模態(tài)模型。

這其中的重點(diǎn)在于對(duì)比學(xué)習(xí)，如下圖所示，常規(guī)的對(duì)比學(xué)習(xí)方法會(huì)將圖片與文本分別編碼為不同的向量，并將該向量映射到聯(lián)合多模態(tài)語(yǔ)義空間之中。因?yàn)椴煌B(tài)的數(shù)據(jù)表示之間可能存在差異，無(wú)法進(jìn)行直接的比較，因此先將不同模態(tài)的數(shù)據(jù)映射到同一個(gè)多模態(tài)空間，從而有利于后續(xù)的模型訓(xùn)練。

選自 arxiv: 2102.12092。

在多模態(tài)的對(duì)比學(xué)習(xí)中，其目標(biāo)函數(shù)即讓正樣本對(duì)（上圖藍(lán)框部分，I1T1、I2T2... ）相似度很高，負(fù)樣本對(duì)（上圖白框部分）相似度很低。通過(guò)這種訓(xùn)練，自然語(yǔ)言天然就能和圖像匹配上，不同模態(tài)的數(shù)據(jù)就能對(duì)齊。

為了提升模態(tài)間的對(duì)齊效果，華為通過(guò)提高正樣本的相關(guān)性，并在算法層面對(duì)負(fù)樣本去噪，再借助更大、更高質(zhì)量的數(shù)據(jù)源，提升模型表征的準(zhǔn)確性，從而提升語(yǔ)義搜索的準(zhǔn)確性和召回率。與以往基于有限的標(biāo)簽集合給圖片打標(biāo)簽，再通過(guò)標(biāo)簽來(lái)進(jìn)行搜索的方式相比，基于語(yǔ)義表征進(jìn)行搜索的方式能大幅提升圖片檢索的靈活性。

優(yōu)化：模型的極致壓縮

多模態(tài)是當(dāng)前非常熱門的 AI 研究領(lǐng)域，但除了華為的「智慧搜圖」，還沒有人能把整個(gè)推理過(guò)程都部署到手機(jī)端。其中的工程難點(diǎn)，顯然在于如何將多模態(tài)模型在效果基本無(wú)損失的情況下，壓縮到能在手機(jī)等邊緣設(shè)備上運(yùn)行。

在這里，也許我們需要考慮整個(gè)模型架構(gòu)的參數(shù)效率，優(yōu)化模型結(jié)構(gòu)以在最小的計(jì)算量上達(dá)到最優(yōu)的效果。例如卷積神經(jīng)網(wǎng)絡(luò)中 EfficientNet，Transformer 類模型中的 Multi Query Attention，它們都嘗試優(yōu)化模型結(jié)構(gòu)以令參數(shù)效率達(dá)到更優(yōu)。「智慧搜圖」也一樣，通過(guò)優(yōu)化多模態(tài)模型架構(gòu)，使得整體訓(xùn)練能獲得更好的效果。

除了技術(shù)上的更新，部署到移動(dòng)端更大的挑戰(zhàn)還是在工程上。與平常我們?cè)?GPU 上訓(xùn)練與推理模型不同，移動(dòng)端缺少便捷高效的算子實(shí)現(xiàn)，優(yōu)化起來(lái)也困難重重。舉例來(lái)說(shuō)，手機(jī)端的 CPU 芯片基本是精簡(jiǎn)指令集 Arm 架構(gòu)的，那么機(jī)器學(xué)習(xí)編譯器在做優(yōu)化時(shí)就需要考慮很多指令層面并行處理，來(lái)最大程度利用有限的計(jì)算力。

針對(duì)底層硬件的優(yōu)化適配，華為將模型的海量矩陣乘法分解到手機(jī)端 CPU 與 NPU 等設(shè)備上，并通過(guò)圖算融合等方式構(gòu)建出能在手機(jī)端高效運(yùn)行的底層算子，進(jìn)而支持整個(gè)模型的高效推理。

總結(jié)來(lái)說(shuō)，華為「智慧搜圖」輕量化模型通過(guò)更多的數(shù)據(jù)、更優(yōu)的算法等補(bǔ)償性設(shè)計(jì)及一些模型輕量化技術(shù)，首次將多模態(tài)模型部署到手機(jī)端，從而提供更好的圖搜體驗(yàn)。

實(shí)用：向量檢索引擎

我們期望通過(guò)圖片信息、時(shí)空維度等不同線索，快速找到與心中期待相符的圖片，而圖片與自然語(yǔ)言請(qǐng)求都是多模態(tài)語(yǔ)義空間的向量。因此，華為面向端側(cè)場(chǎng)景自研輕量級(jí)向量檢索引擎，支持對(duì)海量數(shù)據(jù)進(jìn)行向量索引構(gòu)建，且支持時(shí)空（時(shí)間、地點(diǎn)）語(yǔ)義一站式融合檢索，可以便捷、高效地通過(guò) Query 語(yǔ)義特征找出匹配的照片。

上圖是一個(gè)簡(jiǎn)單的向量檢索引擎，假設(shè)移動(dòng)端多模態(tài)模型已經(jīng)將相冊(cè)內(nèi)的圖片編碼為一條條向量，并持久化存儲(chǔ)到「Vector Database」中。每當(dāng)用戶有需要搜索的請(qǐng)求，該請(qǐng)求將通過(guò)「Embedding Model」，即多模態(tài)模型中的文本 Encoder 部分，將文本編碼為一條向量，該向量會(huì)從向量數(shù)據(jù)庫(kù)中搜索以找到一批最接近的圖像。

為了在移動(dòng)端獲得更好的搜圖效果，華為自研的輕量化向量檢索引擎做了一系列創(chuàng)新與優(yōu)化。

在構(gòu)建索引時(shí)，如果采用云側(cè)常用的離線定期全量構(gòu)建的方式，將會(huì)顯著的增加功耗開銷，因此華為在手機(jī)端采用增量實(shí)時(shí)寫入的方式。并且出于可靠性目的，增量寫入的數(shù)據(jù)會(huì)持久化到索引中。

同時(shí)，為了提高索引加載和檢索的效率，索引的格式也是特別定制的，語(yǔ)義向量檢索將地點(diǎn)、時(shí)間等信息作為索引的一部分，在檢索時(shí)可以快速實(shí)現(xiàn)條件過(guò)濾，并返回與查詢語(yǔ)句最相關(guān)的結(jié)果。只要關(guān)鍵字落在時(shí)間、地點(diǎn)等常見搜索條件，索引格式創(chuàng)新帶來(lái)的加速，相比純數(shù)據(jù)庫(kù)檢索，能快十多倍。

但定制化的索引格式也會(huì)帶來(lái)一些困難，即新寫入的索引數(shù)據(jù)不一定都保存在索引的尾部。例如在故宮新拍了一張照片，那么該照片向量的索引，需要插到同地點(diǎn)的那一部分索引當(dāng)中，也就導(dǎo)致之前所有的索引都需要覆蓋重寫一遍。尤其是數(shù)據(jù)越來(lái)越多，如果我有十萬(wàn)張圖片，難道每次拍一張照，十萬(wàn)多條索引都需要重寫一遍？

在這里，華為再次找到了創(chuàng)新解法，其采用索引分段及壓縮合并兩種方式進(jìn)行優(yōu)化，索引分段能顯著降低單次插入索引時(shí)間，通過(guò)定期進(jìn)行壓縮合并，完成已刪除數(shù)據(jù)占用內(nèi)存 / 磁盤資源的回收，達(dá)到了顯著降低資源開銷的目的。

一系列優(yōu)化后，智慧搜圖的能力也不僅限于高配置的旗艦級(jí)手機(jī)。除目前的 P60 系列和 Mate X3 之外，更多設(shè)備未來(lái)也會(huì)隨 HarmonyOS 3.1 的升級(jí)陸續(xù)獲得這樣的能力。

智慧搜索：打造 HarmonyOS 生態(tài)的系統(tǒng)級(jí)入口

當(dāng)然，最新的 HarmonyOS 3.1 版中，智慧搜圖只是眾多新能力的一小部分。光是搜索上，華為就帶來(lái)了不少黑科技。

除了智慧搜圖之外，華為智慧搜索將不斷跨越不同 App、端側(cè)設(shè)備、云端和本地的邊界，實(shí)現(xiàn)真正意義上的全局搜索，結(jié)合華為長(zhǎng)期實(shí)踐的「軟硬芯云一體化」能力，讓端側(cè)預(yù)置 AI 模型實(shí)現(xiàn)毫秒級(jí)響應(yīng)速度，消除跨終端聯(lián)動(dòng)的延遲感，實(shí)現(xiàn)「多臺(tái)設(shè)備合體」的搜索體驗(yàn)。

現(xiàn)在是以 App 為主的移動(dòng)互聯(lián)網(wǎng)時(shí)代，搜索有很大一部分已從網(wǎng)頁(yè)轉(zhuǎn)移到了更封閉的 App 上，華為智慧搜索卻可以做到從一站式的入口獲取全局內(nèi)容，打破信息孤島。

在打通所有邊界之后，華為還通過(guò) AI 技術(shù)實(shí)現(xiàn)了高效率的服務(wù)流轉(zhuǎn)和更聰明的「意圖搜索」能力。讓搜索引擎理解人的意圖，提供最合適的智慧服務(wù)，手機(jī)上的搜索框再也不是簡(jiǎn)單的查詢工具。

還記得四年前華為在開發(fā)者大會(huì)上發(fā)布的初版 HarmonyOS 嗎？當(dāng)時(shí) HarmonyOS 的定義是一個(gè)全場(chǎng)景分布式系統(tǒng)，現(xiàn)在的 HarmonyOS 已經(jīng)發(fā)展出了豐富的生態(tài)，下一步要做的則是統(tǒng)一：通過(guò)系統(tǒng)級(jí)能力的提升做到一個(gè)框架，掌控全局。

這種整合落到搜索上，就是無(wú)感知的大范圍能力調(diào)用和響應(yīng)，華為內(nèi)部將其稱為「全搜」能力。智慧搜索或?qū)⒊蔀?HarmonyOS 生態(tài)的系統(tǒng)級(jí)入口，帶來(lái)遠(yuǎn)超搜索框定義的功能與服務(wù)。

當(dāng)需求不再被設(shè)備和形式所限制，一切以人為中心，這才是萬(wàn)物互聯(lián)時(shí)代該有的樣子。這也讓我們對(duì)下一個(gè) HarmonyOS 的產(chǎn)品，充滿了期待。

THE END

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

投稿或?qū)で髨?bào)道：content@jiqizhixin.com