ChatGPT掩蓋了它的內(nèi)部運作原理

鳳凰網(wǎng)科技訊 《AI前哨》北京時間5月29日消息，對于一些人來說，“黑匣子”(black box，也稱黑盒子)這個詞會讓人想起飛機上的飛行記錄器。如果發(fā)生不堪設想的事情，這些設備對事后分析很有價值。但是在人工智能(AI)領(lǐng)域，黑匣子也是一個重要的術(shù)語。

(資料圖)

什么是AI黑匣子？

AI黑匣子，指的是內(nèi)部運作原理對用戶不可見的AI系統(tǒng)。人們可以向它們提供輸入并獲得輸出，但是不能檢查產(chǎn)生輸出的系統(tǒng)代碼或邏輯。

機器學習是AI的主要分支，它是聊天機器人ChatGPT和圖像生成器DALL-E 2等生成式AI系統(tǒng)的基礎。機器學習有三個組成部分：一個算法或一組算法、訓練數(shù)據(jù)以及模型。算法是一組程序。在機器學習中，算法在接受大量示例(訓練數(shù)據(jù))的訓練后學會識別模式。一旦機器學習算法被訓練，成果就是一個機器學習模型。模型就是人們使用的東西。

例如，人們可以設計一個機器學習算法來識別圖像中的模式，訓練數(shù)據(jù)可以是狗的圖像，由此產(chǎn)生的機器學習模型將是一個狗的識別器。你可以給它一個圖像作為輸入，并獲得輸出，判斷圖像中是否存在一只狗，以及圖像中哪些像素組成了一只狗。

黑匣子是在“黑箱作業(yè)”

機器學習系統(tǒng)的三個組成部分中的任何一個都可以被隱藏起來，或者成為一個黑匣子。通常情況下，算法是公開的，所以把它放入黑匣子中的效果并不理想。因此，為了保護知識產(chǎn)權(quán)，AI開發(fā)者通常會將模型放入黑匣子中。軟件開發(fā)者采取的另一種方法是對用于訓練模型的數(shù)據(jù)進行模糊處理。換句話說，將訓練數(shù)據(jù)放入黑盒子中，以防止它被泄露。

黑匣子算法讓外界很難理解AI是如何工作的，但情況并非完全是這樣。

黑匣子的反面有時被稱為玻璃匣子(glass box，又稱玻璃盒子，指的是內(nèi)部運作透明)。AI玻璃匣子是一個系統(tǒng)，其算法、訓練數(shù)據(jù)和模型對任何人都是可見的。然而，研究人員有時會將這些玻璃匣子的某些方面描述為黑匣子。

這是因為研究人員并不完全了解機器學習算法，尤其是深度學習算法是如何運作的。可解釋的AI領(lǐng)域正在努力開發(fā)算法，雖然不一定是玻璃匣子，但可以被人類更好地理解。

黑匣子的弊端

在許多情況下，人們有充分的理由警惕黑匣子機器學習算法和模型。假設一個機器學習模型對你的健康狀況做出了診斷，你想要黑匣子還是玻璃匣子呢？對于給您開具治療方案的醫(yī)生，也許她想知道模型是如何作出決策的。

如果一個決定你是否有資格從銀行獲得商業(yè)貸款的機器學習模型拒絕了你，該怎么辦？你不想知道為什么嗎？如果你知道了原因，你可以更有效地上訴決定，或者改變你的情況，以增加你下次獲得貸款的機會。

黑匣子對于軟件系統(tǒng)安全也有重要的影響。多年來，計算機領(lǐng)域的許多人認為，將軟件保存在黑匣子中可以防止黑客檢查它，因此它是安全的。這種假設在很大程度上被證明是錯誤的，因為黑客可以對軟件進行逆向工程。也就是說，通過密切觀察軟件的工作原理來構(gòu)建一個副本，并發(fā)現(xiàn)可利用的漏洞。

如果軟件是在一個玻璃匣子里，那么軟件測試人員和善意的黑客可以檢查它，并告知創(chuàng)建者它的弱點，從而最大限度地減少網(wǎng)絡攻擊。鳳凰網(wǎng)科技《AI前哨》對此將持續(xù)關(guān)注。(作者/簫雨)