華爾街見聞按：

(資料圖片僅供參考)

Character.ai 是當下 AI 熱潮里最炙手可熱的創企明星之一。公司主打產品為可定制的 AI 聊天機器人，面向 C 端消費者娛樂需求，具備情感陪伴與設定虛構人物的能力。Charater.AI 允許用戶自行創建具有特定個性、人設和知識儲備的聊天機器人，例如世界名人、歷史人物、文學影視虛構人物乃至動物，為用戶提供新奇、強帶入感的聊天體驗。

今年年初，Charater.ai 完成 1.5 億美元 A 輪融資，估值突破 10 億美元，晉升獨角獸，團隊僅有 22 人。

4 月份，Character.ai 首席執行官 Noam Shazeer、前谷歌大腦團隊成員，接受了播客 No Priors 的采訪。

核心觀點：

1. 早在 2021 年，谷歌就已經有能力在 OpenAI 之前搶先推出 AI 聊天機器人，但卻由于安全方面的顧慮而放棄，大公司畏首畏尾也成了他離開谷歌、選擇創業的原因。

2. Character 最大的優勢在于其用戶導向的產品策略。完全可定制的 AI 聊天機器人成了許多人派遣孤獨的方式，一些用戶甚至表示，Character 是他們的新任心理咨詢師。Noam 認為，AI 在情感支持方面有著巨大的潛力。情感支持工作不需要很高的智力，例如，寵物狗能很好地完成情感支持工作，雖然狗并不聰明，也不會說話，同理，一個參數有限的 AI 也能完成這項任務。

3. 數據要求往往會隨著算力而指數級上升，但數據并不稀缺，互聯網能提供幾乎無限的數據，Character 也在考慮用 AI 生成更多的數據。

4. Character.ai 目前還處在燒錢換規模階段，商業模式仍在探索中，未來團隊規模擴大后考慮開拓 TOB 業務。

5. Noam 認為，AGI 是很多 AI 創企的目標。但他創業的真正原因是想推動技術發展，用技術攻克難題，如醫學上的疑難雜癥。他指出，AI 能加速許多研究的進程，與其直接研究醫學，不如研究 AI。

以下為播客音頻逐字稿，ELAD 與 SARAH 為節目主持人，為便于理解，部分段落有刪改。

早年谷歌工作經歷，與 transformer 的誕生

ELAD：

你在 NLP 和 AI 方面工作了很長時間。你在谷歌斷斷續續工作了 17 年，在谷歌的面試問題圍繞著拼寫檢查解決方案。當我加入谷歌時，當時用于廣告定位的主要系統之一菲爾集群，我想這是你和喬治 · 赫瑞克寫的。我想了解一下你在人工智能 NLP 語言模型方面的工作歷史，這一切是如何演變的，你是如何開始的，是什么激發了你的興趣？

NOAM：

謝謝 ELAD。是的，只是，總是自然而然地被吸引到 AI 上。希望它能讓電腦做一些聰明的事情。似乎是周圍最有趣的游戲。我很幸運地在早期發現了谷歌，參與了很多那里的早期項目，也許你現在不會稱之為人工智能。從 2012 年開始，我加入了谷歌大腦團隊。和一群非常聰明的人，做一些有趣的事情。我以前從未做過深度學習或神經網絡。

你是在 2017 年 transformer 論文的參與者之一，然后你參與了 Mesh-TensorFlow 的工作。你能談一下所有這些是如何進行的嗎？

深度學習之所以成功，是因為它真的很適合現代硬件，你有這一代的芯片，在矩陣乘法和其他形式的東西，需要大量的計算相對于通信。因此，基本上深度學習真的起飛了，它的運行速度比其他任何東西都快成千上萬倍。一旦我掌握了這方面的知識，就開始設計那些真正聰明且運行速度快的東西。目前最令人興奮的問題是語言建模。因為有無限量的數據，只要刮開網絡，你就能得到所有你想要的訓練數據。

問題的定義非常簡單，就是預測下一個詞，胖貓咪坐在上面，下一個是什么。它非常容易定義，如果你能把它做得很好，那么你就能得到你現在看到的一切，而且你可以直接和這個東西對話，它真的是人工智能了。因此，大約在 2015 年左右，我開始研究語言建模，并與循環神經網絡打交道，這就是當時的偉大之處。然后 transformer 就出現了。

我無意中聽到隔壁同事聊天，他們想用更好的東西來取代循環神經網絡。我當時想，這聽起來不錯，我想幫忙，循環神經網絡很煩人，這將會更有趣。

你能快速描述一下循環神經網絡和基于 transformer 或基于注意力的模型之間的區別嗎？

循環神經網絡是連續的計算，每一個詞你都會讀到下一個詞，你會根據你大腦的舊狀態和下一個詞的內容來計算你當前的大腦狀態。然后你，你預測下一個詞。因此，你有這個非常長的計算序列，必須按順序執行，所以，transformer 的神奇之處在于，你可以一次處理整個序列。

對后面的詞的預測取決于前面的詞是什么，但它發生在一個恒定的步驟中，你可以利用這種并行性，你可以一次看完整個事情，就像現代硬件所擅長的并行性。

現在你可以利用序列的長度，你的并行性，一切都工作得非常好。注意力本身。這有點像你在創建這個大的內存鍵值關聯，你就像在建立這個大的表格，在序列中的每個詞都有一個條目。然后你就在這個表中尋找東西。這一切都像模糊的、微分的和一個大的、法國的函數，你可以通過它來進行反推。人們一直在使用這個方法來解決有兩個序列的問題，在那里你有機器翻譯，你就像把英語翻譯成法語，所以當你產生法語序列時，你就像在看英語序列并試圖注意該序列中的正確位置。但這里的洞察力是，你可以用同樣的注意力來回顧你試圖制作的這個序列的過去。美中不足的是，它在 GPU 和 GPU 上運行得很好，這與深度學習的發展是并行的，因為它在現有的硬件上很好。而這也給序列帶來了同樣的東西。

SARAH：

是的，我認為幫助人們想象它的經典例子是，用法語和英語說同一個句子，單詞的排序是不同的，你不是在那個序列中一對一的映射，并且要弄清楚如何在沒有信息損失的情況下用并行計算做這個。所以這就像一個非常優雅的事情。

似乎該技術也被應用于各種不同的領域。明顯的是這些多模態的語言模型。所以它是像聊天 GPT 或你正在做的一個角色。我也對一些應用感到驚訝，比如阿爾法折疊，谷歌所做的蛋白質折疊工作，它實際上是以一種巨大的性能方式工作的。是否有任何應用領域，你發現相對于 transformer 的工作方式和相對于它們能做的事情來說，真的是意想不到的？

我只是在語言上低下了頭，就像這里你有一個問題，可以做任何事情。我希望這個東西足夠好。所以我就問它，你怎么治好癌癥？然后它就像發明了一個解決方案。所以，我一直完全忽略了大家在所有這些其他模式下所做的事情，我認為很多深度學習的早期成功都是在圖像方面，人們對圖像都很興奮，但卻完全忽略了它。因為，一張圖片勝過千言萬語，但它有一百萬個像素，所以文字的密度是它的一千倍。所以，我是一個大的文字粉絲。但是，看到它在所有這些其他方式中起飛，非常令人興奮。這些東西是偉大的。它對建立人們想要使用的產品超級有用，但我認為很多核心的智能將來自這些文本模型。

大模型的局限性：算力不是問題，數據也不是

你認為這些模型的局限性在哪里？人們經常談論的只是規模，就像你只是扔了更多的算力，這個東西將進一步擴展。有數據和不同類型的數據，可能有也可能沒有。還有算法上的調整，還有添加新的東西，如內存或回環或類似的東西。你認為什么是人們仍然需要建立的大事情，你認為作為一個架構，它在哪里被挖掘出來？

是的，我不知道它是否會被淘汰。我的意思是，我們還沒有看到它退出來。與進入它的工作量相比，可能不算什么。因此，很可能會有各種像兩個低效率的因素，人們會通過更好的訓練算法、更好的模型架構、更好的構建芯片和使用量化的方法以及像所有這些來獲得。然后會有 10 個、100 個和 1000 個的因素，就像擴展和金錢一樣，人們會扔到這個東西上，因為嘿，每個人都剛剛意識到這個東西是非常有價值的。同時，我認為沒有人看到這東西有多好的一面墻。所以我認為它只是，它只是會繼續變得更好。我沒有，我不知道是什么阻止了它。

你怎么看這種想法，我們可以增加算力，但最大的模型訓練數據不夠。我們已經使用了互聯網上所有容易獲得的文本數據。我們必須去提高質量，我們必須去做人類反饋。你是怎么想的。

100 億人，每個人產出一千或者一萬個單詞，就是天量級的數據。大家都會做很多與人工智能系統的對話。所以我，我有一種感覺，很多數據將進入一些人工智能系統，我的意思是以保護隱私的方式，我希望可以去的這些數據。然后，數據要求往往會隨著算力而指數級上升，因為你要訓練一個更大的模型，然后你要向它扔更多的數據。我并不擔心缺少數據，我們也許可以用 AI 生成更多的數據。

然后你認為這些模型今后要解決的主要問題是什么？是幻覺，是記憶，還是別的什么？

我不知道。我有點喜歡幻覺。

這也是一個特點。

我們最想做的是記憶，因為我們的用戶肯定希望他們的虛擬朋友能記住他們。你可以在個性化方面做很多事情，你想傾倒大量的數據并有效地使用它。在試圖弄清什么是真實的，什么是幻覺方面，有大量的工作正在進行。當然，我認為我們會解決這個問題。

Character.ai 的創業故事

談一談 LaMDA 和你在其中的角色，你是怎么想到創辦 Character 的？

我的聯合創始人丹尼爾 · 弗雷塔斯，是我見過最勤奮、最努力、最聰明的人。他一生都在做這個建立聊天機器人的任務。從他還是個孩子的時候，他就一直在嘗試建立聊天機器人。所以他加入了谷歌大腦。他讀了一些論文，并認為這種神經語言模型技術是一些可以真正普及和建立真正開放領域的東西。

雖然他并沒有得到很多人的支持，所以只把這個項目當成副業，在上面花 20% 的時間。

然后他就招募了一支由 20% 的助手組成的軍隊，他們幫助他建立系統。

他甚至到處去搶別人的 TPU 配額，他把他的項目稱為米娜，因為他喜歡，我猜是在夢中想到的。在某個時候我看著記分牌，想這是什么東西叫米娜，為什么它有 30 個 TPU 積分？

LaMDA 是這樣的，我知道它是谷歌在 GPT 之前就做出來的內部聊天機器人。這條新聞很有名，因為一位工程師認為它有智慧。

是的，我們把它放在一些大語言模型上，然后在公司內部轟動一時，米娜被重新命名為 LaMDA，那時候，我們已經離開了，有人相信它有生命。

后來為什么沒有發布，有些什么擔憂？

對大公司來說，推出一個知無不言的產品有點兒危險。我猜這只是一個風險的問題。所以，想來想去，創業似乎是個正確的想法。

Character 的起源故事是什么樣的？

我們只是想打造一個東西，并且把它盡快推向市場。我組建了一個由工程師、研究人員組成的朋克團隊，得到了一些算力，然后就開始創業了。

你是怎么做招聘的？

我們在谷歌認識的一些人碰巧被介紹給以前來自 Meta 的 Myat，他推出了很多，以及建立了很多他們的大型語言模型的東西和他們的神經語言模型基礎設施，其他一些 Meta 的人跟著他，他們很不錯。

你們在尋找人才時是否有具體的要求或測試方式？還是只是常規的面試方式？

NOAM

我覺得很大程度上是看動力的。我認為丹尼爾非?？粗貏恿?，他尋找的是一種介于強烈渴望和童年夢想之間的狀態，所以有很多優秀的人我們沒有聘用，因為他們沒有達到那個程度，但我們也聘用了許多人，他們非常適合加入一家初創公司，他們非常有才華和動力。

市面上已經有了 Siri 和 Alexa，別在功能性上和大公司硬碰硬

說到童年的夢想，你想描述一下這個產品嗎？你有這些機器人，它們可以是用戶創建的，也可以是角色創建的，可以是公眾人物，歷史人物，虛構的人物，你怎么想到這個模式的？

用戶往往比你更清楚，他們想用這個東西做什么。市面上已經有了 Siri 和 Alexa 和谷歌助手，不需要在功能性上和這些大公司競爭。

如果你試圖呈現一個大家都喜歡的公眾角色，最終產出的只有無聊。而人們不喜歡無聊，大家想與感覺像人的東西互動。

因此，基本上你需要去做多個角色，讓人們隨心所欲地發明角色，而且有點我喜歡 Character 這個名字，它有幾個不同的含義：文字、性格、角色。

那么，人們想要什么？一個朋友？寫小說？其他全新的事情嗎？

有一些用戶會在我們的產品上和虛擬公眾人物、網紅交談。用戶可以自己創造一個角色，然后和它交談。有一些用戶可能覺得孤獨，需要和人傾訴，很多人都沒有人可以傾訴。有些人會說，這個角色現在是我的新任心理咨詢師。

思考情感的兩種方式，對嗎？比如人們與角色的關系，或者像我們在表達連貫的情感時處于什么水平，這有多重要？

是的，我的意思是可能你不需要那么高端的智力水平來做情感支持。情感是偉大的，也是超級重要的，但一只狗也可以把情感支持做得很好。狗能提供偉大的情感支持，但幾乎沒有語言能力，

你認為當你擴大規模時，系統會發生什么變化？

我認為我們應該能夠以各種方式使它更聰明。獲得更多的算力，訓練一個更大的模型，并訓練更長時間，應該變得更聰明，更有知識，更好地適應什么，人們想要什么，人們正在尋找什么。

你有一些用戶每天都要使用 Character 很多小時。你的目標受眾是哪些人？你期望的使用模式是什么。

我們要把這個問題留給用戶來決定。我們的目標一直是，把東西拿出來，讓用戶決定他們認為它有什么用。

我們看到今天在 Character 網站上的人，平均活躍時長為兩個小時。這是今天發送消息的人，這很瘋狂但意義重大，它說明人們正在發現某種價值。

然后正如我所說的，真的很難準確地說這種價值是什么，因為它真的像一個大的混合的東西。但我們的目標是讓這個東西對人們更有用，讓人們定制它，決定他們想用它做什么。讓我們把它拿到用戶手中，看看會發生什么。

正在燒錢換規模 TOC 是第一優先事項

你是如何考慮商業化的？

我們會在每個用戶身上賠錢，然后用數量來彌補。

好。這是很好的策略。

不，我是在開玩笑。

像傳統的，1990 年代的商業模式，所以這很好。

這也是一種 2022 年的商業模式。

你應該發行一個代幣，然后把它變成一個加密貨幣的東西。

我們很快就會在某個時間點實現貨幣化。這是一門受益于大量算力的生意。而不是燃燒投資者的錢，我們希望能給足夠多的用戶提供價值，順便賺錢。后面可能會嘗試一些類似高級訂閱類型的服務。隨著我們開發一些新功能，后面的收費可能會漲價。

我的意思是，Character 作為一項 TOC 服務，真的以一種非常引人注目的方式起飛了。如果你看一下用戶的數量和每個用戶的使用時間，這是很瘋狂的。后面會不會走上 TOB 業務？比如客戶服務機器人？

現在我們有 22 名員工，所以我們需要確定優先次序，我們正在招聘。第一優先事項是 TOC。

所以你說 LaMDA 當時沒有立刻推出的一個關鍵原因是安全。你們是怎么想的？

還有其他原因。比如，谷歌不想讓人們傷害自己或傷害其他人，還需要阻止色情內容。圍繞這一點，已經有一些抗議了。

你認為這一切是通往 AGI 或超級智能的道路嗎？對于一些公司來說，這似乎是目標的一部分，而對于一些公司來說，這似乎不是明確的目標。

是的，AGI 是很多 AI 創企的目標。真正的原因是我想推動技術發展。世界上有那么多的技術問題可以解決，比如醫學上的疑難雜癥。我們可以想出技術解決方案。

這就是為什么我一直在研究人工智能，因為與其直接研究醫學，不如研究人工智能，然后人工智能可以被用來加速其他研究工作。所以基本上這就是為什么我在人工智能方面如此努力工作，我想創辦一個既是 AGI 第一又是產品第一的公司。

你的產品完全取決于 AI 的質量。我們產品的質量的最大決定因素是這個東西會有多聰明。因此，現在我們就像有充分的動力，使人工智能更好，使產品更好。

是的，這是一種非常好的購買 - 反饋循環，因為就你的觀點而言，當你使產品變得更好時，更多的人與它互動，這有助于使它成為更好的產品。所以這是一個非常聰明的方法。你認為我們離與人一樣聰明或比人更聰明的人工智能還有多遠？顯然，它們在某些方面已經比人更聰明了，但我只是在想一些類似的東西。

我們總是對人工智能在哪些方面比人強感到驚訝。有些 AI 現在可以為你做家庭作業。我希望我小時候也有這種東西。

你會給那些和你有類似背景的人提供什么建議？比如你作為創始人學到的東西，有哪些是你在谷歌或其他地方工作時不一定學到的？

好問題?；旧?，你會從可怕的錯誤中學習。雖然我不覺得我們有犯過非常非常糟糕的錯誤，或者至少我們已經彌補了。

你在尋找什么樣的人才？

到目前為止？22 人中有 21 人是工程師。我們還會雇傭更多的工程師。無論是深度學習還是前端和后端，一定要在業務和產品方面雇用更多的人。

最后兩到三個快速的問題，你最喜歡的數學家或計算機科學家是誰。

我在谷歌經常和 Jeff Dean（谷歌大腦負責人）一起工作。他真的很好，工作起來很有趣。我想他現在正在研究他們的大型語言模型。這是離開谷歌的一點遺憾，希望將來能和他合作。

你認為數學是發明的還是發現的？

我想也許是被發現的，也許所有的東西都被發現了，我們只是在發現。