去中心化人工智慧的推動者
近幾個月來,隨著越來越多的人開始探索 Web3 和生成式人工智慧的交叉點,去中心化人工智慧重新受到重視。 雖然大多數人都認為去中心化可以給人工智慧帶來積極的好處,但具體的技術路徑遇到了主要障礙。
例如,雖然我們都認為去中心化計算網路(DePIN)可以幫助平衡大型科技平台主導的 GPU 上漲遊戲,但現實情況是大型基礎模型的預訓練和微調要求需要具有大規模的中心化 GPU 拓撲。通信匯流排。
同樣,去中心化的數據網路似乎是一個明確的想法,可以緩解大公司日益中心化的數據。 但在實踐中,解決該問題的嘗試卻收效甚微。
在考慮去中心化人工智慧時,重要的是要認識到人工智慧往往越來越向中心化架構發展,這使得任何去中心化工作都極具挑戰性。 為了讓去中心化生成人工智慧克服這些自然挑戰,它需要依賴或影響四個關鍵趨勢:
- 為了使去中心化人工智慧變得可行,開源生成式人工智慧需要變得更加主流
- 去中心化人工智慧只是一個推理遊戲,僅此而已
- Web3 計算和數據基礎設施需要擴展以滿足基礎模型的需求
- 基礎模型需要進行調整以在去中心化的基礎設施中運行。 大多數情況下,通往去中心化人工智慧的每條道路都取決於這四種想法的風格。
人工智慧作為中心化力量
在技術史上,有些趨勢從根本上向中心化市場發展,而另一些趨勢則是更加開放和平衡的市場。 移動技術是向擁有兩個主要參與者的中心化市場發展的技術的典型例子。
這主要是由於硬體、軟體、研究、供應鏈和分銷方面的複雜要求,只有少數公司能夠掌握。 其他趨勢,例如資料庫,最初是 Oracle、IBM 和 Microsoft 等公司的中心化力量,後來發展成為擁有許多開源參與者的競爭更加激烈的市場。
人工智慧是歷史上所有技術中最中心化的 DNA 之一。 這顯然是由於計算或數據等領域的依賴性造成的,這些領域從根本上來說也是中心化的。 從這個角度來看,很自然地預計人工智慧市場將由少數公司主導。
任何中心化市場都可以使用制衡力量。 從這個意義上說,人們很容易認為區塊鏈可能就是這個元素。 雖然這一結論在方向上是正確的,但要實現這一結論,還需要外部市場力量的推動、開源生成式人工智慧的主流採用以及 Web3 基礎設施和基礎模型的演變。
開源生成人工智慧需要成為主流
沒有開源的生成式人工智慧,就沒有去中心化的生成式人工智慧。 開源生成式人工智慧的創新浪潮確實令人驚嘆,但只有少數公司,如 HuggingFace、Meta、Mistral 或 Stability,是 OpenAI、Anthropic 或 Google 的可行替代品。
去中心化人工智慧將專註於具有開源基礎模型的推理工作流程
具有強大安全和隱私限制的企業應用程序,以及受監管行業中的人工智慧初創公司,似乎是開源生成人工智慧的強勁增長載體。 在這些場景中,Web3 AI 基礎設施可以成為可行的替代方案。 如果我們假設開源生成式人工智慧將獲得一定程度的主流採用,那麼下一個挑戰是了解生成式人工智慧解決方案生命周期中的哪些用例非常適合去中心化基礎設施。
去中心化人工智慧是一種推理遊戲
簡單來說,生成式人工智慧模型的生命周期可以分為三個主要階段:預訓練、微調和推理。
前兩個與讓模型根據數據概括知識有關,而推理則與模型輸出的預測有關。 基礎模型的巨大規模及其複雜的計算要求使得去中心化基礎設施對於預訓練和微調場景來說完全不切實際。
這些工作流程需要通過高性能通信匯流排連接成百上千個 GPU,這些 GPU 可以在數周或數月內攝取數據並重新計算模型中的權重。 更不用說預訓練和微調所需的數據通常存儲在雲數據中心中,導致將其轉移到去中心化基礎設施的成本完全過高。
對於去中心化生成人工智慧來說,推理是一種更為實用的場景,並且可以說,這是唯一可以在當前技術狀態下發揮作用的場景。 從市場角度來看,推理工作負載在生成型人工智慧收入中也占較大比例。 既然我們知道去中心化 AI 將專註於具有開源基礎模型的推理工作流程,我們需要弄清楚哪種類型的 Web3 基礎設施可以支持這些用例。
Web3 基礎設施需要發展
當前一代的區塊鏈運行時並未設計用於運行大型基礎模型,即使對於推理用例也是如此。 為了應對這一挑戰,肯定需要針對更大、更複雜的計算工作負載進行優化的新區塊鏈運行時。 鏈下推理計算是一個很好的中間立場,但它並不能完全解決生成人工智慧的中心化問題。
基礎模型需要變得更小
去年,微軟根據其在名為 Phi 的基礎模型上的工作以及標誌性論文「Textbooks is All You Need」創造了「小語言模型」一詞。 小Phi只有3B參數,並在一系列計算機科學教科書上進行了預訓練,它能夠在數學和計算機科學任務中超越70B模型。
Phi 的工作表明,更小、更專業的模型是採用生成式人工智慧最重要的步驟之一。 就像 Web3 基礎設施需要擴展以採用基礎模型一樣,SLM 趨勢可以使模型在 Web3 基礎設施上運行更加實用。 在不久的將來,我們不太可能看到運行萬億參數模型的 Web3 基礎設施,但 2B-3B 絕對是可能的。
通往去中心化人工智慧的艱難但可能的道路
去中心化生成人工智慧的想法在概念上微不足道,但實際上非常困難。 人工智慧自然地發展為一種日益中心化的技術,任何去中心化的努力都是一場艱苦的戰鬥。 開源生成式人工智慧模型的主流採用對於去中心化人工智慧基礎設施的可行性至關重要。 同樣,生成式人工智慧的當前狀態表明,去中心化人工智慧的大多數初始用例將側重於推理,而不是預訓練或微調。 最後,為了使去中心化人工智慧實用化,Web3 基礎設施需要擴展幾個數量級,而基礎模型需要變得更小並且更適應去中心化環境。
這些因素的結合代表了實現去中心化生成人工智慧的最佳路徑。 這條道路將極其困難,但至少目前來說,肯定是可能的。
本傑明席勒編輯。