這些新創公司正在無需資料中心的情況下建立先進AI模型

By: blockbeats|2025/05/01 18:05:30
0
分享
copy

研究人員利用遍佈全球的 GPU,結合私有和公開數據,訓練出了一種新型大語言模型(LLM)。這項舉措表明,建構人工智慧的主流方式可能會被顛覆。

Flower AI 和 Vana 這兩家追求非傳統 AI 建構方式的新創公司合作開發了這個新模型,名為 Collective-1。

Flower 開發的技術允許訓練過程分佈在透過網路連接的數百台電腦上。該公司的技術已被一些公司用於訓練 AI 模型,無需集中計算資源或資料。 Vana 則提供了包括 X、Reddit 和 Telegram 上的私人訊息等資料來源。

Collective-1 以現代標準來看規模較小,擁有 70 億個參數——這些參數共同賦予模型能力——相比之下,當今最先進的模型(如驅動 ChatGPT、Claude 和 Gemini 的模型)擁有數千億參數。

劍橋大學電腦科學家、Flower AI 共同創辦人 Nic Lane 表示,這種分散式方法有望擴展到遠超越 Collective-1 的規模。 Lane 補充說,Flower AI 正在使用常規資料訓練一個 300 億參數的模型,並計劃在今年稍後訓練一個 1000 億參數的模型——接近行業領導者提供的規模。 「這可能會徹底改變人們對 AI 的看法,所以我們正在全力以赴,」Lane 說。他還表示,這家新創公司正在將圖像和音訊納入訓練,以創建多模態模型。

分散式模型建構也可能動搖塑造 AI 產業的權力格局。

目前,AI 公司透過將海量訓練資料與集中在資料中心的大量運算資源結合,建構模型。這些資料中心充滿先進的 GPU,並透過超高速光纖電纜聯網。它們還高度依賴透過抓取公開(儘管有時涉及版權)的材料(如網站和書籍)創建的資料集。

這種方法意味著,只有最富有的公司和擁有大量最強大晶片的國家,才能實際開發出最強大、最有價值的模型。即使是開源模型,如 Meta 的 Llama 和 DeepSeek 的 R1,也由擁有大型資料中心的公司建構。分散式方法可能使小型公司和大學透過聚合約質資源來建立高級 AI。或者,它可能使缺乏傳統基礎設施的國家透過聯網多個資料中心來建立更強大的模型。

Lane 認為,AI 產業將越來越傾向於允許訓練突破單一資料中心的新方法。分散式方法「讓你能夠以比資料中心模型更優雅的方式擴展運算能力,」他說。

新興技術安全中心 AI 治理專家 Helen Toner 表示,Flower AI 的方法「有趣且可能非常相關」於 AI 競爭和治理。 「它可能難以跟上前沿,但可能是一種有趣的快速跟隨方法,」Toner 說。

分而治之

分散式 AI 訓練涉及重新思考用於建構強大 AI 系統的計算分配方式。建立 LLM 需要將大量文字輸入模型,調整其參數以產生對提示的有用回應。在資料中心內,訓練過程被分割,以便在不同 GPU 上執行部分任務,然後定期整合成單一的主模型。

新方法允許通常在大型資料中心內完成的工作在可能相距數英里的硬體上執行,並透過相對較慢或不穩定的互聯網連接進行連接。

一些大公司也在探索分散式學習。去年,Google的研究人員展示了一種名為 DIstributed PAth COmposition(DiPaCo)的新方案,用於分割和整合計算,使分散式學習更有效率。

為了建構 Collective-1 和其他 LLM,Lane 與英國和中國的學術合作者開發了一種名為 Photon 的新工具,使分散式訓練更有效率。 Lane 表示,Photon 改進了Google的方法,採用了更有效率的資料表示方式和分享及整合訓練的方案。這個過程比傳統訓練慢,但更靈活,允許添加新硬體以加速訓練,Lane 說。

Photon 由北京郵電大學和浙江大學的研究人員合作開發。該團隊上個月以開源許可發布了該工具,允許任何人使用這種方法。

Flower AI 在建構 Collective-1 的努力中的合作夥伴 Vana,正在開發新方法讓使用者與 AI 建構者共享個人資料。 Vana 的軟體允許用戶將來自 X 和 Reddit 等平台的私人資料貢獻給大語言模型的訓練,並可能指定允許的最終用途,甚至從他們的貢獻中獲得經濟利益。

Vana 共同創辦人 Anna Kazlauskas 表示,這個想法是讓未被利用的資料可用於 AI 訓練,同時讓使用者對其資訊如何用於 AI 有更多控制權。 「這些數據通常無法納入 AI 模型,因為它們不是公開的,」Kazlauskas 說,「這是用戶直接貢獻的數據首次被用於訓練基礎模型,用戶對其數據創建的 AI 模型擁有所有權。」

倫敦大學學院電腦科學家 Mirco Musolesi 表示,分散式 AI 訓練方法的一個關鍵好處可能是它解鎖了新型數據。 「將其擴展到前沿模型將使 AI 行業能夠利用分散且隱私敏感的大量數據,例如在醫療保健和金融領域,用於訓練,而無需數據集中化的風險,」他說。

猜你喜歡

比特幣價格預測:BTC 作為安全避風港資產的分析

黃金與比特幣間的角色轉換受到注目,數據顯示資本從黃金流向比特幣。 黃金ETF資金流出約38億美元,而比特幣投資產品吸納約20億美元。 比特幣目前交易價格超過71,000美元,挑戰傳統的風險資產觀點。 比特幣支持區間在70,000美元,上升至72,500美元將是多頭的關鍵。 WEEX Crypto News, 比特幣價格預測:在波動中BTC能否守住70,500美元支持? 比特幣目前在72,000至69,000美元區間緊密震盪,顯示出投資者對現行市場條件的謹慎樂觀態度。儘管年初至今價格下跌18%,但價格在68,000美元附近的買盤相當活躍。目前,上方阻力位於71,800美元,若未能成功突破,此價格點將有可能出現65,000美元的月低點重測。然而,若突破72,500美元,則可能重回本年的高點。 比特幣超級目標:Layer-2 敘事升溫下的早期優勢 比特幣正在作為宏觀資產穩定下來,然而其網絡的擴展競賽卻在加速。資金正轉向可以釋放世界最大數字資產的可將程式化層-2解決方案。比特幣Hyper($HYPER)目前是首個整合Solana虛擬機器(SVM) 的比特幣Layer-2。此計畫利用SVM提供比Solana更快的交易最終性,解決比特幣緩慢交易和高昂費用的瓶頸。僅在預售階段,即已籌得超過3200萬美元。 投資者可在每枚代幣0.0136美元的價格加入,並享有36% APY的質押獎勵。高APY的質押誘因幫助早期安全網絡, 馬克50%的總質押供應。他們為比特幣穩定於70,000美元範圍同時,更多機會收穫層-2生態系統擴大的早期回報。 常見問題 為何黃金資金流失而比特幣資金增加?…

Balancer Labs 在 $1.28 億漏洞後關閉,重組新策略

Balancer Labs 經歷了致命的 $1.28 億漏洞,決定關閉其運營,轉向去中心化結構。 2025 年 11 月 3 日的攻擊使得 Balancer 的資產損失超過 $1.28 億,而這並非閃電貸款,而是定價錯誤引發的漏洞。 隨著 Balancer Labs…

XRP 價格預測:基本面良好,價格落後

XRP 雖然克服了許多根本性的挑戰,但其價格表現未如預期。 儘管場外交易所交易基金(ETF)已推出並被正式認可為數位商品,但市場反應仍然疲軟。 目前 XRP 價值約 1.40 美元,自年初高點以來下跌超過 40%。 LiquidChain 在 Layer 3 計畫中獲得早期移動優勢,是投資者關注的新焦點。 預測顯示,XRP 長期價格範圍預估從不到 1 美元到高達…

Circle呼籲歐盟放寬加密市場框架中的閾值

Circle正推動歐洲降低穩定幣資本化閾值,以消除成長障礙。 當前框架中,穩定幣面臨「先有雞還是先有蛋」的困境,阻礙市場發展。 若歐盟採納Circle建議,歐元穩定幣將可在傳統金融中正常運行。 MiCA法規的效力因國家而異,整合框架不協調。 歐盟加密市場需調整,以免歐元穩定幣落入「流沙」中。 WEEX Crypto News, 加密市場的阻礙與解決之道 在當前歐盟加密市場框架中,穩定幣發行者如Circle因其資本化閾值受限而無法擴展市場,這成為阻礙大規模應用的絆腳石。關鍵在於,目前的中央證券存管機構法規只允許已達高市價的電子貨幣代幣進入結算系統,而目前沒有任何歐元計價的電子貨幣達到這一要求。 Circle指出,這種「先有雞還是先有蛋」的困境使得代幣無法獲得必要的結算便利性,這也是其無法擴張的原因之一。若不做出修改,整個歐盟在標籤上的去中心化技術(DLT)的雄心將被抑制。 如何突破市場困境? Circle建議對DLT試點制度進行修訂,允許不顯著的電子貨幣代幣參與結算,以推動市場發展。他們的提案若被採納,像EURC這樣的歐元穩定幣即可發揮其在金融市場中的潛力,成為傳統金融的認可結算工具。 目前,穩定幣流動性多集中於美元計價資產,如USDC。若歐盟聯委會接受Circle的建議,這將打破歐元穩定幣在市場中的限制,使之能在加密交易所和受監管的證券市場中自由流通。 MiCA法規的挑戰與機遇 Circle的遊說行動正值加密資產市場法規(MiCA)全面生效後不久。雖然MiCA為發行人提供了許可框架,但市場的整合措施卻被視為未能提供優越的跨境運行基礎。 此處的挑戰在於,法律專家指出其實施在不同國家間差異頗大,似乎將發行人置於灰色合規地帶。數字與模擬夥伴的合夥人Yuriy Brisov提到,若沒有針對DLT制度的具體調整,整合將僅僅停留在名義上。…

Arbitrum Sepolia 測試網癱瘓:區塊生產停滯的原因

Arbitrum Sepolia 測試網在區塊 204606366 出現共識失敗,導致節點間的鏈分裂。 鏈分裂問題源於驗證節點的硬體架構不同。 重啟節點需使用 –node.feed.input.verify.dangerous.accept-missing 命令來暫時恢復同步。 Arbitrum Sepolia 的不穩定性已成為延遲主網部署的障礙。 Offchain Labs 將推新版 Nitro 和數據庫快照來解決相容性問題。 WEEX…

Solana 價格預測:SOL 能否打破頹勢?

Solana 價格在關鍵位置,徘徊在一個每股 $90.92 的技術夾縫中,短期呈現看跌信號,長期可能恢復。 市場對 Solana 接下來的走勢意見分歧,支持跌破 $80.27 的趨勢線預示著價格可能會跌至 $59。 DEX 活動量從每週 $118 億美元下降至 $44.5 億美元,顯示機構需求乾涸。 Maxi Doge…

熱門幣種

最新加密貨幣要聞