Tether推出跨平台BitNet LoRA框架，讓消費級設備能進行數十億參數AI訓練與推理

USDT 穩定幣發行商 Tether 宣布推出其所描述的首個跨平台 LoRA 微調框架,專為 Microsoft BitNet 模型設計,該模型基於 1 位元大型語言模型架構。該功能已整合至其 QVAC Fabric 系統中,據報導可顯著降低記憶體使用量與運算需求。根據該公司表示,此項發展使大規模語言模型(包括擁有數十億參數的模型)能夠使用廣泛可得的消費級硬體進行微調,例如筆記型電腦、標準圖形處理單元與現代智慧型手機。

人工智慧系統的開發與維護傳統上需要企業級硬體,特別是專用的 NVIDIA 基礎設施或雲端環境。這些需求導致了高昂的營運成本,將先進 AI 開發的使用權限主要限制在擁有大量財務資源與專業運算系統的大型組織。

Tether 表示,其 QVAC Fabric 大型語言模型經由新推出的基於 BitNet 的框架增強後,透過支援跨平台 LoRA 微調並加速各種異質消費級 GPU 的推論,解決了這些限制。這些硬體包括 Intel、AMD 與 Apple Silicon 等。因此,使用者能夠直接在常見的消費級設備上訓練與客製化 AI 模型,而非依賴集中式基礎設施。

該公司報告指出,其工程團隊首次成功在行動圖形處理單元上展示 BitNet 微調,包括 Adreno、Mali 與 Apple Bionic GPU 等平台。內部測試顯示,一個 1.25 億參數的 BitNet 模型可在配備 Adreno GPU 的 Samsung S25 設備上使用約 300 份文件或約 18,000 個 token 組成的生物醫學資料集,於大約十分鐘內完成微調。對於 10 億參數模型,相同資料集在 Samsung S25 上需要約一小時十八分鐘,在 iPhone 16 上則需要一小時四十五分鐘。該公司還報告指出,在最大設備容量條件下,能夠將測試擴展至 iPhone 16 上多達 130 億參數的模型。

邊緣 AI 訓練與效能優化的進展

進一步的研究結果顯示,該框架能夠支援在邊緣設備上以 Q4 量化運作的模型進行微調,其規模可達到相當非 BitNet 模型的兩倍。此成果歸因於與 BitNet 架構相關的記憶體佔用減少。

除了訓練方面的改進外,該框架還展現了增強的推論效能。在行動設備上進行的測試顯示,BitNet 模型在 GPU 上執行時速度明顯更快,處理速度比基於 CPU 的執行快二到十一倍。這些結果顯示,行動 GPU 越來越能夠處理以往需要專業硬體或資料中心級資源的工作負載。

該系統在記憶體效率方面也顯示出顯著的提升。基準測試資料顯示,使用 TQ1_0 配置的 BitNet-1B 模型在推論與 LoRA 微調過程中,相較於 16 位元 Gemma-3-1B 模型所需的 VRAM 降低了多達 77.8%,相較於 16 位元 Qwen3-0.6B 模型則降低了 65.6%。這些降低提供了額外容量,可在以往被認為不足的硬體上運行更大的模型並啟用個人化功能。

Tether 進一步指出,該框架首次在非 NVIDIA 硬體上為 1 位元大型語言模型引入 LoRA 微調功能,將相容性擴展至 AMD、Intel、Apple Silicon 與行動 GPU 平台。透過降低對專業基礎設施與雲端服務的依賴,此方法允許敏感資料保留在使用者設備本地儲存。該公司指出,這種效率也可能支援聯邦學習系統的開發,在此系統中,模型可以在分散式設備間協作訓練,同時維護資料隱私並最小化對集中式系統的依賴。

本文 Tether 推出跨平台 BitNet LoRA 框架,實現十億參數 AI 訓練與推論於消費級設備 首次出現於 Metaverse Post。