跳至主要內容

觀點 · Essay

從規格欄裡那組 12GB,到計數器裡的 94 詞元:Strata 引擎的設計語言

開發者 Niko1221 的開源引擎 Strata 讓 12GB 顯示記憶體跑起 1250 億參數的量化模型,本文從規格欄的數字文法、位元裁剪的手藝到每秒詞元的速度欄位,讀這場壓縮工程的設計語言。

設計觀察 ·
從規格欄裡那組 12GB,到計數器裡的 94 詞元:Strata 引擎的設計語言

一張終端機的截圖裡,文字以均勻的間隔落下:遊標在前,答案在後,節奏穩得像打字機,只是快了幾十倍。畫面邊角的硬體欄寫著單張 RTX 5070,速度計數停在每秒 94 個詞元。十月六日,科技媒體 gigazine 報導,開發者 Niko1221 以開源形式推出推理引擎 Strata,讓 12GB 以上的顯示記憶體得以運行量化後的 Qwen3.8-Flash-Next,參數規模 1250 億。IT 之家在同日轉載,知乎上隨之長出一個問句:技術難度有多大?

這個問句值得換個角度回答。難度其實一直攤在規格表上,寫在那兩個被硬排進同一列的數字裡。

兩個不該同欄的數字

規格表是硬體世界的排版系統,什麼數字住哪個欄位,自有慣例。12GB 屬於記憶體欄,1250 億屬於參數欄,過去幾年,這個量級的模型多半住在伺服器機櫃裡,靠多張高階卡分攤體重,兩個欄位少有機會同框。粗略換算就能看出張力:即使以常見的四位元量化計,1250 億個參數也要六十 GB 上下的空間才裝得下,而 5070 的全部家當是 12GB,還得從中撥出推理時的暫存與排程。數字對不上,工程就從這個對不上的縫隙開始。

數字文法向來是規格設計的第一現場。我們先前讀維信諾那塊 2K 185Hz 面板的數字文法時看過同樣的戲碼,一個不整齊的頻率數字,同時對供應商與消費者說話。這回的 12GB 也經過類似的挑選,它落在消費級顯示卡的主流區間,對齊的是大多數人機殼裡實際裝著的那張卡。

Strata 引擎將 12GB 顯示記憶體標示為運行 1250 億參數量化模型的入場門檻,此規格落在消費級顯示卡的主流區間

量化:以位元為單位的裁剪

接著看材質。模型的材質是數值,出廠時的標準刻度是十六位元浮點數,每個參數佔兩個位元組。量化所做的事,是把這套刻度重鑄一遍:四位元、三位元,更激進的還往下走。模型卡上那些 Q4、Q8 的編號,標的就是這道工序,位元數是布幅寬度,剪裁是另一回事。

因為每壓一級都是一次取捨。布幅變窄,剪裁就得更講究,哪些參數保留原刻度、哪些共用同一組刻度,決定了成品還撐不撐得住原來的輪廓。這門手藝的驗收標準很實際,要跑得起來,答案也要經得起問。Strata 運行的是量化後的 Qwen3.8-Flash-Next,換句話說,這場發表展示的已是一件改過版的西裝,引擎再就著這套布料,重新排了一次版面。

駐留與搬移:看不見的動線

光靠裁剪裝不進 12GB,算術擺在那裡。剩下的路只有一條:讓所有權重不同時住進顯示記憶體。系統記憶體與固態硬碟都可以當外倉,需要的段落才搬進來,用完讓位。推理於是從一次讀取,變成一條有進有出的物流動線,什麼進、什麼出、何時動身,全看排程。

把任務拆給不同層級的材料,這種分工我們在麒麟邏輯摺疊晶片的雙製程分工裡讀過一次:運算核心交給旗艦製程,其餘交給成熟製程,同一枚晶片裡兩種規格各司其職。Strata 面對的是同一道題的軟體版本。顯示記憶體是店面,主記憶體是後倉,貨架有限,比的是翻桌率。難度也正在這裡,搬移喫頻寬,頻寬喫時間,而時間最後會顯示在那個每秒詞元的計數器上。

在 12GB 顯示記憶體上運行 1250 億參數模型時,引擎需要同時解決的四個欄位:位元寬度、駐留層、搬移時機與速度底線
規格對不上之後,工程接手的四個欄位

94 詞元,一種新的閱讀速度

速度欄是這場發表真正的展示櫃。受過訓練的中文讀者,每秒大致讀五到七個字,94 個詞元意味著文字落下的速度遠快於任何眼睛讀得完的速度,等待的關係因此換了方向,換成讀者追文字。另一個常被並列的欄位是首個詞元出現前的停頓,那是打字機效應開始之前的沉默,兩個數字放在一起,才構成完整的體感。

這條馴化曲線,遊戲產業走過一遍。60 幀是流暢的及格線,電競螢幕把標準推到 144 幀,數字墊高,體感的形容詞跟著換。本地模型的詞元速度正在經歷同樣的格式化,每秒個位數只能算展示,兩位數才談得上堪用;至於再往上,那是多數人已經分不出來的天花板。基準測試的欄位因此成為一種介面,把看不見的排程與頻寬,翻譯成使用者唯一在乎的那個形容詞。

開源貨架與一個地質學的名字

Strata 以開源形式發表,這件事決定了它被陳列的方式。程式倉庫就是店面,說明文件就是包裝,首頁的數字是挑過的:12GB 畫出門檻,1250 億撐起規模,94 詞元給出對等待的承諾。欄位排成一列,等於對讀者畫出一條線,你的顯示卡在線內,整個展示就能搬回家。

名字也值得記一筆。Strata 在英文裡指地層,一層壓著一層的沉積構造,恰好與這套分層駐留、按需翻動的做法押上同一個韻。無論命名本意為何,這層聯想讓技術選擇變得好記,替作者省下大量說明,是教科書等級的命名溝通。傳遞路徑同樣耐讀:gigazine 先寫,IT 之家轉載,知乎再把它排成一個帶問號的詞條,讓難度本身成為被討論的物件。同一項工程換了幾種包裝,從說明文件的規格欄到問答社羣的問句,數字沒變,欄位文法各換了一套。

Strata 引擎在單張 RTX 5070 顯示卡上運行 1250 億參數的量化模型,測得每秒生成 94 個詞元的推理速度

把大房間住成小坪數

運算史一路都在做同一件事:把大房間住成小坪數。大型主機讓位給工作站,工作站交棒給桌機與手機,每次交棒,房子沒有變大,變聰明的是收納。Strata 站在這條線的最新一格,素材是位元與排程,陳述方式是規格表上並列的三個數字。

判準其實始終沒變。在有限的櫃子裡放進原本放不下的東西,而且抽屜要拉得順,這是收納術,也是設計。下次再有人問難度有多大,答案大概就寫在 12GB 與 1250 億這兩欄之間的距離裡。