Strata 如何讓 12GB 顯卡跑 Qwen3.8-Flash-Next？拆解量化、記憶體分工與實際門檻

一張 12GB 顯卡，能在自己的電腦上執行大型 Qwen 模型、讀圖片，甚至接進程式代理嗎？Strata 把這件事做成了可安裝的工具。不過，理解它的關鍵是整台電腦如何分工：顯卡留下常用權重，系統記憶體容納大批專家，CPU 同時參與計算，SSD 則保存龐大的查表資料。

這篇從 Qwen3.8-Flash-Next 的架構出發，說明 Strata 為何有機會在消費級硬體上跑得動、不同量化版本如何取捨，以及公開速度數字究竟能告訴我們多少。本文查核至 2026 年 10 月 9 日，以 Strata v0.1.41 文件、Qwen 模型卡和具條件說明的公開測試為依據；本文沒有進行本機實測。

先看官方下載：Strata v0.1.41、官方展示：作者的架構與操作說明，以及官方入口：Qwen3.8-Flash-Next 模型卡。這是本機安裝路線，沒有免安裝的官方線上試用入口。

作者提供的 Strata Monitor 與程式代理畫面

Niko1221／Strata contributors 提供的歷史操作截圖，原圖未改作；非本站實測。畫面包含 IQ3_S、128K 上下文與 experimental-speed-projection，因此不能拿其中速度當成預設設定或 v0.1.41 的測試成績。來源：Strata v0.1.41 專案；MIT 授權副本。

先看重點

Strata 是推論引擎與本機服務工具；Qwen3.8-Flash-Next 是它執行的模型。這個專案主要針對該模型家族，不能把它當成所有 GGUF 都通用的載入器
「125B」是主語言模型的參數規模。官方另列 51B n-gram embedding 與 4B MTP，不能把主模型數字直接當成完整下載大小
12GB 顯存能運作的前提，包括量化權重、足夠 RAM、CPU 分工與 SSD。並非所有權重都住在顯卡裡
繁中通用用途可先看保留完整專家的 IQ2_XS、IQ3_S。Coder 刪掉一半專家，官方文件提醒中文及其他 CJK 用途可能退化
效能必須連同模型版本、量化、CPU、RAM、上下文和測試方法一起看。每秒 token 數也不能直接換成每秒中文字數

一、先分清 125B、6B 與真正要存下來的權重

Qwen 在 2026 年 8 月 26 日公開 Qwen3.8-Flash-Next。官方將它定位為具視覺能力的混合專家模型，也是 Qwen4 架構的早期預覽。模型卡列出的主語言模型規模為 125B，每個 token 啟用約 6B 參數；另外還有 51B 的 n-gram embedding 與 4B 的 Multi-Token Prediction（MTP）元件。Qwen 官方發布紀錄、官方模型卡

其中，「每次啟用 6B」描述的是運算時會動用多少參數。其餘專家下一次仍可能被選中，所以完整權重依然需要儲存。原始 checkpoint 與不同 GGUF 成品的頁面，也可能以不同元件範圍顯示總參數；閱讀時以各自說明為準。

模型有 48 層。每層包含 512 個 routed experts，每個 token 在每層選用其中 10 個，另有 1 個 shared expert。48 乘以 512，得到 24,576 個分布在各層的 routed expert instances。因此，「只選 10 個專家」必須理解為每一層的選擇，不是整個網路只計算 10 個。官方設定檔

這種稀疏啟用特性給了 Strata 一個切入點：每次生成不必同時動用全部專家，就有機會把不同資料放在速度和容量不同的硬體上。

長上下文還涉及注意力架構。Qwen 將 3 層 Gated DeltaNet 與 1 層 Qwen Sparse Attention（QSA）組成一組，重複 12 組；QSA 以小區塊挑選要讀取的歷史內容。Strata 的最佳化要配合這些模型結構，也因此不能把所有效能收益直接套到另一個架構的模型。官方架構設定

二、Strata 把工作分到顯卡、CPU、RAM 與 SSD

Strata 的 GPU、RAM、CPU 與 SSD 分工圖

綠豆 AI 實驗室原創繁中概念圖，依 Strata v0.1.41 文件整理；由 AI 協助編排並核對文字，非產品截圖、非容量比例圖或效能實測。

可以把 Strata 想成一套為這個模型設計的資源調度系統。它的三個主要層次如下。

顯卡：共同運算與常用專家

GPU 負責注意力、DeltaNet、路由、共享專家、輸出等運算，也保留 MTP 元件、必要的狀態與 KV cache。剩下的顯存盡量拿來放常用專家，並隨對話調整快取。

更多顯存的價值，是讓更多專家留在 GPU，減少落到 CPU 或資料搬移的工作；但顯卡之外的 CPU、記憶體頻寬與 PCIe 連線仍會左右整體速度。

RAM 與 CPU：大批專家的主要工作區

一般配置把完整專家群載入系統 RAM。當需要的專家不在 GPU 快取中，CPU 可以直接在 RAM 裡計算，同時讓 GPU 處理已快取的部分。這也解釋了為什麼相同顯卡搭配不同 CPU 與記憶體，可能出現明顯差異。

SSD：保留大型 n-gram 查表

主要 GSQ-RCO 量化版本包含約 28.8GB 的 n-gram 查表分片。Strata 按需求讀出其中少量資料，避免整張表常駐顯存。RAM 不足或使用較大模型時，部分專家也可能需要從 SSD 讀取，此時儲存速度會成為更明顯的瓶頸。Strata 架構說明、技術細節

這是「12GB 顯卡跑大型模型」最重要的前提：顯卡只是整個執行系統的一部分，RAM 和 SSD 的容量並沒有消失。

三、為什麼回覆可以加速？兩種工作要分開看

使用聊天模型時，有兩段不同工作。

第一段是 prefill，讀進你的問題、文件與歷史對話。Strata 把長輸入分塊處理，安排專家資料傳輸與 GPU 運算重疊；同一段對話的後續請求也能利用快取，減少重算。

第二段是 decode，逐步產生答案。Strata 利用模型的 MTP 層先提出數個候選 token，再由主模型驗證。候選被接受得越多，一次運算能前進得越遠；因此不同題材、文字和生成設定，會影響實際加速幅度。作者的架構文件報告約 1.6 至 1.8 倍加速，但這是其量測條件下的結果。MTP 與分塊處理說明

理解這兩段之後，就能看懂為什麼「讀取每秒 2,000 多 tokens」和「回答每秒數十 tokens」可以同時成立。前者不代表答案會以相同速度出現；長文件還要看第一個 token 出現前的等待時間，以及整項任務何時完成。

作者的 MTP 先猜再驗證示意

Niko1221／Strata contributors 的 speculative decoding 示意圖，由官方 SVG 轉為 PNG，調整右側小字排版以避免裁切，文字內容維持原意；非本站測試。來源：HOW_IT_WORKS.md，MIT 授權。

四、量化版本怎麼挑？先看用途，再看 RAM

Strata 的主力選項來自 ISTA-DASLab 發布的 GSQ-RCO GGUF。這些是量化發布者的成品，並非 Qwen 官方原始精度權重。量化降低儲存與運算負擔，同時引入精度取捨。

Q2_0：下載總量 66.4GB，主權重分片 37.6GB。容量較小，作者測試速度較快。
IQ2_XS：下載總量 68.0GB，主權重分片 39.2GB。安裝文件的一般建議起點。
IQ3_XXS：下載總量 75.8GB，主權重分片 47.0GB。增加容量，換取較高權重精度。
IQ3_S：下載總量 83.6GB，主權重分片 54.8GB。四者之中容量最大，適合 RAM 較充裕時評估。

以上總下載量都包含約 28.8GB 的 n-gram 分片，但不含後續 MTP、可選視覺元件及部分本機預處理檔。主權重分片也不能直接當作「RAM 需求」，因為它會分散到 RAM 與 VRAM，執行時還需要額外空間。量化名稱只是格式名稱，整套模型並非每個元件都使用相同位元數。ISTA 檔案與品質說明

依 Strata 文件，48GB RAM 主要考慮 Q2_0 或 IQ2_XS；64GB 能考慮上述四種，但 IQ3_S 要留意其他程式占用；96GB 以上可評估 IQ3_S，或另一路線的 Unsloth UD-IQ4_XS。後者約 94GB 下載、約 59.5GB 專家權重，不能與名稱相近的 UD-Q4_K_XL 混為一談。模型選擇文件

Coder 的容量更小，也有用途限制

Coder 每層只保留原本 512 個 routed experts 中的 256 個，選擇過程偏重程式資料。它能降低記憶體門檻，但發布者所說的「保留約 91% SWE-bench Verified 分數」是特定測試的比例，不能解讀成保留 91% 的所有能力。Strata 文件特別提醒中文及其他 CJK 用途可能退化。想做繁中問答、摘要和一般文字工作，RAM 足夠時，優先評估保留完整專家的版本更合理。Coder 模型卡、Strata Coder 限制

五、公開速度數字該怎麼讀？

Strata README 的 NVIDIA 表格來自 RTX 5070 12GB、Ryzen 5 7600 與 64GB RAM。以下是作者公布的摘要，已把版本差異一起列出。

Q2_0：短對話輸出約 94 tok/s；32K 提示處理約 2,650 tok/s。該組引擎版本為 0.1.36。
IQ2_XS：短對話輸出約 79 tok/s；32K 提示處理約 2,090 tok/s。該組引擎版本為 0.1.26。
IQ3_XXS：短對話輸出約 62 tok/s；32K 提示處理約 1,750 tok/s。該組引擎版本為 0.1.26。
IQ3_S：短對話輸出約 53 tok/s；32K 提示處理約 1,620 tok/s。該組引擎版本為 0.1.26。

短對話輸出以約 4K 輸入條件量測，提示處理欄則用 32K 輸入；兩種數字不是同一個請求的兩段時間。詳細測試以程式代理類提示、256 個輸出 token、MTP 開啟等條件進行，而且部分歷史長上下文欄位沿用更早版本。這組數據可以幫助理解取捨，不適合拿來宣布某個版本在所有機器都達到相同速度。固定版本 README、完整條件與歷史表格

這批歷史資料還有兩個細節：各長度主要使用一個提示與單次測試；IQ2_XS 那列實際採用 Swift 1.5 的同級量化，文件稱其速度與原版相當。它們不構成大量任務的平均表現，也不適合拿來跨版本計算精確提升百分比。

同一張 5070 Ti，也要看主機搭配

專案收錄了一份 2026 年 10 月 6 日的社群測試，硬體為 RTX 5070 Ti 16GB、Ryzen 9 5900X、64GB DDR4-3600，系統為 Windows 10，執行 Strata 0.1.39。測試使用預設 int8 KV、關閉視覺與 speed projection、greedy decoding、關閉 reasoning，輸出上限 256 tokens，每個長度跑三次取中位數。

在該機器上，IQ3_S 的 4,096-token 輸入測得約 62.9 tok/s 輸出，32,768-token 輸入約 66.1 tok/s。報告附原始 JSON、設定和測試腳本，也坦承同一輪工作階段的 decode 會漂移，小幅差異不能直接視為改進。可追查的社群測試

對 16GB 顯存、96GB RAM 這類配置而言，文件上的容量條件讓 IQ3_S 與部分較大選項值得評估。但「容量大致足夠」和「一定有某個速度」是兩個問題；CPU 型號、RAM 頻寬、實際可用記憶體、SSD 與設定都還要確認。

目前這些資料也不足以推出「Strata 在所有任務都比 llama.cpp、vLLM 或雲端模型更快」。可信比較需要相同模型成品、精度、輸入、輸出、取樣、快取狀態和硬體，並同時檢查品質與完成時間。

六、開始之前，把硬體與磁碟空間算完整

Strata 的一般安裝路線涵蓋 Windows 10／11 與 Linux，主要面向 x86-64 電腦；標準 CPU 路線需要 AVX2。NVIDIA RTX 20、30、40、50 系列以 12GB 以上顯存為主要建議；部分 8GB、舊卡、Intel Arc 與 Strix Halo 路線需要另外看實驗性支援文件，不能用同一個最低規格概括。安裝與硬體文件

下載之前，至少檢查四件事：

GPU 與驅動是否符合你要用的後端；v0.1.41 一般 NVIDIA 安裝文件列出 580 以上驅動
關閉常用程式後，實際可用 RAM 還剩多少；上下文與背景程式也會吃記憶體
模型預計放在哪顆 SSD，以及安裝計畫列出的額外空間
是否真的需要第一天就開視覺、超長上下文、平行請求與實驗性選項

磁碟尤其容易低估。除了模型下載，文件列出 MTP 約 6GB、視覺另約 1GB；Q2_0 在 AVX-512 CPU 上還可能建立約 40GB 的專用權重副本。AMD Linux 若由安裝程式準備 ROCm，還要額外空間。首頁的約 80GB 不能涵蓋所有選項。完整安裝占用說明

Unsloth UD-Q4_K_XL 則更大：文件列出的四個分片合計約 111.3GB，另有預處理檔與 MTP。在 64GB RAM 的作者測試中，因為大量專家需要由 SSD 讀取，輸出只有約 7 至 8.5 tok/s。這展示了比較高精度權重在容量受限時的代價。Unsloth Q4 實驗路線

七、第一次動手，先做一個能自己驗證的小任務

從 Strata 原始專案與版本發布頁進入，先讀安裝說明與授權。Windows 的入門入口是 START-HERE.bat；Linux 是 setup.sh。安裝程式會詢問模型、上下文與是否讀圖，並下載模型及依賴。它會變更本機環境，執行前應先看清來源和安裝計畫。官方安裝流程

第一次建議先用一個模型、單人聊天、較短上下文，保持實驗性 speed projection 關閉。啟動後，聊天介面位於本機 127.0.0.1:8080，可從 Monitor 觀察讀取提示、生成、VRAM、RAM 與磁碟活動。

可以先貼入下面這組自行編寫的測試資料。這是練習題，並非已由 Strata 生成的結果。

只根據以下資料，用繁體中文回答。資料沒有寫的請回答「未提供」，不要補上常識。

松林工作坊有 24 個座位，已報名 17 人。活動從 14:00 到 16:30，中間休息 15 分鐘。場地費新臺幣 1,200 元，材料每位報名者 80 元。目前未公布報名截止日。

請回答：剩餘座位、扣掉休息的活動分鐘數、目前材料費、目前場地加材料總成本、報名截止日。最後用一個簡單表格列出算式。

人工核對答案是：剩 7 席、135 分鐘、材料 1,360 元、總成本 2,560 元、截止日未提供。再請它改成 100 字以內的活動摘要，觀察繁中是否自然、數字有沒有改掉，以及是否擅自添加日期。

若之後比較兩種量化，固定同一份提示與設定；各跑數次，分別記錄首次回應等待、整體完成時間、正確性與資源占用。重複同一提示可能命中快取，因此冷啟動與暖機後的結果要分開記。這樣的紀錄，比單看一張高速度截圖更能回答「適不適合自己的工作」。

八、接到程式代理以前，還有幾條界線

Strata 提供 OpenAI-compatible Chat Completions、Anthropic-style Messages 與 OpenAI Responses API 等介面，方便現有客戶端接到本機模型。但 API 相容範圍仍要查文件；雲端產品的所有功能不會因此自動出現在本機。API 與使用方式

例如，文件中的 Responses API 是無狀態實作，不支援 previous_response_id 等雲端對話管理功能；JSON schema 則採提示後驗證，並非 grammar-constrained decoding。接工作流以前，要先測清楚自己的客戶端究竟依賴哪些功能。API 實作範圍

它也有兩種不同方向的 MCP 整合：一種讓你原本的 AI 助手管理 Strata 的安裝、啟停與測試；另一種讓 Strata 裡的模型使用外部 MCP 工具。後者可能真的讀檔、執行工具或對外連線，權限範圍由你接上的工具決定。Strata MCP 說明

第一次接代理，適合從測試資料夾和可還原的副本開始，保留人工確認，先不要交給它重要帳號或正式專案。維護者的安全文件明示尚未經過外部安全稽核；「本機推論」不等於所有工具行為都被隔離。若要讓其他裝置連線，還需要適當金鑰及網路防護，不能只把服務埠打開。安全政策

另外，原生模型可延伸的上下文上限、Strata 當前支援與你的電腦能穩定跑的長度，必須分開。模型卡列出 262,144 tokens 原生、可延伸至 1M；Strata 安裝文件中的 384K／512K 則標為實驗性。圖片要另行設定 encoder，Strata 文件也仍列出部分 AMD／Windows 差異與影片輸入限制。模型上下文、Strata 安裝選項

九、v0.1.41 更新很快，品質與授權也要一起看

2026 年 10 月 8 日發布的 v0.1.41，改善了部分多 GPU 請求、NVIDIA 短提示以及低 RAM Windows 情境，並修正多項問題。但它也明示：單張 NVIDIA GPU 在部分短提示上新增的 CPU 分工預設，可能改變數值末位與最後生成的答案。做精確 A/B 測試時，應依版本說明固定設定；不能用「加速完全不改答案」概括所有新舊路線。v0.1.41 完整版本說明

權重量化、KV cache 量化、專家裁剪、MTP 驗證及 experimental speed projection，也分別影響不同環節。尤其 speed projection 明確會改變模型行為；某個量化在少數 benchmark 接近原始分數，也不保證每個繁中任務都相同。驗證時應把速度與答案品質一起記錄。

授權同樣要拆開：Strata 引擎採 MIT，模型權重則有自己的條款。Qwen 原始模型標示 Qwen Community License 1.0；部分量化頁面的授權標籤與「繼承基底模型授權」正文存在不一致。要對外提供商業服務或整合進產品，應直接閱讀相關授權原文並確認用途，不能只根據引擎 MIT 就判定整套權重可無條件商用。Strata MIT、Qwen 模型授權、ISTA 授權說明

結語：先確認能放下，再確認能做好

Strata 最有價值的地方，是把模型的稀疏架構、量化與電腦裡不同層級的資源接起來，讓更多人能在自己的硬體上嘗試大型模型。代價則落在 RAM、SSD、CPU、等待時間，以及不同量化與設定的品質取捨。

如果已經有合適顯卡與充裕 RAM，可以先用保留完整專家的模型，完成一個能人工核對的繁中任務，再逐步加入讀圖、長文件與程式代理。真正值得留下的結果，是你的工作能否穩定完成，以及完成它需要多少時間與資源。