← 全部文章

AI 新聞 / 模型更新

Mellum2.1 官方 GGUF 已提供:下載前先分清檔案、記憶體與上下文

JetBrains Mellum2.1 官方 GGUF 已上架。從 Thinking、MoE 與 Q4_K_M 名稱讀懂下載入口,分清 8.07GB 檔案、推論記憶體及 131K 上下文,附官方用法與查核界線。

想把程式模型放在自己的電腦上,第一個問題往往是「該下載哪一個檔案?」JetBrains 在 2026 年 10 月 8 日發布 Mellum2.1,定位包含程式代理、子代理,以及程式、數學與推理工作。這次值得留意的實用進展,是官方已提供 GGUF 檔案,讓讀者有明確的本機模型下載入口。

查核至台灣時間 10 月 12 日凌晨,發布文章末段仍寫 GGUF「即將推出」,但官方 Hugging Face collection 已連到 GGUF 模型庫,Files 頁也列出實際檔案與下載連結。閱讀時應把10 月 8 日的發布事件和本次查核時看見的檔案現況分開;本文未據此推定 GGUF 的精確上架時間。官方日期索引、官方 collection

本文是官方文件與下載入口指南。未下載大型權重、未安裝或執行模型,也未測試繁體中文品質、最低硬體或速度。上方「官方展示」是發布者的評測與程式示例,並非可直接使用的網頁聊天室。

先讀懂名稱:Thinking、MoE、GGUF 各管什麼?

Mellum2.1 Thinking 的「Thinking」標示這是推理版本;「GGUF」則是提供給相應執行工具讀取的模型檔案格式。下載一個 GGUF,還需要支援該模型架構的推論引擎才能使用。

原始模型卡列出 12B 總參數、每次運算啟用約 2.5B 參數。這種 MoE(混合專家)設計有 64 個專家,每個 token 選用其中 8 個。「啟用 2.5B」描述參與運算的部分,不能拿它直接換算整個模型的儲存量或最低記憶體。其餘專家仍可能在後續運算中被選到。官方模型規格

下載時,看發布者、格式和完整檔名

先確認頁面位於 JetBrains 官方帳號,模型名稱包含 Mellum2.1,而不是舊版 Mellum2。若要看本文的單檔版本,進入名稱以 Thinking-GGUF 結尾的模型庫。

本次 Files 頁列出的下載容量如下;這些都是檔案大小:

  • BF16:24.3GB
  • Q8_0:12.9GB
  • Q6_K:10.9GB
  • Q4_K_M:8.07GB
  • MXFP4_MOE:7.03GB

不同量化方式會改變容量與數值精度,較小檔案也可能帶來品質取捨。本文不替不同硬體指定「最佳版本」,也不把名稱中的位元數當成每個元件都相同的保證。

例如點開 Q4_K_M 官方檔案頁,可核對完整檔名、8.07GB、下載按鈕與 SHA256。它是一個模型檔,不是安裝程式。先閱讀 GGUF 官方 README,確認自己使用的工具、版本與硬體條件,再決定是否下載;不需要把全部量化版本一次抓回來。

三種容量分開看,才不會白下載

Mellum2.1 原創概念圖:磁碟檔案、推論記憶體與上下文容量分開核對,8.07GB 檔案不代表最低記憶體需求
綠豆原創閱讀示意,非產品介面、非模型輸出、非硬體實測。點圖可放大;容量依官方檔案與模型規格整理。

磁碟空間用來保存下載的模型、工具、快取與輸出。Files 上的 8.07GB 只對應那個檔案,安裝和執行時可能還有其他檔案。

RAM/VRAM是執行時使用的資源。除了權重,還有推論所需的快取與其他工作空間;CPU/GPU 如何分配,也取決於工具和設定。因此不能寫成「8GB 電腦或顯卡一定能跑」。

上下文是模型處理 token 的容量。官方列出 131,072 token,約 131K;token 也不等於中文字數。長上下文可能讓 KV cache 佔用更多記憶體,實際需求受架構、快取策略及執行設定影響。模型支援的上限,不代表每台電腦都能開滿。Hugging Face 快取文件

若你還不清楚設備條件,這次先完成「找對官方頁、辨認檔名、記下容量」即可。本文沒有足夠的實測依據提供最低 RAM/VRAM 數字。

官方有執行示例,仍要核對工具版本

GGUF README 列出 llama.cpp、Ollama、LM Studio 等工具的使用路徑,並提供 llama-server、llama-cli、Ollama 及本機 OpenAI-compatible API 示例。原始 Thinking 模型卡則提供 vLLM 示例,包含推理與工具呼叫的解析設定。

這些是官方提供的使用路徑,尚未經本站執行。不能據此保證所有舊版工具都支援 Mellum 架構,也不要將下載頁自動產生的工具清單全部視為發布者測試結果。照抄示例中的 131,072 上下文設定前,先確認資源是否足夠。僅載入模型,也不會自動獲得完整的程式代理、專案管理與安全操作環境。官方 GGUF 用法

評測怎麼讀?看進步,也看測法

JetBrains 官方 Mellum2.1 評測圖,SWE-bench Verified 為 47.0;圖為發布者自報,非本站或 GGUF 本機實測
JetBrains 官方評測原圖,未重繪數值或裁切;已解碼查看。圖中 47.0 對應 SWE-bench Verified,+45.0 為相對舊 Mellum2 的百分點差距。這是發布者自報,非本站或各 GGUF 量化版本的本機實測。點圖可開啟原尺寸;來源:JetBrains 發布文章。

JetBrains 自報的 SWE-bench Verified 成績,Mellum2.1 為 47%,同表舊 Mellum2 為 2%,Qwen3.5-9B 為 50%。它顯示此版本在該測試有明顯改善,不能延伸成所有程式任務都領先。

模型卡說明,代理評測使用相同的 Pi v0.73.1 架構與 shell/檔案工具、114K 上下文、每輪最多 16K token,並採各模型預設取樣設定;Mellum2.1 的 temperature 為 1.0。這些是發布者自報結果,不是本文列出的各種 GGUF 檔案在讀者電腦上的實測分數。官方評測及方法

原始模型與官方 GGUF 均標示 Apache 2.0。下載使用前仍應閱讀相應授權;公開權重也不代表硬體、電力或代管服務沒有成本。官方授權標示

這次先帶走四個檢查點

  1. 找到 JetBrains 官方 Mellum2.1 Thinking-GGUF,而非只搜尋「Mellum」就下載
  2. 把選定檔名、容量和校驗資訊記下來,保留來源
  3. 分別確認磁碟、可用記憶體與上下文設定,避免用一個數字代替三件事
  4. 將官方示例和自己的實測分開記錄;日後比較時,同時記下引擎版本、量化、硬體、提示和設定

Mellum2.1 的新入口,讓想研究本機程式模型的人能從官方檔案開始。先辨認版本與資源,再進行可控的小測試,會比看到「小模型」就直接開最大上下文更穩妥。