Clef-omni 能讀聲音與影片：先看懂決策輸出、費用與取樣限制

整理影片時，你可能只想知道「這段有沒有出現杯子」，而不是請 AI 寫一篇觀後感。Cloudflare 在 2026 年 10 月 9 日發布 Clef-omni，把聲音與影片帶進決策模型：先定義要判斷的問題，再取得選項機率，供自己的程式使用。

這次更新也包含 Clef-flash 降價，以及 Clef 託管服務加速。三者是不同模型；本文以新增音畫輸入及使用限制為重點，不把某一款的速度或價格套到整個家族。官方發布說明

本文查核至台灣時間 10 月 12 日凌晨，未呼叫 API、下載大型權重或測試繁體中文準確率。上方「官方展示」是文件中的請求示例，沒有該案例的實際推論結果；API 文件也不是免登入的網頁試用聊天室。

「決策」會回傳什麼？

Cloudflare 模型卡將 Clef-omni 定位為多模態決策模型，使用 30B、啟用約 3B 參數的混合專家骨幹。它依事先定義的題目，為允許的選項給出機率，沒有自由文字生成。

題型包含是非（noul）、選項分類（choice）及有序評分（score）。例如你可以先定義「是否出現杯子」，再讓自己的工具讀取回傳資料；不能期待它同時替你寫旁白、產生影片，或自動完成素材管理。

模型卡內文提供專用載入與 systemone 示範。頁面上方由平台產生的通用聊天／generate 操作提示，不應取代發布者自己的用法。自架權重標示 Apache 2.0，官方測試使用 H200，BF16 骨幹約需 64GB GPU 記憶體；不要因為「啟用 3B」就認為普通 3GB 顯卡可用。官方模型卡

原創練習：先幫短片加建議標籤

原創三步流程：準備素材、定義杯子是否出現的問題、人工覆核後加標籤；不含模型輸出數值 — 綠豆原創資訊圖，由 AI 協助編排並逐字核對；非官方介面、非模型實測，未填入任何虛構機率。此次未能取得可用官方圖片，改用閱讀流程示意；官方程式展示連結位於文章開頭。點圖可放大。

以下是編輯設計的低影響練習，不是已完成的模型測試。拿幾段自己拍攝、有權使用的短片，先人工標出哪些真的有杯子，再比較模型建議。案例可以包含：杯子全程清楚、只在角落出現、被遮住，以及快速掠過鏡頭。

讓建議先進入待覆核清單，保留原檔與人工標籤。若模型給出很高機率但判錯，仍記為錯誤；不要只挑看起來成功的片段。沒有足夠證據的素材可留待人工確認，無須硬加標籤。這組練習只幫你發現問題，不足以代表正式準確率。

Workers AI 託管版：上傳前先檢查這些限制

本段對應 Cloudflare Workers AI 的 @cf/cloudflare/clef-omni 託管 API，不是所有自架工具的共同限制：

上下文為 64,000 tokens；圖片、影音和問題都會占用空間
每次最多 4 段音訊、2 支影片；每段音訊最多 300 秒，每支影片最多 60 秒；影音解碼後合計最多 16 MiB，另有個別檔案限制
影片以每秒 2 幀取樣。文件明訂：同一請求中的每支影片都有音軌時，音軌才會與畫面一起處理
託管 API 接受嵌入式媒體，不接受直接丟遠端媒體網址

還有容易漏掉的截斷規則：媒體與問題若已超過上下文，請求會失敗；否則文字 state 會縮到剩餘空間。送出成功，不代表原本長篇文字全部被保留。官方參數與計費規格

因此，前面的杯子練習應特別保留「快速出現」案例。每秒 2 幀不等於逐格查看；這是我們建議人工逐格覆核的原因，不是本文量測出來的漏判率。若混合有聲與無聲影片，也不要未核對音軌就假定模型已聽到每一支影片。

費用看輸入 tokens，影音也在裡面

本次核對的每百萬輸入 tokens 美元標價如下：

Clef-omni：US$0.15
Clef：US$0.24
Clef-flash：US$0.038

這不是每百萬字、每百萬次請求或每分鐘價格。聲音、圖片與影片都先折算成輸入 tokens；Clef 系列不收輸出 token 費，不代表媒體處理免費。若只算 Clef-omni 的 1,000 萬輸入 tokens，牌價算術為 US$1.50；這不含其他服務成本，也不是本站帳單。官方價格頁、媒體折算說明

Workers AI 同時提供免費與付費方案，每日免費額度以 Neurons 計，不是固定次數或影片分鐘數。官方列出每天 10,000 Neurons；超出額度須使用付費方案。評估前請核對當時帳號、用量與相關服務條件，不要把最低模型單價視為整套應用的總成本。官方方案與額度

Clef-flash 降價，也縮小了託管上下文

10 月 9 日公告將 Clef-flash 的輸入費率從 US$0.09 降至 US$0.038，同時把託管上下文從原先約 64K 改為約 24K。查核時 Flash 規格頁的精確數字是 24,576 tokens。Flash 官方規格

因此，舊流程若依賴長輸入，更新前應先檢查截斷與失敗情況。公告提到自架 Flash 權重的上下文能力，不能拿來替換 Clef-omni 託管版的限制；Clef 的服務層加速，也不能延伸成 Omni 實際工作一律快兩倍。降價與加速的適用範圍

想開始，先選託管 API 或自架

走託管路線，可從文首模型頁與官方 REST API 入門閱讀帳號及請求設定。本文沒有替讀者建立金鑰、開通付費或配置存取權；實作時不要把憑證放在公開前端或文章中。

走自架路線，則依模型卡檢查相依套件、硬體及正式用法。下載權重和呼叫託管 API 是不同工作，規格不能混抄。

Clef-omni 的實用進展，是讓既定問題能同時利用文字與音畫資訊。先把它用在可回看、可修正的素材標籤，再檢查漏判、截斷和總用量，比只看一個漂亮的機率更有幫助。