← 全部文章

AI 新聞 / 模型更新

用一句話找照片、定位影片:EmbeddingGemma 2 與 AI Edge Gallery 入門

照片太多、影片太長,可以先試裝置端語意搜尋。從 Google 官方畫圖示範理解相似度,再用 AI Edge Gallery 內建素材練習;附台灣 iPhone、Android 入口與隱私限制。

用一句話找照片、定位影片:EmbeddingGemma 2 與 AI Edge Gallery 入門

記得拍過「海邊夕陽」,卻想不起是哪一天;影片存了好幾段,只想找出狗接住飛盤的那一刻。這類問題不一定要把整個資料夾送到雲端:Google 的 EmbeddingGemma 2 可以把不同類型的素材轉成可比較的表示,再依內容找出相近結果。

先開 AI Edge Gallery 官方下載入口、台灣 App Store,或 Google Play。只想先看效果,可從 Google 官方畫圖展示與開發指南開始。

模型公告日期是 2026 年 10 月 6 日。本文於台灣時間 10 月 9 日重新查核入口與文件,整理成實用導讀,並非宣稱今天才發布。下方使用官方素材;本站沒有安裝手機 App、執行模型或測試私人相簿。

看官方示範:畫的是蘋果,為什麼先排出橘子?

Google 開發指南附了一段畫圖挑戰。目標選的是 Apple,但畫到約第 15 秒時,右邊仍把 Orange 排在前面;繼續補上圖形後,約第 21 秒才改由 Apple 居首。

Google 官方畫圖錄影第 15 秒,Orange 的相似度排名高於目標 Apple

來源:Google Developers 官方錄影第 15 秒擷取,未修改畫面。這是官方展示的開發環境,非本站操作截圖;畫面上方的開發帳號與 private 標記不代表讀者的試用入口。

Google 官方畫圖錄影第 21 秒,Apple 排到第一名並顯示挑戰通過

同一段官方錄影第 21 秒擷取。原始展示;百分比是這個示範的相似度顯示,不能當成模型辨識所有圖片的正確率。

這個例子提醒我們:排第一的是目前候選裡最相近的內容,仍需要人核對。想自己畫,可以打開 Google 官方 Embedding Draw Challenge。這是線上 Space,與手機上的離線運算不同;建議只畫簡單物件,不放私人素材。本文只確認公開入口,沒有完成互動推論。

真正拿來找素材:Gallery 的兩個功能

Google 官方程式庫與商店說明已列出:

  • Instant Media Search:用自然語言或一張圖片,搜尋相簿裡內容相近的照片;也能先用內建範例素材
  • Video Moment Finder:描述想找的畫面,在影片時間軸找到候選位置,再回看、修剪或匯出片段

它們適合幫你縮小範圍,並不會替你證明某段影片真的包含完整事件。尤其是找動作時,回看前後幾秒,比只看縮圖更可靠。

第一次練習:先用範例,不急著匯入整個相簿

以下是本站設計的練習方式,並非已實測的按鈕逐步教學;版本不同,入口名稱也可能調整。

  1. 從官方入口安裝相容版本,依 App 提示完成必要模型下載,再找 Instant Media Search 的範例素材
  2. 先挑一張你看得懂的圖,寫一句簡短描述。例如素材確實有貓,才試「貓」,接著加入動作或位置,不要讓提示詞憑空增加不存在的東西
  3. 比較「主體」與「主體+動作」兩種查詢:目標是否前移?有沒有把外形相似但內容不同的圖排到前面?把兩次結果記下來
  4. 換成自己有權使用、熟悉內容的短片,先記住某個動作的時間,再用 Video Moment Finder 搜尋。找到候選後回看前後內容,記錄偏早、偏晚或找不到

想確認離線體驗,可在模型和範例都備妥後再做一次離線查詢。這是讀者可自行執行的檢查,不代表本站已替所有裝置驗證離線功能。

台灣下載、費用與相容性

本次查核的台灣 App Store 有上架頁,標示免費、需要 iOS 17.0 以上,語言列表含繁體中文。這只能確認商店資訊,不能保證每台 iPhone 的速度、模型相容性或繁中搜尋品質。Google 官方 README 另列 Android 12 以上;Android 是否可安裝仍以自己的商店帳號與裝置為準。

官方總入口也有 macOS 下載。請區分專用 Mac 版本與 App Store 的 iPhone App 相容性欄位,本文不把其中一個平台的效果或門檻套給另一個。

免費下載不代表沒有其他成本:模型檔案要占空間,首次下載需要網路,推論也會消耗電力與記憶體。商店顯示的 App 大小不是所有模型加總大小,更不是執行時 RAM 需求。這篇也沒有把 Gallery 當成一項按 token 計價的代管 API。

為什麼文字能找圖片?

Google 官方架構圖,文字、程式碼、影像、影片與音訊進入共用向量空間

來源:Google Developers 官方架構圖,原圖未改動。這是概念說明,不是本站搜尋結果。

Google 發布公告說明,模型讓文字、影像、聲音與影片在同一套表示中比較。對一般讀者,重點是不用只靠檔名找素材;對開發者,則能把不同類型的資料接進同一個檢索流程。模型權重採 Apache 2.0 授權,但這不等於你匯入的照片、影片也自動取得再利用授權。

開始前的兩個界線

裝置端推論,不等於 App 完全不傳資料。 台灣 App Store 的開發者隱私揭露仍列出識別碼、診斷、使用狀況等可能收集項目。模型在哪裡運算、App 的遙測與權限,是不同問題;讀者應按自己的資料敏感程度決定匯入範圍。

模型輸入上限,不等於相簿總張數上限。 官方模型卡的 8,192 token 是一次輸入共用容量;預設下僅放單一媒體、不含文字時,約可容納 29 張圖片、58 個影片影格或 327 秒音訊。三個數字不能相加,也不能拿來推定 Gallery 整個資料庫只能存這麼多素材。

如果你只是想找照片,從範例查詢開始即可。先知道它在哪些描述下容易找對、哪些情況會混淆,再考慮導入自己的素材庫,比一開始就把所有檔案交給模型更容易判斷值不值得用。

來源與官方入口