LightOnOCR-3 0.8B 不能操作已登入的瀏覽器。它是 OCR 和文档讀取模型。先让它讀取本地儲存的網頁截圖或 PDF 頁面,再把提取文本交给另一個能執行 Tabbit CLI 的本機 Agent。第二個 Agent 可檢查已登入頁面,并准備覆核草稿。LightOn 模型卡介绍了轉錄和定位模式,但没有提供瀏覽器工具。Reddit 上的 OCR 挑战說明了人工覆核的必要性:即使能力较强的識别工具也可能漏掉删除線文字或破坏表格。LightOnOCR-3 模型卡 · OCR 挑战原帖 · Hacker News OCR 讨論
要點
LightOnOCR-3 0.8B 讀取圖像并返回文本。它不會規劃瀏覽器步骤、發現技能或调用 Tabbit CLI。
模型卡介绍了頁面文本轉錄模式,以及返回带標签邊界框的定位模式。两者都只是資訊提取,不构成操作授權。
使用本地儲存的截圖或渲染後的 PDF 頁面。不要让 OCR 模型打開網站或處理登入。
另一個本機 Agent(例如啟用了 Tabbit 技能的 Codex)可以将識别結果与網頁對照,再准備命名草稿。
金額、ID、日期、表格順序、删除線和低清扫描內容都要人工覆核。
設定每种工具的職責
| 組件 | 適合處理 | 不負責處理 |
|---|---|---|
| LightOnOCR-3 0.8B | 從本地圖片提取可见文字或带位置的頁面區块。 | 瀏覽、登入、選擇記錄或點击控件。 |
| 使用者或本機 Agent | 選擇來源檔案、修正識别錯誤并决定要核對的記錄。 | 把 OCR 結果當作已驗證的網頁資料。 |
| 本機 Agent 中的 Tabbit CLI | 打開已登入的 Tabbit 設定檔案、讀取對應頁面并准備草稿。 | 未經覆核就傳送或儲存修改。 |
模型卡称 LightOnOCR-3 使用 Apache 2.0 許可。0.8B 是该系列最小版本,官方文档提供 Transformers image-text-to-text 管線。grounding 提示词會增加標签和邊界框;空提示词會返回 Markdown 頁面文本。按照當前 Transformers 版本的官方說明執行,并先確認本地硬件條件。模型卡和用法示例 · LightOn OCR 程式碼库
讀取本地儲存的頁面截圖
先在电脑上儲存網頁截圖,或将 PDF 中的一頁渲染为圖片。確認檔案只包含获准處理的資料。然後按模型卡中的 Transformers 示例本地執行 OCR。頁面佈局重要時,使用定位模式。将 OCR 輸出与原始檔案分開儲存,便于并排對照。
将以下提示词交给 OCR 模型:
只讀取附件中的本地頁面圖片。不要推測画面中不可见的文字。
返回可见的記錄 ID、日期、狀態、金額和表格行標签。
保留原有順序。不確定字符写 [不清楚],缺失欄位写 [未顯示]。
若頁面有删除線,同時保留删除內容和替换內容,并注明狀態。
如可用,为每個欄位返回大致頁面區域或邊界框。
不要瀏覽網頁、使用工具、登入或提出瀏覽器操作建议。預期結果是带不確定项標記的簡短轉錄,而不是頁面准確性的證明。Reddit 上一位使用者比较 OCR 工具時發現,有模型未識别删除線,另一個模型破坏了表格佈局。Hacker News 的讨論也提醒,模型可能幻觉或漏字。這些都不是對 LightOnOCR-3 的評測,但說明人工對照很重要。Reddit OCR 挑战 · Hacker News OCR 讨論
将結果交给啟用 Tabbit 的本機 Agent
在目標 Tabbit 設定檔案中打開同一條記錄并自行登入。若使用 Codex,打開 /skills,確認已發現 tabbit 技能。技能選擇器和本機命令權限是两项不同的檢查。按Tabbit CLI 設定指南完成設定,再確認已安裝啟動器能连接預期 Tabbit 實例。其他用戶端請使用各自文档中的技能写法;Pi 使用 /skill:tabbit,OpenCode 文档使用 @tabbit。Codex 設定 · Pi Skills 命令 · OpenCode Skills
把 OCR 文本作为線索交给本機 Agent,而不是當成事實:
使用 Tabbit 技能,打開已登入的[获批網站],只核對 OCR 得到的記錄 [ID]。
不要把 OCR 文本视为已驗證資料。逐项對照頁面可见內容。
不要點击编辑、儲存、提交、批准或傳送。
返回准確的 ID、可见日期、狀態、金額和來源 URL,并標明与 OCR 的差異。
在瀏覽器中准備名为“OCR 對照 — [日期]”的草稿,写入對比和不確定欄位。
不要儲存或傳送。停下并展示草稿及來源頁面供我覆核。預期結果是一张對照表,包含 OCR 值、網頁值及一致或不一致說明。如果 ID 對不上,不要让 Agent 打開相近記錄。先看首個瀏覽器任務檢查清單和登入狀態複用指南。即便 Tabbit 設定檔案正確,網站會話仍可能过期。连接現有瀏覽器說明了設定檔案邊界。
操作前先覆核
| 欄位 | 對照方法 | 以下情况必须人工檢查 |
|---|---|---|
| 記錄 ID | 對照網頁 URL 和標題逐字符核對。 | OCR 混淆相似字符,或 ID 缺失。 |
| 日期和金額 | 核對標點、币种和删除線內容。 | 圖片低對比度,或數字會影响决策。 |
| 表格順序 | 確認行標签和值仍在同一行。 | 列合并、旋轉或分隔不明顯。 |
| 草稿 | 確認每條內容都能鏈接到網頁。 | 內容只來自 OCR 或模型推斷。 |
如果需要先轉錄本地截圖或扫描頁,LightOnOCR-3 0.8B 可以作为第一步,之後由使用者或單獨的 Agent 操作真實網站。它不適合規劃瀏覽器步骤或點击。請明確交接順序:本地圖片交给 OCR,識别文本交给使用者或本機 Agent,最後才由 Tabbit 執行只讀檢查并展示草稿。更广泛的架构见Agent 如何控制瀏覽器、CLI 与 Browser MCP 對比和CLI 完整指南。 關于任務隔离,可参阅設定檔案、工作區和標签組指南。
常見問題
LightOnOCR-3 0.8B 能操作瀏覽器嗎?
不能。它讀取圖片並輸出文字,不會瀏覽、登入、規劃或呼叫 Tabbit CLI。
如何把 OCR 結果交給 Tabbit?
將文字作為線索交給另一個本機 Agent,讓它核對實際頁面並準備草稿。
OCR 文字能當成已驗證資料嗎?
不能。請用原圖和實際頁面核對 ID、日期、金額、表格順序和不確定字元。
OCR 模型能呼叫 Tabbit 技能嗎?
目前未驗證此整合。由使用者或另一個本機 Agent 完成交接。
安全的第一個任務是什麼?
先轉錄一張本機圖片,再只讀 Tabbit 中對應記錄,不編輯或傳送。