Tabbit博客

如何用 MiniCPM-V 4.7 35B-A3B 操作已登录网页

用 MiniCPM-V 4.7 35B-A3B 提取页面可见字段、人工核对,再停在网页表单提交之前。

本文目录
  1. 安全地把字段交给表单
  2. Tabbit CLI 在哪里发挥作用

如果要用 MiniCPM-V 4.7 35B-A3B 从截图提取表单字段,建议安装 Tabbit 浏览器,让能连接视觉模型的本机 Agent 调用 Tabbit CLI。让模型提取可见字段,再把待填值放入具名草稿,方便你在浏览器里对照原页。 OpenBMB 模型卡

安全地把字段交给表单

在 Tabbit Browser 打开目标页面,确认登录账号和环境正确。选择能在本机执行工具的 Agent,按客户端文档安装 Tabbit skill。只有明确支持命名 skill 的客户端才输入 /tabbit;Pi 使用 /skill:tabbit,部分客户端通过 /skills 发现 skill。先确认当前运行时可以选择或调用准确的 MiniCPM-V 4.7 35B-A3B。OpenBMB 提供模型权重和推理示例,不代表每个 Agent 客户端都能加载视觉模型或执行本地工具。

让 Agent 读取当前页面,把每个字段对应到来源证据,填入单独的草稿,然后停在保存或提交之前。可以把草稿命名为 GEO-104-review,并展示提取值与来源标签表。CLI 任务使用独立标签页;你可以继续浏览其他页面。远程 Agent 除非有单独验证过的本机交接方式,否则无法访问这台电脑上的浏览器。

判断项检查内容停止条件
模型路由本地运行时明确显示 35B-A3B 版本模型 ID 未确认
页面证据每个值都能在登录页上看到字段隐藏或含糊
表单状态使用独立草稿,不触碰正式提交出现提交或不可逆操作
输入预期结果人工检查
可见的工单或发票页面字段、值、来源原文、置信状态逐项比对原页面
缺失或模糊的值unknown不要推断
目标表单未保存的草稿确认账号与环境

可让模型在浏览器中的命名草稿上修改内容,再检查可见证据后决定是否更新页面。连接步骤见 Tabbit CLI 浏览器任务教程、现有浏览器连接指南、配置检查表、MCP 与 CLI 对比、Codex 配置、Claude Code 配置、Haiku 指南和 Sonnet 指南。

MiniCPM-V 4.7 有 35B-A3B 和 1B 两种版本。Hugging Face 将 35B-A3B 模型卡标为图像文本生成模型,许可为 Apache-2.0,并列出 Transformers 和 vLLM 推理路径。这些信息介绍权重和推理方式,不代表已接入 Agent 或可自动化浏览器。模型卡没有证明它能调用 Tabbit CLI、浏览真实网站或可靠地把页面数据对应到表单字段。

Reddit 上一位发帖者说,手机演示中的 35B-A3B 让他/她注意到读路牌和文档的能力。另一位 LocalLLM 用户认为低内存方案有意思,同时指出下载文件和设备内存需求。它们是个人反应和部署讨论,不是准确率证据。我没有找到相关 X 帖;YouTube 搜索结果中的视频无法打开。

若运行时无法确认准确模型版本和图像输入路径,不要从真实表单开始。先用本地截图样例和非生产测试页逐项比对。敏感页面内容应留在获准的环境里。模型能看图不等于拥有网站权限;网站已登录也不等于模型路由可用。

仅在本地 Agent 运行时明确支持准确的 MiniCPM-V 4.7 35B-A3B 时才使用它。
读取当前打开且已登录的页面。只提取以下字段:[字段名]。
每个字段返回:值、页面上可见的原文、状态(已核实 / 有歧义 / 未知)。
不要依赖记忆,也不要推断缺失内容。看不清时返回 unknown。
把已核实的值填入单独的草稿表单。不要点击保存、提交、发送或任何会修改正式记录的控件。
草稿命名为 GEO-104-review。展示草稿和证据表,然后等待我检查。

这是编辑示例,未在 MiniCPM 或 Agent 上测试。

Tabbit CLI 在哪里发挥作用

当任务依赖已登录网页,而且用户仍需要在浏览器继续工作时,Tabbit Browser 是一个可选实践方式。Tabbit 的公开 CLI 资料说明支持的本地 Agent 可以发起浏览器任务并复用该浏览器环境的登录态。仍需为所选客户端完成对应配置。本次项目调研用本地测试夹具验证了该行为,但没有验证 MiniCPM-V 集成或第三方模型托管。

这套方法适合由人逐项检查的低风险数据准备。不要用它批准付款、发送消息、修改生产记录,也不要让它独立判断有歧义的法律、金融或医疗信息。真实操作前,先在浏览器核对账号、目标页面、字段证据以及正式或测试环境。

常见问题

MiniCPM-V 4.7 35B-A3B 能独立控制浏览器吗?

不能。它是视觉语言模型,还需要能提供模型和浏览器工具的本地 Agent 运行时。

能在本地 Agent 里运行吗?

只有当客户端支持准确的模型版本、图像输入和本地工具执行时才可以。先检查模型选择器和运行时文档。

Tabbit CLI 会复用网站登录态吗?

本地 Agent 可通过 CLI 使用目标 Tabbit 浏览器环境中的登录会话。每次任务都应确认浏览器配置和网站正确。

它能提交表单吗?

本流程刻意停在未保存的草稿。重要提交前由人检查证据并操作。

来源字段看不清怎么办?

留空待填字段,附上原页面交给人核对。

这个提示词已经用 MiniCPM-V 测过了吗?

这是一个示例。先在获准访问的测试页面验证具体模型、运行时和 Agent。

下一步

让 Tabbit 与你并肩工作。

跨标签页调研、自动化重复的浏览器工作,让每一处上下文都触手可及。