AgentHubAgentHub
Back to Blog

多模态 MCP 工具实战:让智能体掌握图像处理、图表生成与音频转写能力

AgentHub 核心团队··5 min read·54 views
多模态 MCP 工具实战:让智能体掌握图像处理、图表生成与音频转写能力

为什么多模态是 Agent 的未来?

传统的文本交互在面对复杂数据时往往不够直观。例如在做性能调优时,一段关于“请求延迟在 14:00 出现尖峰”的文字描述,远不如一张折线图来得清晰明了。

MCP 协议规范原生支持 image 类型的 content block。在工具执行返回时,除了返回文本日志,还可以返回 base64 编码的 PNG 图片或 SVG 矢量图。支持富媒体渲染的客户端可以直接在聊天界面呈现图表,为用户带来绝佳的交互体验。

多模态返回的协议形态

图像在 MCP 里不是附件,而是工具返回内容数组中的一个 content block,与文本块并列。这样设计的好处是「结论 + 证据」可以一次返回:先给一段文字摘要,再给一张图,客户端按顺序渲染即可。

{
  "content": [
    { "type": "text", "text": "近 24 小时延迟分布,峰值出现在 14:00 前后。" },
    { "type": "image", "data": "<base64 字符串>", "mimeType": "image/png" }
  ]
}

字段名以协议文档为准:data 放的是不含 data:image/...;base64, 前缀的裸 base64,mimeType 必须与图片实际编码一致。写完先用 MCP Inspector 看原始报文,确认客户端拿到的是合法图片而不是被截断的字符串(排查手法见 使用 MCP Inspector 本地调试工具:抓包分析 JSON-RPC 报文与 Schema 验证)。

三类能力的落地选型

能力本地实现云端 API取舍要点
图像处理 / 截图无头浏览器截图、图像缩放与格式转换云端视觉理解与编辑本地可控、无出境风险;云端能力强但受配额限制
图表生成服务端绘图库出 PNG,或生成 SVG 直出托管图表服务SVG 体积小、可缩放,但并非所有客户端都渲染
音频转写本地模型转写,按分段并发云端语音识别本地适合会议纪要常驻;云端适合长音频与多语种

经验上优先级是这样排的:先做图表生成(输出确定、不依赖外部配额、演示效果最直接),再做截图类图像处理(业务价值明显但要管好权限与磁盘),最后做音频转写(链路最长,涉及上传、排队、进度回传)。

工程细节决定体验

体积。base64 会让原始字节膨胀约三分之一,一张两 MB 的截图进报文就是近三 MB。做法是先按客户端常见显示尺寸把长边压到千像素级、转成压缩格式,再决定是否内联;超过阈值时改为返回资源引用(把图落到可访问路径,用 Resource 或 URL 指过去),别让工具一次吐出几十张原图。

时延与进度。渲染一张图或转写一段音频通常远超模型的等待耐心,应拆成「提交任务 + 查询状态」两个工具,或在流式返回里持续推送进度文本,让模型有东西可以复述给用户。

可复现。把生成参数(时间范围、聚合粒度、分辨率)写进返回的文本块里,否则用户过五分钟再问同一张图,会得到一张「看起来不一样」的图。

落地示例:性能诊断图表工具

一个可复现的完整链路:工具接收 metric、start、end 三个参数;内部拉取时序数据后用服务端绘图库出图;按 1200px 长边导出 PNG 并转 base64;返回一个文本块(峰值、均值、异常区间)加一个 image 块。验收标准是三条:客户端能直接看到图;文本结论中的数字与图上曲线一致;同样参数重复调用得到视觉上相同的图。

常见故障速查

现象原因处理
客户端只显示文字不显示图客户端不支持 image 块渲染降级为文件路径或可访问 URL
图片打不开 / 花屏base64 带了 data URI 前缀或被截断只传裸 base64,校验长度与 mimeType
一次调用耗时过久被中断同步等渲染或转写完成拆成提交 + 轮询,或提高超时并推进度
报文体积过大直接内联原始截图先缩放压缩,超阈值改走资源引用
图表与文字结论对不上取数窗口与聚合粒度不一致把参数回显进文本块,统一口径

小结

判断多模态工具是否达到可用状态,用三个可检查的条件:同一组参数重复调用,图与数字保持稳定;报文体积在客户端可接受范围内(大图走引用而不是内联);文字结论能独立成立,即使客户端不渲染图片,用户也能看懂结果。三条里有一条不满足,就先把该能力的范围缩小,而不是继续加功能。

延伸阅读

Related Articles

Tutorials

为什么 AI 读错截图里的数字:它拿到的图比屏幕上那张小得多

你把截图原图丢给 AI,它把 9,847 读成 9,347,或者把发票上一行小字整段编出来。原因大概率不在「眼神」,在尺寸:Claude 官方明写它按 28×28 的像素块看图,每块算一个视觉词元,超过上限的图会先缩小;1920×1080 压到 1456×819,你屏幕上 12 像素的小字到它眼里只剩 9.1 像素,而 4K 截图压完和 1080p 一模一样大——分辨率白涨了。这篇给出三张能自己复算的数:面积、字高、词元。最有用的结论反直觉:别放大整张图,裁一块再发——600×400 的局部不缩、字高完整保留、只付 330 个词元,比整张的 1,560 还便宜 4.7 倍。另附一个扫描口径:论文实测约 300ppi 追平传统 OCR、150ppi 以下明显退化,而 9.1 像素的字折算下来只有 62ppi。

Tutorials

为什么同一个问题问 AI 两遍,答案不一样:它不是在算答案,是在按概率抽一个词

同一句话原封不动问两遍,AI 的措辞不一样、甚至结论不一样。原因不是它心情不好:它每步拿到的不是一个答案,而是「一整排候选加各自的概率」,然后从中抽一个,连抽几百次就是一篇回答。这篇把「温度」讲回它的本义——softmax 公式里那个除号(Hinton 原话「T 是通常设为 1 的温度」「T 越大概率越平」),再给三张你我能自己复算的表:同一排候选,温度 0 抽一千次只出 1 种结果、0.2 出 2 种、2.0 时最冷门的词已占 7.35%;每个词有九成把握一致,写到 50 个词整段逐字一致的概率只剩 0.5%;单次七成答对的模型,抽九次投票变 90.1%(谷歌 Self-Consistency 论文实测 GSM8K +17.9 个百分点)。最关键的一条纠正:温度调到 0 官方也不保证复现——Anthropic 明写它「从未保证输出相同」,微软 Azure 的 seed=42 自家示例第三遍照样变了。还有一个 2026 年的现在时:Kimi 固定 1.0、传其他值报错,Gemini 新模型直接忽略,Claude 新代传非默认值返回 400,大厂正在把这些旋钮拆掉。

Tutorials

为什么 AI 数不清 strawberry 里有几个 r:它看到的不是十个字母,是三块

问 ChatGPT「strawberry 里有几个 r」,它常常答 2。原因不是笨,而是它根本没收到十个字母——我用官方分词库实测,strawberry 在三本不同词表里都是三块:st / raw / berry,三个 r 分散在其中两块里,而「逐块拆开再累加」这个动作从来没被训练过。这篇用「矗字里有几个直」讲清这件事,再给你四个自己跑得出来的数:同一句 17 个汉字,老词表切 34 块、新词表切 15 块;站内一篇 5,500 汉字的中文稿实测 7,112 块,约 0.77 汉字一块,换本词表变 9,491 块、多算 33%(和 Anthropic 官方那句「约 30 percent more tokens」对得上);9.11 之所以比 9.9 大,是因为它看到的是整块「11」。也有一条必须纠正的流行说法:分词不是唯一原因,arXiv 三篇论文给的图景更麻烦,而「换了 tokenizer 就修好了」厂商从未公开解释过。

Tutorials

冬天掉的电会还给你,夏天掉的不会:笔记本电池的两条账

冬天续航从六小时掉到三小时,进屋放一会儿又涨回来——这不是电池冻坏了,而是低温让你“暂时取不出”那部分电。Battery University 的 BU-502 给的数是:同一块电池在 27°C 能放出 100%,到 -18°C 只放得出约 50%。真正不会还给你的是另外三件事:高温、长期满电、低温充电。而“充到 80% 更耐用”也有代价——BU-808 的表写明 4.20V(充到 100%)大约 300–500 次循环,压到 4.00V 能到 1,200–2,000 次,但每次能用的电量也更少。这篇把八家厂商(微软、苹果 iPhone、苹果 Mac、华硕、戴尔、三星、谷歌、联想)的官方充电上限摆在一起,讲清“电池健康 87%”是怎么算的、为什么 0°C 以下不要充电,以及充电宝上的 3C 为什么是 2024 年才强制的。

Explore AI Ecosystem

Ready to take action? Explore AI tools & MCPs

Discover ChatGPT 6, Claude 3.7, Devin and 3000+ open-source MCP tools with 1-click config.

多模态 MCP 开发实战:视觉与多媒体工具集成 - AgentHub