大模型的多模态能力已经从“能看图”进入“看得懂”的阶段,但宣传和实际体验之间往往存在差距。为了搞清楚 Gemini 在图片识别上的真实水平,我设计了一组覆盖不同难度和场景的测试,从文字提取、物体识别到复杂推理逐层加码,记录它的表现、失误和边界。
测试设计与评判标准
测试共准备 12 张图片,分为四类:含中英文混排文字的截图、日常场景照片、图表与数据可视化、以及带有隐含信息的合成图。评判维度有三个:准确性(识别内容是否正确)、完整性(是否遗漏关键信息)、推理合理性(基于图片内容做出的判断是否有依据)。每张图片提问一次,不追加提示,尽量模拟普通用户的真实使用方式。
文字提取:表现稳定,细节有波动

在文档截图和海报类图片上,Gemini 的文字识别能力整体可靠。一张包含标题、正文和页脚小字的宣传图,它准确读出了主标题和正文段落,连字号较小的日期和地址也没有漏掉。中英文混排时,英文单词和数字的识别几乎没有错误。
问题出现在两类场景。第一是艺术字体和低对比度文字:一张深色背景配浅灰细体的图片,它把“2024”读成了“202A”,把“限额”识别成“限颗”。第二是表格类截图:当表格存在合并单元格时,它输出的行列对应关系出现错位,虽然每个单元格的文字都对,但归属关系错了,这种错误对数据整理来说比较致命。
实用建议
- 提取文字时尽量提供清晰、正对、光照均匀的图片,倾斜和反光会明显拉低准确率。
- 表格类内容不要直接信任模型的输出,建议要求它逐行复述并人工核对合并单元格部分。
- 对关键数字(金额、日期、编号)保持二次确认的习惯。
物体与场景识别:常见类别准确,细粒度偏弱
日常场景照片是 Gemini 的舒适区。一张厨房台面照片,它正确识别出砧板、刀具、调料瓶和水果,并能描述大致布局。街景照片中,车辆、行人、交通标志的识别也基本到位。
但一旦进入细粒度分类,准确率就明显下降。测试中用了一张包含三种相似绿植的图片,它能说出“绿植”“盆栽”,却无法区分具体品种;一张包含多款运动鞋的照片,它对鞋型的描述停留在“跑步鞋”“休闲鞋”的层面,细节特征如鞋底纹路、鞋面材质的判断存在猜测成分。这说明它的识别更接近“语义层面的粗分类”,而不是“专家级的精细辨别”。
图表解读:能读趋势,算术易出错
柱状图和折线图的测试结果比较有意思。Gemini 能正确说出图表的主题、横纵轴含义和整体趋势,比如“第三季度明显上升、第四季度回落”。但当要求它读取具体数值并做计算时,错误率上升。一张柱状图上,它把某根柱子的高度估读为“约 65”,实际刻度是 72;要求计算两组数据差值时,它基于错误的估读值得出了错误结论。
结论是:让 Gemini 做图表的定性描述是可靠的,做定量计算则要谨慎。如果图片本身带有数据标签,准确率会好很多;纯靠视觉估读刻度,误差不可避免。
隐含信息推理:有亮点,也有过度解读

这是最能体现多模态模型价值的部分。一张办公室照片中,桌上放着两杯咖啡、一件外套和一台开着的笔记本,Gemini 推断“可能有两人短暂交谈后其中一人离开”,这个推理合理且有依据。另一张冰箱内部照片,它根据食材种类给出了“近期可能在家做饭较多”的判断,属于可接受的合理推测。
但过度解读的情况同样存在。一张普通卧室照片,它从床头柜上的物品推测出“主人可能睡眠质量不佳”,这就超出了图片信息能支撑的范围,属于用常识补全而非用证据推理。使用这类能力时,需要区分“有依据的推断”和“听起来合理的想象”。
综合结论与使用策略
经过这组测试,Gemini 的图片识别能力可以概括为:文字提取强、常见物体识别稳、图表定性解读可用、细粒度辨别和定量计算偏弱、推理能力有亮点但需甄别。它不是“万能识图工具”,但在明确边界的前提下,能显著提升处理图片信息的效率。
- 把 Gemini 当作第一遍粗筛工具:快速提取文字、描述场景、总结图表趋势,然后再人工复核关键细节。
- 提问时给出明确指令,比如“逐行输出表格内容”“只描述你确定看到的信息”,能减少臆测。
- 涉及数字、金额、专业分类的场景,始终保留人工校验环节。
- 对推理类回答追问一句“依据是图片中的哪个部分”,可以快速判断结论是否可靠。
多模态模型的进步速度很快,今天的短板可能几个月后就被补上。但在当下,理解它的能力边界,比盲目信任或全盘否定都更有价值。

















暂无评论内容