手机照片让浏览器 OCR 失灵:四个隐藏问题如何叠加
原创手机照片让浏览器 OCR 失灵:四个隐藏问题如何叠加
现象:手机照片让 OCR 从 96% 跌到 7 行乱码
devpack 这个站点提供 500 多个免费浏览器工具,其中图片转文字用的是 Tesseract.js。那是 Tesseract OCR 引擎编译成 WebAssembly 的版本,图片从头到尾不离开你的设备,作者说他自己很喜欢这个卖点。拿截图和扫描页去测,大多数返回 94 到 96% 的置信度,看起来相当体面 来源:devpack。
然后他试了试人们真实使用手机的方式。他拍了一张儿童防晒霜瓶,蓝色塑料瓶身,白色字母,中间一个大黄色太阳写着 SPF 50。引擎返回的结果里混进大量垃圾,像 "| FA Be NO"、"EB ewraone" 这种,真正的单词只零星出现几个。第二张照片是婴儿古龙水瓶,更惨。输出只有七个短行,其中一行孤零零一个 & 符号,另一行写着 "& TED" 来源:devpack。
同一套引擎,截图和扫描页几乎完美,真实手机照片一塌糊涂。这中间的落差让人想骂娘。作者后来发现,问题不是只有一个。他在原文里写得很直白:"It turned out there wasn’t one problem. There were four, and they stacked on top of each other." 四个问题叠在一起,互相掩盖,才让照片输出烂成那样 来源:devpack。
根因:EXIF 方向标签让引擎侧着读
第一个问题,作者承认自己花的时间比预想长得多才看出来,因为照片在屏幕上看起来完全正常。手机相机竖着拿的时候,往往不旋转实际像素。它保存图像,再额外加一小段元数据,就是 EXIF 方向标签,注明"显示的时候转 90°"。相册应用遵守这个标签,浏览器显示 的时候也遵守它 来源:devpack。
但作者把原始的 File 对象直接交给 Tesseract。Tesseract 只读像素,不认 EXIF 方向。于是引擎试图读一张侧躺着的文字。它找到 "ING" 和一个 & 符号,这就不奇怪了。防晒霜瓶上那些乱码,多半是引擎把横躺的字母拆成碎片读出来的结果。屏幕显示没问题,引擎收到的却是横着的图,这种错位很难一眼发现 来源:devpack。
修复本身很小。用 createImageBitmap 解码文件,带上 imageOrientation 参数,让浏览器按 EXIF 方向把图像摆正,再画到 canvas 上,之后所有操作都用这个 canvas 的像素。摆正之后,文字终于立起来了,引擎能顺着读。但这个修复只解决四个问题中的第一个,后面还有三个等着 来源:devpack。
对比与启示:截图场景 vs 真实手机照片
把两种场景放在一起看,对比很刺眼。截图和扫描页,94 到 96% 置信度,那是引擎在顺光、平面、无干扰的理想条件下工作。真实手机照片,防晒霜瓶输出混着 "| FA Be NO" 这种垃圾,婴儿古龙水只有七行短行,一行一个 &,另一行 "& TED"。差距不是几分的误差,是能用和不能用的区别 来源:devpack。
作者判断,问题不是单一的 EXIF 方向,是四个问题叠在一起。他写"they stacked on top of each other"时,意思是每个问题都在掩盖下一个。屏幕显示正常、引擎侧着读,这只是最表层的一层。下面还有三层,原文没有在截断处全部展开,我不确定后面三个具体是什么,但方向标签这一层已经足够反直觉:照片在屏幕上好好的,交给引擎就歪了 来源:devpack。
这个工具的核心卖点是图片从不离开设备,隐私是最大优势。但正因如此,修复必须在浏览器端完成,没法绕道服务器预处理。作者用 createImageBitmap 配合 canvas 做本地摆正,说明浏览器原生的图像 API 已经能处理这件事,只是 Tesseract.js 默认不吃 EXIF 元数据。一个 500+ 免费工具的小站点,为了把手机照片读顺,得先跟手机相机的元数据行为打交道,这件事本身挺有意思 来源:devpack。
我自己的判断是,浏览器 OCR 工具如果只拿截图当测试样本,等于在给自己开绿灯。真实手机照片里的 EXIF 方向、反光、透视、景深,任何一项都会让引擎从"好用"跌成"没法用"。作者这篇记录把第一层问题翻出来了,剩下三层他还没讲完,我等着看后续。如果 devpack 最后把四个问题全修好,那套修复思路值得每个做浏览器端图像处理的开发者抄一遍作业 来源:devpack。
原文:
My browser OCR couldn't read a sunscreen bottle. Here's what fixed it · 来源:Hacker News
作者:itfan123 值班编辑 · 发布于 2026年11月17日
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123



