【ACM 2020 - Text Recognition in the Wild：A Survey】OCR识别综述

最新推荐文章于 2024-09-18 19:19:31 发布
最新推荐文章于 2024-09-18 19:19:31 发布
阅读量1.3k 收藏 12
点赞数 1
分类专栏： OCR 文章标签： ocr 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenghaoy/article/details/117294392
版权

Introduction

1. 推动基于深度学习的STR发展三要素：
（1）先进的硬件系统：高性能计算支持训练大规模识别网络
（2）基于深度学习的STR算法能自动进行特征学习
（3）STR应用需求旺盛

BACKGROUND

STR基本问题：

（1）Text localization（文本定位）

  • Pan He, Weilin Huang, Tong He, Qile Zhu, Yu Qiao, and Xiaolin Li.Single shot text detector with regional attention. In Proceedings of ICCV. 3047–3055.
  • Fangneng Zhan and Shijian Lu. 2019. ESIR: End-to-end scene text recognition via iterative image rectification. In Proceedings of CVPR. 2059–2068.
  • Fang Yin, Rui Wu, Xiaoyang Yu, and Guanglu Sun. 2019. Video text localization based on Adaboost. Multimedia Tools and Applications 78, 5 (2019), 5345–5354.

（2）Text verification（文本验证）

  • Tao Wang, David J Wu, Adam Coates, and Andrew Y Ng. 2012. End-to-end text recognition with convolutional neural networks. In Proceedings of ICPR. 3304–3308.
  • Max Jaderberg, Andrea Vedaldi, and Andrew Zisserman. 2014. Deep features for text spotting. In Proceedings of ECCV. 512–528.

（3）Text detection（文本检测）
基于回归：

  • Yuliang Liu and Lianwen Jin. 2017. Deep matching prior network: Toward tighter multi-oriented text detection. In Proceedings of CVPR. 1962–1969.
  • Yuliang Liu, Lianwen Jin, Shuaitao Zhang, Canjie Luo, and Sheng Zhang. 2019. Curved scene text detection via transverse and longitudinal sequence connection. Pattern Recognition 90 (2019), 337–345.

基于分割：

  • Yongchao Xu, Yukang Wang, Wei Zhou, Yongpan Wang, Zhibo Yang, and Xiang Bai. 2019. TextField: learning a deep direction field for irregular scene text detection. IEEE Transactions on Image Processing 28, 11 (2019), 5566–5579.
  • Yuliang Liu, Lianwen Jin, and Chuanming Fang. 2020. Arbitrarily Shaped Scene Text Detection with a Mask Tightness Text Detector. IEEE Transactions on Image Processing 29 (2020), 2918–2930.

（4）Text segmentation（文本分割）
单行分割：

  • Fangneng Zhan and Shijian Lu. 2019. ESIR: End-to-end scene text recognition via iterative image rectification. In Proceedings of CVPR. 2059–2068.

单字符分割（早期文字识别方法）：

  • Palaiahnakote Shivakumara, Souvik Bhowmick, Bolan Su, Chew Lim Tan, and Umapada Pal. 2011. A new gradient based character segmentation method for video text recognition. In Proceedings of ICDAR. 126–130
  • Anand Mishra, Karteek Alahari, and CV Jawahar. 2012. Scene text recognition using higher order language priors. In Proceedings of BMVC. 1–11.

（5）Text recognition（文本识别）

  • Zhanzhan Cheng, Fan Bai, Yunlu Xu, Gang Zheng, Shiliang Pu, and Shuigeng Zhou. 2017. Focusing attention: Towards accurate text recognition in natural images. In Proceedings of ICCV. 5086–5094.
  • Canjie Luo, Lianwen Jin, and Zenghui Sun. 2019. MORAN: A Multi-Object Rectified Attention Network for Scene Text Recognition. Pattern Recognition 90 (2019), 109–118.
  • Baoguang Shi, Mingkun Yang, Xinggang Wang, Pengyuan Lyu, Cong Yao, and Xiang Bai. 2019. ASTER: An Attentional Scene Text Recognizer with Flexible Rectification. IEEE Trans. Pattern Anal. Mach. Intell 41, 9 (2019), 2035–2048.

（6）End-to-end system（端到端）

  • Hui Li, Peng Wang, and Chunhua Shen. 2017. Towards end-to-end text spotting with convolutional recurrent neural networks. In Proceedings of ICCV. 5238–5246.
  • Tong He, Zhi Tian, Weilin Huang, Chunhua Shen, Yu Qiao, and Changming Sun. 2018. An end-to-end textspotter with explicit alignment and attention. In Proceedings of CVPR. 5020–5029.
  • Yuliang Liu, Hao Chen, Chunhua Shen, Tong He, Lianwen Jin, and Liangwei Wang. 2020. ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network. In Proceedings of CVPR.

其它：Script identification、Text enhancement、Text tracking、NLP

METHODOLOGIES

STR常见方法有基于单字符分割的方法和文本行识别的方法

1. 基于单字符分割
三个步骤：图像处理，字符分割，单字符识别

  • Zhaoyi Wan, Mingling He, Haoran Chen, Xiang Bai, and Cong Yao. 2020.TextScanner: Reading Characters in Order for Robust Scene Text Recognition. In Proceedings of AAAI.
    通过与语义分割实现字符级识别，通过构建两个分支分别进行字符的分类和定位

存在的问题：
（1）字符定位被认为是STR中最具挑战性的任务之一，识别效果受字符定位效果影响
（2）单字符识别未考虑到上下文语义信息，最终单词级别效果可能较差

2. 文本行识别
四个步骤：图像处理，特征提取，序列模型，文本行预测，其中第一步和第三部非必需
在这里插入图片描述
（1）图像处理

背景移除
传统的二值化方法可以应用到文档图像中，对于自然场景中的复杂图像，可以借鉴GAN的方法移除背景

  • Canjie Luo, Qingxiang Lin, Yuliang Liu, Jin Lianwen, and Shen Chunhua. 2020. Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild. CoRR abs/2001.04189 (2020).（借助CANs的方法移除背景）

图像超分
对于模糊且分辨率低的图像，通过采用图像超分的方法解决

图像整流
通过人为设计整流网络应对不规则文本图像，规范化图像输入

  • Max Jaderberg, Karen Simonyan, Andrew Zisserman, et al. 2015. Spatial transformer networks. In Proceedings of NIPS. 2017–2025.(STN)
  • Baoguang Shi, Mingkun Yang, Xinggang Wang, Pengyuan Lyu, Cong Yao, and Xiang Bai. 2019. ASTER: An Attentional Scene Text Recognizer with Flexible Rectification. IEEE Trans. Pattern Anal. Mach. Intell 41, 9 (2019), 2035–2048.(TPS)
  • Canjie Luo, Lianwen Jin, and Zenghui Sun. 2019. MORAN: A Multi-Object Rectified Attention Network for Scene Text Recognition. Pattern Recognition 90 (2019), 109–118.(提出多目标整流网络，预测图像每个部分的偏移量来纠正不规则文本)

（2）特征提取
图像特征提取的效果直接影响到最终的识别性能，更深更先进的特征提取网络能取得更好的效果，但是需要更高的内存开销以及需要更大的算力支持，背景消除+简单的特征提取网络可能是未来发展的一个方向
基于CNN：

  • Xiao Yang, Dafang He, Zihan Zhou, Daniel Kifer, and C Lee Giles. 2017. Learning to read irregular text with attention mechanisms. In Proceedings of IJCAI. 3280–3286.（VGG）
  • Qingqing Wang, Wenjing Jia, Xiangjian He, Yue Lu, Michael Blumenstein, Ye Huang, and Shujing Lyu. 2019. ReELFA: A Scene Text Recognizer with Encoded Location and Focused Attention. In Proceedings of ICDAR: Workshops. 71–76.（VGG）
  • Baoguang Shi, Mingkun Yang, Xinggang Wang, Pengyuan Lyu, Cong Yao, and Xiang Bai. 2019. ASTER: An Attentional Scene Text Recognizer with Flexible Rectification. IEEE Trans. Pattern Anal. Mach. Intell 41, 9 (2019), 2035–2048.（ResNet）
  • Xiaoxue Chen, Tianwei Wang, Yuanzhi Zhu, Lianwen Jin, and Canjie Luo. 2020. Adaptive Embedding Gate for Attention-Based Scene Text Recognition. Neurocomputing 381 (2020), 261–271.（ResNet）
  • Yunze Gao, Yingying Chen, Jinqiao Wang, Ming Tang, and Hanqing Lu. 2018. Dense Chained Attention Netw
最低0.47元/天 解锁文章
计算机视觉论文总结系列（三）：OCR篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-14 1万+
本篇主要介绍OCR论文总结，主要从OCR论文、模型方法、论文链接进行全面总结介绍，重点论文已标注✨，部分内容取自本人专栏《深入浅出OCR》系列，上述内容后续会继续更新，欢迎大家订阅学习交流，感谢批评指正！
OCR文字识别方法综述
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-05 1万+
摘 要：文字识别可以把海量非结构化数据转换为结构化数据，从而支撑各种创新的人工智能应用，是计算机视觉研究领域的分支之一，其任务是识别出图像中的文字内容，一般输入来自于文本检测得到的文本框截取出的图像文字区域。近几年来，基于深度学习的文字识别算法模型已取得不错成果，其过程无需进行特征处理且可以实现复杂场景文字识别，效果要优于传统文字识别方法，逐渐成为文字识别研究应用的主流方式。本文将主要介绍基于深度学习的文字识别技术综述，分类总结主流文字识别经典算法，讨论未来文字识别领域发展与研究趋势。关键词：OCR...
数据融合matlab代码-OCR_Survey:OCR调研-会议＆数据集
05-22
数据融合matlab代码 OCR调研 OCR目前有三大任务，分别为文本识别，文本检测以及端到端End2End识别，三个任务的分布情况如下图。 近几年OCR任务的解决方案主要围绕深度学习展开，如下图论文数量变化。 文本检测 论文根据发布时间排列 IC为ICDAR会议 Score是文本定位任务的F1-Score (L) 代表分数 (L) 目的是区分报道的分数和实际分数的不同 *CODE 指提供源码， CODE(M) 指提供训练好的模型 Conf. Date Title IC13 IC15 Resources '14-ECCV 14/10/07 15-CVPR 15/06/01 '16-TIP 15/10/12 '15-ICCV 15/12/13 0.8025 '16-arXiv 16/03/31 0.86 '16-CVPR 16/04/14 0.83 0.54 '16-CVPR 16/04/22 0.847 (L) '16-arXiv 16/06/29 0.8433 0.6477 '16-ECCV 16/09/12 '17-AAAI 16/11/21 0.85 (L) '18-TM 17/
Text Recognition in the Wild: A Survey
Treasure Ashes
07-18 622
这是来自华南理工2020年的一篇survey，主要讨论的是场景文本识别（scene text recognition，STR）领域的现状与一些发展方向。
论文翻译-Text Recognition in the Wild: A Survey
快乐的小小程序猿
05-27 1109
论文翻译-Text Recognition in the Wild: A Survey 原文地址：https://arxiv.org/pdf/2005.03492v3.pdf 参考翻译：https://blog.csdn.net/qq_36268755/article/details/105998417 【推荐】相关阅读资料下载： 链接：https://pan.baidu.com/s/1Ezubqw6IAOFESSTQD26eBg 提取码：bptk 【注】：翻译仅供参考，准确含义和表达参考英文原文
【综述】【场景文字识别】Text Recognition in the Wild: A Survey
序章
05-13 6427
摘要 文本的历史可以追溯到数千年前。 在广泛的基于视觉的应用场景中，文本携带的丰富而精确的语义信息非常重要。 因此，自然场景中的文本识别已经成为计算机视觉和模式识别领域的活跃研究领域。 近年来，随着深度学习的兴起和发展，许多方法在创新，实用性和效率方面都显示出了希望。 本文旨在（1）总结与场景文本识别相关的基本问题和最新技术； （2）介绍新的见解和想法； （3）对公开资源进行全面审查； （4）指...
【读点论文】Text Recognition in the Wild: A Survey 非常纯粹的OCR研究，专业细致，脉络清晰
最新发布
白水空空
09-18 2198
文本是用于记录、交流或传承文化的符号系统。作为人类最具影响力的发明之一，文本在人类生活中发挥着重要作用。具体而言，文本所携带的丰富而精确的语义信息在各种基于视觉的应用场景中都非常重要，例如图像搜索 、智能检测 、工业自动化 、机器人导航 和即时翻译 。因此，自然场景中的文本识别引起了研究人员和从业人员的关注，最近的“ICDAR 稳健阅读竞赛”的出现就表明了这一点 。识别自然场景中的文本，也称为场景文本识别 (STR)，通常被视为光学字符识别 (OCR) 的一种特殊形式，即基于相机的 OCR。尽管扫描文档中
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 3966
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
论文阅读：Reading Text in the Wild with Convolutional Neural Networks
Simon's Blog
08-27 7456
来自 VGG 实验室，发表在 IJCV 上。实验步骤分为两部分，基于 region proposal mechanism 的检测文字部分，以及基于 CNN 的文字识别部分。在第一部分的 region proposal 部分，首先保证较高的 recall，尽量把所有可能的文字区域先检测出来；然后经过一个 filtering 阶段，保证文字检测的精度。 在第二部分的 word recognition 部分，不同于传统的
【论文笔记】Text-Recognition_简略版_201606
shaoxiaohu的专栏
06-28 4836
【1】Shi B, Wang X, Lv P, et al. Robust Scene Text Recognition with Automatic Rectification[J]. arXiv preprint arXiv:1603.03915, 2016. 上图即为本篇论文的系统框架：包括 Spatial Transformer Network (STN ) 以及 Sequence Reco
Gated Convolutional Neural Network
01-21
Gated Convolutional Neural Network for Semantic Segmentation in High-Resolution Images
Scene Text Detection and Recognition: The Deep Learning Era【场景文本检测与识别：深度学习时代】
qq_46056318的博客
07-12 791
Scene Text Detection and Recognition: The Deep Learning Era【场景文本检测与识别：深度学习时代】讲解ppt
【论文翻译】Scene Text Detection and Recognition: The Deep Learning Era（上）
Peacemaker的博客
03-20 4238
摘要-随着深度学习的兴起和发展，计算机视觉得到了极大的改变和重塑。作为计算机视觉领域的一个重要研究领域，场景文本的检测和识别已经不可避免地受到这股革命浪潮的影响，从而进入了深度学习的时代。近年来，这方面的社区在思维、方法和效果上取得了重大进展。本次调研旨在总结和分析深度学习时代场景文本检测与识别的重大变化和重大进展。通过本文，我们致力于：（1）介绍新的见解和想法;（2）突出最近的技术和基准;...
论文：Text-Attentional Convolutional Neural Network for Scene Text Detection 阅读笔记
Stay hungry, Stay foolish
06-14 841
一、论文 (16)Text-Attentional Convolutional Neural Network for Scene Text Detection https://arxiv.org/abs/1604.02878 二、论文笔记 1、简介 这是一篇关于图片是否包含文字区域的二分类的论文 1、背景 （1）、文字区域只占整个图片一个很小的区域，但是图片的背景相对复杂，这样就增加...
自然场景文本检测识别技术综述
热门推荐
SIGAI_CSDN的博客
06-30 3万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 番外青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么？ 白蛇: 白纸黑字的扫描文档识别技术已经很成熟，而自然场景图像文本识别的效果还不理想。倾斜字、艺术字、变形字、模糊字、形似字、残缺字、光影遮蔽、多语...
【STR文字识别项目】之 最新SOTA项目PARSeq（一）训练自己的数据集，并转成onnx用C++调用
ailaier的专栏
04-18 3817
最新STR文字识别SOTA项目PARSeq，训练自己的数据集，并转成onnx用C++调用，用CPU进行识别达到接近实时的效果
《TextScanner: Reading Characters in Order for Robust Scene Text Recognition》阅读笔记
prague6695的博客
07-27 625
日常阅读论文 名词解释： 注意力漂移attention drift：由于低质量（如模糊，污损和噪音等）图片和一些复杂图片（如扭曲或者重叠字符，不同字符，不用尺寸，不同颜色或者复杂的背景）的影响，模型在glimpse vector的整合上没有对齐约束，产生不正确的alignment factor，导致注意力区域和标签区域错误匹配，就是所谓的attention drift。 ———————————————— 文章目录make decisionstep1:读摘要step2:读Introductionstep3:读
腾讯AI Lab解析2017 NIPS三大研究方向，启动教授及学生合作项目
人工智能学家
12-15 1865
来源： 腾讯AI实验室概要：腾讯AI Lab去年4月成立，今年第二次参加NIPS，共有8篇文章被录取，含一篇口头报告（Oral）。在所有国内研究机构和高校中，录取论文数仅次于清华大学。NIPS被誉为机器学习和人工智能研究领域最具影响力，也是参会人数最多的的学术会议。腾讯AI Lab去年4月成立，今年第二次参加NIPS，共有8篇文章被录取，含一篇口头报告（Oral）。在所有国内研究机构和高校中，录取
OCR技术文档
BeyondCN2008的专栏
12-27 2797
HOME CATEGORIES ARCHIVES LINKS SEARCH ABOUT ME OCR  Published: 09 Oct 2015  Category: deep_learning Jump to... Papers Text Detection Text Recognition Text Detection + Recognition Breaking ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值