CN1285051C - 图像处理装置及其方法 - Google Patents
图像处理装置及其方法 Download PDFInfo
- Publication number
- CN1285051C CN1285051C CNB200410038598XA CN200410038598A CN1285051C CN 1285051 C CN1285051 C CN 1285051C CN B200410038598X A CNB200410038598X A CN B200410038598XA CN 200410038598 A CN200410038598 A CN 200410038598A CN 1285051 C CN1285051 C CN 1285051C
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- reference source
- extract
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供了图像处理装置及其方法。输入从打印物得到的比较源图像。提取该比较源图像的灰度特征量,用提取的灰度特征量,从存储在存储媒体中的多个电子数据,检索与比较源图像对应的比较目的图像作为比较目的图像。而且,从存储部件提取该检索得到的图像,对该提取的图像进行处理。
Description
技术领域
本发明涉及在复印机等的图像输入装置中,从读取的纸文档(文档)检索对应的原始电子数据,可以在打印、分发、存储、编辑等方面活用原始电子数据的图像处理技术。
背景技术
近年来,由于文字处理机软件的发展和数码相机的普及,能够容易地在文档中加入图像,一般形成包含彩色图像的文档。另一方面,也正在进行复印机的数字化和网络化。
其中,例如,可以用文档管理服务器管理使在会议中分发的文字材料电子化的电子数据。又,需要时,可以检索用文档管理服务器管理的电子数据,对该检索到的电子数据进行各种处理。
在该各种处理中,具有例如,打印检索到的电子数据,分发给网络内的所要的个人计算机(PC)等的终端,保存到网络内的所要的存储媒体中,或进行编辑的处理。
又,作为检索电子数据的检索方法,例如具有将电子数据中包含的文本数据作为检索条件,从文档管理服务器检索所要的电子数据的方法。
进一步,例如,在日本2001年公布的2001-257862号专利公报中,当使文字材料成为电子数据时,在该电子数据上附加识别码,生成包含该识别码的打印物。因此,在通过别的途径又检索又打印与打印物对应的电子数据的情形中,通过读入该打印物,识别打印在该打印物上的识别码,可以检索和打印所要的电子数据。
但是,在从彩色图像的原始文档数据作成分发用的文字材料的情形中,它的用途是用于参照/用于确认,并且在需要作成多个的关系上,通常,这种用途的文字材料,成为用复印机复印它的原始文字材料的灰度图像的文字材料和用单色打印机打印原始文档数据的单色图像的文字材料的情形是很多的。
而且,在从由这种灰度图像和单色图像构成的文字材料电子化得到的电子数据检索原始文档数据的情形中,当原始文档数据只由文本数据构成时,作为检索该文本数据的条件,是可以正确地检索该原始文档数据。
但是,在原始文档数据中包含彩色图像的情形中,当作为检索条件只检索文本数据,即便具有相同的文本数据,图像也不同时,不能够正确地检索原始文档数据,不能够得到足够的精度。
又,在日本2001年公布的2001-257862号专利公报中,因为需要在原始文档数据上1次附加识别码进行打印,所以不得不在原始文档数据中加入变更。因此,将用户不想要的变更加入到原始文档数据中。
又,例如,在将用文字处理机软件等作成的电子数据作为原始文档数据进行管理的情形中,因为在一旦打印它,读入该打印物进行电子化的基础上,再次附加识别码进行打印,进一步,需要读入附加了该识别码的打印物进行电子化,所以手续变得很复杂。
发明内容
本发明就是为了解决上述课题提出的,本发明的目的是提供可以从灰度打印的纸文档,检索并活用原始的彩色电子数据,这时,不变更原始文档,又,能够容易地活用不仅纸原稿的扫描图像,而且用成为纸原稿基础的文字处理机软件等作成的电子文档本身的图像处理技术。
为了达到上述目的,根据本发明的图像处理装置备有下列构成。即
将多个电子数据作为比较目的图像存储起来的存储部件、
输入从打印物得到的比较源图像的输入部件、
提取上述比较源图像的灰度特征量的灰度特征量提取部件、
用由上述灰度特征量提取部件提取的灰度特征量,从上述存储部件检索与上述比较源图像对应的比较目的图像的检索部件、和
从上述存储部件提取用上述检索部件检索得到的图像,对该提取的图像进行处理的处理部件。
又,最好,上述灰度特征量包含上述比较源图像的亮度特征。
又,最好,上述检索部件比较上述比较源图像的灰度特征量和上述比较目的图像的灰度特征量,将类似的比较目的图像作为检索结果进行输出。
又,最好,进一步,具有提取关于上述比较源图像的颜色的色特征量的色特征量提取部件,
上述检索部件根据上述比较源图像的灰度特征量和上述比较源图像的色特征量,从上述存储部件检索与上述比较源图像对应的比较目的图像。
又,最好,上述色特征量包含上述比较源图像中的最常出现的颜色和平均色中的至少一方。
又,最好,进一步备有判定是否根据色信息检索上述比较源图像的判定部件,
当由上述判定部件判定为根据色信息进行检索时,由上述色特征量提取部件提取上述比较源图像的色特征量,上述检索部件根据上述提取的比较源图像的色特征量从上述存储部件检索与上述比较源图像对应的比较目的图像,
当由上述判定部件判定为不根据色信息进行检索时,由上述灰度特征量提取部件提取上述比较源图像的灰度特征量,上述检索部件根据上述提取的比较源图像的灰度特征量从上述存储部件检索与上述比较源图像对应的比较目的图像。
又,最好,进一步备有显示由上述检索部件得到的检索结果的显示部件、和
作为由上述检索部件得到的检索结果,当在上述显示部件上显示多个比较目的图像时,从该多个比较目的图像选择所要图像的选择部件。
上述处理部件从上述存储部件提取由上述选择部件选择的图像,对该提取的图像实施处理。
又,最好,进一步备有指示对由上述检索部件检索到的图像进行处理的种类的指示部件,
上述处理部件,根据由上述指示部件指示的处理种类,提取上述检索到的图像,实施该指示的处理。
又,最好,上述指示部件可以指示打印、分发、存储、编辑中的至少任何一种处理。
又,最好,进一步备有根据属性将上述比较源图像分割成多个区域的分割部件,
上述灰度特征量提取部件从由上述分割部件分割的多个区域中的具有预定属性的区域,提取上述灰度特征量。
又,最好,进一步备有根据属性将上述比较源图像分割成多个区域的分割部件,
上述灰度特征量提取部件从由上述分割部件分割的多个区域中的具有第1属性的区域,提取上述灰度特征量,
上述色特征量提取部件从由上述分割部件分割的多个区域中的具有第2属性的区域,提取上述色特征量,
又,最好,进一步备有提取关于上述比较源图像中的文字图像的文字特征量的文字特征量提取部件、和
根据属性将上述比较源图像分割成多个区域的分割部件,
上述灰度特征量提取部件从由上述分割部件分割的多个区域中的具有第1属性的区域,提取上述灰度特征量,
上述文字特征量提取部件从由上述分割部件分割的多个区域中的具有文字属性的区域,提取上述文字特征量,
上述检索部件,用由上述灰度特征量提取部件提取的灰度特征量和由上述文字特征量提取部件提取的文字特征量,从上述存储部件检索与上述比较源图像对应的比较目的图像。
又,最好,进一步备有提取关于图像的颜色的色特征量的色特征量提取部件、
提取关于文字图像的文字特征量的文字特征量提取部件、
根据属性将上述比较源图像分割成多个区域的分割部件、和
判定是否根据色信息,检索由上述分割部件分割的区域中的具有预定属性的区域的判定部件,
上述灰度特征量提取部件从由上述判定部件判定为不根据色信息进行检索的区域,提取上述灰度特征量,
上述色特征量提取部件从由上述判定部件判定为根据色信息进行检索的区域,提取上述色特征量,
上述文字特征量提取部件从由上述分割部件分割的多个区域中的具有文字属性的区域,提取上述文字特征量,
上述检索部件,根据上述提取的灰度特征量、色特征量和文字特征量,从上述存储部件检索与上述比较源图像对应的比较目的图像。
又,最好,具有上述预定属性的区域是图像块,具有上述文字属性的区域是文本块。
又,最好,进一步具有从登记用图像提取特征量,作为上述比较目的图像登记在上述存储部件中的登记部件。
又,最好,由上述登记部件提取的特征量包含灰度特征量。
又,最好,进一步具有根据属性将上述登记用图像分割成多个区域的分割部件,
上述登记部件提取与由上述分割部件分割的区域的属性相应的特征量进行登记。
为了达到上述目的,根据本发明的图像处理方法备有下列构成。即备有
输入从打印物得到的比较源图像的输入步骤、
提取上述比较源图像的灰度特征量的灰度特征量提取步骤、
用由上述灰度特征量提取步骤提取的灰度特征量,从作为比较目的图像存储在存储媒体中的多个电子数据,检索与上述比较源图像对应的比较目的图像的检索步骤、和
从上述存储媒体提取由上述检索步骤检索得到的图像,对该提取的图像进行处理步骤。
本发明的其它特点和优点将从结合附图的下列描述变得很清楚,其中在全部附图中相同的参照标号表示相同或相似的部件。
附图说明
与本说明书结合并构成本说明书一部分的附图与描述一起阐明本发明的实施方式,用于解释本发明的原理。
图1是表示本发明的实施方式的图像处理系统的构成的方框图。
图2是表示本发明的实施方式的MFP的详细构成的方框图。
图3是表示在本发明的实施方式的图像处理系统中实施的全部处理的概要的操作程序图。
图4是表示本发明的实施方式的地址信息的一个例子的图。
图5是表示本发明的实施方式的块信息的一个例子的图。
图6是表示本发明的实施方式的特征量信息的一个例子的图。
图7是表示本发明的实施方式的特征量信息的一个例子的图。
图8是表示本发明的实施方式的特征量信息的一个例子的图。
图9A、9B是用于说明本发明的实施方式的块选择处理的概念的图。
图10是表示本发明的实施方式的亮度特征信息提取处理的详细情况的操作程序图。
图11是表示本发明的实施方式的图像网格块分割的一个例子的图。
图12是表示本发明的实施方式的顺序决定表的一个例子的图。
图13是表示本发明的实施方式的亮度等级表的一个例子的图。
图14是表示本发明的实施方式的色特征信息提取处理的详细情况的操作程序图。
图15是表示本发明的实施方式的色空间上的色储藏室的构成的一个例子的图。
图16是表示本发明的实施方式的判定处理的详细情况的操作程序图。
图17是表示本发明的实施方式的比较处理的详细情况的操作程序图。
图18是表示本发明的实施方式的比较处理的详细情况的操作程序图。图19是表示本发明的实施方式的色特征信息比较处理的详细情况的操作程序图。
图20是表示在本发明的实施方式的色储藏室处罚矩阵的构成的一个例子的图。
图21是表示本发明的实施方式的亮度特征信息比较处理的详细情况的操作程序图。
图22是表示本发明的实施方式的亮度等级ID处罚矩阵的构成的一个例子的图。
图23是表示本发明的实施方式的用户界面的一个例子的图。
具体实施方式
图1是表示本发明的实施方式的图像处理系统的构成的方框图。
该图像处理系统是在通过因特网等的网络104连接办公室(office)10和办公室20的环境中实现的。
作为实现多种功能的复合机的MFP(Multi Function Peripheral(多功能外围设备))100、控制MFP100的管理PC101、客户PC102、文档管理服务器106及其数据库105、和代理服务器103与构筑在办公室10内的LAN107连接。
办公室10内的LAN107和办公室20内的LAN108通过双方办公室的代理服务器103与网络104连接。
MFP100,特别是具有电子地读取纸文档的图像读取单元、和对从图像读取单元得到的图像信号实施图像处理的图像处理单元,能够通过LAN109将该图像信号发送给管理PC101。
管理PC101是通常的PC,在内部具有图像存储单元、图像处理单元、显示单元、输入单元等的各种构成要素,但是该构成要素的一部分具有在MFP100中形成一体化的构成。
又,网络104典型地是通过因特网、LAN、WAN和电话线路、专用数字线路、ATN和帧中继线路、通信卫星线路、有线电视线路、数据广播用无线线路等中任何一个或由它们的组合实现的所谓的通信网络,最好可以发送接收数据。
又,管理PC101、客户PC102、文档管理服务器106等的各种终端分别具有搭载在通用计算机上的标准的构成要素(例如,CPU、RAM、ROM、硬盘、外部存储装置、网络接口、显示器、键盘、鼠标等)。
其次,我们用图2说明MFP100的详细构成。
图2是表示本发明的实施方式的MFP的详细构成的方框图。
在图2中,包含自动文档供应器(ADF)的图像读取单元110,用光源(图中未画出)照射束状的或1张原稿图像,通过透镜使原稿反射像成像在固体摄象元件上,从固体摄象元件得到光栅状的图像读取信号作为预定密度(600DPI等)的光栅图像。
又,MFP100具有用打印单元112将与图像读取信号对应的图像打印在记录媒体上的复印功能,当复印1个原稿图像时,用数据处理单元115对该图像读取信号进行图像处理,生成记录信号,由打印单元112将它打印在记录媒体上。另一方面,当复印多个原稿图像时,一旦将与1个相当的记录信号存储保持在存储单元111中后,将它顺次地输出到打印单元112,打印在记录媒体上。
另一方面,数据处理单元115通过LAN107和网络IF114接收从客户PC102输出的记录信号,数据处理单元115,将该记录信号变换成可以记录在打印单元112中的光栅数据后,由打印单元112将它打印在记录媒体上。
从由装备在MFP100中的键操作单元和与管理PC101连接的键盘与鼠标构成的输入单元113向MFP100发出操作者的指示,由数据处理单元115内的控制单元(图中未画出)对这一连串的工作进行控制。又,在显示单元116上进行操作输入的状态显示和处理中的图像数据的显示。
存储单元111也受到来自管理PC101的控制,MFP100和管理PC101的数据的发送接收和控制是通过网络IF117和LAN109进行的。
[处理概要]
其次,我们用图3A和3B的操作程序图说明根据本发明的图像处理系统中实施的全部处理的概要。作为在图像处理系统中实施的处理,大致分成登记原始文档的电子数据的登记处理和检索所要的原始文档的电子数据的检索处理这样两类。
(a)登记处理的概要
我们用图3A说明登记原始文档的登记处理的概要。
首先,在步骤S3010,输入登记对象的原始文档。又,伴随着该输入,生成用于管理原始文档的各种信息,存储在存储单元111中。
又,关于当登记原始文档时的原始文档输入方法,存在着两种方法。
当原始文档为电子数据时,存储在客户PC102内的硬盘,或者办公室10和20内的文档管理服务器106内的数据库105,或者MFP100的存储单元111的任何一个内,从这些存储源读出登记对象的原始文档的电子数据,通过网络IF114输入到数据处理单元115,在数据处理单元115中将该电子数据变换成光栅图像。
另一方面,当原始文档为纸文档时,用MFP100的图像读取单元110对该纸文档进行光栅状扫描得到光栅图像。
这样,在本实施方式中,关于登记对象的原始文档,可以作为电子数据或纸文档中的任何一种进行处理。此后,用数据处理单元115对光栅图像实施上述处理并保存在存储单元111中(又,此后,当纸文档时光栅图像成为原始文档的电子数据)。这时,对每个登记对象的原始文档发行固有的文档ID,与原始文档的电子数据的地址对应,作为地址信息保存在存储单元111中。
这里,所谓的地址是表示由URL、服务器名和目录、文档名构成的电子数据存储目的地的全部传送信息。又,当表示地址信息的一个例子时,如图4所示。又,电子数据存储目的地可以举出数据库105和存储单元111等。
其次,在步骤S3020,在数据处理单元115中,进行块选择处理(BS)。通过管理PC101的控制实施该处理。
具体地说,管理PC101的CPU首先将存储在存储单元111中的处理对象的原始文档的光栅图像,区域分割成文字/画线部分和半色调图像部分,进一步将文字/画线部分分割成在段落中作为块汇集的每个块或者每个由线构成的表、图形。
另一方面,将半色调图像部分分割成分离成矩形的块的图像部分、背景部分等的块。
而且,发行特定各块的块ID,与各块的属性(图像、文字等),大小和原始文档内的位置(坐标)和各块关联起来作为块信息存储在存储单元111中。当表示该块信息的一个例子时,如图5所示。
其次,在步骤S3030,在数据处理单元115中,与各块的属性相应,进行提取各块的特征信息的特征信息提取处理。
特别是,关于文字块,实施OCR处理,提取文字码,将它作为文字特征量。又,关于图像块,提取关于亮度和颜色的图像特征量。这时,将与各个块对应的特征量汇集成原始文档单位,与文档ID、块ID关联,作为特征量信息存储在存储单元111中。当表示该特征量信息的一个例子时,如图6~图8所示。
(b)检索处理的概要
我们用图3B说明检索原始文档的电子数据的检索处理的概要。
首先,在步骤S3110,输入成为检索条件的纸文档。因为该处理与步骤S3010的处理相同所以省略对它的说明。但是,只是暂时地保存由该处理生成的光栅图像,不需要将对于该纸文档的地址信息保存在存储单元111中。
又,在本实施方式中,我们说明输入纸文档,用它的电子数据检索原始文档的电子数据的例子,但是也可以通过输入纸以外的打印物,例如,打印在OHP片、布等的其它打印媒体上的打印物,检索原始文档的电子数据。
其次,在步骤S3120,进行块选择处理(BS)。因为该处理与步骤S3020的处理相同所以省略对它的说明。但是,只是暂时地保存由该处理生成的各块的属性、大小、位置,不需要将对于该纸文档的块信息保存在存储单元111中。
其次,在步骤S3130,进行提取各块的特征信息的特征信息提取处理。因为该处理与步骤S3030的处理相同所以省略对它的说明。但是,只是暂时地保存由该处理生成的各块特征量,不需要将对于该纸文档的特征量信息保存在存储单元111中。
其次,在步骤S3140,比较对于输入的纸文档(比较源图像)的特征量信息和存储在客户PC102内的硬盘,或者办公室10和20内的文档管理服务器106内的数据库105,或者MFP100的存储单元111的任何一个内的电子数据(比较目的图像)的特征量信息,算出它们的类似度,根据该类似度,决定作为检索结果的原始文档候补。
其次,在步骤S3150,判定是否是用户确认模式。
又,所谓的用户确认模式是用户确认是否从由比较处理得到的原始文档候补中,检索所要的原始文档的模式。具体地说,是用显示单元116·输入单元113实现包含原始文档候补组的用户界面,通过该用户界面用户能够确认原始文档候补组的内容的模式。
当不是用户确认模式时(步骤S3150中“否”),行进到步骤S3170。另一方面,当是用户确认模式时(步骤S3150中“是”),行进到步骤S3160,显示/选择原始文档候补。特别是,该选择是通过在显示单元116上显示原始文档候补的缩略图图像,用户能够从多个原始文档候补中选择所要的原始文档候补的缩略图图像来实现的。
其次,在步骤S3170,从数据库105提取选择的原始文档,对于该提取的原始文档,根据通过用显示单元116·输入单元114实现的用户界面,来自用户的操作,实施该原始文档的打印、分发、存储、编辑中的任何一个处理。
又,我们在后面述说该用户界面构成的详细情况。
[各处理的详细情况]
下面,我们说明各处理的详细情况。
首先,我们说明步骤S3020和步骤S3120的块选择处理的详细情况。
所谓的块选择处理是,例如,如图9B所示识别图9A的光栅图像作为每个具有意义的块,判定该块的各个属性(文字(TEXT)/图像(PICTURE)/照片(PHOTO)/线(LINE)/表(TABLE)等),分割成具有不同属性的块的处理。
下面,我们说明块选择处理的实施方式。
首先,使输入图像黑白二值化,进行轮廓线追踪,提取由黑像素轮廓包围的像素的块。关于面积大的黑像素的块,对于在内部的白像素也进行轮廓线追踪,提取白像素的块,进一步从大于等于一定面积的白像素的块的内部再回归地提取黑像素的块。
以大小和形状分类这样得到的黑像素的块,分类成持有不同属性的块。例如,纵横比接近1,大小在一定范围内的块作为文字相当的像素块,进一步将接近的文字可以整列良好地分组化的部分作为文字块,将扁平的像素块作为线块,将大于等于一定大小并且整列良好地内包矩形的白像素块的黑像素块的占据范围作为表块,将不定形的像素块散在的区域作为照片块,将除此以外的任意形状的像素块作为图像块。
其次,我们说明步骤S3030和步骤S3130的特征信息提取处理的详细情况。
又,因为特征信息提取处理与图像块和文字块中的处理方法不同,所以我们分别对它们进行说明。
这里,图像块,在图9B的例子中,作为照片块和图画块,但是与用途和目的相应,也可以使图像块成为照片块和图画块中的至少一方。
首先,我们说明对于图像块的特征信息提取处理。
又,当在1个文档中存在多个图像块时,与其总数相当,重复进行下列处理。
在本实施中,作为特征信息提取处理的一个例子,进行提取关于图像亮度的亮度特征量的亮度特征信息提取处理和提取关于图像颜色的色特征量的色特征信息提取处理。
首先,我们用图10说明亮度特征信息提取处理的详细情况。
图10是表示本发明的实施方式的亮度特征信息提取处理的详细情况的操作程序图。
又,在该处理中,将与使处理对象图像(用块选择处理提取的图像块)分割成多个网格块的各网格块的亮度直方图中的最常出现的亮度对应的亮度等级和与各网格块的位置信息对应的信息作为亮度特征信息进行提取。
首先,在步骤S1010,判定处理对象图像是否是彩色图像(是彩色图像还是灰度图像)。又,我们将在后面述说该处理的详细情况。
在步调S1010中,当处理对象图像不是彩色图像时(步骤S1010中“否”),行进到步骤S1030。另一方面,当处理对象图像是彩色图像时(步骤S1010中“是”),行进到步骤S1020,将彩色图像变换成灰度图像(8位:256灰度等级)。
又,用众所周知的RGB彩色矩阵实施该变换。例如,当用YCbCr色空间时,表示灰度值的亮度Y的值与RGB值(各8位共计24位)的关系表现为
Y=0.29900×R+0.58700×G+0.11400×B (1)
从而,通过公式(1),能够算出亮度Y的值。
其次,在步骤S1030,将处理对象图像分割成多个网格块。
又,在本实施方式中,如图11所示,将图像分割成纵横各9个网格块。特别是,在本实施方式中,表示了在例示上分割成9×9=81个网格块的例子,但是实际上最好是8到15个网格块左右。
其次,在步骤S1040,将成为处理对象的着眼网格块设定为左上端的网格块。又,例如,如图12所示,参照决定预先处理顺序的顺序决定表,设定该着眼网格块。
在步骤S1050,判定有无未处理的着眼网格块。当没有未处理的着眼网格块时(步骤S1050中“否”),结束处理。另一方面,当具有未处理的着眼网格块时(步骤S1050中“是”),行进到步骤S1060。
在步骤S1060,生成着眼网格块的全部像素的亮度直方图。在步骤1070,参照图13的亮度等级表,决定成为亮度直方图的最常出现的亮度范围的亮度等级ID作为该着眼网格块的代表亮度,与该着眼网格块及其位置对应地存储在存储单元111中。
又,图13的亮度等级表表示8位的亮度信号,表示对于每个预定亮度范围设定等级的情形的例子。
在步骤S1080,参照图12的顺序决定表,设定成为下一个处理对象的着眼网格块。此后,回到步骤S1050,再回归地重复步骤S1050~步骤S1080的处理,直到没有未处理的着眼网格块为止。
通过以上的处理,能够提取与处理对象图像(图像块)的每个网格块的代表亮度和各网格块的位置信息对应的信息作为亮度特征信息。
其次,我们用图14说明色特征信息提取处理的详细情况。
图14是表示本发明的实施方式的色特征信息提取处理的详细情况的操作程序图。
又,在该处理中,提取具有将处理对象图像分割成多个网格块的各网格块的色直方图中的最常出现的颜色的颜色和对应地附加了各网格块的位置信息的信息作为色特征信息。
首先,在步骤S1410,判定处理对象图像是否是彩色图像。又,该判定是与图10的步骤S1010同样地进行的。
在步骤S1410中,当处理对象图像是彩色图像时(步骤S1410中“是”),行进到步骤S1420。另一方面,当处理对象图像不是彩色图像时(步骤S1410中“否”),结束处理。
其次,在步骤S1420,将图像分割成多个网格块。在本实施方式中,如图11所示,将图像分割成纵横各9个网格块。特别是,在本实施方式中,表示了在例示上分割成9×9=81个网格块的例子,但是实际上最好是约15×15=225个网格块。
其次,在步骤S1430,将成为处理对象的着眼网格块设定为左上端的网格块。又,该着眼网格块的设定与图10的步骤S1040同样地进行。
在步骤S1440,判定有无未处理的着眼网格块。当没有未处理的着眼网格块时(步骤S1440中“否”),结束处理。另一方面,当具有未处理的着眼网格块时(步骤S1440中“是”),行进到步骤S1450。
在步骤S1450,将着眼网格块的全部像素的各浓度值投影到作为分割图15的色空间作成的部分空间的色储藏室(bin)中,生成对于色储藏室的色直方图。
又,在本实施方式中,如图15所示,表示了将着眼网格块的全部像素的浓度值投影到将RGB色空间分割成3×3×3=27个的色储藏室的例子,但是实际上最好是将着眼网格块的全部像素的浓度值投影到将RGB色空间分割成6×6×6=216个的色储藏室。
在步骤S1460,将色直方图的最常出现的色储藏室的色储藏室ID决定为该着眼网格块的代表色,与该着眼网格块及其位置对应地存储在存储单元111中。
在步骤S1470,参照图12的顺序决定表,设定成为下一个处理对象的着眼网格块。此后,回到步骤S1440,再回归地重复步骤S1440~步骤S1470的处理。直到没有未处理的着眼网格块为止。
通过以上的处理,能够提取对应的附加了处理对象图像(图像块)的每个网格块的代表色和各网格块的位置信息的信息作为色特征信息。
其次,我们用图16说明图10的步骤S1010或图14的步骤S1410中的,判定处理对象图像是否是彩色图像的判定处理。
又,在该判定处理的判定方法中,作为最简单的方法,当解析比较源图像的数据格式,比较源图像是单色或灰度图像时,因为没有色信息,所以能够判定处理对象图像的色信息不充分。
另一方面,当比较源图像是彩色图像时,尽管数据格式自身是彩色图像,但是处理对象图像自身也许是灰度图像。因此,即便数据格式是彩色图像时,也需要严格地判定处理对象图像的色信息是否充分,作为该判定方法,是利用关于处理对象图像的颜色的解析的方法。
该解析的目的是解析在处理对象图像中占据的色信息的比例,当在处理对象图像中占据的色信息的比例大于等于预先决定的阈值时,判定色信息充分,当比阈值小时,判定色信息不充分。
图16是表示用于判定色信息是否充分的判定处理的详细情况的操作程序图。
在步骤S1610,算出构成处理对象图像(图像块)的全部像素的颜色的平均色。在步骤S1620,将平均色变换成亮度成分和色差成分。在步骤S1630,算出色差成分值对亮度成分值的比例R。
这里,关于将颜色分离成亮度成分和色差成分的分离方法,用众所周知的方法。
例如,当用YCbCr色空间时,与24位RGB值的关系表现为
Cb=-0.16874×R-0.33126×G+0.50000×B+128
Cr=0.50000×R-0.41869×G+(-0.08131)×B+128 (2)
按照公式(2),将算出的平均色分离成亮度成分Yave和色差成分Cbave及Crave,计算
比例R=sqrt(Cbave×Cbave+Crave×Crave)/Yave (3)
而且,在步骤S1640,判定该比例是否比预定的阈值大。当比阈值大时(步骤S1640中“否”),行进到步骤S1650,判定处理对象图像的色信息是充分的(即,判定为彩色图像)。另一方面,当小于等于阈值时(步骤S1640中“是”),行进到步骤S1660,判定处理对象图像的色信息是不充分的(即,判定为灰度图像)。
其次,我们说明对于文字块的特征信息提取处理。
又,当在1个文档中存在多个文字块时,与其总数相当,重复进行下列处理。
对于文字块的特征量信息是能够在该文字块中实施OCR(文字识别)处理的文字码。
OCR(文字识别)处理对于以文字单位从文字块分离出的文字图像,用图案匹配的方法进行文字识别,取得对应的文字码。
该文字识别处理是比较将从文字图像得到的特征变换成数十维的数值列的观测特征矢量和预先对每个字种求得的词典特征矢量,将距离最近的字种作为识别的结果的处理。
关于特征矢量的提取存在种种众所周知的方法,例如是以将文字分割成网格状,将各网格块内的文字线作为不同方向上的线素进行计数的网格多维矢量为特征的方法。
当对在块选择处理(步骤S3020或步骤S3120)中提取的文字块进行文字识别时,首先,对相应的文字块进行横写/纵写的判定,在各个对应的方向分离出文字列,此后,从文字列分离出文字取得文字图像。
横写/纵写的判定是取在相当的文字块内对于像素值的水平/垂直的投影,当水平投影的分散大时判定为横写,当垂直投影的分散大时判定为纵写。到文字列和文字的分解,当是横写的文字块时,利用该水平方向的投影分离出行,进一步从对分离出的行的垂直方向的投影,分离出文字。另一方面,对于纵写的文字块,可以使水平与垂直相反。
其次,我们用图17说明步骤S3140的比较处理的详细情况。
图17是表示本发明的实施方式的比较处理的详细情况的操作程序图。
首先,在步骤S1710,参照地址信息,判定有无未比较的原始文档。当没有未比较的原始文档时(步骤S1710中“否”),行进到步骤S1750。另一方面,当具有未比较的原始文档时(步骤S1710中“是”),行进到步骤S1720。
在步骤S1720,比较布局。这里,所谓的布局是存在于块信息中的块的属性、大小、位置。当比较源图像(纸文档)和比较目的图像(电子数据)的布局相同时(步骤S1720中“是”),行进到步骤S1730。另一方面,当比较源图像和比较目的图像的布局不同时(步骤S1720中“否”),回到步骤S1710。
其次,在步骤S1730,进行比较源图像(纸文档)内的块和比较目的图像(电子数据)内的块的比较的比较处理。该比较,与块的属性一致,用与各个文字、图像相应的特征量,复合地进行比较,算出类似度。我们将在后面述说该处理的详细情况。
其次,在步骤S1740,与比较目的文档ID对应将文档的类似度暂时存储在存储单元111中。
在步骤S1710,当与全部文档的比较结束时,行进到步骤S1750,以类似度的下降顺序选择文档ID并进行输出。
其次,我们用图18说明步骤S1730的比较处理的详细情况。
图18是表示本发明的实施方式的比较处理的详细情况的操作程序图。
首先,在步骤S1810,参照块信息,判定在与成为处理对象的文档ID对应的电子数据中有无未比较的块。当没有未比较的块时(步骤S1810中“否”),行进到步骤S1870。另一方面,当具有未比较的块时(步骤S1810中“是”),行进到步骤S1820。
其次,在步骤S1820,判定比较对象的块的属性。当属性是图像块时,行进到步骤S1830。另一方面,当属性是文字块时,行进到步骤S1860。
当属性是图像块时,在步骤S1830,首先,进行关于图16的色信息的判定处理,判定该图像块是彩色图像(色信息充分)还是灰度图像(色信息不充分)。
当比较源块是彩色图像(色信息充分)时,行进到步骤S1840,进行作为关于颜色的特征量信息中的比较源块和比较目的块的类似比较的色特征信息比较处理。我们将在后面述说该处理的详细情况。
另一方面,当比较源块是灰度图像(色信息不充分)时,行进到步骤S1850,进行作为关于亮度的特征量信息中的比较源块和比较目的块的类似比较的亮度特征信息比较处理。我们将在后面述说该处理的详细情况。
与比较目的文档ID、块ID对应,将由各个处理得到的类似度暂时存储在存储单元111中。因此,比较源块是灰度图像也好是彩色图像也好,都可以用适合于该比较源块的图像的种类的方法进行类似比较处理。
另一方面,当属性是文字块时,在步骤S1860,进行作为文字的特征量信息中的比较源块和比较目的块的类似度比较的文字特征量信息比较处理。我们将在后面述说该处理的详细情况。又,与比较目的文档ID、块ID对应,将由此得到的类似度暂时存储在存储单元111中。
其次,在步骤S1810,当与全部块的比较结束时,行进到步骤S1870,通过步骤S1840~步骤S1860的处理,存储在存储单元111中。统合包含在比较目的文档(电子数据)中的全部块的类似度,进行算出作为检索条件的纸文档和原始文档的类似度的统合处理。
其次,我们用图19说明步骤S1840的色特征信息比较处理的详细情况。
图19是表示本发明的实施方式的色特征信息比较处理的详细情况的操作程序图。
首先,在步骤S1910,从色特征量信息读出比较源图像块和比较目的图像块的色特征量。
其次,在步骤S1920,将成为处理对象的图像块中的着眼网格块设定在前头。在步骤S1930,将表示比较源图像块的色特征量和比较目的图像块的色特征量的类似度的类似距离复位到0。
在步骤S1940,判定有无未比较的着眼网格块。当没有未比较的着眼网格块时(步骤S1940中“否”),行进到步骤S1980。另一方面,当具有未比较的着眼网格块时(步骤S1940中“是”),行进到步骤S1950。
在步骤S1950,从比较源图像块和比较目的图像块各自的色特征量,取得各个着眼网格块的色储藏室ID。
在步骤S1960,参照图20的色储藏室处罚矩阵,取得与取得的色储藏室ID之间对应的着眼网格块的局域的类似距离,与就在前面的处理中取得的类似距离进行累加。而且,将该类似距离存储在存储单元111中。
这里,我们用图20说明色储藏室处罚矩阵。
图20是表示在本发明的实施方式的色储藏室处罚矩阵的构成的图。
色储藏室处罚矩阵是管理色储藏室ID的局域的类似距离的矩阵。如果根据图20,则色储藏室处罚矩阵具有在同一个色储藏室ID中该类似距离成为0,色储藏室ID之间的差越大,即,类似度越低,该类似距离就越大的构成。又,同一个色储藏室ID的对角位置,其全部类似距离为0,在它的环境中具有对象性。
这样,在本实施方式中,因为能够只参照色储藏室处罚矩阵,取得色储藏室ID之间的类似距离,所以能够达到使处理高速化的目的。
而且,在步骤S1970,参照图12的顺序决定表,设定成为下一个处理对象的着眼网格块。此后,回到步骤S1940。
而且,在步骤S1940,判定没有未比较的着眼网格块时(步骤S1940中“否”),行进到步骤S1980,将存储在存储单元111中的类似距离变换成类似度,使块ID成对地输出。
又,到类似度的变换,例如,当类似距离为最小值时令类似度为100%,当类似距离为最大值时令类似度为0%,对于该范围内的类似距离的类似度可以根据对最小值或最大值之差算出来。
其次,我们用图21说明步骤S1850的亮度特征信息比较处理的详细情况。
图21是表示本发明的实施方式的亮度特征信息比较处理的详细情况的操作程序图。
首先,在步骤S2110,从亮度特征量信息读出比较源图像块和比较目的图像块的亮度特征量。
其次,在步骤S2120,将成为处理对象的图像中的着眼网格块设定在前头。在步骤S2130,将表示比较源图像块的亮度特征量和比较目的图像块的亮度特征量的类似度的类似距离复位到0。
在步骤S2140,判定有无未比较的着眼网格块。当没有未比较的着眼网格块时(步骤S2140中“否”),行进到步骤S2180。另一方面,当具有未比较的着眼网格块时(步骤S2140中“是”),行进到步骤S2150。
在步骤S2150,从比较源图像块和比较目的图像块各自的亮度特征量,取得关于着眼网格块的亮度的亮度等级ID。
在步骤S2160,参照图22的亮度等级ID处罚矩阵,取得与取得的亮度等级ID之间对应的着眼网格块的局域的类似距离,与就在前面的处理中取得的类似距离进行累加。而且,将该类似距离存储在存储单元111中。
这里,我们用图22说明亮度等级ID处罚矩阵。
图22是表示本发明的实施方式的亮度等级ID处罚矩阵的构成的图。
亮度等级ID处罚矩阵是管理亮度等级ID的局域的类似距离的矩阵。如果根据图22,则亮度等级ID处罚矩阵具有在同一个亮度等级ID中该类似距离成为0,亮度等级ID之间的差越大,即,类似度越低,该类似距离就越大的构成。又,同一个亮度等级ID的对角位置全部,其类似距离为0,在它的环境中具有对象性。
这样,在本实施方式中,因为能够只参照亮度等级ID处罚矩阵,取得亮度等级ID之间的类似距离,所以能够达到使处理高速化的目的。
而且,在步骤S2170,参照图12的顺序决定表,设定成为下一个处理对象的着眼网格块。此后,回到步骤S2140。
而且,在步骤S2140,当没有未比较的着眼网格块时(步骤S1940中“否”),行进到步骤S2180,将存储在存储单元111中的类似距离变换成类似度,使块ID成对地输出。
又,到类似度的变换,例如,当类似距离为最小值时令类似度为100%,当类似距离为最大值时令类似度为0%,对于该范围内的类似距离的类似度可以根据对最小值或最大值之差算出来。
其次,我们说明步骤S1860的文字特征信息比较处理的详细情况。
在该处理中,进行比较源图像和比较目的图像中的各个文字块内的各文字码之间的比较,从它们的一致性算出类似度。
又,当比较作为检索条件的纸文档和原始文档时,类似度成为100%是理想的,但是实际上因为存在着在对于成为检索条件的纸文档中的文字块的OCR处理中发生误识别的情形,所以即便在与原始文档的比较中类似度也不成为100%,但是成为相当接近100%的值。
其次,我们说明步骤S1870的统合处理的详细情况。
在该统合处理中,进行在作为比较目的图像的原始文档内占据的比例大的块的类似度,与为了作为全体原始文档的类似度更大地反映出来,而算出的每个块的类似度的统合。
例如,对于原始文档中的块B1~B6,算出每个块的类似率n1~n6。这时全体原始文档的总合类似率N由下列公式表示。
N=w1×n1+w2×n2+w3×n3+...+w6×n6 (4)
这里,w1~w6是评价各块的类似率的权重系数。从块的原始文档内占有率算出权重系数w1~w6。例如,当令块1~6的大小为S1~S6时,能够算出块1的占有率w1为
w1=S1/(S1+S2+...+S6) (5)
通过用这种占有率的加权处理,原始文档内占据大的区域的块的类似度更能够在全体原始文档的类似度中反映出来。
其次,我们说明当步骤S3150和步骤S3160中所示的确认模式时的处理的详细情况。
既可以用户预先从用户界面指定确认模式,也可以自动地判定确认模式。作为自动判定的方法是下面的方法。例如,当检索到的原始文档候补为1个时,或者,1位的原始文档候补和2位以下的原始文档候补的各个类似度之差大于等于预定值,1位的原始文档候补作为所要的原始文档的可能性高时,作为“非确认模式”行进到步骤S3170,在这种情形中,成为“确认模式”。
当“确认模式”时,在用MFP100的显示单元110和输入单元113实现的用户界面中显示出原始文档候补组,由用户从中选择所要的原始文档。
这样,当自动判定有无实施确认模式时,因为不需要由用户进行选择原始文档的操作,所以能够减少操作工时数。
这里,我们用图23说明确认模式时的用户界面的一个例子。
图23是表示本发明的实施方式的用户界面的一个例子的图。
2311是显示·操作面板。2312~2315是各种功能按钮,各种功能按钮2312~2315是用于进行处理对象的图像的打印指示、分发指示、存储指示和编辑指示的按钮。即便预先按下按钮,指定原始文档后,它们也可以进行指定。
2316是开始按钮,通过按下该按钮,能够实施由功能按钮进行选择的功能。2317是显示区域,由触摸面板构成,用户可以直接触摸画面,选择指示。
2318是模式显示区域,在图23中,表示了确认模式。通常显示自动判定模式。又,通过触摸它,能够循环地指定“确认模式”和“非确认模式”。
2319~2328是作为检索结果输出的原始文档候补的缩略图图像组。以从2319开始的号码顺序和类似度由低到高的顺序显示该缩略图图像。在本例中,当显示最大10个的缩略图图像,原始文档候补大于等于10个时,显示直到上位10的缩略图图像。而且,通过从该缩略图图像组2319~2328,选择所要的缩略图图像,可以选择所要的原始文档,可以对该选出的原始文档实施各种处理。
如以上说明的那样,如果根据本实施方式,则也可以用它的彩色图像电子数据的灰度打印物的电子化图像和它的彩色图像电子数据的灰度图像电子数据检索纸文档的原始文档的彩色图像电子数据。又,能够对原始图像电子数据不实施为了检索图像的特别的变更,高精度地实现上述检索。
又,作为检索条件的电子化纸文档图像是彩色图像也好是灰度图像也好,都可以用适合于该图像的种类的方法,检索它的原始文档。
进一步,当不能够将检索结果收敛到1个时,向用户提示该检索结果候补组,用户可以从该检索结果候补组自由地进行选择。
又,在上述实施方式的图10的亮度特征信息提取处理中,我们说明了将处理对象图像的最常出现的亮度作为亮度特征信息进行提取的例子,但是不限于此,例如,也可以将平均亮度作为亮度特征信息进行提取。
又,如图21所示,我们说明了用亮度特征信息作为关于灰度图像的灰度特征量的例子,但是不限于此,例如,也可以用将1个共起矩阵、对比度、平均信息量、Gabor变换等表现的结构特征量、边缘、傅里叶描述符等的形状特征量等的多种灰度特征量,或将它们任意组合起来的特征量。
又,在图14的色特征信息提取处理中,我们说明了将处理对象图像的最常出现的颜色作为色特征信息进行提取的例子,但是不限于此,例如,也可以将平均色作为色特征信息进行提取。
又,在彩色图像和灰度图像中用适合于各个图像的种类的特征量进行比较,但是如果在精度允许的范围内,则即便关于彩色图像,也可以只提取用于灰度图像的类似比较的特征量,只用它进行比较。
又,进行块选择处理,将处理对象的文档分割成文字块和图像块,复合地使用这些各块的特征量进行检索,但是也可以将全体文档看作1个图像,检索原始文档。又,如果在精度允许的范围内,则也可以只利用文档中的图像块,检索原始文档。
又,一旦将电子数据变换成光栅图像,但是当然也可以从电子数据直接选出文字码和图像进行比较。
又,在块选择处理中,将处理对象的文档分割成块后,对它的图像块进行图16的彩色/灰度判定,但是也可以当进行块选择时,进行彩色/灰度判定,作为属性将彩色图像/灰度图像赋予图像块。
又,当检索时,对每个图像块进行彩色/灰度判定,但是当然也可以用全体文档的图像,预先进行彩色/灰度判定。
又,自动地进行彩色/灰度判定,但是即便用户指定它,当然也没有关系。
又,作为文字特征量采用文字码,但是,例如,也可以预先进行与单词词典的匹配,提取单词的词类,将是名词的单词作为文字特征量。
在以上说明的实施方式中,能够用个人计算机等的信息处理装置实现图像处理装置,能够抓住作为实现该功能的顺序的方法作为发明。又,因为能够由计算机实现,所以本发明也能够适用于在各个装置中实施的计算机程序,进一步,存储该计算机程序,也能够适用于计算机读入的CD-ROM等的计算机可读存储媒体,这是显而易见的。
以上,我们详细述说了实施方式例,但是本发明,例如,可以采用作为系统、装置、方法、程序或存储媒体等的权利要求项,具体地说,既可以适用于由多个设备构成的系统,也可以适用于由1个设备构成的装置。
又,本发明包含通过直接或远距离地将实现上述实施方式的功能的软件的程序(在实施方式中与图示的操作程序图对应的程序)供给系统或装置,该系统或装置的计算机读出并实施该供给的程序码也能够达成的情形。
从而,为了用计算机实现本发明的功能处理,安装在该计算机中的程序码自身也是实现本发明的要素。即,本发明也包含用于实现本发明的功能处理的计算机程序自身。
这时,如果具有程序的功能,则也可以是目标码、由翻译机实施的程序、供供给OS的脚本数据等的形态。
作为用于供给程序的记录媒体,例如,是软盘(FLOPY(注册商标)盘)、硬盘、光盘、光磁盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM,DVD-R)等。
其它,作为程序供给方法,也能够通过用客户计算机的处理机与因特网的主页连接,从该主页将本发明的计算机程序本身或者包含经过压缩的自动安装功能的文档下载到硬盘等的记录记录媒体上进行供给。又,将构成本发明的程序的程序码分割成多个文档,也可以通过从不同的主页进行下载各个文档来实现。即,对于多位用户下载为了用计算机实现本发明的功能处理的程序文档的WWW服务器也包含在本发明中。
又,也可以对本发明的程序进行密码化,存储在CD-ROM等的存储媒体中分配给用户,对于清除了预定条件的用户,通过因特网从主页下载解除密码化的键信息,通过使用该键信息实施经过密码化的程序,安装在计算机中进行实现。
又,通过计算机实施读出的程序,除了实现上述实施方式的功能外,根据该程序的指示,在计算机上工作的OS等进行实际处理的一部分或全部,通过该处理也能够实现上述实施方式的功能。
进一步,在将从记录媒体读出的程序写入插入计算机的功能扩展板和与计算机连接的功能扩展单元中备有的存储器后,根据该程序的指示,该功能扩展板和功能扩展单元中备有的CPU等进行实际处理的一部分或全部,通过该处理也能够实现上述实施方式的功能。
如以上说明的那样,如果根据本发明,则可以从经过灰度打印的纸文档,检索并活用原始的彩色电子数据。这时,能够不变更原始文档地实现,并且能够高精度地进行检索。又,也能够容易地活用不仅纸原稿的文本图像,而且由成为纸原稿基础的文字处理机软件等作成的电子文档本身。又,纸文档是彩色的也好是灰度的也好都可以用适当的方法进行检索。又,即便不能够将检索结果集中到1个,用户也可以从候补中进行选择。
本发明不限于上述实施方式,在不脱离本发明的精神和范围的条件下能够进行各种不同的变化和修改。所以,为了向公众报告本发明的范围,我们制订了下列权利要求书。
Claims (15)
1.一种图像处理装置,其特征在于,备有:
将多个电子数据作为比较目的图像存储起来的存储部件;
输入从打印物得到的比较源图像的输入部件;
根据属性将上述比较源图像分割成多个区域的分割部件;
从由上述分割部件所分割的多个区域之中的具有规定属性的区域中提取灰度特征量的灰度特征量提取部件;
用由上述灰度特征量提取部件提取的灰度特征量,从上述存储部件检索与上述比较源图像相对应的比较目的图像的检索部件;和
从上述存储部件提取用上述检索部件检索得到的图像,对该提取的图像进行处理的处理部件。
2.权利要求1所述的图像处理装置,其特征在于:
上述灰度特征量包含上述比较源图像的亮度特征量、纹理特征量、形状特征量中的至少一个。
3.权利要求1所述的图像处理装置,其特征在于:
上述检索部件比较从上述比较源图像的具有上述规定属性的区域中提取的灰度特征量和上述比较目的图像的灰度特征量,将类似的比较目的图像作为检索结果进行输出。
4.权利要求1所述的图像处理装置,其特征在于,进一步具有:
提取上述比较源图像的具有上述规定属性的区域的色特征量的色特征量提取部件,和
判定由上述色特征量提取装置所提取的色信息是否充分的判定部件,
其中,上述检索部件根据上述判定部件判定色信息充分的区域的色特征量和上述判定部件判定色信息不充分的区域的灰度特征量,从上述存储部件检索与上述比较源图像相对应的比较目的图像。
5.权利要求4所述的图像处理装置,其特征在于:
上述色特征量包含上述比较源图像中的最常出现的颜色和平均色中的至少一个。
6.权利要求1所述的图像处理装置,其特征在于,进一步备有:
显示由上述检索部件得到的检索结果的显示部件;和
当作为由上述检索部件得到的检索结果,在上述显示部件上显示了多个比较目的图像时,从该多个比较目的图像选择所要图像的选择部件,
其中,上述处理部件从上述存储部件提取由上述选择部件选择的图像,对该提取的图像实施处理。
7.权利要求1所述的图像处理装置,其特征在于,进一步备有:
指示针对由上述检索部件检索到的图像的用户所需处理的指示部件,
其中,上述处理部件提取上述检索到的图像,实施由上述指示部件所指示的处理。
8.权利要求7所述的图像处理装置,其特征在于:
上述指示部件可以指示打印、分发、存储、编辑中的至少一种处理。
9.权利要求1所述的图像处理装置,其特征在于:
上述规定属性是图像属性。
10.权利要求1所述的图像处理装置,其特征在于,进一步备有:
从上述比较源图像的具有文字属性的分割区域中提取文字特征量的文字特征量提取部件,
其中,上述检索部件用由上述灰度特征量提取部件提取的灰度特征量和由上述文字特征量提取部件提取的文字特征量,从上述存储部件检索与上述比较源图像相对应的比较目的图像。
11.权利要求4所述的图像处理装置,其特征在于,进一步备有:
从上述比较源图像的具有文字属性的分割区域中提取文字特征量的文字特征量提取部件,
其中,上述检索部件根据上述判定部件判定色信息充分的区域的色特征量、上述判定部件判定色信息不充分的区域的灰度特征量、以及由上述文字特征量提取部件所提取的文字特征量,从上述存储部件检索与上述比较源图像相对应的比较目的图像。
12.权利要求1所述的图像处理装置,其特征在于,进一步具有:
从登记用图像提取特征量,将该登记用图像的特征量作为上述比较目的图像的特征量登记在上述存储部件中的登记部件。
13.权利要求12所述的图像处理装置,其特征在于:
由上述登记部件提取的特征量包含灰度特征量。
14.权利要求12所述的图像处理装置,其特征在于,进一步具有:
根据属性将上述登记用图像分割成多个区域的分割单元,
其中,上述登记部件提取与由上述分割单元分割的区域的属性相应的特征量并进行登记。
15.一种图像处理方法,其特征在于,包括:
输入从打印物得到的比较源图像的输入步骤;
根据属性将上述比较源图像分割成多个区域的分割步骤;
从在上述分割步骤中分割的多个区域之中的具有规定属性的区域中提取灰度特征量的灰度特征量提取步骤;
用由上述灰度特征量提取步骤提取的灰度特征量,从作为比较目的图像存储在存储媒体中的多个电子数据中检索与上述比较源图像相对应的比较目的图像的检索步骤;和
从上述存储媒体提取由上述检索步骤检索得到的图像,对该提取的图像进行处理的处理步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP125814/2003 | 2003-04-30 | ||
JP2003125814A JP4266695B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1542681A CN1542681A (zh) | 2004-11-03 |
CN1285051C true CN1285051C (zh) | 2006-11-15 |
Family
ID=32985590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200410038598XA Expired - Fee Related CN1285051C (zh) | 2003-04-30 | 2004-04-27 | 图像处理装置及其方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7272269B2 (zh) |
EP (1) | EP1473924B1 (zh) |
JP (1) | JP4266695B2 (zh) |
CN (1) | CN1285051C (zh) |
Families Citing this family (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4335492B2 (ja) * | 2002-03-05 | 2009-09-30 | キヤノン株式会社 | 動画像管理方法及び装置 |
JP4405831B2 (ja) * | 2003-05-20 | 2010-01-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US8620083B2 (en) * | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US8120793B2 (en) | 2004-10-08 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Methods and systems for displaying content on an imaging device |
US7978618B2 (en) | 2004-10-08 | 2011-07-12 | Sharp Laboratories Of America, Inc. | Methods and systems for user interface customization |
US8171404B2 (en) | 2004-10-08 | 2012-05-01 | Sharp Laboratories Of America, Inc. | Methods and systems for disassembly and reassembly of examination documents |
US8024792B2 (en) | 2004-10-08 | 2011-09-20 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential submission |
US8120798B2 (en) | 2004-10-08 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Methods and systems for providing access to remote, descriptor-related data at an imaging device |
US8115944B2 (en) | 2004-10-08 | 2012-02-14 | Sharp Laboratories Of America, Inc. | Methods and systems for local configuration-based imaging device accounting |
US8018610B2 (en) | 2004-10-08 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device remote application interaction |
US8156424B2 (en) | 2004-10-08 | 2012-04-10 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device dynamic document creation and organization |
US8049677B2 (en) | 2004-10-08 | 2011-11-01 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device display element localization |
US7873553B2 (en) | 2004-10-08 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Methods and systems for authorizing imaging device concurrent account use |
US8035831B2 (en) | 2004-10-08 | 2011-10-11 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device remote form management |
US8237946B2 (en) | 2004-10-08 | 2012-08-07 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device accounting server redundancy |
US8051125B2 (en) | 2004-10-08 | 2011-11-01 | Sharp Laboratories Of America, Inc. | Methods and systems for obtaining imaging device event notification subscription |
US7966396B2 (en) | 2004-10-08 | 2011-06-21 | Sharp Laboratories Of America, Inc. | Methods and systems for administrating imaging device event notification |
US8006176B2 (en) | 2004-10-08 | 2011-08-23 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging-device-based form field management |
US7826081B2 (en) | 2004-10-08 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for receiving localized display elements at an imaging device |
US8060930B2 (en) | 2004-10-08 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential receipt and authentication |
US8001587B2 (en) | 2004-10-08 | 2011-08-16 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential management |
US7934217B2 (en) | 2004-10-08 | 2011-04-26 | Sharp Laboratories Of America, Inc. | Methods and systems for providing remote file structure access to an imaging device |
US8115945B2 (en) | 2004-10-08 | 2012-02-14 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device job configuration management |
US8006292B2 (en) | 2004-10-08 | 2011-08-23 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential submission and consolidation |
US8065384B2 (en) | 2004-10-08 | 2011-11-22 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device event notification subscription |
US8032579B2 (en) | 2004-10-08 | 2011-10-04 | Sharp Laboratories Of America, Inc. | Methods and systems for obtaining imaging device notification access control |
US8051140B2 (en) | 2004-10-08 | 2011-11-01 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device control |
US8125666B2 (en) | 2004-10-08 | 2012-02-28 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device document management |
US8023130B2 (en) | 2004-10-08 | 2011-09-20 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device accounting data maintenance |
US8115946B2 (en) | 2004-10-08 | 2012-02-14 | Sharp Laboratories Of America, Inc. | Methods and sytems for imaging device job definition |
US8060921B2 (en) | 2004-10-08 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential authentication and communication |
US8213034B2 (en) * | 2004-10-08 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for providing remote file structure access on an imaging device |
US8115947B2 (en) | 2004-10-08 | 2012-02-14 | Sharp Laboratories Of America, Inc. | Methods and systems for providing remote, descriptor-related data to an imaging device |
US8001183B2 (en) | 2004-10-08 | 2011-08-16 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device related event notification |
US7920101B2 (en) | 2004-10-08 | 2011-04-05 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device display standardization |
US7970813B2 (en) | 2004-10-08 | 2011-06-28 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device event notification administration and subscription |
US8384925B2 (en) | 2004-10-08 | 2013-02-26 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device accounting data management |
US8120797B2 (en) | 2004-10-08 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Methods and systems for transmitting content to an imaging device |
US8006293B2 (en) | 2004-10-08 | 2011-08-23 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential acceptance |
US8032608B2 (en) | 2004-10-08 | 2011-10-04 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device notification access control |
US7870185B2 (en) | 2004-10-08 | 2011-01-11 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device event notification administration |
US8015234B2 (en) | 2004-10-08 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for administering imaging device notification access control |
US8230328B2 (en) | 2004-10-08 | 2012-07-24 | Sharp Laboratories Of America, Inc. | Methods and systems for distributing localized display elements to an imaging device |
US8120799B2 (en) | 2004-10-08 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Methods and systems for accessing remote, descriptor-related data at an imaging device |
US8001586B2 (en) | 2004-10-08 | 2011-08-16 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device credential management and authentication |
US7873718B2 (en) | 2004-10-08 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device accounting server recovery |
US7969596B2 (en) | 2004-10-08 | 2011-06-28 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device document translation |
JP4213112B2 (ja) * | 2004-11-09 | 2009-01-21 | シャープ株式会社 | 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体 |
JP4502385B2 (ja) * | 2004-11-30 | 2010-07-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
KR100694074B1 (ko) * | 2004-12-16 | 2007-03-12 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
US8428484B2 (en) | 2005-03-04 | 2013-04-23 | Sharp Laboratories Of America, Inc. | Methods and systems for peripheral accounting |
JP4792788B2 (ja) * | 2005-04-01 | 2011-10-12 | ソニー株式会社 | 温度情報検出方法、表示装置、温度情報検出装置、及び、プログラム |
US7801392B2 (en) * | 2005-07-21 | 2010-09-21 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
JP4533273B2 (ja) * | 2005-08-09 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
JP4738943B2 (ja) * | 2005-09-01 | 2011-08-03 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP4921202B2 (ja) * | 2006-03-15 | 2012-04-25 | キヤノン株式会社 | ジョブ履歴管理システム、その制御方法、プログラム及び記憶媒体 |
TW200741491A (en) * | 2006-04-28 | 2007-11-01 | Benq Corp | Method and apparatus for searching images |
US8345272B2 (en) | 2006-09-28 | 2013-01-01 | Sharp Laboratories Of America, Inc. | Methods and systems for third-party control of remote imaging jobs |
US8136034B2 (en) * | 2007-12-18 | 2012-03-13 | Aaron Stanton | System and method for analyzing and categorizing text |
US20090164285A1 (en) * | 2007-12-20 | 2009-06-25 | International Business Machines Corporation | Auto-cascading clear to build engine for multiple enterprise order level parts management |
JP5169648B2 (ja) * | 2008-09-04 | 2013-03-27 | 富士ゼロックス株式会社 | 原画像探索装置及び原画像探索プログラム |
US8498480B2 (en) * | 2009-02-25 | 2013-07-30 | The United States Of America, As Represented By The Secretary Of The Navy | Computationally efficient method for image segmentation with intensity and texture discrimination |
JP4776705B2 (ja) * | 2009-03-06 | 2011-09-21 | 株式会社東芝 | 画像処理装置および方法 |
CN102023966B (zh) * | 2009-09-16 | 2014-03-26 | 鸿富锦精密工业(深圳)有限公司 | 用于合约比较的计算机系统及合约比较方法 |
JP5570176B2 (ja) | 2009-10-19 | 2014-08-13 | キヤノン株式会社 | 画像処理システム及び情報処理方法 |
US8928936B2 (en) * | 2009-12-21 | 2015-01-06 | Ricoh Production Print Solutions LLC | Red-green-blue to monochrome color conversion |
JP2011210197A (ja) * | 2010-03-30 | 2011-10-20 | Toshiba Corp | 画像処理装置 |
JP5763965B2 (ja) | 2011-05-11 | 2015-08-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN102932403A (zh) * | 2012-08-30 | 2013-02-13 | 上海合合信息科技发展有限公司 | 自动将名片中的联系信息同步至移动设备的方法及系统 |
US9972158B2 (en) * | 2016-10-01 | 2018-05-15 | Cantaloupe Systems, Inc. | Method and device of automatically determining a planogram in vending |
US11699094B2 (en) * | 2018-10-31 | 2023-07-11 | Salesforce, Inc. | Automatic feature selection and model generation for linear models |
KR102270590B1 (ko) * | 2019-05-30 | 2021-06-30 | 주식회사 아임클라우드 | 색상 코드를 이용한 참조 콘텐츠 추천 시스템 및 방법 |
CN110796149B (zh) * | 2019-10-09 | 2023-10-27 | 陈浩能 | 食品追溯的图像比对方法及相关装置 |
JP7449111B2 (ja) * | 2020-02-18 | 2024-03-13 | キヤノン株式会社 | 検査装置、検査方法 |
JP2022091608A (ja) * | 2020-12-09 | 2022-06-21 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
CN113657408B (zh) * | 2021-08-13 | 2022-11-18 | 北京百度网讯科技有限公司 | 确定图像特征的方法、装置、电子设备和存储介质 |
CN113888560A (zh) * | 2021-09-29 | 2022-01-04 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备以及存储介质 |
JP2023074106A (ja) * | 2021-11-17 | 2023-05-29 | セイコーエプソン株式会社 | 印刷装置、データ処理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4020463A (en) * | 1976-02-27 | 1977-04-26 | Recognition Equipment Incorporated | Apparatus and a method for storage and retrieval of image patterns |
US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
DE69535098T2 (de) * | 1994-11-15 | 2007-04-19 | Canon K.K. | Verfahren und -vorrichtung zur Suche von Bildern in einer Datenbank |
JP3199976B2 (ja) | 1995-03-14 | 2001-08-20 | 正夫 坂内 | 画像データベース装置 |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
JP3673615B2 (ja) | 1997-06-19 | 2005-07-20 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
MY154501A (en) | 1999-02-05 | 2015-06-30 | Samsung Electronics Co Ltd | Color image processing method and apparatus thereof |
JP3809305B2 (ja) | 1999-07-27 | 2006-08-16 | キヤノン株式会社 | 画像検索装置及び画像検索方法及びコンピュータ読み取り可能な記憶媒体 |
JP3738631B2 (ja) | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
US6594383B1 (en) | 1999-11-16 | 2003-07-15 | International Business Machines Corporation | Method and apparatus for indexing and retrieving images from an images database based on a color query |
JP2001257862A (ja) | 2000-03-09 | 2001-09-21 | Ricoh Co Ltd | 画像形成装置 |
US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
CN1329323A (zh) | 2001-07-31 | 2002-01-02 | 郭根龙 | 证件自动扫描识别与管理方法及其系统 |
CN1190125C (zh) | 2002-11-28 | 2005-02-23 | 浙江大学 | 雏鸡性别自动化鉴别方法和系统 |
-
2003
- 2003-04-30 JP JP2003125814A patent/JP4266695B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-16 EP EP04252240.9A patent/EP1473924B1/en not_active Expired - Lifetime
- 2004-04-21 US US10/828,476 patent/US7272269B2/en active Active
- 2004-04-27 CN CNB200410038598XA patent/CN1285051C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1542681A (zh) | 2004-11-03 |
US7272269B2 (en) | 2007-09-18 |
EP1473924B1 (en) | 2019-07-24 |
EP1473924A3 (en) | 2009-08-05 |
JP4266695B2 (ja) | 2009-05-20 |
US20040218838A1 (en) | 2004-11-04 |
JP2004334336A (ja) | 2004-11-25 |
EP1473924A2 (en) | 2004-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1285051C (zh) | 图像处理装置及其方法 | |
CN1271505C (zh) | 用于进行图像检索的图像处理装置及方法 | |
CN1109994C (zh) | 文件处理装置与记录媒体 | |
CN1282068C (zh) | 使打印机印刷所要设计页面成为可能的装置及其动作方法 | |
CN1097795C (zh) | 结构式文件处理方法和装置 | |
CN1305006C (zh) | 向图象处理装置提供格式化信息的方法和系统 | |
CN1558348A (zh) | 将基于模式的分级数据结构转换成平面数据结构的方法以及系统 | |
CN1619438A (zh) | 图像处理装置及其控制方法、程序 | |
CN1115650C (zh) | 图象生成系统和方法 | |
CN1230072A (zh) | 图像信息处理装置及图像信息处理方法 | |
CN1620094A (zh) | 用于将图像转换为预定格式的图像处理设备及方法 | |
CN1271545C (zh) | 语言翻译系统 | |
CN1940936A (zh) | 信息处理装置、方法和程序 | |
CN1551016A (zh) | 文件管理方法及其装置和注解信息产生方法及其装置 | |
CN1602463A (zh) | 多页svg文档的目录 | |
CN1231452A (zh) | 字体共享系统和方法及存储实行该方法的程序的记录媒体 | |
CN1913573A (zh) | 用于图像检索的图像处理设备及其控制方法 | |
CN101034414A (zh) | 信息处理设备和方法以及程序 | |
CN1691015A (zh) | 信息管理装置和信息管理方法 | |
CN1629871A (zh) | 工作流管理设备及方法 | |
CN1625206A (zh) | 图像处理装置及其控制方法 | |
CN1607807A (zh) | 图象输出控制装置 | |
CN1885899A (zh) | 图像合成装置及其控制方法和程序 | |
CN1719864A (zh) | 图像处理系统及图像处理方法 | |
CN1288304A (zh) | 接收显示装置和方法、记录其程序的计算机可读记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061115 |