CN101053249B - 图像处理方法、图像存储方法、图像处理装置及文件格式 - Google Patents

Abstract

录像过程中，记录低解像度图像LF(t)的同时，在图像一部分区域的窗口区域WD1至WD4中，取得高解像度图像HWF(t)。并且，用这个高解像度图像HWF(t)，学习作为解像度转换规则的高解像度化参数P(t)。高解像度化过程中，用在录像过程学习的高解像度化参数P(t)，进行记录的低解像度图像LF(t)的高解像度化。

Description

图像处理方法、图像存储方法、图像处理装置及文件格式

技术领域

本发明，涉及一种图像处理技术，特别是关于为了进行例如动画数据的高解像度等的解像度转换的技术。

背景技术

由于数码摄像机、数码相机等数码图像器械的普及，高解像度数码图像被适用于各种各样的输出入器械中，这已经成为普通的之事。特别是静止图像中，民用数码相机的摄像元件在500万像素以上已成为普通，现在已经出现了1000万像素以上的产品，在逐步达成数码照片印刷所用的充分的高解像度。

然而，作为今后的数码图像的用途，因为静止图像的高解像度已经达到一定的程度，动画数据的解像度扩大，特别是电影那样的胶片图像的每一个作为静止图像达到通用程度的高解像度数据，预计将成为庞大的需要。作为图像的高解像度的应用，具有相机那样的图像输入系统的专业、以及显像那样的图像显示系统专业的两个专业，但是，本发明是以应用于图像输入系统为主的。

为了对应于图像输入系统中动画数据的高解像度的要求，具有以下那样的问题。相当于HD(High Definition)TV以上的高精细动画数据中，即便是摄像元件的像素数很充分，根据这个像素数的多少30fps程度的动画数据画面速度的全像素读出是非常困难的。勉强高速读出处理的情况，器械的消耗电力、发热变大。因此，在现有的技术条件下，动画数据的全画面高解像度摄影是困难的，出现了动画数据的几枚画面中只能得到一枚高解像度图像的问题。因此，研究图像摄像后使用各种各样的图像处理技术。

也就是作为本专业的以前技术，考虑到时空的情况下，通过使用时间上是低解像度而空间上是高解像度的图像，利用图像处理技术，从时间上讲是高解像度而从空间上讲是低解像度的动画数据得到在时间空间两轴的高解像度动画数据。

专利文献1中，揭示了在摄影时从低解像度的动画数据和高解像度的静止图像数据制作出高解像度动画数据的技术。这个专利文件1的技术中，按照每一个一定的抽样时间(sample time)将低解像度动画数据的一个画面和高解像度静止图像数据附加对应，从空间上插入低解像度动画数据而使其高解像度化。

专利文件2中揭示了如下的技术。也就是摄影帧生成低品位图像数据的同时，摄影帧的一部分生成高品位图像数据。并且，将高品位图像数据及低品位数据作为学习算法的学习对使用，决定品位提高系数参数，由此导出帧剩余部分的高品位图像。(专利文献1)专利第3240339号公报(专利文献2)专利2005-522108号公报

(发明所要解决的课题)

然而，以前的技术中，存在着以下的问题。

专利文献1中揭示的技术，是从低解像度的动画数据制作出高解像度的动画数据。具体地讲，因为与动画数据的静止画附加对应是在时间轴上的离散点进行的，对于不存在对应信息的动画数据帧，使用已经判明了附加对应的帧信息。并且，寻找类似信号电平的边缘，考虑它是同一被摄影体的平行移动，使用动量搜寻决定空间的插入像素。为此，有搜寻处理的负担重，而且有可能得到错误的像素这样的问题。还有，与动的同时被摄体变形或朝向发生改变的情况下，找不见对应点无法进行处理。

还有，专利文献1中，高解像度图像读出和低解像度动画数据读出同速进行。为此，动画数据和静止画的解像度转换比率纵横只要有两倍程度，在高解像度图像的读出上并不用那么多时间，但是，这个转换比率为四倍程度的话，高解像度图像的总读出面积就达到低解像度图像的十六倍，在像素读出上就要过多的时间。其结果，动画数据的摄像帧的欠落就会大幅度增加，比起动画数据的帧失落更容易使品质降低。

还有，专利文献2中，摄影高品位图像数据的位置，例如基本是固定在帧的中央。为此，品位提高系数的参数，就是对应于图像中的固定位置图像特性而决定的。因此，当这个固定位置和这个其他位置的图像特性不同的情况下，并不能肯定适当的导出高品位图像。这，特别是在动画数据的高解像度化的情况中成为大问题，在解像度转换中得不到充分地精度的可能性高。

发明内容

鉴于上述问题，本发明，是以在进行动画数据的高解像度化的图像处理中，即便是纵横四倍以上那样的高解像度解像度转换比率，能够实现精度好的解像度转换为课题的。

(为解决课题的方法)

本发明中，记录低解像度动画数据的录像过程中，各帧，在图像一部分区域的窗口区域中，取得高解像度图像。并且，在窗口区域用高解像度图像，学习解像度转变原则。窗口区域的位置，使各帧不同。高解像度化过程中，使用录像过程学习的解像度转换规则，进行记录的低解像度动画数据的高解像度化。

根据本发明，因为只在图像的一部分区域的窗口区域取得高解像度图像，所以，像素读出并不太费时，因此，低解像度动画数据就能够不欠落帧记录。还有，高解像度图像是在各帧中取得的，所以，低解像度图像和时间没有间隔，能够恰当的学习解像度转换规则。并且，窗口区域的位置是每个帧改变的，所以在解像度转换规则学习之际，不会利用图像中偏离的区域，而是利用广范围内的各个位置的图像区域。为此，恰当的学习解像度转换规则就成为可能。再有，高解像度图像不需要记录，只要记录低解像度动画数据和解像度转换规则既可，所以，与以前相比，记录信息量就可以大幅度降低。还有，在高解像度化之际，对于记录的低解像度动画数据的全区域，在图像的一部分区域的窗口区域适用了学习的解像度转换规则，但是，在此之际，只要窗口区域和其他区域中被摄物体的图像特征没有大的区别，在图像整体实现精度高的解像度转换。

还有，本发明中，在窗口区域，从高解像度图像，通过取间处理或平均化处理等的图像文件处理，使其生成低解像度图像亦可。由此，在窗口区域不再需要读出低解像度图像，就可以进一步削减读出像素的数量。

还有，在本发明中，每一个帧，为了扫描多个帧的图像整体，使窗口区域移动亦可。由此，在多个帧中，就成了对图像整体进行解像度转换规则的学习，所以进一步实现精度高的高解像度化处理。

-发明的效果-

根据本发明，可以恰当的学习解像度转换规则，实现精度高的高解像度转换。而且，又因为像素读出不费时，所以能够不欠落帧的记录低解像度动画数据，还有，不必要记录高解像度图像，就能够大幅度削减记录信息量。因此，即便是例如纵横四倍程度以上那样的解像度转换比率，也能够实现精度好的解像度转换。

还有，本发明，并不限于高解像度化，也可以适用于一般解像度转换，例如为携带电话那样的低解像度显示系统的图像显示的低解像度图像生成，可以有效的利用。

附图说明

图1，是表示本发明的第一实施方式所涉及的图像处理方法中录像过程的程序方框图。图2，是表示本发明的第一实施方式所涉及的图像处理方法中高解像度化过程的程序方框图。图3，是表示本发明的第一实施方式所涉及的图像处理方法中录像过程及高解像度化过程的程序方框图。图4，是表示图1的步骤S23的处理的一个例子的程序方框图。图5，是表示图2的步骤S23的处理的一个例子的程序方框图。图6，是表示图4的步骤S132中的向纹理特征量转换的转换方法的一个例子的图。图7，是表示转换后的纹理特征量的图。图8，是表示本发明的第二实施方式所涉及的图像处理方法中录像过程的程序方框图。图9，是表示图8中多像素解像度摄像部的构成例的概念图。图10，是表示由多像素解像度摄像元件的像素读出方法的一个例子的图。图11，是表示由多像素解像度摄像元件的像素读出方法的一个例子的图。图12，是表示多像素解像度摄像元件的电路构成的例子的图。图13，是表示图12的多像素解像度摄像元件中摄像单位像素的电路构成例子的图。图14，是表示图12的多像素解像度摄像元件中蓄积单位像素的电路构成例子的图。图15，是表示图12的多像素解像度摄像元件中跳跃扫描用摄像单位像素的电路构成例子的图。图16，是说明图12至图15所表示的多像素解像度摄影元件的摄像、传送及读出的一连串动态概要的动态关联图。图17，是表示图16的高速V传送期间中动态的脉冲波形图。图18，是表示图16的水平读出期间的动态的脉冲波形图。图19，是表示图12的选择器的输出的脉冲波形图。图20，是概念表示本发明的第二实施方式中纹理转变处理的图。图21，是表示分析代码及再生代码的做成手法的图。图22，是表示本发明的第二实施方式所涉及的图像表示部的构成的图。图23，是表示本发明的第三实施方式所涉及的图像处理装置的构成的图。图24，是表示本发明的第三实施方式所涉及的图像密度混在压缩动画数据的图像格式的图。图25，是表示本发明的第三实施方式所涉及的图像表示部的构成的图。图26，是表示本发明的第四实施方式所涉及的图像处理装置的构成的图。图27，是表示本发明的第四实施方式所涉及的影像处理服务器的构成的图。图28，是表示本发明的第五实施方式所涉及的图像处理装置的构成的图。图29，是表示本发明的第五实施方式中被摄候补区域的检测处理的图。图30，是表示本发明第五实施方式中窗口区域的设定的一个例子的图。图31，是表示本发明的第六实施方式所涉及的图像处理装置的构成的图。图32，是表示图31中包含偏光滤光器的图像密度混在摄影部的构成的图。图33，是表示本发明的第六实施方式所涉及的图像表示部的构成的图。图34，是表示本发明的第六实施方式中高解像度化的效果的图。

(符号说明)

LF(t)    低解像度动画数据WD1~WD4    窗口区域HWF(t)     窗口区域的高解像度图像P(t)       高解像度化参数(解像度转换规则)DF(t)      差分动画数据DLF        低解像度动画数据DP         高解像度化参数DMC        多像素解像度压缩动画数据CLF(t)     低解像度压缩动画数据(第一压缩数据)CDF(t)     差分压缩动画数据(第二压缩数据)102        多像素解像度摄像部104    低解像度动画记录部106    低解像度转换部109    高解像度化参数记录部111    录像按钮120    高解像度化参数学习部160    窗口位置更新部301    动画输入部305    高解像度化参数输入部310    高解像度化部401    多像素解像度动画记录部402    压缩动画数据分离部403    高解像度窗口生成部410    动画分离部701    带偏光过滤器多像素解像度摄像部

具体实施方式

本发明的第一实施方式，包括：记录低解像度动画数据的录像过程、和高解像度化上述录像过程中记录的低解像度动画数据的高解像度化过程，提供上述录像过程，在上述低解像度动画数据的各帧中，作为图像的一部分区域的窗口区域中，取得高解像度图像的步骤、和上述各帧中，使用上述窗口区域中的高解像度图像，学习解像度转换规则的步骤，上述高解像度化过程，包括利用在上述录像过程中使用学习的解像度转换规则，进行上述低解像度动画数据的高解像度化的步骤，在上述录像过程中以上述每个帧为单位改变上述窗口区域的位置的图像处理方法。

以下，参照附图详细说明本发明的实施方式。

(第一实施例)图1及图2，是表示本发明的第一实施方式所涉及的图像处理方法中录像过程的程序方框图。图1，表示摄影帧时的录像过程，图2，表示再生、显示录了像的动画数据时的高解像度化过程。图1及图2的过程，一般分别是对应录像摄影时和用放像机看摄影的录像带再现显示时的。

图1的录像过程，首先在时刻t取得低解像度图像LF(t)记录(S11)。还有与此同时，在占图像画面的一部分的窗口区域，取得高解像度图像HWF(t)(S12)。这个高解像度图像HWF(t)只用在以后的处理中，作为动画数据记录的必要性不一定有。并且，从这个解像度不同的图像低解像度图像LF(t)、高解像度图像HWF(t)，学习记录作为解像度转换规则的高解像度化参数P(t)(S13)。接下来，使窗口区域的设定位置移向其他位置(S14)。并且，只要录像继续就进入下一时刻t+1的处理(S16)，只要录像结束，完成过程(S15)。

步骤S13，求出低解像度图像LF(t)和高解像度图像HWF(t)各自的纹理特征量，使这些纹理特征量的对应关系成为参数。在本申请的说明书中，称这些参数P(t)为高解像度化参数。其实体是输入低解像度纹理TFL输出高解像度纹理TFH系数或桌面(table)TFH＝Function(TFL、t)…(式1)而不是其他。

图2的高解像度化过程中，取得由录像过程记录的低解像度的动画数据LF(t)以及由录像过程学习了的高解像度化参数P(t)(S21)。并且取得动画数据的一个画面(S22)，对该画面用高解像度化参数进行高解像度化(S23)。全画面完成时结束过程(S24)，未完成时进入下一个画面的处理(S25)。

在此，步骤S23，最好的是不只是利用该画面学习了的高解像度化参数，而是并用在其前后至少一个画面学习了的高解像度化参数进行高解像度化。其理由是，该画面，不会超过只在图像的一部分的窗口区域学习高解像度化参数，对于图像的整体高解像度化并不充分。例如，对于该画面的时刻t适用只包含时间T前后期间的高解像度化参数P(t’)既可，也就是，t-T≤t’≤tT…(式2)

图3，是概念表示本实施方式中录像过程及高解像度化过程的例的图。图3中，低解像度动画数据LF(t)的各画面是由8×8像素构成，将四分割图像整体的一个区域作为窗口区域WD1~WD4。窗口区域WD1~WD4的设定位置随每个画面而变化，在此沿着副扫描方向(纵方向)的顺序，从上向下，并且从下端返回上端移动。当然，窗口区域的形状和移动方法不只限于此，但是为了说明方便，举出简单的例子。

并且，窗口区域WD1~WD4内，比窗口区域以外的区域进行更高解像度的摄像，得到高解像度图像HWF(t)。在此，窗口区域内，对于其他区域进行纵横2×2倍的像素密度摄像。尚，如后所述，窗口区域内高解像度摄像，窗口区域以外的区域低解像度摄像，在一个画面中取得多像素解像度的动画数据也没有关系。在本申请的说明书中，称这样的动画数据为多像素解像度动画数据。

取得多像素解像度动画数据的情况，在窗口区域以外的区域记录低解像度图像，但是，在窗口区域内只记录高解像度图像。但是，在窗口区域没有必要再次取得低解像度图像，可以通过进行对高解像度图像的取间或平均化等的图像过滤处理生成。尚，这个模型化，可以通过考虑使用光学系统或摄像元件的开口形状可以高精度的实现接近现实的形状。例如，对于高解像度图像实施与高斯型系数的折合型演算的PSF(Point Spread Function)，接下来可以考虑将它在两维空间具有一定的宽度的摄像元件区域的范围积分的手法等。

现在，注目时刻t的话，将图像在纵方向上四分割的各部分区域AR1~AR4，以从上向下的顺序，分别对应于时刻t-2的窗口区域WD1、时刻t-1的窗口区域WD2、时刻t的窗口区域WD3及时刻t-3的窗口区域WD4。也就是，在时刻t，对应各部分区域AR1~AR4的高解像度化参数，已经在时刻t-2、t-1、t-3学习完。使动画数据的画面速度为1/30(sec)的话，从时刻t-3到t的经过时间不超过1/10(sec)程度，若不是在很大程度的瞬间画面变化，在各画面取得的是基本同样的特征量信息。为此，从时刻t-3到时刻t适用高解像度化参数是有效的。

还有，在时刻t的低解像度图像区域，在时刻t上加上·时刻(t-1)或时刻(t+3)·时刻(t-2)或时刻(t+2)·时刻(t-3)或时刻(t+2)时，必有高解像度取得的性质。为此，通过适用前后三帧的高解像度化参数，只要在那个时间里没有大帧，就可以说高解像度化是有效的。这时因为与上述的(式1)中T＝3相当。

如图3所示那样，在各时刻，给出高解像度化参数P(t-3)、P(t-2)、…。在高解像度化过程中，低解像度动画数据的各帧，对各部分区域，其位置对应窗口区域，且，时刻偏离少的帧中适用高解像度化参数，进行高解像度化既可。例如，在时刻t图像LF(t)的情况下，依照从上部向下的顺序，对部分区域AR1适用高解像度化参数P(t-2)、对部分区域AR2适用高解像度化参数P(t-1)、对部分区域AR3适用高解像度化参数P(t)、并且对部分区域AR4适用高解像度化参数P(t+1)既可。尚，例如对于部分区域AR1，也可以适用高解像度化参数P(t+2)，对于部分区域AR2，适用高解像度化参数P(t+3)亦无关。

尚，图3中表示了四分割的例子，但是，将图像整体n(n为2以上的整数)分割后的一个区域作为窗口区域，n个帧占有整个图像，使窗口区域移动亦可。还有，即便是在此以外，最好的是按每个帧，以经过多个帧扫描整个图像的方式，移动窗口区域。

图4，是表示图1中步骤S13的处理的一例的程序方框图。在此，是将图像转变成纹理特征量矢量的手法之一，用由小波(wavelet)转换的多重解像度解析进行高解像度化参数的学习。首先，为了使低解像度图像LF(t)和高解像度图像HWF(t)的图像大小相符，插值扩大低解像度图像LF(t)(S131)。接下来，用后述的三阶段计数(scaling)的小波转换，小波转换两枚图像低解像度图像LF(t)和高解像度图像HWF(t)(S132)。最后，将两枚图像低解像度图像LF(t)和高解像度图像HWF(t)的小波对应关系，根据每个图像的位置而储蓄(S133)。这个对应关系，成为高解像度化参数P(t)。

图5，是表示图2中步骤S23的处理的一例的程序方框图。在此，在某一个期间适用高解像度化参数P(t’)进行高解像度化。首先，插值扩大低解像度图像LF(t)相符高解像度图像HWF(t)(S231)。其次，小波转换低解像度图像LF(t)(S232)，用高解像度化参数P(t’)置换小波系数(S233)。并且，进行逆小波转换，转换为高解像度化图像(S234)。在步骤S233中如图3所说明的那样，对图像上的部分区域使用不同帧时刻的高解像度化参数亦可。或者是，在某个期间将高解像度化参数一个集合量子化，将它作为高解像度化参数适用亦可。

图6，是表示图4的步骤S132中小波转换例的图。在图6中，第一段(计数)中，输入图像IN，通过在X、Y方向上的小波转换，分解成与输入图像IN同样大小的四成份图像H1H1、H1L1、L1H1、L1L1。第二段(计数)中、分解成的四成份中，X、Y双方向的高频成份H1H1以外的成份再次分解。这时，相对于只将L1L1再次在X、Y双方向分解，而H1L1、L1H1进行只在一个方向的分解，共计分解成八个成份。再有第三段(计数)中，分解H1H2、H2H1、H2H2以外的成份，同样只将L2L2向X、Y双方向分解，其他的进行只向一个方向的分解，共计分解成十二个成份。在此，由于计数的增加再分解成两个、四个(虚线所示)的，由以后的合成能够生成。

由图6那样的小波转换的分解，如图7所示，输入图像IN，各像素被分解成十六次元的成份。合成这些十六次元成份的矢量，是像素位置PP中纹理特征量TF1。

按照以上的做法，将低解像度图像和高解像度图像分别转换成纹理特征量，学习它们的相互关系，做成分析代码和再生代码。尚，有关这个处理，阿部淑人、菊池久和、佐佐木重信、渡边弘道、齐藤义明的“用多重解像度矢量量子化的轮廓强调”电子信息通信学会论文志Vol.J79A 1996/5(1032-1040页)，等中详细的进行了说明，在此省略详细的说明。这种情况，步骤S13的参数化，相当于做成分析代码和再生代码。从这儿算出(式1)所表示的高解像度图像参数P(t’)。

本实施方式时，只在图像的一部分的窗口区域取得高解像度图像，利用纹理特征量等的图像特征量生成高解像度参数。这样处理的有利点如下所述。

第一，高解像度化参数，并不是通过事先从别的动画数据的学习求得的，而是可以通过学习以后的实际的高解像度化动画数据的被摄物自身，可以实现高精度的图像处理。还有，因为高解像度化参数是时间的系数，通过每个帧的学习，即便是画面内具有任何特性的被摄物出现也能够取得瞬时的最适合的高解像度化参数，在显示时可以利用。为此，由学习取得的高解像度化参数和实际进行高解像度化动画数据的特性的不同引起的性能劣化，从原理上讲是不存在的。

第二，因为利用于高解像度化的是图像纹理等的特征量，所以与画面内的位置没有直接的关系，即便是移动窗口区域也不会受到什么影响。因此，通过适当的移动窗口覆盖图像整体，就可以充分利用来自画面整个区域的信息。

尚，图1所示的录像过程和图2所示的高解像度化过程，典型上讲是按照录像过程、高解像度化过程的顺序实施的，但是如现场直播那样摄像机摄影和传送显示同时实施的情况，从时间上讲同时实施录像过程和高解像度化过程也无妨。

还有录像过程中，只记录低解像度动画数据，将它用高解像度化过程高解像度化，但是在此以外，例如图3所示那样将所谓多像素解像度动画数据原样录制，再将它用高解像度化过程高解像度化也无妨。

(第二实施方式)本发明的第二实施方式，是以上述第一实施方式为基础，用例子说明具体的装置构成。在此，使用包括构成为能够摄像上述那样的多像素解像度动画数据的多像素解像度摄像部的携带式摄像机实行录像过程。多像素解像度摄像部，如后所述，用CMOS型摄像感应器等的XY地址型摄像元件构成。

图8，是本实施方式所涉及的图像处理装置，是表示将本发明应用于携带式摄像机的构成例的方框图。图8的图像处理装置10，包括：镜头101、多像素解像度摄像部102、储蓄低解像度动画数据的一个帧低解像度图像LF(t)的低解像度帧存储器103、录像低解像度动画数据DLF的低解像度动画记录部104、储蓄一个帧内的窗口区域中高解像度图像HWF(t)的高解像度窗口存储器105、将窗口区域的高解像度图像HWF(t)通过图像处理转变成低解像度的低解像度转换部106、用窗口区域的高解像度图像HWF(t)学习高解像度化参数P(t)的高解像度化参数学习部120、记录高解像度化参数DP的高解像度化参数记录部109、整体控制部110及录像按钮111。高解像度化参数学习部120，包括：将高解像度图像HWF(t)转化成纹理特征量的纹理转换部107、补正低解像度图像的像素大小后转换成纹理的图像大小补正·纹理转换部112、以及学习纹理的对应关系的纹理学习部108。尚，在此，因为多像素解像度摄像部102是进行线单位读出的，所以，在多像素解像度摄像部102和低解像度帧存储器103之间设置了进行水平方向像素简拔的简拔电路115。

按住录像按钮111，整体控制部110向多像素解像度摄像部102及低解像度动画记录部104送出录像指令。多像素解像度摄像部102接受到录像指令实行摄像，低解像度图像LF(t)在低解像度帧存储器103内按帧存储。并且，低解像度动画记录部104，按时间连续低解像度帧存储器103中存储的低解像度图像LF(t)成为动画数据，在进行压缩等的处理，作为低解像度动画数据DLF记录于储存媒体或网络上。

整体控制部110，在送出录像指令的同时，向纹理学习部108及高解像度化参数记录部109送出学习信号。多像素解像度摄像部102取得的窗口区域的高解像度图像HWF(t)，储存于高解像度窗口存储器105，经过纹理转换部107输入到纹理学习部108。高解像度图像HWF(t)还通过低解像度转换部106转换为低解像度后，经过图像大小补正·纹理转换部112输入到纹理学习部108。纹理学习部108，从解像度不同的同一时刻的图像关联附加纹理之间的对应关系，学习解像度转换规则的高解像度化参数P(t)。高解像度化参数记录部109，将它作为高解像度化参数DP存储或发送到网络上。

尚，低解像度转换部106的输出也提供低解像度帧存储器103。这是，多像素解像度摄像部102，在窗口区域内只取得高解像度图像，未读出低解像度图像，所以为了补足低解像度图像LF(t)中欠落的窗口区域的部分。

放开录像按钮111，上述动态停止。

在图8的构成中，从多像素解像度摄像部102到低解像度动画记录部104可由硬件构成，还有，纹理学习部108及高解像度化参数记录部109，构成CPU还有GPU(Graphic Processing Unit)等的中心是可能的。

图9，是表示多像素解像度摄像部102的构成的概念图。图9中，在三板方式的一般携带式摄像机中使用了彩色图像摄影用光学系统。三板方式，就是由三棱镜131将波长带域分离成红(R)、绿(G)、蓝(B)。并且，各下盘(collar band)分别对应多像素解像度摄像元件132R、132G、132B。信号处理电路133处理从这些多像素解像度摄像元件132R、132G、132B的输出，生成亮度信号Y和色差信号Cr、Cb。这时，分离成后述的“跳行读出”形成的低解像度信号、和同样是后述的“逐步读出”形成的高解像度信号。

动画数据的记录中，使用了这个YCrCb形式。另一方面，纹理学习中，全部使用这个YCrCb形式原样的亮度色差信号也可以，只使用亮度Y信号也可。但是，高解像度化倍率超过4×4的情况下，从人的视觉系统的亮度成份和颜色成份的频率应答特性比率考虑，只是亮度Y的高解像度化在画质上是不充分的，另外将色差CrCb双方高解像度化是必要地。因此，4×4以上倍率的情况下，在纹理学习中使用红R、绿G、蓝B三个信号成份亦可。图9的构成中，在红、绿、蓝所有的中对应多像素解像度摄像元件132R、132G、132B，且，因为是将动画数据记录方式设定在以前的亮度色差空间中，所以，在纹理学习时，独立使用亮度Y和两种的色差Cr、Cb信号。

图10，是表示由多像素解像度摄像元件读出像素位置的一例的图。图10中，加上阴影线(hatch)的像素是读出对象像素。尚，实际使用摄像元件具有2000×3000个程度的像素，但是，在此为了简单，绘出了以16×16像素也就是垂直(V方向)16线，水平(H方向)16线的二维感应器为例的图。(A)~(B)分别对应在时间上连续的四个帧。

正如从图10所得知的那样，256(＝16×16)个像素，分离成为进行全像素读出范围(相当于取得高解像度图像的窗口区域)、和此外的进行跳行读出范围。窗口区域是从下向上的顺序移动，以从(A)到(D)为止的四个帧为一个周期，窗口区域的位置重复同样地移动。

窗口区域以外区域的低解像度图像的读出，可以考虑各种各样的方法，图10中，将均等地十六等分的图像整体假想方块的近似中心，设定为低解像度图像的读出像素位置。通过这种方法，得到水平H垂直V方向的各自间拔了四分之一的低解像度图像。图10中，进行跳行读出的垂直线符号是，(A)中(7、11、15)，(B)中(3、11、15)，(C)中(3、7、15)，(D)中(3、7、11)。

正是这样，在读出全部线的窗口区域，垂直方向上有规则的移动四条线，在它以外的区域，垂直方向上固定位置读出三条线。通过这个方法，不会两次读出同一个像素，能够进行多像素解像度摄像。本实施方式，是使用这个读出方法的实施方式。

图11，是表示由多像素解像度摄像元件读出像素位置的其他例的图。图11的例中，低解像度图像的读出方法与图10不同。这种方式中，窗口区域的全部线读出是独立的将间拔四分之一的低解像度图像，随帧的不同从不同的位置读出。这是为了获得时间空间上取样均等效果，对一部分像素的读出允许重复。图11中，进行跳行读出的垂直线符号是，(A)中(1、5、9、13)，(B)中(2、6、10、14)，(C)中(3、7、11、15)，(D)中(4、8、12、16)。变黑的像素，是进行重复读出的。这个方法中，只由跳行读出的像素构成的低解像度动画数据成为可能。为此，为了补充低解像度图像中欠落的窗口区域的，从低解像度转变部106到低解像度帧存储器103的像素值的提供处理就不再需要，这是有利之处。

<多像素解像度摄像元件的构造>图12，是表示多像素解像度摄像元件的构造一例的电路方块图。图12中，表示了以垂直16线，水平16线的两维感应器的例，实现图11所示的那样的读出方法的。尚，以后的说明中，使用称将高解像度读出画面的一部分的处理为“逐步读出”，低解像度读出图像的处理为“跳行读出”，线为标准的用语。

摄像元件大致包括：两维设置(阵列设置)进行入射光的光电转换的摄像单位像素211的摄像部201，和两维设置分别对应摄像单位像素211的储存单位像素221，包含遮挡入射光的遮挡部的储存部202。并且，摄像部和储存部202，连接着从摄像部201向储存部202移动信号电荷的信号线p2str。

摄像部201的周围，设置着按每条线的顺序转换读出脉冲的读出用转换记录器203，以及按每条线转换复位脉冲的复原用转换记录器204。读出脉冲通过读出脉冲供给线rd-p，复位脉冲通过复位脉冲供给线rst-p，送到摄像部201的各摄像单位像素211。接收了读出脉冲的摄像单位像素211输出信号电荷，接收了复位脉冲的摄像单位像素211复位信号电荷。

储存部202的周围，设置着输出用于“跳行读出”的读出脉冲的跳行扫描用转换记录器205，输出用于“逐步读出”的读出脉冲的逐步扫描用读出脉冲的逐步扫描用转换记录器206，选择跳行扫描用转换记录器205及逐步扫描用转换记录器206的任何一个输出供给储存部202的选择器207，以及，用于从摄像部201向储存部202转送信号电荷之际的读入用转换记录器208。选择器207输出的读出脉冲，通过读出脉冲供给线rd-p供给储存部202的各储存单位像素221。还有，读入用转换记录器208输出的传送脉冲，通过传送脉冲供给线trn供给储存部202的各储存单位像素221。

逐步扫描用转换记录器206，产生为每帧的部分读出全部线读出的高解像度图像(例如，每个帧各输出四分之一画面四个帧构成一个画面)的脉冲。另一方面，跳行扫描用转换记录器205，产生为每个帧得到一个画面的脉冲产生跳行读出的低解像度图像。跳行扫描用转换记录器205，另外用图15详细说明。

另外，选择器晶体管群209，设置了水平转换记录器210及输出放大器211。储存在储存部202的各储存单位像素221的信号电荷，通过信号输出线sig-out，基于由水平转换记录器210选择的顺序，通过选择器晶体管群209及输出放大器211，输出到外部。

还有，时钟产生电路212，供给脉冲给：读出用转换记录器203、复位用转换记录器204、跳行扫描用转换记录器205、逐步扫描用转换记录器206、选择器207、读入用转换记录器208、水平转换记录器210、以及复位脉冲供给线rsd-s。但是，时钟产生电路212，与摄像元件分别搭载在不同的芯片上也无妨。

由信号线p2str、读出用转换记录器203、读出脉冲供给线rd-p、读入用转换记录器208、传送脉冲供给线trn，构成传送部。还有，由信号输出线sig-out、跳行扫描用转换记录器205、逐步扫描用转换记录器206、选择器207、读出脉冲供给线rd-s，构成输出部。

图13，是表示摄像单位像素211的构成一例的图。图13的构成，普通的是由三个晶体管构成。也就是，包括：光产生信号的光电管PD(光电晶体管PD)、栅极连接于读出脉冲供给线rd-p，为将信号电荷输出给信号线p2str的读出用晶体管TR1，源极转发晶体管TR2，以及，栅极连接于复位脉冲供给线rst-p，复位储存了的信号电荷的复位用晶体管TR3。

图14，是表示储存单位像素221的构成一例的图。图14的构成，是由四个晶体管和一个电容构成。也就是包括：栅极连接于传送脉冲供给线trn的晶体管TR4，通过信号线p2str及晶体管TR4为储存从摄像单位像素211传送的信号电荷的储存电容C-str，栅极连接于读出脉冲供给线rd-s，将储存在储存电容C-str中的信号电荷读出到信号输出线sig-out的晶体管TR5，栅极连接于复位脉冲供给线rst-s，将储存电容C-str复位到GND电平的晶体管TR6，以及源极转发晶体管TR7。

图15，是表示跳行扫描用转换记录器205的构成的一例的图。图15中，跳行扫描用转换记录器205，是由跳行指定选择器251、线群扫描转换记录器252、以及D门闩253等构成。它的详细动态在后叙述。

图16，是说明图12至图15所示的多像素解像度摄像元件中摄像/传送及读出的一连串动态的概要的动态关联图。图16中，表示连续四帧期间的概略动态(但是，由于作图的需要，省略了第三帧)。

第一帧中，摄像部201的线PDR1的曝光时间T1结束的话，在以后的传送期间T11中，线PDR1上所有的信号电荷，线上一次性的传送给对应于储存部202的线STR1的像素。被传送的信号电荷，分别储存于对应于水平方向位置的储存单位像素221的储存电容C-str。接下来线PDR2的曝光时间T2结束的话，在接下来的传送期间T21中，线PDR2上的信号电荷，线上一次性的传送给对应于储存部202的线STR2的像素。被传送的信号电荷，分别储存于对应于水平方向位置的储存单位像素221的储存电容C-str。

这样的读出/传送动态，在高速V传送期间Tp2str中，按照十六条线PDR1至PDR16的顺序实行。也就是，在曝光时间中各摄像单位像素211内的光电管PD上光电转换了的信号电荷，于高速V传送期间Tp2str，被从摄像部201向储存部202传送、储存。

第一帧中储存在储存部202内的信号电荷，在下一个第二帧的水平读出期间，读出到外部。第二帧，线STR5至STR8的四条线由逐步读出方式读出，STR2、STR6、STR10、STR14的四条线由跳行读出方式读出。其他的线，不被读出。并且，在储存部复位期间，复位脉冲供给线rst-s上施加了复位脉冲，储存部202的全部储存单位像素221的储存电容C-str，一起被复位到GND电平。

在以后的帧中，进行同样地扫描。第四帧，线STR13至STR16的四条线由逐步读出方式读出，STR4、STR8、STR12、STR16的四条线由跳行读出方式读出。其他的线，不被读出。并且，在储存部复位期间，复位脉冲供给线rst-s上施加了复位脉冲，储存部202的全部储存单位像素221的储存电容C-str，一起被复位到GND电平。

尚，图16的各帧中，进行的是四线连续进行逐步读出，以每四线一线的进行四线跳行读出，但是，读出的线数并不仅限于此，还有，跳行读出和逐步读出所读出的行数并非一定要相等。例如，n线连续进行逐步读出，以每m线一线的进行跳行读出亦可。还有，为了简单，例如第二图像中，线STR6进行了重复读出，但是并不一定要使它重复。

图17，是表示高速V传送期间Tp2str中动态的脉冲波形图。图17中，第一帧的线PDR1，曝光时间T1结束的话，读出脉冲供给线rd-p上供给读出脉冲。这个读出脉冲，施加在图13的摄像单位像素211中晶体管TR1的栅极上，相当于光电管PD的信号电荷的信号电荷通过源极转发晶体管TR2输出给信号线p2str。线STR1，在传送脉冲供给线trn上供给传送脉冲的话，这个传送脉冲施加在图14的储存单位像素221中晶体管TR4的栅极上，从信号线p2str通过晶体管TR4向储存电容C-str传送信号电荷。

读出脉冲供给后，向复位脉冲供给线rst-p供给复位脉冲。这个复位脉冲施加在图13的摄像单位像素211中晶体管TR3的栅极上，由此，复位光电管PD。

通过这样的动态，摄像部201的各线PDR1至PDR16中的摄像单位像素211的信号电荷，全部传送到对应于储存部202的线STR1至STR16的储存单位像素221中。

图18，是表示水平读出期间及储存部复位期间的动态的脉冲波形图。图18中，从脉冲产生电路212供给时钟CK。第一帧的水平读出期间中，从时钟CK，通过选择信号sel-H/L分离出的转换时钟CK-H供给逐步扫描用转换记录器206。逐步扫描用转换记录器206，接收这个转换时钟CK-H、和从脉冲产生电路212供给的转换数据Data-H(未图示)，向线STR1至STR4输出读出脉冲。第二帧的水平读出期间中，逐步扫描用转换记录器206，向线STR5至S TR8输出读出脉冲。

在此如图15所示那样，跳行扫描用转换记录器205，包括决定该帧的所跳行的跳行指定记录器251、和为同相位扫描的线群扫描转换记录器252。首先，跳行指定记录器251，接收从脉冲产生电路212供给的时钟CK-L1及跳行选择数据Data-L1，使输出L1至L16当中对应于该帧的跳行扫描线的成为“H”。第一帧中，L1、L5、L9、L13成为“H”。

接下来，线群扫描转换记录器252，被供给来自脉冲产生电路212的数据转换用时钟CK-L2及数据Data-L2。在此，作为数据Data-L2，供给了以数据门闩用时钟CK-L3的四个周期为一个周期，一周期(数据转换用时钟CK-L2的四个脉冲的量)期间为“H”，续后的三个周期期间为“L”的数据。由此，D门闩253的输出L1至L16成为如图18所示那样。

图19，表示选择器207的输出的脉冲波形图。选择器207，选择信号sel-H/L为“H”时选择逐步扫描用转换记录器206，为“L”时选择跳行扫描用转换记录器205的输出。由此，图18所示的一连串动态的结果，各线STR1至STR16可以得到图19所示那样的输出。

在此，为了任意改变跳行数，只要改变脉冲产生电路212的输出的数据Data-L2、数据转换用时钟CK-L2及数据门闩用时钟CK-L3既可。还有，为了任意改变逐步扫描的连续线数，这也是只要改变脉冲产生电路212的输出的选择信号sel-H/L的“H”期间既可。正如这样，跳行线数以及逐步扫描的连续线数并非只由电路构成而决定，本实施方式中，可以设定自由动态形式，有自由度的驱动成为可能。

还有，水平读出期间的一线读出，如以下那样进行。水平转换记录器210，接收从脉冲产生电路212供给的一水平期间的选择信号HSEL和水平传送时钟Hck，对应于此，逐个向选择器晶体管群209的各晶体管C1至C16供给脉冲。其结果，从线STR1至STR16中的由选择器207的输出选择的线，储存在储存单位像素221的储存电容C-str的信号电荷，按顺序，通过输出放大器211传送给外部信号处理电路(在此未图示)，完成读出。

返回到图8的构成，从多像素解像度摄像部102逐步读出的像素值，作为高解像度图像HWF(t)暂时储存在高解像度窗口储存器105。还有，从多像素解像度摄像部102跳行读出的像素值，由间拔电路115在H方向间拔四分之一后，作为一个帧画面暂时储存在低解像度帧储存器103中。这个间拔，在图10及图11的例中，实现只使H方向的像素符号(2、6、10、14)的像素值通过，其他的就读过既释。

在此，图10的读出动态的情况下，就这样的话，一个帧中欠落窗口区域中的低解像度图像。为此，低解像度转换部106对高解像度图像HWF(t)进行取样处理等的图像处理，收纳在低解像度帧储存器103中的相应位置。例如在图10的例中，以窗口区域的下边为V方向的原点基准，只要进行坐标(V、H)＝(2、3)、(6、3)、(10、3)、(14、3)的位置的特定像素取样既可。

储存在低解像度帧储存器103中的，纵横1/4×1/4间拔的低解像度图像LF(t)，逐次按每个帧由低解像度动画数据记录部104记录。在此之际，适用既存的动画数据压缩方式是任意的。

高解像度窗口区存储器105中储存的高解像度图像HWF(t)的亮度成份，输入纹理转换部107，通过小波转换等的多重解像度转换，转换为亮度图像的纹理特征量。另一方面，从低解像度转换部206输出的低解像度图像的亮度成份，输入图像大小补正·纹理转换部112。图像大小补正·纹理转换部112中，一旦将低解像度图像复原成与高解像度图像相同的像素数，实施小波转换等的多重解像度转换，转换为亮度图像的纹理特征量。在此图像大小补正手法是任意的，但是，可以用双线性插值、双立方插值等的手法。在此所用的图像大小补正手法，被利用在后述的动画数据高解像显示之际从低解像度图像高解像度化情况的事前处理。

图20，是概念表示纹理转换处理的图。图20中，2001是窗口区域的高解像度图像，在此为正方形的窗口区域。2002是小波转换高解像度图像2001得到的多阶层小波系数图像。还有2003是低解像度图像，2004是通过像素大小补正与高解像度图像2001像素一致地图像，2005是从图像2004得到的小波系数图像。若称图像2001为鲜明图像，称图像2004为模糊图像的话，2006和2007就分别是鲜明图像2001和模糊图像2004的像素位置PP中具有十六次元成份的纹理特征量。

在学习(摄像)时，学习纹理特征量2006、2007的关系，将从低解像度的纹理特征量2007向高解像度纹理特征量2006的转变规则作为高解像度化参数取得。并且，在高解像度化中，输入低解像度图像2003，通过进行像素大小补正得到模糊图像2004，通过适用学习的高解像度化参数，得到高解像度图像2001。尚，在此的说明中，因为是利用学习的图像自身实施高解像度化，所以可以实现理想地高解像度化，但是，实际上未学习的图像作为对象的很多，也就并非一定能复原到理想地高解像度图像。然而本发明中，与摄像时一起学习被摄物体的一部分的窗口区域的高解像度化参数，通过预先学习类似地被摄物体取得高解像度化参数，可以实现数段性高的高解像度化。

纹理学习部108，学习解像度转换部107及图像大小补正·解像度转换部112输出的纹理特征量的相互关系，做成分析编码和再生编码生成高解像度化参数。有关这个手法，用图21说明。

在此，模糊图像和鲜明图像都是由100像素形成的。模糊图像和鲜明图像，分别随位置的不同，转换成多重解像度矢量U1至U100、V1至V100。矢量U1至U100和矢量V1至V100之间，具有像素位置相同的关系，编码，只要作成为输入U时就会输出对应的V的形式既可。但是，实际上，各多重解像度矢量通过矢量量子化分类成代表矢量。

图21的例子中，矢量U量子化为2101和2102两种，矢量V量子化为2103和2104两种。分析编码或再生编码的量子化指标，意味着加在这些量子化了的矢量集合的符号。并且，所谓的附加编码，是得到输入矢量符号V和量子化了的矢量集合的符号的1、2而不是其他的。还有，量子化集合2103上付着代表矢量Z1，量子化集合2104上付着代表矢量Z2。这些代表矢量，是通过取得属于量子化集合的矢量的平均值以及代表值等的方法计算的。本发明中，在此叙述的编码作为时刻的相关数按照每个帧计算，成为高解像度化参数P(t)。

接下来，产生从矢量符号输出量子化指数(1或2)的分析编码IG、和输入量子化指数(1或2)输出再生编码IF。通过接合使用这样生成的分析编码和再生编码，可以将模糊图像多重解像度矢量转换为鲜明图像解像度矢量。

以上这样求得的分析编码和再生编码，通过高解像度化参数记录部109，作为高解像度化参数DP储存。

图22，是表示本实施方式所涉及的图像显示部的构造的图。图22的构成，具有高解像度显示由图8的携带式摄像机等像素处理装置摄像的动画数据的功能，例如，作为携带式摄像机的附属显示部，设置在携带显示终端或家庭内的大型电视(TV)等中。图22的图像显示部30，包括动画输入部301、图像大小补正·纹理转换部302、纹理置换部303、纹理逆转换部304、高解像度化参数输入部305、整体控制部306以及显示器307。由图像大小补正·纹理转换部302、纹理置换部303以及纹理逆转换部304构成高解像度化部310。

首先，由图8的图像处理装置10记录的低解像度动画数据DLF以及高解像度化参数DP，通过网络或各种各样的媒体，输入图像显示部30。整体控制部306向动画数据输入部301送去指令，接到指令的的动画数据输入部301，扩大读出压缩了的低解像度动画数据DLF。在此，想定的是通常的彩色动画数据，所以，生成YCrCb的亮度色差信号。读出的图像，与本来的高解像度图像相比从像素大小1/4×1/4的低解像度，接下来图像大小补正·纹理转换部303得到图像大小纵横扩大四倍的模糊图像，再接下来独立纹理转换成彩色信号的亮度成份Y和色差CrCb。这个动态，与图8的图像大小补正·纹理转换部112相同，省略说明。

接下来，整体控制部306向高解像度化参数输入部305发送指令，接到指令的高解像度化参数输入部305，读出高解像度化参数DP输入纹理置换部303。纹理置换部303，通过结合使用记录在高解像度化参数中的分析编号和再生编号，将表现模糊图像纹理的多重解像度矢量(纹理特征量)，转换成表现鲜明图像纹理的多重解像度矢量。接下来，纹理逆转换部304进行从鲜明图像纹理特征量向高解像度化了的亮度图像的转换。并且，高解像度化了的亮度Y图像和原色差CrCb图像输入到显示器307，高解像度图像作为动画数据显示。

尚，以上的说明，是基于将彩色动画数据分离成称为YCrCb的亮度·色差成份使用，独立高解像度化各成文的考虑方法。但是，本发明并不只限于此，将彩色动画数据用RGD成份使用，整体成份用独立高解像度化方法，高解像度化只有亮度成份的黑白图像的方法亦可。

还有如上所述那样，本实施方式中，从低解像度的记录动画数据生成显示高解像度的动画数据是可能的，所以，在摄像时储存信息量少，不需要消耗电力大的高解像度动画数据用超高速摄像元件，这是一个有利之处。为此，应用到在消耗电力方面有限制的超小型摄像机等成为可能。其结果，就可以对应将超小型摄像机摄像的动画数据在大画面显示器中高画质扩大显示，想看的部分进一步扩大等的处理，这成为一个大的有利点。

(第三实施方式)图23，是本发明第三实施方式所涉及的图像处理装置，与图8一样，是表示将本发明应用于携带式摄像机构成例的方框图。与图8构成的不同之处，是省略了低解像度帧储存器103，取代记录低解像度动画数据的低解像度动画记录部104，设置了记录多像素解像度压缩动画数据DMC的多像素解像度动画记录部401。也就是，相对于第二实施方式的录像低解像度化了的动画数据，本实施方式，是将有多像素解像度摄像部102摄像的图像原样储存。将取得的多像素解像度动画数据，通过硬是不低解像度化而有效的使用，提高高解像度化的性能。

按下录像按钮111，整体控制部110，向多像素解像度摄像部102以及多像素解像度动画记录部401发出录像指令。多像素解像度摄像部102接收录像指令实行摄像，将多像素解像度动画数据F(t)送往多像素解像度动画记录部401。多像素解像度动画记录部401接收多像素解像度动画数据F(t)，进行后述的压缩等的处理，作为多像素解像度压缩动画数据DMC记录到储存媒体或网络上。

整体控制部110，在送出录像指令的同时，向纹理学习部108及高解像度化参数记录部109送出学习信号。多像素解像度摄像部102取得的窗口区域中的高解像度图像HWF(t)，储存于高解像度窗口储存器105，经过解像度转换部107输入纹理学习部108。高解像度图像HWF(t)，还通过低解像度转换部106低解像度转换后，经过图像大小补正·纹理转换部112输入到纹理学习部108。纹理学习部108，从解像度不同的同一时刻的图像关联附加纹理之间的对应，学习解像度转换规则的高解像度化参数P(t)。高解像度化参数记录部109，将它作为高解像度化参数DP储存或送向网络。

图24，是表示多像素解像度压缩动画数据DMC的图像格式的图。在此说明的处理，在多像素解像度动画记录部401上实行。通过多像素解像度摄像部102摄像的多像素解像度摄像动画数据F(t)，在一个帧内存在像素密度不同的部分，所以无法原样作为动画数据有效的压缩。在此，首先，生成将整体低解像度化了的动画数据F(t)。这个，已在第二实施方式等叙述了，只要由图像过滤处理进行既可。接下来，压缩这个低解像度动画数据LF(t)，生成作为第一压缩数据的低解像度压缩动画数据CLF(t)。这个只要使用既存的动画压缩手法既可。

接下来，生成差分动画数据DF(t)。DF(t)＝F(t)-LF(t)…(式3)在此，这个差分动画数据DF(t)，只在取得了高解像度图像的窗口区域具有差分值，其他的区域的差分值为0，为此，具有数据的面积小。在此基础上，因为非常多的包含高频成份，所以在量子化之际压缩效率变高。因此，另外压缩差分动画数据DF(t)，得到作为第二压缩数据的差分压缩动画数据CDF(t)。汇聚两种压缩动画数据CLF(t)、CDF(t)为一个图像格式，将它作为多像素解像度压缩数据DMC记录。

图25，是表示本实施方式所涉及的图像显示部的构成图。图25的构成，具有高解像度显示由图23的携带式摄像机等图像处理装置摄像的动画数据的功能，例如，作为携带式摄像机附属的显示部，设置于其他的携带终端或家庭内大型电视等上。图25中，与图22共同的构成要素标注相同的符号，并在此省略说明。与图22不同的是，使用了作为输入的多像素解像度压缩动画数据DMC这一点，为此，包括为将输入的多像素解像度压缩动画数据DMC分离成差分动画数据DF(t)和低解像度动画数据LF(t)的压缩动画数据分离部402。还包括高解像度窗口生成部403、高解像度成份合成部404以及合成比决定部405。

压缩动画数据分离部402，从整体控制部306接收指令，分离伸张多像素解像度动画数据DMC，得到低解像度动画数据LF(t)以及差分动画数据DF(t)。低解像度动画数据LF(t)，如图22一样，由图像大小补正·纹理转换部302、纹理置换部303以及纹理逆转换部304处理，转换成高解像度图像HWF(t)。但是，这个高解像度图像HWF(t)，最多不过是只从低解像度动画数据LF(t)生成的，将它原样显示在显示器307上，没有利用录像了多像素解像度摄像图像F(t)。

因此，因为使用本来摄像的高解像度图像，高解像度窗口生成部403，使用差分动画数据DF(t)及低解像度动画数据LF(t)得到原多像素解像度摄像图像F(t)，输出窗口区域的高解像度图像HWF(t)。并且，高解像度成份合成部404，使用高解像度图像HF(t)、HWF(t)，由合成比决定部405决定的合成比m(m＝0~1)进行加权合成，输出为在显示器307上显示用的高解像度图像HWF(t)。这个加权合成，在窗口区域进行，而在窗口区域以外的区域，原样使用由纹理置换得到的高解像度图像HWF(t)。HHF(t)＝m×HWF(t)+(1-m)×HF(t)…(式4)

但是整体控制部306，通过向合成比决定部405发送由合成比决定部405决定的合成比m，可以改变这个合成比m。由此，进行了加重合成的窗口区域、和这些以外的区域的图像的差，能够降低到没有疑惑感的电平为止。

(第四实施方式)第三实施方式中，高解像度化参数的学习，是在录像时的携带式摄像机内实施的。于此相对，本实施方式中，高解像度化参数学习不在录像时实行，而是在网络上的服务器中或显示装置中实施。由此，既减轻了摄像机的处理负荷的同时，在显示一侧，在从录像了的动画数据学习高解像度化参数的同时，自由自在的高解像度化成为可能。

图26，是本实施方式所涉及的图像处理装置，表示将本发明利用于携带式摄像机的构成例的方块图。图26中，与图23共同的构建要素标注同样地符号，在此省略它的说明。与图23的构成相比，图26的图像处理装置51中，省略了学习高解像度化参数的构成，只是将多像素解像度摄像部102的输出作为多像素解像度压缩动画数据DMC记录。这个动画数据DMC，除了记录在记录硬盘以外，还通过网络501，送到后述的影像服务器或者是图像表示部。

图27，是表示本实施方式所涉及的影像处理服务器的构成的方块图。图27中，与图23及图25的共同共同构成要素标注相同的符号，在此省略详细的说明。图27的影像处理服务器52，从多像素解像度压缩动画数据DMC生成高解像度化参数DP。通过压缩动画数据分离部402及高解像度窗口生成部403，构成动画分离部410。

如图27所示那样，压缩动画数据分离部402分离伸张多像素解像度压缩动画数据DMC，得到低解像度动画数据LF(t)及差分动画数据DF(t)。高解像度窗口生成部403，从低解像度图像LF(t)及差分动画数据DF(t)得到原多像素解像度摄像动画数据F(t)，输出窗口区域的高解像度图像HWF(t)。高解像度化参数学习部120，从高解像度图像HWF(t)和低解像度动画数据LF(t)得到高解像度化参数P(t)。高解像度化参数记录部109，将高解像度化参数P(t)作为高解像度化参数DP储存，还有送到网络501上。

本实施方式中，高解像度图像的显示，与第三实施方式一样，由图25那样的构成实行，在此省略说明。

尚，本实施方式中，高解像度化参数的学习功能，是在影像处理服务器中实现的。为此，动画数据的分离伸张功能，除显示部外，在影像处理服务器中也有必要设置。对此，实现将图27那样的影像处理服务器和图25那样的图像显示部合为一体的构成亦可。由此，将动画数据的分离伸张功能，在高解像度化参数学习时和高解像度图像显示时共用成为可能。

(第五实施方式)图28，是本发明的第五实施方式所涉及的图像处理装置，表示将本发明应用于携带式摄像机的构成例的方框图。图28的构成，是改良了第二实施方式所涉及的图8的构成，与图8共同的构成要素标注与图8相同的符号，在此省略详细说明。

本实施方式中，将取得高解像度图像的窗口区域位置，并不是单纯的随时间而移动，结合摄影对象的被摄物体的移动，以追踪被摄物体的形式更新。由此，在不偏离注目度高的被摄物体的位置的区域，可以集中学习高解像度化参数，也就可以提高高解像度化的精度。被摄物体候补区域，通过解析图像频率成份就可检测。例如，将含空间高频成份最多的部分定义为被摄物体候补区域既可。

图28的构成，与图8相比，追加了前帧低解像度帧储存器601；和检测低解像度动画数据中被摄物体候补区域的动态，对应于检测出的被摄物体候补区域的动态移动窗口区域位置的窗口位置更新部160。窗口位置更新部160，包括被摄物体候补检测部602、被摄物体动态检测部603以及窗口设定部604。

被摄物体候补检测部602，对储存在前帧低解像度帧储存器601中的低解像度图像进行保存高频成份的图像过滤处理，将具有高的频率能量的区域作为被摄物体候补区域检测。被摄物体动态检测部603，使用储存在低解像度帧储存器103的现在时刻t的低解像度图像、和储存在前帧低解像度帧储存器601的时刻t-1的低解像度图像，对在通过被摄物体候补检测部604检测出的被摄物体候补区域进行储存块匹配处理，检测动态矢量。窗口设定部604，基于由被摄物体动态检测部603检测的动态矢量，设定窗口区域。

图29，是表示被摄物体候补区域的检测处理的图。对图29(a)的输入图像实施边缘检测处理和镶嵌图的结果，得到用浓度描画的频率能量的集中程度的图29(b)。从图29(b)选择包含浓度最高的位置的区域作为储存块，加入储存块的连接程度，如图29(c)那样选择被摄物体候补区域。这种情况，作为包含被摄物体候补区域的区域，可以决定图29(d)那样的窗口区域。尚，在此，将窗口区域设定成82储存块形成的矩形，但是，窗口区域的形状，对应于多像素解像度摄像元件的构成设定成任意形状。

被求的被摄物体候补区域，通过连续帧之间的储存块匹配手法，计算动态矢量。并且基于得到的动态矢量，将下一时刻t+1的窗口区域偏离位置设定。通过这样的处理，取得高解像度图像的窗口区域被设定为追踪注目度高的被摄物体。

图30，是表示本实施方式中的窗口区域设定的一例的图。图30中，窗口区域2903的形状，与图3同样地横长的矩形。被摄物体2901在画面内随时间的推移而移动，在各帧中，检测表示被摄物体2901动态的动态矢量2902。窗口区域2903，结合被摄物体的垂直(V)方向的动态，随着时间而移动。这个窗口区域2903的动态，既不是图3所示那样的扫描顺序，也不是相邻帧之间的连续，是任意的。尚，图12的多像素解像度摄像部的构成中，通过转换从逐步扫描用转换记录器206的输出脉冲，可以使窗口区域在垂直V方向上任意移动。再有，在水平H方向，通过将不要的像素读后舍去，可以设定成任意形状的窗口区域。

(第六实施方式)图31，是本发明的第六实施方式所涉及的图像处理装置，是表示将本发明应用于携带式摄像机的构成例的方块图。图31的构成，是改良了第二实施方式所涉及的图8的构成，与图8共同的构成要素标注与图8相同的符号，在此省略其详细说明。

本实施方式中，将低解像度动画数据和高解像度化参数分解成扩散反射成份和镜面反射成份，取得低解像度动画数据和高解像度化参数。也就是，低解像度动画记录部104，记录扩散反射成份低解像度动画数据DLF1及镜面反射成份低解像度动画数据DLF2，高解像度化参数记录部109，记录扩散反射成份高解像度化参数DP1及镜面反射成份高解像度化参数DP2。还有，取代图8的多像素解像度摄像部102，设置了带偏光滤光器的多像素解像度摄像部701。

也就是，本实施方式中，使用的不是通常的彩色三板而是四个摄像元件，分离成被摄物体的镜面反射成份和扩散反射成份分别记录，分别高解像度化，最后合成图像。被摄物体的物理反射光学特性，可以通过从表面亮度分离镜面反射成份和扩散反射成份取得，其结果，被摄物体表面的粗糙特性和表面的反射率等材料固有的反射率特性分离所得，对提高被摄物体表面的质感的情况非常有效。因此，镜面反射成份和扩散反射成份通过分别实施高解像度化，可以期待被摄物体的表面质感。

镜面反射成份和扩散反射成份的分离可以有各种各样的方式，在此不需要设置照明方面的特别条件，只在摄像镜头前设置偏光板，用只分离偏离其偏光轴摄像的两枚图像的手法。有关本手法，梅山伸二的《从物体表面的扩散·镜面反射成份的分离-用于通过偏光过滤器的多重观测和概率的独立性-》，图像的认识，理解讨论会(MIR U2002)(I-469~476页)等详细的进行了说明，在此省略处理内容的详细说明，只叙述摄像部的构成。

图32，是表示带偏光过滤器多像素解像度摄像部701的构成图。如图32所示那样，带偏光过滤器多像素解像度摄像部701，包括四分割棱镜711、红光用多像素解像度摄像元件712、蓝光用多像素解像度摄像元件713、第一偏光板714、第一绿色用多像素解像度摄像元件715、第二偏光板716、以及第二绿色用多像素解像度摄像元件717、镜面反射成份分离部718以及照明光推定部719。这个构成中，因为能够取得反差非常大的镜面反射成份，最好的是使用动态范围宽的多像素解像度摄像元件。

四分割棱镜711的界面上，夹入了多层膜干涉过滤器使用的。入射光，在第一次界面反射分离成绿光(G)和紫红光(M)，在接下来的第二次反射中紫红光(M)分离成红光(R)和蓝光(B)，分别被导向红光用多像素解像度摄像元件712、蓝光用多像素解像度摄像元件713。另一方面，绿光(G)，在第二次反射中，分离成通过第一偏光板714的，输入第一绿色用多像素解像度摄像元件715的g1光，和通过第二偏光板716的，输入第二绿色用多像素解像度摄像元件717的g2光。第一偏光板714和第二偏光板716，都是只让偏光主轴成份透过，但是偏光轴相互偏离，所以由此在第一绿光用多像素解像度摄像元件715和第二绿光用多像素解像度摄像元件717上得到不同的图像。透过偏光板的g1光和g2光，是与原来的绿光(G)不同的光。

g1光和g2光，在镜面扩散反射成份分离部718中转换成原绿光(G)的镜面成份Gs和扩散成份Gd。在此，Gs和Gd满足以下的关系。G＝Gs+Gd…(式5)

另一方面，照明光推定部719，使用搭载于一般摄像机的AWB(自动曝光)机能等，取得照明被摄物体的光的信息。二色性反射模型成立的被摄物体，镜面反射成份Gs就是照明光的绿光(G)成份，所以，推定照明光推定部719的照明色成份(R、G、B)比率为绿光(G)为1(RIL、BIL)的情况，红光(R)及蓝光(B)的镜面反射成份Rs、Bs，作为照明光的红光(R)、蓝光(B)成份可由以下的方式推定。Rs＝RIL·GsBs＝RIL·Gs…(式6)使用它们，红光(R)、蓝光(B)，向镜面反射成份和扩散反射成份的分离可以是以下那样。R＝Rs+RdB＝Bs+Bd…(式7)

以上那样RGB的全部可以推定成扩散反射成份和镜面反射成份，所以，将这些反射成份，通过通常的矩阵演算，可以转换成扩散反射成份亮度色差空间(Yd、Crd、Cbd)和镜面反射成份亮度色差空间(Ys、Crs、Cbs)。

因此，图31的构成中，得到两种的动画数据，也就是扩散反射成份低解像度动画数据DLF1、镜面反射成份低解像度动画数据DLF2，和两种的高解像度化参数，也就是扩散反射成份高解像度化参数DP 1、镜面反射成份高解像度化参数DP2。

以前，将Y信号分离成扩散反射成份Yd和镜面反射成份Ys的情况，将RGB原色信号各自分离成镜面反射成份、扩散反射成份的多像素解像度摄像处理是必要地，为此，合计需要六个摄像元件。然而，本实施方式中，由于使用了照明光推定部719，由四个摄像元件就实现了。

图33，是表示本实施方式所涉及的图像显示部的构成的图。图33的构成，具有高解像度显示图31的携带式摄像机等的图像处理装置摄影的动画数据的机能，例如，作为携带式摄像机附属的动画数据而实现，或者设置于其他的携带终端或家庭内的大型电视机等。与第二实施方式的图22的构成不同，扩散反射成份和镜面反射成份各自实现高解像度化，其后，扩散反射成份镜面反射成份合成部702，用亮度、色差水平合成镜面反射成份·扩散反射成份这一点。尚，这个合成，从纹理逆转换了的亮度色差YCrCb空间，还有原色RGB空间的任何一个进行亦可。动画输入部301a、301b与图22动画输入部301同样地动态，还有，图像大小补正·纹理转换部302a、302b、纹理置换部303a、303b，纹理逆转换部304a、304b，高解像度化参数输入部305a、305b，分别与图22的图像大小补正·纹理转换部302、纹理置换部303，纹理逆转换部304，高解像度化参数输入部305相同的动态。

本实施方式中，考虑分离扩散反射成份和镜面反射成份独立的信号，分别各自高解像度化，所以，与上述的第二至第五实施方式组合实施也是可能的。还有，结合扩散反射成份低解像度动画数据DLF1及镜面反射成份低解像度动画数据DLF2，作为单一的图像格式储存也是可能的。

还有，本实施方式中，是用同一方式进行扩散反射成份和镜面反射成份的高解像度化处理，但是，实际上并非一定要同一方式实施，利用不同的方式也是可能的。例如，还可以扩散反射成份只使用既存的插值扩大手法等的方法。

再有，双方高解像度化扩散反射成份和镜面反射成份的必要性，并不是一定的。只是一方高解像度化的情况，选择扩散反射成份和镜面反射成份的哪一个，由作为对象的被摄物体的特性或摄像时的光源环境，再有就是高解像度化的目的等决定既可。例如，对于工艺品以及实施了特殊的表面加工的被摄物体，更要强调再现表面凸凹感的情况是用镜面反射成份，若要忠实再现写在这些表面的印刷的文字等的情况是用扩散反射成份，可以考虑这些方法。

图34，是模式表示本实施方式的高解像度化的图。被摄物体，设定为表面上有凹凸的球体印刷了文字“ABC”的物体。图34中，成为输入的低解像度图像3301，文字部上由于镜面反射混入了高光线3307。将它分离成镜面反射成份3302和扩散反射成份3303的话，镜面反射成份3302中为扩散反射的文字部就会消失，另一方面，扩散反射成份3303中高光线部以及表面凹凸部消失。接下来，高解像度化镜面反射成份3302的话，在文字部消失的状态下表面的凹凸以及镜面反射成份被高解像度化生成图像3304。还有，高解像度化扩散反射成份3303的话，镜面反射以及高光线消失，生成只有文字部被高解像度化的图像3305。从图像3304、3305可以生成作为输出的高解像度图像3306。这个图像3306，不分离成扩散反射成份和镜面反射成份，与原样高解像度化的情况相比具有多的信息量，得到良好的视觉效果。

-产业上利用的可能性-

本发明，将反应被摄物体特性的精度高的解像度转换，用少量的图像处理量可以实现，例如视觉信息被看作重要的各种各样的应用专业中，对生成材质感横溢的数码高解像度动画数据是有效的。还有例如，对携带电话那样的低解像度显示系统的图像显示也是有效的。

Claims (22)

1.一种图像处理方法，其特征在于，包括：

录像过程，记录低解像度动画数据；和

高解像度化过程，将上述录像过程中记录的低解像度动画数据高解像度化，

上述录像过程，包括：

在上述低解像度动画数据的各帧中，在作为图像的一部分区域的窗口区域中，取得高解像度图像的步骤；和

在上述各帧中，使用上述窗口区域中的高解像度图像，学习解像度转换规则的步骤，

上述高解像度化过程，包括使用在上述录像过程中学习的解像度转换规则，进行上述低解像度动画数据的高解像度化的步骤，

在上述录像过程中，以上述各帧为单位，改变上述窗口区域的位置。

2.根据权利要求1所述的图像处理方法，其特征在于：

上述录像过程中，

在用高解像度摄像上述窗口区域内的同时，用低解像度摄像上述窗口区域以外的区域，取得多像素解像度动画数据，

对于上述多像素解像度动画数据，通过利用图像过滤处理对上述窗口区域的高解像度图像进行低解像度化，生成上述低解像度动画数据。

3.根据权利要求2所述的图像处理方法，其特征在于：

上述录像过程中，

检测出上述低解像度动画数据中被摄物体候补区域的动态，

根据检测出的被摄物体候补区域的动态移动上述窗口区域的位置，

所述被摄物体候补区域是含空间高频成份最多的部分。

4.根据权利要求2所述的图像处理方法，其特征在于：

上述录像过程中，

将上述多像素解像度动画数据，分离成扩散反射成份和镜面反射成份之后取得，

将上述低解像度动画数据及解像度转换规则，分离成扩散反射成份和镜面反射成份之后，并求出上述低解像度动画数据及解像度转换规则。

5.根据权利要求1所述的图像处理方法，其特征在于：

上述解像度转换规则，是描述解像度不同的图像之间的纹理特征矢量的对应关系的转换规则。

6.根据权利要求1所述的图像处理方法，其特征在于：

上述高解像度化过程中，

对进行高解像度化的帧，除了利用在该帧中学习的解像度转换规则之外，还利用在该帧前后的至少一个帧中学习的解像度转换规则来进行高解像度化。

7.根据权利要求1所述的图像处理方法，其特征在于：

上述录像过程中，以随每个帧为单位移动上述窗口区域，跨越多个帧扫描整个图像。

8.根据权利要求7所述的图像处理方法，其特征在于：

上述窗口区域，是将图像整体分割成n个之后的一个区域，且，设定为跨越n个帧占有整个图像，上述n为2以上的整数。

9.根据权利要求8所述的图像处理方法，其特征在于：

上述高解像度化过程中，

对进行高解像度化的帧，利用在包含该帧的n个帧中学习的解像度转换规则，且，利用与各部分区域相对应的帧所涉及的解像度转换规则，在此的该各部分区域对应于上述n个帧的各窗口区域，进行高解像度化。

10.根据权利要求1所述的图像处理方法，其特征在于：

上述高解像度化过程中，

在上述窗口区域内，用所规定的合成比合成原高解像度图像和通过高解像度化得到的图像。

11.一种图像处理装置，其特征在于，包括：

多像素解像度摄像部，在作为图像的一部分区域的、以每个帧为单位发生位置改变的窗口区域内以高解像度进行摄像的同时，以低解像度来摄像上述窗口区域以外的区域，从而取得多像素解像度动画数据；

低解像度转换部，对上述窗口区域的高解像度图像，通过图像过滤处理进行低解像度化；

低解像度动画记录部，记录从上述低解像度转换部的输出和上述多像素解像度动画数据得到的低解像度动画数据；

高解像度化参数学习部，利用上述窗口区域的高解像度图像和上述低解像度转换部的输出，学习高解像度化参数；和

高解像度化参数记录部，记录上述高解像度化参数。

12.根据权利要求11所述的图像处理装置，其特征在于：

上述多像素解像度摄像部，是通过将上述多像素解像度动画数据分离成为亮度成份和色差成份而取得该多像素解像度动画数据的。

13.根据权利要求11所述的图像处理装置，其特征在于：

包括录像按钮，

当按住上述录像按钮时，上述多像素解像度摄像部进行摄像，记录上述低解像度动画数据及高解像度化参数。

14.根据权利要求11所述的图像处理装置，其特征在于：

包括窗口位置更新部，该窗口位置更新部，在上述低解像度动画数据中，检测被摄物体候补区域的动态，根据检测的被摄物体候补区域的动态，移动上述窗口区域的位置，

所述被摄物体候补区域是含空间高频成份最多的部分。

15.根据权利要求14所述的图像处理装置，其特征在于：

上述窗口位置更新部，是通过图像频率解析，检测上述被摄物体候补区域的。

16.根据权利要求11所述的图像处理装置，其特征在于：

上述多像素解像度摄像部，是通过将上述多像素解像度动画数据分离成扩散反射成份和镜面反射成份而取得该多像素解像度动画数据的。

17.根据权利要求16所述的图像处理装置，其特征在于：

上述多像素解像度摄像部，从摄像的彩色图像中分离出多个原色成份，进行将上述多个原色成份中的一个分离成镜面反射成份和扩散反射成份，用分离成的镜面反射成份及扩散反射成份，取得上述彩色图像的扩散反射成份和镜面反射成份。

18.根据权利要求16所述的图像处理装置，其特征在于：

上述多像素解像度摄像部，推定摄影时的照明光强，利用这个照明光强，求出镜面反射成份。

19.一种图像处理装置，利用由权利要求11所述的图像处理装置记录的低解像度动画数据及高解像度化参数，来进行高解像度化，其特征在于，包括：

动画输入部，读入上述低解像度动画数据；

高解像度化参数输入部，读入上述高解像度化参数；和

高解像度化部，利用由上述高解像度化参数输入部读入的高解像度化参数，进行由上述动画输入部读入的低解像度动画数据的高解像度化。

20.一种图像处理装置，其特征在于，包括：

多像素解像度摄像部，在作为图像的一部分区域的、以每个帧为单位改变位置的窗口区域内以高解像度进行摄像的同时，以低解像度来摄像上述窗口区域以外的区域，从而取得多像素解像度动画数据；

低解像度转换部，对上述窗口区域的高解像度图像，通过图像过滤处理进行低解像度化；

多像素解像度动画记录部，记录上述多像素解像度动画数据；

高解像度化参数学习部，用上述窗口区域的高解像度图像和上述低解像度转换部的输出，学习高解像度化参数；和

高解像度化参数记录部，记录上述高解像度化参数。

21.根据权利要求20所述的图像处理装置，其特征在于：

上述多像素解像度动画记录部，将上述多像素解像度动画数据分离成低解像度动画数据和表示上述多像素解像度动画数据与上述低解像度动画数据的差分的差分动画数据并进行记录。

22.一种图像处理装置，使用由图像处理装置记录的多像素解像度动画数据来求得高解像度化参数，所述图像处理装置包括：

多像素解像度摄像部，在作为图像的一部分区域的、以每个帧为单位改变位置的窗口区域内以高解像度进行摄像的同时，以低解像度来摄像上述窗口区域以外的区域，从而取得多像素解像度动画数据；和

多像素解像度动画记录部，将上述多像素解像度动画数据分离成低解像度动画数据和表示上述多像素解像度动画数据与上述低解像度动画数据的差分的差分动画数据并进行记录，

特征在于，包括：

动画分离部，在读入上述多像素解像度动画数据，分离上述低解像度动画数据的同时，利用上述差分动画数据取得窗口区域中的高解像度图像；

高解像度化参数学习部，利用上述窗口区域的高解像度图像和上述低解像度动画数据，学习高解像度化参数；和

高解像度化参数记录部，记录上述高解像度化参数。

Images