CN101779472B - 生成图像数据的装置、方法 - Google Patents

Abstract

本发明的摄影记录再生装置(100)是一种接受入射光(101)并记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT)(102)的装置，该摄影记录再生装置(100)包括：摄影部(103)、颜色分解部(104)、R拍摄传感器部(105)、G拍摄传感器部(106)、B拍摄传感器部(107)、摄影图像记录部(108)，摄影图像写入部(109)、存储器部(110)、摄影图像读出部(111)、空间分辨率上转换器部(112)、时间分辨率上转换器部(113)、输出部(114)、系统识别信号产生部(185)。不会使照相机结构复杂、并且不会降低光的利用效率，就能获得高空间分辨率·高时间分辨率的图像数据。

Description

生成图像数据的装置、方法

技术领域

本发明涉及一种以高帧频(frame rate)拍摄高分辨率化图像的装置、进行摄影的方法、进行摄影记录再生的装置，进行摄影记录再生的方法及进行摄影记录的程序。 

背景技术

近年来，拍摄元件的高精密化发展，数字视频照相机(digital video camera)和数字静态照相机(digital still camera)的高精密化明显。由于图像的分辨率越高越能详细地记录眼前的景物，所以通常就提高了对高分辨率摄影的需求。 

分辨率被分为空间分辨率和时间分辨率2类。前者对应于构成1张图像的像素数，在相同尺寸的拍摄传感器中像素数多的为空间分辨率高的拍摄传感器。由于连被拍摄物的细节都能精细地记录，所以能拍摄现场感高的高画质的静止图像。另一方面，后者，相当于每单位时间拍摄的图像的张数，例如1秒钟期间拍摄的图像的张数多的拍摄传感器为时间分辨率高的拍摄传感器。由于还能细致地拍摄被拍摄物的快的运动，所以能够拍摄运动流畅的动态图像。 

在想保持原样不变拍摄眼前的景物的情况下，大多同时将空间分辨率和时间分辨率设定得比较高，因此，数据量会变得庞大。例如，在DV方式的摄像机的情况下，图像尺寸是720像素×480行，如果帧频为30张/秒，则24位RGB彩色信号的数据传输速率成为249Mbps(每秒比特，bit per second)(＝720像素×480行×24bit×30张)。在高清(high vision)方式下，图像尺寸为1920像素×1080行，数据传输速率为6倍的1.5Gbps(＝1920像素×1080行×24bit×30张)。并且，如果使时间分辨率为2倍，设帧频为每秒60张，则成为3Gbps。有必要以这样的数据传输速率进行从照相机的拍摄传感器的输出到向记录介质的写入，或到显示器的扫描。通常，在民用视频设备中，由于这些数据传输速率负载过大，所以使用数据的冗长性来压缩数据，实现设备的小型化、低耗电化、成本降低等。此外，即使是业务用视频设备，也频繁使用通过数据压缩的数据量的削减，仍旧按原始的数据传输速率进行工作的设备仅仅是面向编辑的高价的系统。 

如此，为了以尽可能低的数据传输速率交换空间分辨率和时间分辨率都高的高画质图像，仅获取需要的数据并降低冗长性是首要的。因此，在图像获取的源头阶段仅获取所需的数据的方式是有效的。例如，专利文献1公开了如图24(a)所示获取高空间分辨率·低时间分辨率的图像数据1和低空间分辨率·高时间分辨率的图像数据2，通过图像处理生成图24(b)的高空间分辨率·高时间分辨率的图像数据3的技术。 

例如，图24的摄影时间是1秒，且设图像数据1的图像尺寸为1920像素×1080行，图像数据2的图像尺寸为640像素×360行的情况下，图24(a)的8位(bit)亮度信号的数据传输速率为54Mbps(＝1920像素×1080行×8bit×2张+640像素×320行×8bit×13张)。另一方面，图24(b)为1920像素×1080行是8张，8位亮度信号的数据传输速率为133Mbps(＝1920像素×1080行×8bit×8张)。图24(b)的数据传输速率扩大到图24(a)的约2.4倍。 

图25是表示生成图像数据3的处理的流程图，用图像数据2的低空间分辨率图像来推定运动向量(步骤S101～S103)，基于其结果进行图像数据1的高空间分辨率图像的运动补偿(步骤S104)，将运动补偿后的高空间分辨率图像的DCT(DisPrete Cosine Transform)频谱(spectrum)和与其对应的时间的低空间分辨率图像的DCT频谱合成，通过逆DCT转换得到目标的高空间分辨率·高时间分辨率的图像(步骤S105～S106)。 

图26是表示用于获得图像数据1和图像数据2的复合传感器照相机的结构例的图。复合传感器照相机4是用于取入具有同一视野的2种图像数据的照相机，包括：棱镜或半反射镜(halfmirror)等分光元件5、2个透镜6、高空间分辨率·低时间分辨率照相机7、和低空间分辨率·高时间分辨率照相机8。分光元件5反射一部分入射光9。2个透镜6分别对由分光元件5反射的光及透过的光进行聚焦。高空间分辨率·低时间分辨率 照相机7以高空间分辨率·低时间分辨率拍摄由一个透镜6聚焦的光，输出图像数据1。低空间分辨率·高时间分辨率照相机8以低空间分辨率·高时间分辨率拍摄由另一个透镜6聚焦的光，输出图像数据2。 

专利文献1 JP特开2005-318548号公报(图2、图3、图5) 

发明内容

但是，在上述现有的技术中，在拍摄传感器的灵敏度和RGB彩色摄影这点上具有以下这样的课题。 

即，复合传感器照相机4由于通过分光元件5将入射光9分配给高空间分辨率·低时间分辨率照相机7和低空间分辨率·高时间分辨率照相机8，所以入射到各照相机的光量被减少到1/2。入射光量的减少提高了使拍摄图像的SN比(Signal Noise比)下降、使画质劣化的可能性。另一方面，为了防止SN比的下降，如果延长曝光时间，就会使产生模糊(ブラ一：blur)的可能性变高，使引起画质劣化的可能性变高。 

此外，如果假设使用复合传感器照相机4拍摄RGB彩色图像的话，则如图27所示，就要准备3个复合传感器照相机4(分别为复合传感器照相机41、复合传感器照相机42、复合传感器照相机43)，为了将入射光9分配给3个复合传感器照相机41～43，就会需要2个颜色分解过滤器(颜色分解过滤器10、11)。颜色分解过滤器10，例如反射长波段(大概600nm～780nm)，透过剩余的波段。反射光12向复合传感器照相机41入射，进行长波段的拍摄，得到R图像(对应于光的红色成分的图像)。另一方面，颜色分解过滤器10的透过光13入射到颜色分解过滤器11，例如短波段(大概380nm～500nm)被反射，透过剩余的波段。反射光14向复合传感器照相机42入射，进行短波段的拍摄，得到B图像(对应于光的蓝色成分的图像)。颜色分解过滤器11的透过光15是颜色分解过滤器10的反射光12和颜色分解过滤器11的反射光14以外的光，此剩余的中波段(大概500nm～600nm)透过。透过光15入射到复合传感器照相机43，进行中波段的拍摄，得到G图像(对应于光的绿色成分的图像)。如上所述，颜色分解过滤器10、11的追加使照相机的尺寸变大，使照相机的操作性和可搬运性下降。 

另一方面，为了不使照相机的尺寸变大，而考虑如图28所示的结构例那样，在高空间分辨率·低时间分辨率照相机7、和低空间分辨率·高时间分辨率照相机8的前面配置例如图29所示这样的滤色片16，色分解为RGB的方式。即，在滤色片16中，位于像素20的滤色片仅透过中波段的G，吸收除此之外的长波段R和短波段B，生成G图像。同样地，位于像素21的滤色片仅透过长波段的R，吸收除此之外的中波段G和短波段B，生成R图像。位于像素22的滤色片仅透过短波段的B，吸收除此之外的长波段R和中波段G，生成B图像。如此这样，由于滤色片16吸收无用的波段的光并进行颜色分解，所以光的利用效率比单色照相机变低。由于被色分解成RGB三种颜色，所以基本上计算为1/3入射照相机，2/3被滤色片16吸收。 

本发明用于解决上述现有的课题，其目的在于，提供一种不使照相机结构复杂、并且不会降低光的利用效率，就能获得高空间分辨率·高时间分辨率的图像数据的装置、方法、程序及摄影记录再生系统。 

本发明的装置是一种生成图像数据的装置，包括：分光部，对来自被拍摄物的光进行分光；第一拍摄部，接受经上述分光后的光中可见度最高的波段的光，获取第一图像；第二拍摄部，接受上述可见度最高的波段以外的波段的光，获取与上述第一图像相比空间分辨率低、且时间分辨率高的第二图像；和分辨率转换部，使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率。 

根据某一实施方式，上述分辨率转换部，转换以与上述第一图像相同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率；使上述第一图像的规定的第一像素、和处于与上述第一像素相同的像素位置的上述转换后的第二图像的第二像素相对应，并保持上述对应关系；转换以与上述第一图像不同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率；决定以与上述第一图像不同的时刻所拍摄的第二图像的转换后的图像中的与上述第二像素的图像的近似度比其它像素高的第三像素；将上述第一像素的图像分配给处于与上述第三像素相同的像素位置的上述第一图像的第四像素，生成上述第一图像未被拍摄的时刻的图像。 

根据某一实施方式，上述分光部将来自上述被拍摄物的光分成红色光、绿色光及蓝色光；上述第一拍摄部接受上述绿色光作为上述可见度最高的波段的光，获取对应于绿色成分的上述第一图像；上述第二拍摄部，包括：红色光拍摄部，接受上述红色光作为上述可见度最高的波段以外的波段的光，获取对应于红色成分的上述第二图像；和蓝色光拍摄部，接受上述蓝色光作为上述可见度最高的波段以外的波段的光，获取对应于蓝色成分的上述第二图像。 

根据某一实施方式，对应于上述红色成分的第二图像、和对应于上述蓝色成分的第二图像具有彼此相同的空间分辨率及时间分辨率。 

根据某一实施方式，还包括记录部，该记录部保存上述第一图像及上述第二图像；上述分辨率转换部，使用从上述记录部读出的上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率。 

根据某一实施方式，上述分辨率转换部，转换上述第二图像的空间分辨率，以使其成为与上述第一图像相同的空间分辨率；上述分辨率转换部包括保存上述第一图像和上述转换后的第二图像的数据库部；上述分辨率转换部使用从上述数据库部读出的上述第一图像和上述转换后的第二图像，将上述第一图像的时间分辨率转换为上述第二图像的时间分辨率。 

根据某一实施方式，还包括图像模糊检测部，该图像模糊检测部检测图像模糊；在上述图像模糊检测部检测出图像模糊的情况下，上述数据库部停止上述第一图像及上述转换后的第二图像的保存工作。 

根据某一实施方式，还包括：亮度生成部，由上述分辨率转换部输出的输出图像生成亮度图像；和色差生成部，使对应于上述输出图像中的绿色成分的图像低分辨率化，由对应于上述低分辨率化后的绿色成分的图像、对应于红色成分的图像、和对应于蓝色成分的图像生成色差图像。 

本发明的方法是一种生成图像数据的方法，包括：对来自被拍摄物的光进行分光的步骤；接受经上述分光后的光中可见度最高的波段的光，获取第一图像的步骤；接受上述可见度最高的波段以外的波段的光，获取与上述第一图像相比空间分辨率低、且时间分辨率高的第二图像的步骤；和使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成 上述第二图像的时间分辨率的步骤。 

本发明的程序是一种使计算机执行生成图像数据的处理的程序，其中，生成上述图像数据的处理，包括：接收第一图像的步骤，其中，上述第一图像是接受对来自被拍摄物的光进行分光而得到的可见度最高的波段的光所生成的；接收第二图像的步骤，其中，上述第二图像是接受上述可见度最高的波段以外的波段的光所生成的，并且与上述第一图像相比空间分辨率低、时间分辨率高；和使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率的步骤。 

本发明的装置是一种执行生成图像数据的处理的装置，上述装置包括对图像的时间分辨率进行转换的分辨率转换部；上述分辨率转换部接收第一图像，并且接收第二图像；其中，上述第一图像是接受对来自被拍摄物的光进行分光而得到的可见度最高的波段的光所生成的；上述第二图像是接受上述可见度最高的波段以外的波段的光所生成的，并且与上述第一图像相比空间分辨率低、时间分辨率高；上述分辨率转换部使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率。 

为了解决上述现有的课题，本发明在可见度最高的波段(G)获得高空间分辨率·低时间分辨率的第一图像，在其它波段(R、B)获得低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换。为了将入射光分解为3个波段，使用2片颜色分解过滤器。即，用第一片颜色分解过滤器反射3个波段中、例如R的长波段，透过剩余的G和B波段。G和B的透过光入射第二片颜色分解过滤器，反射例如B的短波段，透过剩余的G的中波段。 

可见度最高的波段(G)的光，入射高空间分辨率·低时间分辨率的拍摄传感器，得到上述第一图像。R和B的波段的光，入射分别准备的低空间分辨率·高时间分辨率的拍摄传感器，得到2张第二图像。根据第一图像(G的高空间分辨率图像)和第二图像(R、B的低空间分辨率图像)的对应关系，获得空间分辨率的高分辨率化信息，基于此，在第一图像未被拍摄的时间位置对第二图像实施高空间分辨率化处理，生成第一图像， 得到高空间分辨率·高时间分辨率的G图像。可见度低的R和B的低空间分辨率图像，向邻接像素复制像素值，通过内插放大，向与G图像相同的空间分辨率进行高分辨率化。由于高分辨率化后的R图像、G图像、B图像，为了不使灰平衡(gray balance)被打破而进行合成，所以例如，转换成亮度色差信号YPbPr，在YPbPr空间进行合成，逆转换成RGB信号，得到高空间分辨率·高时间分辨率的RGB彩色图像。 

根据本结构，能同时进行RGB的颜色分解、空间分辨率和时间分辨率的分配，利用3板式彩色照相机的结构，能不损失光效率，得到高空间分辨率·高时间分辨率的RGB彩色图像。 

发明效果 

本发明的装置对来自被拍摄物的光进行分光，接受经分光后的光中可见度最高的波段的光，获取第一图像，接受可见度最高的波段以外的波段的光，获取比第一图像空间分辨率低、时间分辨率高的第二图像。并且，时间分辨率转换部，使用第一图像和第二图像，将第一图像的时间分辨率转换成第二图像的时间分辨率。如此，通过将来自被拍摄物的光进行分光，并接受光，就能防止光的利用效率的下降。此外，通过使用第二图像提高第一图像的时间分辨率，就能获得高空间分辨率且高时间分辨率的图像数据。 

根据本发明，利用3板式彩色照相机的结构能够获得超过拍摄传感器的数据传输速率的大容量的高空间分辨率且高时间分辨率的图像数据，能不损失可搬运性和经济性等，得到更高分辨率的高画质图像。 

附图说明

图1是表示本发明的实施方式1相关的摄影记录再生装置100的结构方框图。 

图2A是示意地表示R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107的空间分辨率和时间分辨率的关系的图。 

图2B是示意地表示空间分辨率上转换器部112使R图像117和B图像119的空间分辨率高分辨率化的概念的图。 

图2C是示意地表示时间分辨率上转换器部113使G图像118的时间分辨率高分辨率化的概念的图。 

图3是表示相对于空间分辨率的灵敏度分布的测量例的图。 

图4是表示人的眼睛的分光灵敏度特性图。 

图5(a)及(b)是说明空间分辨率上转换器部112及时间分辨率上转换器部113生成G图像122的原理图。 

图6是表示通过小波变换的多重分辨率表现的例子的图。 

图7(a)及(b)是说明小波变换的图。 

图8(a)至(c)是说明按每一像素计算尺度水平(scale level)n＝2时的图像特征量的方法的图。 

图9是表示空间分辨率上转换器部112的结构的方框图。 

图10是表示时间分辨率上转换器部113的结构的方框图。 

图11(a)及(b)是说明摄影记录再生装置100的工作流程的图。 

图12是表示本发明的实施方式2相关的摄影记录再生装置200的结构的方框图。 

图13是表示亮度色差转换部202的结构的方框图。 

图14是表示本发明的实施方式3相关的摄影记录再生装置300的结构的方框图。 

图15是表示色差转换部303的结构的方框图。 

图16(a)至(c)是表示亮度图像304和色差图像308的图像尺寸不同的一例的图。 

图17(a)及(b)是表示亮度图像304和色差图像308的图像尺寸不同的一例的图。 

图18是表示本发明的实施方式4相关的摄影记录再生装置400的结构的方框图。 

图19是表示RB高通调整部402的结构的方框图。 

图20是表示局部的区域内的例子的图。 

图21是表示R和B的局部相关p和权重W的关系的例子的图。 

图22是表示本发明的实施方式5相关的摄影记录再生装置500的结构的方框图。 

图23是表示本发明的实施方式6相关的摄影记录再生装置600的结构的方框图。 

图24(a)及(b)是说明获取高空间分辨率·低时间分辨率的图像数据1和低空间分辨率·高时间分辨率的图像数据2，生成高空间分辨率·高时间分辨率的图像数据3的概念的图。 

图25表示生成图像数据3的处理的流程图。 

图26是表示用于获取图像数据1和图像数据2的复合传感器照相机的结构例的图。 

图27是说明用于RGB彩色摄影的系统的图。 

图28是表示用于RGB彩色摄影的复合传感器照相机的结构例的图。 

图29是说明滤色片16的详情的图。 

符号说明 

100、200、300、400、500、600  摄影记录再生装置 

101  入射光 

102  高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT) 

103  摄影部 

104  颜色分解部 

105  R拍摄传感器部 

106  G拍摄传感器部 

107  B拍摄传感器部 

108  摄影图像记录部 

109  摄影图像写入部 

110  存储器部 

111  摄影图像读出部 

112  空间分辨率上转换器部 

113  时间分辨率上转换器部 

114  输出部 

185  系统识别信号产生部 

具体实施方式

下面，参照附图，详细地说明本发明的实施方式。R、G、B分别代表红色、绿色、蓝色。R图像是指对应于光的红色成分的图像，G图像是指对应于光的绿色成分的图像，B图像是指对应于光的蓝色成分的图像。 

实施方式1 

图1是表示本发明的实施方式1的摄影记录再生装置100的方框图。 

摄影记录再生装置100接受入射光101记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT)102。摄影记录再生装置100采用可见度最高的波段(绿色(G)的波段)拍摄·记录高空间分辨率·低时间分辨率的第一图像，采用其它的波段(红色(R)和蓝色(B)的波段)拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换，进行再生。 

摄影记录再生装置100包括：摄影部103、颜色分解部104、R拍摄传感器部108、G拍摄传感器部106、B拍摄传感器部107，摄影图像记录部108、摄影图像写入部109、存储器部110、摄影图像读出部111、空间分辨率上转换器部112，时间分辨率上转换器部113、输出部114、系统识别信号产生部185。 

摄影部103接受入射光101，输出RGB彩色图像。颜色分解部104，是将入射光101分成长波段R、中波段G、短波段B的光的分光部，进行颜色分解，以便能用R拍摄传感器部105拍摄R图像，用G拍摄传感器部106拍摄G图像，用B拍摄传感器部107拍摄B图像。面115相当于图27的颜色分解过滤器10，反射长波段(R)、透过剩余的波段。面116相当于图27的颜色分解过滤器11，反射短波段(B)，透过剩余的波段。 

G拍摄传感器部106是比R拍摄传感器部105和B拍摄传感器部107拍摄元件数多的高空间分辨率拍摄传感器。在本实施方式中，设G拍摄传感器部106的像素数和行数为高清尺寸，为1920像素×1090行。R拍摄传感器部105和B拍摄传感器部107的像素数和行数是G拍摄传感器部106的1/3，为640像素×360行。另一方面，时间分辨率的关系与空间分 辨率相反，G拍摄传感器部106是2fps(frame per second)、R拍摄传感器部105和B拍摄传感器部107是15fps，G拍摄传感器部106具有低时间分辨率、R拍摄传感器部105和G拍摄传感器部107具有高时间分辨率。图2A示意地表示出R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107的空间分辨率和时间分辨率的关系。G拍摄传感器部106拍摄的G图像118在时间t1和时间t15被拍摄2张，R拍摄传感器部105拍摄的R图像117和B拍摄传感器部107拍摄的B图像119从时间t1到时间t15被拍摄15张。 

在此，用X_S，T这样的标记法表示RGB的各图像的空间分辨率和时间分辨率的高低。 

在此，X是R或G、或B， 

S是H(高空间分辨率)、或L(低空间分辨率)， 

T是H(高时间分辨率)、或L(低时间分辨率)。 

即，X表示RGB图像的种类，S表示空间分辨率的高低，T表示时间分辨率的高低。相对地决定分辨率的高低，在本实施例中，规定 

高空间分辨率是1920像素×1080行 

低空间分辨率是640像素×360行 

高时间分辨率是15fps 

低时间分辨率是2fps。 

如图2A所示，由于作为G拍摄传感器部106的输出的G图像是高空间分辨率·低时间分辨率，所以标记为G_H，L。另一方面，由于作为R拍摄传感器部105的输出的R图像和作为B拍摄传感器部107的输出的B图像是低空间分辨率·高时间分辨率，所以分别标记为R_L，H、B_L，H。 

摄影图像记录部108记录·再生摄影部102输出的R图像、G图像、B图像。 

摄影图像写入部109将R图像、G图像、B图像写入存储器部110中，记录摄影图像。摄影图像读出部111从存储器部110中将R图像、G图像、B图像用A系统50和B系统51两系统读出。A系统50，如后所述，为了采用时间分辨率上转换器部13学习低空间分辨率的图像和高空间分辨率的关系，从存储器部110中读出R图像、G图像、B图像。B系统51 为了再生摄影图像，并输出高空间分辨率·高时间分辨率的RGB图像(R_OUTG_OUT B_OUT)102，从存储器部110中读出R图像、G图像、B图像。摄影图像写入部109，在将图2A所示的空间分辨率和时间分辨率的24位RGB图像记录在存储器部110中的时候，数据传输速率为88Mbps(＝(1920像素×1080行×8bit×2张)+(640像素×360行×8bit×15张)*2信道)。摄影图像读出部111也以相同的数据传输速率工作。存储器部110可使用利用了磁体的硬盘、半导体存储器、光盘等任意的记录介质。如果是记录介质可从摄影记录再生装置100上拆卸下的可移动型，则可以将由摄影记录再生装置100记录的摄影图像在与其它设备之间进行移动或复制。 

空间分辨率上转换器部112，如图2B所示，使R图像117和B图像119的空间分辨率高分辨率化，将R图像和B图像的像素数和行数向与G图像118相同的1920像素×1080行进行转换，输出R图像120和B图像121。为了在标记上反映出空间分辨率经过了高分辨率化，而追加S和T的标注。即，将空间分辨率高分辨率化后的R图像120标记为R_LH，H。此外，将B图像121标记为B_LH，H。 

时间分辨率上转换器部113，如图2C所示，使G图像118的时间分辨率高分辨率化，输出作为G图像的张数与R图像117和B图像119相同的15ftp的G图像122。将时间分辨率高分辨率化后的G图像122标记为G_H，LH。 

将空间分辨率上转换器部112及时间分辨率上转换器部113统称为分辨率转换部。 

摄影记录再生装置100的各结构要素例如摄影图像记录部108、空间分辨率上转换器部112、时间分辨率上转换器部113等可由半导体集成电路等电路元件实现。这些结构要素既可以集成在1芯片上形成，也可以作为单个的部件形成。此外，可以由CPU(中央运算处理装置)和存储使此CPU工作的程序的存储介质等实现。 

在详细地说明空间分辨率上转换器部112和时间分辨率上转换器部113的工作之前，说明有关人的视觉系统的时间空间分辨率特性。 

人的视觉系统的时间空间分辨率特性，对“亮度”的不同比对“颜色”的不同更敏感。图3是从文献(色彩科学手册第二版东京大学出版社1998 年6月(1022页、1023页))中转载的相对于空间分辨率的灵敏度分布的测量例。曲线30示出了看见由黄和蓝不同颜色形成条纹形状的图形的情况下的相对灵敏度。在按视野角1度显示出0.1～0.2周期的条纹形状的情况下，在人的眼中最容易识别，如果按视野角1度形成2周期的条纹形状的话，则黄和蓝的颜色不同在人的眼中变得无法识别。曲线31示出了看见由红和绿不同颜色形成条纹形状的图形的情况下的相对灵敏度。虽然比黄和蓝的组合灵敏度提高了，但表现出大致相同的趋势。另一方面，曲线32示出了看见由明暗不同、即白和黑形成条纹形状的图形的情况下的相对灵敏度。可知灵敏度的峰值处于视野角1度中2周期的位置，相比于颜色的不同更加地敏感。即使相对于时间分辨率也具有大致相同的趋势，亮度不同的灵敏度曲线是比颜色不同的灵敏度曲线更宽的区域，报告了无灵敏度的界限频率也是亮度的高。 

基于以上这样的人的眼睛的时间空间分辨率特性，认为要拍摄·记录·再生高画质图像时，亮度信息应该优先于颜色信息。因此，在本发明中，在R图像、G图像、B图像中，以高分辨率拍摄对亮度帮助大的图像，以低分辨率拍摄对亮度帮助小的图像。由此，能抑制对画质的影响，并降低数据传输速率。图4是从文献(色彩工程学东京电机大学出版社1993年12月(12页))中转载的人的眼睛的分光灵敏度特性。人的眼睛对于中波段的G相对敏感，对长波段的R和短波段的B的灵敏度低。因此，可以说R图像、G图像、B图像中，对亮度帮助最大的是G图像，如果与人的分辨率特性对应，则G拍摄传感器部106以高分辨率拍摄对于画质是重要的。虽然可见度中可能存在一些个人差异，但在统计中规定可见度最高的波段的光为绿色光。在本发明的实施方式中，设RGB光中的可见度最高的波段的光为绿色光(G光)，设此可见度最高的波段以外的波段的光为红色光(R光)及蓝色光(B光)进行说明。 

再有，在规定可见度最高的波段的光为绿色光以外的光的条件下，也可以选择此颜色的光作为可见度最高的波段的光，而不限定于绿色光。 

此外，例如，像在拍摄海、池等水中的景物的时候那样，在事前知道增强展现景物中绿色以外的颜色成分(此时为蓝色)的情况下，通过以高空间分辨率且低时间分辨率拍摄蓝色、以低空间分辨率且高时间分辨率拍 摄红色和绿色，就能展示观察者主观画质好的彩色动态图像。 

在上文中，基于图3和图4所示的观点，G拍摄传感器部106为高空间分辨率·低时间分辨率，如图2A所示，在时间t1和时间t15拍摄高空间分辨率图像。另一方面，R拍摄传感器部105和B拍摄传感器部107为低空间分辨率·高时间分辨率，如图2A所示，在从时间t1到时间t15的全部时刻中拍摄低空间分辨率图像。利用此结构，在时间t1和时间t15中，以高的空间分辨率获得画质重要的G图像。为了使空间分辨率优先，虽然在从时间t2到时间t14中未能得到G图像，但以在时间t1和时间t15中获取的高空间分辨率图像为基础，以高空间分辨率生成从时间t2到时间t14的13张G图像，作出高空间分辨率·高时间分辨率的G图像122。另一方面，R图像和B图像在从时间t1到时间t15的全部的时刻中只能得到空间分辨率低的图像。但是，R图像和B图像对亮度的帮助少，因此对人感觉的画质的影响少。相反，R图像和B图像的时间分辨率高，如后所述，成为用时间分辨率上转换器部113生成从时间t2到时间t14的G图像时的依据。基于以上的考虑，更详细地说明空间分辨率上转换器部112和时间分辨率上转换器部113的工作。 

图5是说明时间分辨率上转换器部113生成G图像122(图2C)的原理的图。图5(a)示出学习低空间分辨率的图像和高空间分辨率的图像的关系的原理，图5(b)示出参照上述学习过的空间分辨率的关系，生成G图像122的原理。 

时间分辨率上转换器部113使G图像的规定的第一像素、和位于与第一像素相同的像素位置的高分辨率化后的R图像和/或B图像的第二像素相对应，并保持此对应关系。接着，决定使以与G图像不同的时刻拍摄的R图像和/或B图像高分辨率化后的图像中的、与上述第二像素的图像的近似度比其它像素高的第三像素。可以说，从保持的多个对应关系中所含的多个第二像素中决定与以与G图像不同的时刻拍摄的R图像和/或B图像的转换后的图像的第三像素的近似度比其它像素更高的第二像素。将与第二像素对应的第一像素的图像分配给处于与第三像素相同的像素位置的G图像的第四像素。由此，能生成G图像未被拍摄的时刻的G图像122。下面详细地说明G图像122的生成处理。 

参照图5(a)，基础图像组130表示以图2A中的时刻t1或时刻t15的相同时刻获取的R图像117、G图像118和B图像119的组。为了区别“从时间t1到时间t15的R图像117”和“时刻t1或时刻t15的R图像117”，设后者为R基础图像131。同样地，为了区别“从时间t1到时间t15的G图像118”和“时刻t1或时刻t15的G图像118”，设后者为G基础图像132。为了区别“从时间t1到时间t15的B图像119”和“时刻t1或时刻t15的B图像119”，设后者为B基础图像133。根据基础图像组130中的G基础图像132，在生成从时刻t2到时刻t14的缺失的G图像后，将G基础图像132置于G图像生成用的资源的位置。在缺失的G图像的生成中，借助于通常在从时刻t2到时刻t14中拍摄的R图像和B图像，进行从G基础图像132中找出合适的G图像生成用资源的处理。因此，使用RGB图像全都一致的基础图像组130，构筑R基础图像131和B基础图像133的低空间分辨率和G基础图像132的高空间分辨率的关系，保存在G图像生成用数据库部140中。 

R基础图像131和B基础图像133为了获取与G图像的对应关系，例如通过内插放大使空间分辨率高分辨率化，使像素数和行数与G图像一致。基于内插的向上取样(upsampling)，由于内插已存的信息来增加像素数和行数，所以在高频成分的生成中存在界限，通常生成伴有模糊感的放大图像。即，通过内插放大可还原的波形频率的上限，如果使用根据sinc函数决定内插点前后2点的加权的立方卷积(Cubic convolution)的话，则为取样频率的1/2。但是，R图像和B图像是为了从G图像中找出空间高分辨率化的资源而参照的信息，所以不需要完全还原到具有高空间分辨率的图像的高频成分。如果通过内插从已存的信息中计算出中间的值，就能从G图像中找出空间高分辨率化的资源。 

使用频率解析机构，将经内插放大了的R图像134和B图像135、还有G基础图像132转换成图像特征量。在图5中，在图像特征量的标记中使用f，例如，将G_H，L转换为图像特征量标记为fG_H，L。在本发明中，虽然图像特征量的定义是任意的，但例如，如图6所示，用以小波变换的系数为要素的多维向量表现。即，在n个尺度每一个中求小波变换的输出HL、LH、HH、LL，通过按每一阶层归集它们，得到(3n+1)维向量。 尺度水平n是3的时候，图像特征量为10维的图像特征向量(w₁，w₂，…，w₁₀)。 

上述小波变换的输出HL、LH、HH、LL是使用哈尔(Haar：ハ一ル)型的母小波(mother wavelet)时候的输出，如图7(a)所示，HL是处理对象的像素60的与右邻接像素61的差值，LH是处理对象的像素60的与下邻接像素62的差值，HH是与斜下邻接像素63的差值，LL是含处理对象的像素60的右、下、斜下的4个像素的平均值。图7(a)相当于尺度1，图7(b)相当于尺度2。在尺度2中，作为尺度1中的4像素的平均值的输出LL成为差值的计算对象，尺度2中的输出HL为块64和块65的差值，尺度2中的输出LH是块64和块66的差值，尺度2中的输出HH为块64和块67的差值。此外，尺度2中的输出LL为从块64到块67的平均值。 

图8是以尺度水平n＝2为例，说明按每一像素计算图像特征量的方法的图。图8(a)是计算像素70的图像特征量(w₁，w₂，…，w₇)_1，1的方法，在小波变换中参照块71内的16像素，计算7维的图像特征量。同样地，图8(b)是计算像素72的图像特征量(w₁，w₂，…，w₇)_1，2的方法，在小波变换中参照块73内的16像素，计算7维的图像特征量。图8(c)是计算像素73的图像特征量(w₁，w₂，…，w₇)_1，3的方法，在小波变换中参照块74内的16像素，计算7维的图像特征量。如上，通过按每一像素移动在小波变换中参照的块，从而在每个像素中计算图像特征量。 

由于低空间分辨率的图像有R图像和B图像2个，所以组合p维的图像特征向量R图像136和p维的图像特征向量B图像137，成为2p维的图像特征向量RB图像138(图5(a))。同样地也将G基础图像132转换成图像特征量，生成p维的图像特征向量G图像139。G图像生成用数据库部140，作为使位于相同像素位置的图像特征向量RB图像138的图像特征量和图像特征向量G图像139的图像特征向量相对应(第一及第二像素相对应)，并将低空间分辨率的图像特征向量替换成高空间分辨率的图像特征向量的辞典起作用。在本实施方式中，G图像是1920像素×1080行，大约207万组的图像特征向量的替换信息被保存在G图像生成用数据库部140中。此外，由于可在时间t1和时间t15获取2张G图像，所以在 空间高分辨率化中可参照的图像特征向量替换信息为大约414万组。在从时间t2到时间t14中缺失的G图像就将会从大约414万组G图像的图像特征向量中选出、作成。 

在图5(b)中，图像组150表示从时间t2到时间t14中的R图像151和B图像152的组。R图像151和B图像152，通过与图5(a)相同的内插放大方法，被转换成与G图像相同的像素数和行数，生成R图像153和B图像154。将R图像153和B图像154用与图5(a)相同的方法转换成图像特征量，生成p维的图像特征向量R图像155和p维的图像特征向量B图像156。使p维的图像特征向量R图像155和p维的图像特征向量B图像156组合，成为2p维的图像特征向量RB图像157。比较2p维的图像特征向量RB图像157与G图像生成用数据库部140的2p维图像特征向量RB图像138、在每一像素中的图像特征向量的近似度。确定近似的RB图像157的像素(第三像素)和RB图像138的像素(第二像素)，选择出近似RB图像特征向量158。从图像特征向量G图像139中提取处于与近似RB图像特征向量158相同的像素位置(第一像素)的图像特征向量，设其为近似G图像特征向量159。通过使近似G图像特征向量159与G图像139中的、与RB图像157的处理对象的像素(第三像素)相同的坐标(相同的位置)的像素(第四像素)相对应，从而生成替换图像特征向量G图像160。 

选出近似RB图像特征向量158的具体的方法是任意的，例如从G图像生成用数据库部140选出与2p维图像特征向量RB图像157的距离最短的图像特征向量，或者抽出多个与2p维图像特征向量RB图像157的距离比规定的基准距离短的候补图像特征量向量，从图像特征向量G图像139中提取处于与上述多个抽出的候补图像特征量向量相同的像素位置的图像特征向量，取它们的平均，设为近似G图像特征向量159。 

并且，还有如下方法等，即，从与2p维的图像特征向量RB图像157的距离短的一方顺序地选出例如3个作为候补图像特征量向量，从图像特征向量G图像139中提取处于相同的像素位置的图像特征向量，取它们的平均，作为近似G图像特征向量159。 

上述近似G图像特征向量159是高空间分辨率的图像特征量，通过将 近似RB图像特征向量158替换成近似G图像特征向量159，就会使空间分辨率高分辨率化。在图像特征向量RB图像157的所有像素中参照G图像生成用数据库部140完成向近似G图像特征向量159的替换，生成替换图像特征向量G图像160。对替换图像特征向量G图像160实施图像特征量转换的逆转换，恢复为亮度图像，生成替换高分辨率化G图像161。如果在从时间t2到t14中计算替换高分辨率化G图像161的话，则生成图2C中的G图像122，使时间分辨率高分辨率化。 

图9是表示空间分辨率上转换器部112的结构的方框图。来自A系统50的输入和来自B系统51的输入，根据系统识别信号176，通过B用选择器182、R用选择器183、G用选择器184进行切换。B用内插放大部170通过内插放大使低空间分辨率·高时间分辨率的B图像152的空间分辨率高分辨率化，输出高空间分辨率·高时间分辨率的B图像154。R用内插放大部171通过内插放大使低空间分辨率·高时间分辨率的R图像151的空间分辨率高分辨率化，输出高空间分辨率·高时间分辨率的B图像153。在用于学习高空间分辨率图像和低空间分辨率图像的关系的基础图像130(图5(a))中含有的高空间分辨率·低时间分辨率的G图像132，在摄影图像的再生时，不需要高分辨率化处理。因此，高空间分辨率·低时间分辨率的G图像132在空间分辨率上转换器部112直通输出(throughoutput)。再有，也可以构成为，将B用内插放大部170和R用内插放大部171归集成1个，在时间分割中，例如最初内插放大B图像，接着内插放大R图像。 

图10是表示时间分辨率上转换器部113的结构的方框图。 

在A系统50中，为了生成保存在G图像生成用数据库部140中的数据，将从存储器部110读出的摄影图像通过空间分辨率上转换器部112提供给B用图像特征量转换部172、R用图像特征量转换部173、G用图像特征量转换部174。如后所述，由于B用图像特征量转换部172、R用图像特征量转换部173还在摄影图像再生时从B系统51接受摄影图像的提供，所以来自A系统50的摄影图像和来自B系统51的摄影图像可用B用选择器175a和R用选择器175b进行切换。在选择器的输入切换中，使用系统识别信号176，将A系统50和B系统51的任意一个图像数据提供 给B用图像特征量转换部172和R用图像特征量转换部173。在由B用图像特征量转换部172和R用图像特征量转换部173转换成图像特征向量后，经过B用选择器177和R用选择器178，在G图像生成用数据库部140的输入侧进行设定。这相当于图5中的图像特征向量RB图像138的图像特征量。另一方面，在G图像生成用数据库部140的输出侧设定G用图像特征量转换部174的输出。这相当于图像特征向量G图像139的图像特征向量。 

通过以上的工作，完成图5(a)所示的低空间分辨率的图像和高空间分辨率的图像的对应关系的学习。在G图像生成用数据库部140中可以使用利用磁体的硬盘和半导体存储器等任意的记录介质。如果是记录介质可从摄影记录再生装置100上拆卸下的可移动型，则可以将G图像生成用数据库部140的数据在与其它设备之间进行移动或复制。此外，代替可移动型的记录介质，也可以使用具有与网络通信功能的接口。 

在B系统51中，通过空间分辨率上转换器部112将摄影图像再生时从存储器部110读出的摄影图像提供给时间分辨率上转换器部113。在图2A的时间t1和时间t15中，由于拍摄了高空间分辨率的G图像118，所以不需要由时间分辨率上转换器部113生成G图像。因此，像图2A的时间t1和时间t15那样，在存在高空间分辨率的G图像118的情况下，保持原样不变直通地输出。另一方面，像图2A的从时间t2到时间t14那样，在缺失G图像118的部分中，生成图2C所示这样的高空间分辨率的G图像122。为了进行此切换，使用G用选择器179，有无G图像118由G图像识别信号179a给出。 

从B系统51提供的R图像和B图像是由空间分辨率上转换器部112暂时使空间分辨率高分辨率化后的图像，相当于图5的R图像153和B图像154。规定它们为原有的输出图像，作为输出B图像190和输出R图像191，从时间分辨率上转换器部113输出。同时，为了生成图5的替换高分辨率化G图像161，通过B用选择器175a和R用选择器175b，分别提供给B用图像特征量转换部172和R用图像特征量转换部173。B用图像特征量转换部172输出图5(b)的图像特征向量B图像156，R用图像特征量转换部173输出图5(b)的图像特征向量R图像155，通过近似图 像特征量检测部180进行组合，成为图像特征向量RB图像157。 

接着，在G图像生成用数据库部140的输入侧比较从A系统50写入的图像特征向量RB图像138和图像特征向量RB图像157之间的距离，检测近似RB图像特征向量158，输出保存在G图像生成用数据库部140的输出侧的G图像特征向量作为近似G图像特征向量159。近似G图像特征向量159由G用图像特征量逆转换部181还原成亮度图像，得到输出G图像192。 

输出部114从时间分辨率上转换器部113接受输出B图像190、输出R图像191、输出G图像192，向摄影记录再生装置100的外部输出。 

系统识别信号产生部185产生系统识别信号176，并输入到摄影图像记录部108、空间分辨率上转换器部112、时间分辨率上转换器部113。在摄影图像记录部108中，在摄影图像读出部111中，根据系统识别信号176进行来自A系统50的读出和来自B系统51的读出的切换。在空间分辨率上转换器部112和时间分辨率上转换器部113中，进行来自A系统50的输入和来自B系统51的输入的切换。系统识别信号176指定A系统50的情况下，摄影图像读出部111从存储器部110仅读出图5(a)所示的基础图像组130，在空间分辨率上转换器部112中，通过内插放大使R图像和B图像的空间分辨率与G图像一致，在时间分辨率上转换器部113中，在G图像生成用数据库部140中保存图像特征向量RB图像138和图像特征向量G图像139。另一方面，系统识别信号176指定B系统51的情况下，摄影图像读出部111从存储器部110中顺序读出摄影图像，在空间分辨率上转换器部112中，通过内插放大使R图像和B图像的空间分辨率与G图像一致，在时间分辨率上转换器部113中，参照G图像生成用数据库部140生成替换高分辨率化G图像161。 

再有，在图5的说明中，基础图像组130虽然为时刻t1或时刻t15，但也可以将时刻t1和时刻t15两者的信息编入基础图像组130。编入基础图像组的图像数是任意的，本发明对它们不设限制。 

此外，编入基础图像组的多张图像的时间间隔是任意的，本发明对它们不设限制。 

此外，G图像生成用数据库部140具有的图像特征量相互近似，在冗 长性高的情况下，可以通过将近似数据汇集成1个代表数据的聚类处理来减小G图像生成用数据库部140的规模。例如，在使用3张720像素×480行的基础图像的情况下，如果设图6中的尺度为3阶段，则计算约100万个(＝720像素×480行×3张)10维的图像特征量向量。因此，利用随机数产生等，例如将1万个图像特征量向量设定为初始聚类(cluster)中心，由上述100万个图像特征量向量中检测出最接近各聚类中心的图像特征量向量的图像特征量向量。计算检测出的图像特征量向量与聚类中心的图像特征量向量的平均值，更新为新的聚类中心。直到上述100万个图像特征量向量全部与聚类中心的图像特征量向量进行平均之前，都重复进行聚类中心的更新，最终汇集成1万个图像特征量向量。除聚类以外，还能使用主成分分析(principal component analysis)，用多个基准向量的线性结合表现由上述100万个图像特征量向量形成的分布的广度，削减冗长性。 

图11是说明摄影记录再生装置100的工作流程的图。图11(a)表示摄影记录时的工作流程，图11(b)表示摄影图像再生时的工作流程。在图11(a)中，当开始摄影(步骤S01)时，摄影部103接受入射光101，输出高空间分辨率·低时间分辨率的G图像118、低空间分辨率·高时间分辨率的R图像117和B图像119(步骤S02)。在摄影图像记录部108中，摄影图像写入部109在存储器部110中记录R图像117、G图像118、B图像119(步骤S03)。在图11(b)中，当开始摄影图像的再生时(步骤S04)，系统识别信号产生部185产生系统识别信号176，指定A系统50(步骤S05)。在摄影图像记录部108中，摄影图像读出部111从存储器部110中读出基础图像组130(步骤S06)。基础图像组130，由空间分辨率上转换器部112内插放大R图像131和B图像132的空间分辨率(步骤S07)，在时间分辨率上转换器部113的G图像生成用数据库部140中保存图像特征向量RB图像138和图像特征向量G图像139(步骤S08)。 

上述步骤S08结束后，系统识别信号产生部185将系统识别信号176切换到B系统51(步骤S09)。在摄影图像记录部108，摄影图像读出部111从存储器部110中顺序读出摄影图像(步骤S10)。上述摄影图像由空间分辨率上转换器部112内插放大R图像151和B图像152的空间分辨率(步骤S11)，参照时间分辨率上转换器部113的G图像生成用数据库部 140计算出替换高分辨率化G图像161(步骤S12)，将内插放大后的R图像153和B图像154一起从输出部114输出到外部(步骤S13)。 

再有，如果在G图像生成用数据库部140中登记的图像特征向量即便再生工作结束也能被保持的话，则在下一次再生时，可以省略步骤S05到步骤S08，可从步骤S09开始。特别地，拍摄同一景物的时候，由于可再利用G图像生成用数据库部140的图像特征向量的可能性高，所以可不丧失高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT)102的画质，极快地生成再生图像。在从存储器部110读出新的基础图像组130时，切换到A系统50，通过步骤S05到步骤S08，更新G图像生成用数据库部140的图像特征向量。 

再有，在本实施例中，采用依据图3和图4所示的视觉特性，以高分辨率拍摄G图像，以低分辨率拍摄R图像和B图像的形式进行了说明。但是，还假设色觉存在个人差异，图4的高灵敏度区域处于所谓G的波段以外的情形。例如，对于在长波侧的R具有高灵敏度区域的利用者，以高分辨率拍摄R图像，以低分辨率拍摄G图像和B图像。 

如果使用以上这样的摄影记录再生装置100，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。例如，用720像素×480行的标准电视机用的照相机可获得1920像素×1080行的高清映像。标准电视机用照相机的拍摄元件比高清照相机更大，能进行高灵敏度摄影，能更便利地拍摄高画质。 

实施方式2 

在本实施方式中，说明在可见度最高的波段G拍摄·记录高空间分辨率·低时间分辨率的第一图像，在其它的波段R和B拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换并进行再生的摄影记录再生装置。在亮度色差空间中合成高空间分辨率·高时间分辨率的图像，可生成保存了色平衡的高画质图像。 

图12是表示本发明的实施方式2相关的摄影记录再生装置200的结构的方框图。再有，对于与图1所示的摄影装置100相同的部分赋予相同 的符号，省略详细的说明。摄影装置200是接受入射光101记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的亮度色差图像(Y_OUT Pb_OUT Pr_OUT)201的装置，包括：摄影部103、颜色分解部104、R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107，摄影图像记录部108、摄影图像写入部109、存储器部110、摄影图像读出部111、空间分辨率上转换器部112，时间分辨率上转换器部113、输出部114、系统识别信号产生部185、亮度色差转换部202。 

亮度色差转换部202将由时间分辨率上转换器部113生成的高空间分辨率·高时间分辨率的R图像190、B图像191、G图像192转换成亮度色差图像201。在从RGB向亮度色差的转换式中，例如使用(式1)或(式2)。 

[式1] 

Y＝0.21R+0.72G+0.07B 

Pb＝-0.39G-0.11R+0.5B+256                         (式1) 

Pr＝-0.45G-0.05B+0.5R+256 

[式2] 

Y＝0.21R+0.72G+0.07B 

Cb＝(B-Y)/1.7720                                  (式2) 

Cr＝(R-Y)/1.4020 

如(式1)和(式2)所表明的，人的视觉系统敏感的亮度成分Y有助于G成分的占7成。因此，RGB三个中如果G成分的空间分辨率最高，则能生成锐度高的高画质图像。由于使用具有高空间分辨率的由G拍摄传感器106拍摄的图像的图像特征量生成G图像192，所以相比于内插放大低空间分辨率的由R拍摄传感器105和B拍摄传感器107拍摄的图像的R图像190和B图像191，能生成具有高的频率成分、锐度更高的高画质图像。 

图13是表示亮度色差转换部202的结构的方框图。亮度计算部203，根据(式1)或(式2)将R图像190、G图像192、B图像191转换成亮 度图像204。低空间分辨率化部205降低G图像192的空间分辨率，使其与R拍摄传感器部105和B拍摄传感器部107的空间分辨率一致，生成G图像206。接着，内插放大部207为了使G图像206的空间分辨率与R图像190、B图像191一致，而进行内插放大，生成G图像208。通过以上的工作，G图像208的空间频率分布，就会与R图像190、B图像191同样地使用，能保存RGB的色平衡。色差计算部209依据(式1)，将R图像190、B图像191、G图像208转换成色差图像210。使色差图像210和亮度图像204相匹配，作为高空间分辨率·高时间分辨率的亮度色差图像201，从输出部114向摄影记录再生装置200的外部输出。 

如果使用以上这样的摄影记录再生装置200，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。G图像通过参照数据库，R图像和B图像通过内插，完成高分辨率化，因此，特别地，虽然G图像在具有高频成分的区域中存在色平衡被打破的可能性，但如果使用以上这样的摄影记录再生装置200，就能不使色平衡被打破，将高分辨率化后的G图像、R图像、B图像转换成色差成分进行输出。另一方面，高分辨率化后的G图像，由于有助于视觉系统的时间空间分辨率最高的亮度成分的程度比R图像和B图像高，所以能生成锐度感高的高画质图像。以上，在亮度色差空间中合成人从表面上感到高空间分辨率·高时间分辨率的高画质图像，能保存色平衡进行生成。 

实施方式3 

在本实施方式中，说明在可见度最高的波段G拍摄·记录高空间分辨率·低时间分辨率的第一图像，在其它的波段R和B拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换并进行再生的摄影记录再生装置。在亮度色差空间中组合高空间分辨率·高时间分辨率的图像，可生成保存了色平衡的高画质图像。通过在多个像素中使色差成分共通化，就能维持画质不变、生成抑制数据量的高空间分辨率·高时间分辨率的亮度色差图像。 

图14是表示本发明的实施方式3相关的摄影记录再生装置300的结 构的方框图。再有，对于与图1所示的摄影装置100相同的部分赋予相同的符号，省略详细的说明。摄影装置300是接受入射光101并记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的亮度色差图像(Y_OUT Pb_OUT Pr_OUT)301的装置，包括：摄影部103、颜色分解部104、R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107、摄影图像记录部108、摄影图像写入部109、存储器部110、摄影图像读出部111、空间分辨率上转换器部112、时间分辨率上转换器部113、输出部114、系统识别信号产生部185、亮度转换部302、色差转换部303。亮度转换部302也称为亮度生成部，色差转换部303也称为色差生成部。 

亮度转换部302将由时间分辨率上转换器部113生成的高空间分辨率·高时间分辨率的R图像190、B图像191、G图像192转换成亮度图像304。在从RGB向亮度的转换中，例如使用(式1)。与图13所示的亮度计算部203相同，由含高频成分的G图像192生成锐度高的亮度图像304。 

色差转换部303由摄影图像读出部111从B系统51读出的低空间分辨率R图像150和B图像152、以及使高空间分辨率的G图像192低分辨率化后的图像生成色差图像。图15是表示色差转换部303的结构的方框图。低空间分辨率化部305将高空间分辨率的G图像192低分辨率化为与R拍摄传感器部105和B拍摄传感器部107相同的空间分辨率，生成G图像306。G图像306的空间频率分布，就会与R图像150、B图像152同样地使用，能保存RGB的色平衡。色差计算部307依据(式1)由R图像150、B图像152、G图像306计算出色差图像308。 

图16是说明亮度图像304和色差图像308的图像尺寸不同的一例的图。亮度图像304与G拍摄传感器部106的空间分辨率一致，色差图像308与R拍摄传感器部105和B拍摄传感器部107的空间分辨率一致。因此，如图16(a)所示，在R拍摄传感器部105和B拍摄传感器部107的像素数是G拍摄传感器部106的像素数的一半的时候，具有Pb·Pr这2个颜色成分的色差图像308的数据量就会与亮度图像304相同。此形式通常被称作4:2:2格式，在现行的视频设备中被广泛地利用。图3中说明 的人的视觉系统是利用对颜色成分的灵敏度低这样的特性的格式，是维持原有的图16(c)所示的颜色成分不变的4:4:4格式的表面上看到的画质，同时可抑制数据量的有效方法。如图16(b)所示，R拍摄传感器部105和B拍摄传感器部107的像素数和行数都为G拍摄传感器部106的一半的时候，具有Pb·Pr这2个颜色成分的色差图像308的数据量就会成为亮度图像304的一半。此形式通常被称作4:2:0格式，在现行的视频设备中被广泛地利用。4:2:0格式也与4:2:2格式相同，是利用人的视觉系统对颜色成分的低灵敏度特性，维持原有的图16(c)所示的颜色成分不变的4:4:4格式的表面上看到的画质，同时可抑制数据量的有效方法。 

在多个像素中使色差成分共有化的方式不限于图16，例如，如图17(a)及图17(b)所示，可以形成对横方向3像素、纵方向2行或横方向2像素、纵方向3行进行共通化后的6:1:1等任意的格式，本发明对它们不设限制。 

如果使用以上这样的摄影记录再生装置300，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。特别地，在亮度色差空间合成高空间分辨率·高时间分辨率的图像，能生成保存了色平衡的高画质图像。特别地，通过在多个像素中使色差成分共通化，就能生成维持画质不变、抑制数据量的高空间分辨率·高时间分辨率的亮度色差图像。 

实施方式4 

在本实施方式中，说明在可见度最高的波段G拍摄·记录高空间分辨率·低时间分辨率的第一图像，在其它的波段R和B拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换、进行再生的摄影记录再生装置。通过按照R和B的相关，将G的高通分量重叠在内插放大后的R和B上，使R和B高分辨率化。 

图18是表示本发明的实施方式4相关的摄影记录再生装置400的结构的方框图。再有，对于与图1所示的摄影装置100相同的部分赋予相同 的符号，省略详细的说明。摄影装置400是接受入射光101并记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT)401的装置，包括：摄影部103、颜色分解部104、R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107、摄影图像记录部108、摄影图像写入部109、存储器部110、摄影图像读出部111、空间分辨率上转换器部112、时间分辨率上转换器部113、输出部114、系统识别信号产生部185、RB高通调整部402。 

RB高通调整部402，通过按照R和B的相关，将G的高通分量重叠在内插放大后的R和B上，使R和B高分辨率化。如图19所示，RB高通调整部402包括：低分辨率化部403、局部相关运算部404、权重生成部405、计数器406、图像存储器部407、和权重标准化部408。 

RB高通调整部402中的处理为帧单位的处理。首先，在各帧处理的开始，将计数器406的内容和图像存储器407的内容清零。 

低分辨率化部403将由时间分辨率上转换器部113高分辨率化后的G成分、G_H，LH空间低分辨率化，并输出G_H，LH，L。 

R_LH，H和B_LH，H是由空间分辨率上转换器部112内插放大后的R图像和B图像，具有与由时间分辨率上转换器部113生成的G_H，LH相同的像素数、行数。 

局部相关运算部404，例如用(式3)在图20所示的2×2像素程度的局部的区域内计算R_LH，H和B_LH，H的相关值。 

[式3] 

$\mathrm{\ρ}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R})(B_i-\stackrel{\‾}{B})}{\sqrt{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R})}\sqrt{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}(B_i-\stackrel{\‾}{B})}}$ (式3) 

再有，局部的R和B的相关不必针对2×2像素的区域求出，也可以针对3×3像素、4×4像素、5×5像素等更宽的范围的矩形区域求出。此外，也可以针对圆形或4边形以上的多边形等区域求出，利用Gaucin(ガウシン)函数等附加上重视关注像素位置附近的权重进行计算。 

权重生成部405生成对应于局部相关运算部404计算出的相关值的权重。相关值与权重的关系，例如如图21所示，在正相关高时、增大权重W，增强G_HH和G_LH之差(即G的高通分量)的重叠。在存在负相关的情况下，不进行G_HH和G_LH之差(即G的高通分量)的重叠，设权重W为0。将与权重W相乘计算出的G_HH和G_LH之差(即G的高通分量)与对应图像存储器407的像素位置的地址相加。此时，在图像存储器407中进行写入的范围既可以是1像素，也可以是计算局部的相关值的范围。但是，像后者那样，对多个像素重叠高通分量的时候，通过计算局部相关的区域的设定方法(即在图像内的增值方法)，就会在同一像素上多次重叠高通波形。在此，考虑这样的情况，在计数器406中有关各像素存储重叠了高通波形的次数。 

在标准化部408中，用在计数器406中按每一像素存储的写入次数值去除多次重叠的高通波形。标准化后的高通信号与R_LH，H和B_LH，H重叠，作为R_OUT、B_OUT输出。 

如果使用以上这样的摄影记录再生装置400，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。特别地，能在保证局部的色平衡的状态下使R和B高分辨率化，其结果能进行抑制伪色产生的高分辨率化。 

实施方式5 

在本实施方式中，说明在可见度最高的波段G拍摄·记录高空间分辨率·低时间分辨率的第一图像，在其它的波段R和B拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转换、进行再生的摄影记录再生装置。能一面拍摄，一面生成、记录用于将第一图像的时间分辨率向第二图像的时间分辨率转换所需的数据库。 

图22是表示本发明的实施方式5相关的摄影记录再生装置500的结构的方框图。再有，对于与图1所示的摄影装置100相同的部分赋予相同的符号，省略详细的说明。摄影装置500是接受入射光101并记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间 分辨率的RGB图像(R_OUT G_OUT B_OUT)501的装置，包括：摄影部103、颜色分解部104、R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107、摄影图像记录部506、摄影图像写入部109、存储器部110、摄影图像读出部507、空间分辨率上转换器部502，时间分辨率上转换器部503、输出部114、基础图像识别信号产生部504。 

空间分辨率上转换器部502根据基础图像识别信号产生部504产生的基础图像识别信号505，识别获取基础图像组130的时刻(相当于图2A的时间t1或时间t15)，仅内插放大包含在基础图像组130中的R图像131和B图像133，生成R图像134和B图像135。 

时间分辨率上转换器部502根据基础图像识别信号产生部504产生的基础图像识别信号505，识别从空间分辨率上转换器部502提供R图像134、B图像135、G图像132的时刻(相当于图2A的时间t1或时间t15)，生成图像特征向量R图像136、图像特征向量B图像137、图像特征向量G图像139，记录在G图像生成用数据库部140中(图10)。 

摄影图像记录部506的摄影图像读出部507在摄影图像再生时从存储器部110中读出摄影图像，输入到空间分辨率上转换器部502。 

如果使用以上这样的摄影记录再生装置500，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。特别地，能在摄影的同时生成、记录保存在时间分辨率上转换器部503所具有的G图像生成用数据库部140中的数据。在G图像生成用数据库部140中可以使用利用磁体的硬盘和半导体存储器等任意记录介质。如果是记录介质可从摄影记录再生装置500上拆卸下的可移动型，则可以将G图像生成用数据库部140的数据在与其它设备之间进行移动或复制。 

实施方式6 

在本实施方式中，说明在可见度最高的波段G拍摄·记录高空间分辨率·低时间分辨率的第一图像，在其它的波段R和B拍摄·记录低空间分辨率·高时间分辨率的第二图像，根据低空间分辨率图像和高空间分辨率图像的对应关系，将第一图像的时间分辨率向第二图像的时间分辨率转 换、进行再生的摄影记录再生装置。由于在产生图像模糊的时候不能拍摄高空间分辨率的图像，所以能停止将第一图像的时间分辨率向第二图像的时间分辨率进行转换的数据库的生成·记录。 

图23是表示本发明的实施方式6相关的摄影记录再生装置600的结构的方框图。再有，对于与图22所示的摄影装置500相同的部分赋予相同的符号，省略详细的说明。摄影装置600是接受入射光101并记录摄影图像，在再生摄影图像时实施高分辨率化处理，输出高空间分辨率·高时间分辨率的RGB图像(R_OUT G_OUT B_OUT)601的装置，包括：摄影部103、颜色分解部104、R拍摄传感器部105、G拍摄传感器部106、B拍摄传感器部107，摄影图像记录部506、摄影图像写入部109、存储器部110、摄影图像读出部507、空间分辨率上转换器部502，时间分辨率上转换器部602、输出部114、基础图像识别信号产生部504、图像模糊检测部603。 

图像模糊检测部603检测出摄影图像的模糊，利用图像模糊产生信号604通知时间分辨率上转换器部602。摄影图像的模糊在入射光101入射到R拍摄传感器105、G拍摄传感器106、B拍摄传感器107中的过程中，在拍摄记录再生装置600和被拍摄物的位置关系变化时产生。拍摄记录再生装置600和被拍摄物的位置关系的变化是指被拍摄物移动、或摄影记录再生装置600移动。打开R拍摄传感器105、G拍摄传感器106、B拍摄传感器107的快门的时间越长，拍摄记录再生装置600和被拍摄物的位置关系的变化所引起的图像模糊发生的可能性就越高，因此，在室内或傍晚时刻等照射被拍摄物的光量少的时候，产生图像模糊的可能性变高。因此，通过将快门速度与预先设定的阈值比较，就能检测出图像模糊。此外，摄影图像的模糊在焦点距离对准不完全的时候产生。是所谓的朦胧，在使被拍摄物在R拍摄传感器105、G拍摄传感器106、B拍摄传感器107上成像的透镜系统的焦点距离不合适的情况下，产生图像模糊。因此，在自动聚焦机构工作期间能判断发生了图像模糊。 

时间分辨率上转换器部602，一旦利用图像模糊产生信号604通知产生图像模糊时，就会停止向G图像生成用数据库部140(图10)的数据的登记。在产生图像模糊时拍摄的G图像132，由于不含高频成分，所以不 能用于空间分辨率的高分辨率化，停止向G图像生成用数据库部140的数据的登记。 

再有，本发明对图像模糊检测的方法的本身不作限制，可采用任意的方法。 

通常，在快门速度下降时，为了消除图像模糊而点亮闪光灯。在通过点亮闪光灯确保高速快门的情况下，由于可拍摄高频成分，所以在G图像生成用数据库部140中登记在闪光灯点亮期间拍摄的高空间分辨率图像。 

如果使用以上这样的摄影记录再生装置600，则仍旧利用现行的3板式照相机的结构，也能拍摄、记录、再生高空间分辨率·高时间分辨率的画质高的图像。特别地，在产生图像模糊的情况下，由于不能拍摄高空间分辨率的图像，所以能停止将第一图像的时间分辨率向第二图像的时间分辨率转换的数据库的生成·记录，能避免在数据库中登记再利用可能性低的数据。 

再有，上述本发明的实施方式的装置的各构成要素，既可以由硬件实现，也可以由软件实现。例如，上述的图像数据生成处理的至少一部分可以通过可由计算机执行的程序及计算机实现。此外，上述的各装置，也可以是不具备摄影部103及摄影图像写入部109的结构，此情况下，输入由其它照相机拍摄所得到的图像数据进行上述的图像处理。 

工业实用性 

如上所述，本发明在所有视频电影照相机、电视机、带动画拍摄功能的数字静态照相机等视频设备中是有用的。此外，在广泛普及的个人计算机中也是有用的。 

Claims (10)

1.一种生成图像数据的装置，包括：

分光部，按红色光、绿色光及蓝色光对来自被拍摄物的光进行分光；

第一拍摄部，接受经上述分光后的光中可见度最高的波段的光，获取第一图像；

第二拍摄部，接受上述可见度最高的波段以外的波段的光，获取与上述第一图像相比空间分辨率低、且时间分辨率高的第二图像；以及

分辨率转换部，使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率，

上述分辨率转换部用于：

转换以与上述第一图像相同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率，

使上述第一图像的规定的第一像素、和处于与上述第一像素相同的像素位置的上述转换后的第二图像的第二像素相对应，并保持上述对应关系，

转换以与上述第一图像不同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率，

决定以与上述第一图像不同的时刻所拍摄的第二图像的转换后的图像中的与上述第二像素的图像的近似度比其它像素高的第三像素，

将上述第一像素的图像分配给处于与上述第三像素相同的像素位置的上述第一图像的第四像素，生成上述第一图像未被拍摄的时刻的图像。

2.根据权利要求1所述的装置，

上述分光部将来自上述被拍摄物的光分成红色光、绿色光及蓝色光，

上述第一拍摄部接受上述绿色光作为上述可见度最高的波段的光，获取对应于绿色成分的上述第一图像，

上述第二拍摄部包括：

红色光拍摄部，接受上述红色光作为上述可见度最高的波段以外的波段的光，获取对应于红色成分的上述第二图像；以及

蓝色光拍摄部，接受上述蓝色光作为上述可见度最高的波段以外的波 段的光，获取对应于蓝色成分的上述第二图像。

3.根据权利要求2所述的装置，

对应于上述红色成分的第二图像、和对应于上述蓝色成分的第二图像具有彼此相同的空间分辨率及时间分辨率。

4.根据权利要求1所述的装置，

还包括记录部，该记录部保存上述第一图像及上述第二图像，

上述分辨率转换部使用从上述记录部读出的上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率。

5.根据权利要求1所述的装置，

上述分辨率转换部转换上述第二图像的空间分辨率，以使其成为与上述第一图像相同的空间分辨率，

上述分辨率转换部包括保存上述第一图像和上述转换后的第二图像的数据库部，

上述分辨率转换部使用从上述数据库部读出的上述第一图像和上述转换后的第二图像，将上述第一图像的时间分辨率转换为上述第二图像的时间分辨率。

6.根据权利要求5所述的装置，

还包括图像模糊检测部，该图像模糊检测部检测图像模糊，

在上述图像模糊检测部检测出图像模糊的情况下，上述数据库部停止上述第一图像及上述转换后的第二图像的保存工作。

7.根据权利要求2所述的装置，还包括：

亮度生成部，由上述分辨率转换部输出的输出图像生成亮度图像；以及

色差生成部，使对应于上述输出图像中的绿色成分的图像低分辨率化，由对应于上述低分辨率化后的绿色成分的图像、对应于红色成分的图像、对应于蓝色成分的图像生成色差图像。

8.一种生成图像数据的方法，包括：

按红色光、绿色光及蓝色光对来自被拍摄物的光进行分光的步骤；

接受经上述分光后的光中可见度最高的波段的光，获取第一图像的步 骤；

接受上述可见度最高的波段以外的波段的光，获取与上述第一图像相比空间分辨率低、且时间分辨率高的第二图像的步骤；以及

使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率的步骤，

上述第一图像的时间分辨率转换成上述第二图像的时间分辨率的步骤中包含：

转换以与上述第一图像相同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率的步骤，

使上述第一图像的规定的第一像素、和处于与上述第一像素相同的像素位置的上述转换后的第二图像的第二像素相对应，并保持上述对应关系的步骤，

转换以与上述第一图像不同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率的步骤，

决定以与上述第一图像不同的时刻所拍摄的第二图像的转换后的图像中的与上述第二像素的图像的近似度比其它像素高的第三像素的步骤，

将上述第一像素的图像分配给处于与上述第三像素相同的像素位置的上述第一图像的第四像素，生成上述第一图像未被拍摄的时刻的图像的步骤。

9.一种执行生成图像数据的处理的装置，

上述装置包括对图像的时间分辨率进行转换的分辨率转换部，

上述分辨率转换部接收第一图像，并且接收第二图像；其中，上述第一图像是接受按红色光、绿色光及蓝色光对来自被拍摄物的光进行分光而得到的可见度最高的波段的光所生成的；上述第二图像是接受上述可见度最高的波段以外的波段的光所生成的，并且与上述第一图像相比空间分辨率低、时间分辨率高，

上述分辨率转换部使用上述第一图像和上述第二图像，将上述第一图像的时间分辨率转换成上述第二图像的时间分辨率，

上述分辨率转换部用于：

转换以与上述第一图像相同的时刻所拍摄的第二图像，以使其具有与 上述第一图像相同的空间分辨率，

使上述第一图像的规定的第一像素、和处于与上述第一像素相同的像素位置的上述转换后的第二图像的第二像素相对应，并保持上述对应关系，

转换以与上述第一图像不同的时刻所拍摄的第二图像，以使其具有与上述第一图像相同的空间分辨率，

决定以与上述第一图像不同的时刻所拍摄的第二图像的转换后的图像中的与上述第二像素的图像的近似度比其它像素高的第三像素，

将上述第一像素的图像分配给处于与上述第三像素相同的像素位置的上述第一图像的第四像素，生成上述第一图像未被拍摄的时刻的图像。

10.一种生成图像数据的装置，包括：

分光部，按红色光、绿色光及蓝色光对来自被拍摄物的光进行分光；

第一拍摄部，接受经上述分光后的光中可见度最高的波段的光，获取第一图像；

第二拍摄部，接受上述可见度最高的波段以外的波段的光，获取与上述第一图像相比空间分辨率低、且时间分辨率高的第二图像；

分辨率转换部，利用上述第一图像和上述第二图像，把上述第一图像的时间分辨率转换成上述第二图像的时间分辨率，把上述第二图像的空间分辨率转换成上述第一图像的空间分辨率；

低分辨率化部，将上述第一图像的空间分辨率转换成上述第二图像空间分辨率后生成第三图像；

减法部，计算出上述第一图像与上述第三图像之差后作为上述第一图像的高频成分；

局部相关运算部，计算出上述第二图像之间的相关值；

权重生成部，根据计算出的上述相关值，计算出用于叠加到上述第一图像的高频成分上的权重系数；

乘法部，将上述第一图像的高频成分乘以上述权重系数；

标准化部，以重叠的次数对上述乘法部的输出进行标准化；和

加法部，把上述标准化后的输出与上述第二图像相加。 

Images