CN111917947B - 摄像设备及其控制方法和机器可读介质 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法和机器可读介质。所述摄像设备包括图像传感器和用于控制所述图像传感器的操作的控制部件。所述控制部件在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来进行第一次的静止图像拍摄，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄。

Description

摄像设备及其控制方法和机器可读介质

技术领域

本发明涉及摄像设备及其控制方法和机器可读介质。更特别地，本发明涉及能够在运动图像拍摄期间拍摄静止图像的摄像设备及其控制方法以及用于存储摄像设备中所包括的计算机可执行的程序的机器可读介质。

背景技术

存在具有实时取景(LV)功能的数字照相机和配备有照相机功能的电子装置(以下统称为摄像设备)。LV功能通过并行地执行运动图像拍摄与通过运动图像拍摄所获得的运动图像的显示，来使得用于显示运动图像的显示装置用作取景器。用户能够使用通过LV功能显示的运动图像来调整要记录的运动图像和静止图像的拍摄范围。

通常，由于在静止图像数据和运动图像数据之间分辨率等不同，因此图像传感器的操作在静止图像拍摄时和运动图像拍摄时也相互不同。在将同一图像传感器用于运动图像拍摄和静止图像拍摄的情况下，需要根据正拍摄的图片的类型来切换图像传感器的操作。根据静止图像拍摄的定时，可能需要暂停运动图像拍摄，在这种情况下会发生诸如实时取景显示暂停以及显示图像的更新频率下降等的不利影响。

日本特开2018-038088公开了如下的方法，该方法用于在通过按规则顺序从图像传感器读出全分辨率帧和较低分辨率帧来获取运动图像的同时，在指示静止图像拍摄的情况下，输出最近的全分辨率帧作为静止图像。

如日本特开2018-038088所公开的，通过提取运动图像拍摄期间的一帧作为静止图像，可以抑制诸如由于静止图像拍摄而导致运动图像拍摄暂停以及运动图像的更新频率下降等的不利影响。然而，根据最近拍摄全分辨率帧的定时和静止图像拍摄指示的输入定时之间的差异，可能无法获得用户所期望的静止图像。此外，在运动图像拍摄时，需要在按每帧在分辨率上有所不同的两个类型的读出之间切换的同时实现这两个类型的读出。因而，还存在如下问题：图像传感器的读出控制和用于生成显示图像数据的处理变得复杂。

发明内容

本发明是考虑到传统技术的这些问题而作出的，并且本发明在其一方面中提供如下的摄像设备及其控制方法，该摄像设备能够实现在符合用户的意图的定时的静止图像拍摄、以及在静止图像拍摄时的稳定运动图像显示这两者。

根据本发明的一方面，提供一种摄像设备，包括：图像传感器；以及控制部件，用于控制所述图像传感器的操作，其中，所述控制部件在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来进行第一次的静止图像拍摄，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄。

根据本发明的另一方面，提供一种摄像设备的控制方法，所述摄像设备具有图像传感器，所述控制方法包括：在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来执行第一次的静止图像拍摄，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄。

根据本发明的又一方面，提供一种用于存储程序的机器可读介质，所述程序用于使得包括图像传感器的摄像设备的计算机用作：控制部件，用于控制所述图像传感器的操作，其中，所述控制部件在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来进行第一次的静止图像拍摄，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出根据实施例的摄像设备的示例功能结构的框图。

图2A和2B是示出实施例中的图像传感器的示例结构的图。

图3是与第一实施例中的在运动图像拍摄期间拍摄静止图像时的操作有关的流程图。

图4A～4C是与第一实施例中的在运动图像拍摄期间拍摄静止图像时的操作有关的时序图。

图5A和5B是与第一实施例中的在运动图像拍摄期间拍摄静止图像时的操作有关的时序图。

图6是与第一实施例的变形例有关的流程图。

图7是与第二实施例有关的流程图。

图8A～8C是与第二实施例中的在运动图像拍摄期间拍摄静止图像时的操作有关的时序图。

具体实施方式

以下将参考附图来详细说明实施例。注意，以下实施例并不意图限制要求保护的发明的范围。在实施例中说明了多个特征，但并未限制成需要所有这样的特征的发明，并且可以适当组合多个这样的特征。此外，在附图中，向相同或相似的结构赋予相同的附图标记，并且省略对这些结构的重复说明。

以下实施例说明本发明应用于诸如数字照相机等的摄像设备的示例。然而，本发明可应用于具有能够使用单个图像传感器来在运动图像拍摄期间拍摄静止图像的摄像功能的任何电子装置。这样的电子装置包括摄像机、计算机装置(个人计算机、平板计算机、媒体播放器、PDA等)、移动电话、智能电话、游戏机、机器人、无人机和行车记录仪。这些是例示性示例，并且本发明也可应用于其它电子装置。

第一实施例

数字照相机的结构

图1是示出用作根据本发明第一实施例的摄像设备的一个示例的数字照相机1的示例功能结构的框图。拍摄光学系统104在图像传感器107的摄像面上形成被摄体的光学图像。拍摄光学系统104具有第一透镜100、光圈101、第二透镜102和第三透镜103。第一透镜100布置在拍摄光学系统104的前端。光圈101由光圈致动器119驱动，并且具有可调整的开口直径。第二透镜102和第三透镜103构成用于调整拍摄光学系统104聚焦于的距离的调焦透镜。第二透镜102和第三透镜103沿着光轴在前后方向上可移动，并且由调焦致动器117驱动。

焦平面快门105(以下称为快门)由快门驱动电路115驱动，并且在静止图像拍摄时调整图像传感器107的曝光时间。光学低通滤波器106减少在图像传感器107所获得的图像中出现的伪色和摩尔纹。图像传感器107例如是多个光电转换区域二维地配置的CMOS图像传感器。图像传感器107将由拍摄光学系统104形成的被摄体的光学图像转换成具有多个光电转换区域的电气信号(模拟图像信号)。

DSP(数字信号处理器)108将预先确定的图像处理应用于从图像传感器107读出的图像信号和从RAM 109读出的图像数据，并且生成显示或记录所用的静止图像数据或运动图像数据。DSP 108所应用的图像处理包括预处理、颜色插值处理、校正处理和数据处理。预处理包括A/D转换、降噪、信号放大、基准电平调整和缺陷像素校正。颜色插值处理是用于对未包括在从像素中读出的图像数据中的颜色分量的值进行插值的处理，并且还被称为去马赛克处理。校正处理包括白平衡调整、用于校正图片的亮度的处理、用于校正摄像镜头120的光学系统中的像差的处理、以及用于校正颜色的处理。数据处理包括缩放处理、编码和解码处理以及报头信息生成处理。注意，这样的图像处理例示可以由DSP 108实现的图像处理，并且本发明不限于由DSP 108实现的图像处理。DSP 108将所生成的静止图像数据写入RAM 109。

注意，DSP 108可以将检测处理和评价值计算处理应用于所生成的图像数据。检测处理涉及特征区域(例如，面部区域、身体区域)及其运动的检测、以及人物识别处理等。此外，评价值计算处理是用于计算控制电路110所要使用的评价值(诸如相位差AF(自动焦点检测)所用的一对图像信号、对比度AF所用的评价值和在自动曝光控制(AE)中要使用的评价值等)的处理。

使用RAM 109，以存储DSP 108所处理的图像数据和控制电路110所执行的程序，并且存储控制电路110执行这些程序所需的信息。RAM 109的一部分可用作显示装置112所用的视频存储器。注意，代替RAM 109或除RAM 109之外，可以使用访问速度足够快的任何可读可写的存储装置。

此外，在本实施例中，采用RAM 109布置在DSP 108和控制电路110的外部的结构。然而，可以采用RAM 109的至少一部分内置在DSP 108或控制电路110中的结构。

控制电路110例如具有CPU，并且通过将ROM 114中所存储的程序加载在RAM 109中并执行该程序来实现包括后面将论述的处理的数字照相机1的功能。注意，代替CPU，可以使用作为可编程处理器的现场可编程门阵列(FPGA)。控制电路110设置图像传感器107的操作模式，并且生成用于控制操作的定时的各种信号并将所生成的信号供给至图像传感器107。此外，控制电路110使用DSP 108所计算出的评价值来进行用于调整拍摄光学系统104的聚焦位置的AF处理和用于调整光圈101的开口直径的AE处理。

操作构件111是为了用户向数字照相机1提供指示所设置的多个输入装置的统称。操作构件111中所包括的典型输入装置包括按钮、开关、杆、拨盘、操纵杆和触摸板，并且不限于此。操作构件111还包括用于实现不需要物理操作的输入(诸如视线输入和语音输入等)的结构。将这些功能静态地或动态地分配至各个输入装置，并且在操作输入装置时，实现了分配至该输入装置的功能。释放按钮、菜单按钮和箭头键等是功能被分配至的输入装置的名称的示例。

在本实施例中，控制电路110在例如经由操作构件111检测到用于拍摄静止图像的指示(例如，按下释放按钮)时，在给定时间长度(释放时滞)之后开始用于拍摄静止图像的操作。之后，如果连续输入静止图像拍摄指示，则控制电路110按预先确定的每个周期或间隔进行静止图像拍摄操作(连拍)。

显示装置112例如是诸如液晶显示器(LCD)或有机发光二极管(OLED)显示器等的显示装置。显示装置112显示DSP 108所生成的显示所用的运动图像数据和静止图像数据。用于显示实时取景图像数据(运动图像数据)的显示装置112用作电子取景器(EVF)。显示装置112还显示诸如菜单画面等的GUI以及表示数字照相机1的信息的图像(例如，表示当前设置的拍摄参数的值的图像)。

记录介质113例如是非易失性存储器，并且可以是诸如存储卡等的可移除的。将DSP 108所生成的记录所用的运动图像数据和静止图像数据作为具有预定格式的数据文件记录在记录介质113上。

ROM 114存储控制电路110的CPU可执行的程序、各种设置值和初始值、以及GUI数据等。ROM 114可以是可重写的。

快门驱动电路115具有用于驱动快门105的马达和线圈等。快门驱动电路115在控制电路110的控制下控制快门105的打开和关闭操作。

调焦驱动电路116具有用于沿着光轴驱动调焦透镜(第二透镜102、第三透镜103)的致动器、以及用于检测调焦透镜的位置的传感器等。调焦驱动电路116在控制电路110的控制下控制调焦透镜的位置，并且调整拍摄光学系统104的聚焦位置。

光圈驱动电路118在控制电路110的控制下控制用于驱动光圈101的致动器119的操作，并且调整光圈101的开口大小。

图像传感器的结构

接着，将参考图2A和2B来说明图像传感器107的示例结构。在本实施例中，图像传感器107以行为单位进行电荷累积和读出。图像传感器107例如可以是CMOS图像传感器。

图2A是示出图像传感器107中所设置的多个单位像素206的示例电路结构的图。单位像素具有一个微透镜和用作光电转换单元的光电二极管(PD)200。针对各单位像素可以设置多个光电二极管200。传送开关201在信号

的值为高(H)电平时接通。在传送开关201为ON(接通)时，PD 200中所累积的光电电荷被传送至浮动扩散(FD)202。

复位开关203在信号

为H电平时接通。通过将信号/>

和/>

这两者都设置为H电平、并将PD 200和FD 202设置到电源电压(VDD)，使FD 202复位。

放大晶体管204在一端连接至电源电压VDD，并且在另一端连接至选择开关205。选择开关205在一端连接至放大晶体管204，并且在另一端连接至单位像素206外部的垂直信号线208(参见图2B)。选择开关205在信号

的值设置为H电平时接通，并且连接至放大晶体管204和垂直信号线208。传送至FD 202的电荷量由此由放大晶体管204转换成电压值，并作为像素信号被输出至垂直信号线208。

图2B是示出图像传感器107的示例电路结构的框图。在像素阵列207中，多个单位像素206按在水平方向(纸面的左右方向)上为(m+1)个像素单元且在垂直方向(纸面的上下方向)上为(n+1)个像素单元的矩阵配置。注意，m和n是自然数。

驱动脉冲生成电路210在控制电路110的控制下生成用于进行单位像素206的复位操作或读出操作的脉冲。所生成的脉冲被供给至像素驱动电路212。行选择电路211选择像素行，并将所选择的行设置在像素驱动电路212中。像素驱动电路212将驱动脉冲生成电路210所生成的脉冲供给至行选择电路211所设置的像素行。因此，通过共同的脉冲来驱动同一像素行上所配置的多个单位像素206。

将单位像素206的像素信号从像素驱动电路212以选择脉冲被供给至的像素行为单位读出到垂直信号线208。恒流源209与单位像素206内的放大晶体管204形成源极跟随器电路。AD转换电路(ADC)213将读出到各个垂直信号线208的像素信号(模拟电压)转换成取决于电压值的数字值。由ADC 213转换成数字值的多个像素信号由水平扫描电路214按顺序选择，并被传送至输出接口215。

可以通过改变行选择电路211选择像素行的方法来以不同方式读出像素信号。例如，在本实施例中，在静止图像模式中，从像素阵列207的最上行到最下行以一次一行的方式读出像素信号。另一方面，在运动图像模式中，在读出像素阵列207的最上行之后，跳过两行并读出第四行，并且之后，同样地读出第(3p-2)行(其中，p是自然数)，直到最下行为止。在运动图像模式中，与在静止图像模式中相比，图片的垂直分辨率变低，但可以进行高速读出。注意，这里所述的读出模式仅仅是例示性示例，并且可以采用其它读出模式。此外，静止图像模式和运动图像模式的读出方法可以是其它读出方法。

除行选择电路211以外的电路还可被配置为根据在图像传感器107中设置的读出模式来进行不同的操作。注意，在本实施例中，像素驱动电路212和ADC 213设置在图像传感器107中，但可以设置在图像传感器107的外部。

运动图像拍摄期间的静止图像拍摄操作

接着，将使用图3所示的流程图来说明本实施例的数字照相机1中的运动图像拍摄期间的静止图像拍摄操作。数字照相机1的控制电路110在运动图像拍摄期间检测到静止图像拍摄指示时，进行在图3的流程图中示出的操作。静止图像拍摄指示可以是按下操作构件111中所包括的释放按钮。

这里，运动图像例如是为了实时取景显示所拍摄的运动图像。此外，运动图像是按取决于预先确定的帧频的间隔而拍摄的。这里，拍摄帧频可以与显示装置112的显示帧频相同或不同。记录所用的运动图像的拍摄帧频例如大于或等于记录帧频。在例如显示帧频和拍摄帧频为60fps的情况下，按约16.6ms的间隔进行运动图像的拍摄。如果帧频为120fps，则按8.3ms的间隔进行运动图像拍摄。

在检测到静止图像拍摄指示时，在步骤S301中，控制电路110计算静止图像拍摄的累积开始定时和读出开始定时。这里，从静止图像拍摄指示起直到开始静止图像拍摄为止的时间差(释放时滞)是预先确定的。此外，静止图像拍摄时的累积时间段的长度是通过用户设置或者基于与所拍摄到的运动图像有关的亮度信息的自动曝光控制(AE)而预先确定的曝光时间(快门速度)。

在步骤S302中，控制电路110基于定时计算结果来判断是否存在与静止图像拍摄的累积时间段重叠的运动图像读出时间段。在本实施例中，控制电路110在满足以下两个条件时判断为“否”，并且在不满足这些条件至少之一的情况下判断为“是”。

条件1：将如下的时间T1与释放时滞T2的合计除以运动图像的拍摄间隔得到的余数大于运动图像读出时间T3，其中该时间T1是从最近输出的运动图像拍摄所用的垂直同步信号的定时起、直到检测到静止图像拍摄指示的定时为止的时间。也就是说，(T1+T2)mod运动图像拍摄间隔>T3。这里，mod是模运算符，并且a mod b是将a除以b的余数。

条件2：在条件1中得出的余数、静止图像累积时间T4和静止图像读出时间T5的合计短于运动图像拍摄间隔。也就是说，((T1+T2)mod运动图像拍摄间隔)+T4+T5<运动图像拍摄间隔。注意，步骤S302中的判断可以利用其它方法来进行。

控制电路110在步骤S302中判断为“是”的情况下使处理进入步骤S303，并且决定不进行读出时间段与静止图像累积时间段重叠的运动图像帧的读出。另一方面，在步骤S302中的判断为“否”的情况下，控制电路110使处理进入步骤S304，并且决定按计划进行运动图像读出。

之后，在步骤S305中，控制电路110将静止图像模式设置为图像传感器107的读出模式。在步骤S306中，控制电路110等待释放时滞经过。

在经过了释放时滞的情况下，在步骤S307中，控制电路110进行静止图像拍摄操作。具体地，控制电路110使图像传感器107曝光，并指示图像传感器107开始静止图像读出。图像传感器107响应于来自控制电路110的指示而开始静止图像读出处理。注意，在与静止图像拍摄和读出有关的时间段的至少一部分与运动图像拍摄时间段重叠的情况下，由于静止图像拍摄而导致运动图像拍摄所用的曝光暂时停止，并且控制电路110例如通过重复显示紧前的运动图像帧来继续运动图像显示。

在步骤S308中，控制电路110在将图像传感器107设置为运动图像模式之后，重新开始运动图像拍摄所用的曝光。这里，连续进行运动图像拍摄，并持续基于连续静止图像拍摄时的预定拍摄周期的预定帧数。之后，在步骤S309中，控制电路110判断是否正连续输入静止图像拍摄指示。控制电路110在判断为正连续输入静止图像拍摄指示的情况下，使处理进入步骤S310，以及在未判断为正连续输入静止图像拍摄指示的情况下，在判断为静止图像拍摄结束之后结束处理，并返回到正常运动图像拍摄。

在步骤S310中，与步骤S305相同，控制电路110将图像传感器107设置为静止图像模式。

之后，在步骤S311中，控制电路110在从给定帧的运动图像拍摄和读出结束起直到开始下一帧的运动图像拍摄为止的时间段(消隐时间段)中进行静止图像拍摄，并且使处理返回到步骤S308。

将使用图4A～4C所示的时序图来进一步说明使用图3所述的操作。

图4A示出在未输入静止图像拍摄指示的状态下的运动图像拍摄的定时的示例。在每次输入垂直同步信号时，进行运动图像拍摄。

在t400输入垂直同步信号时，图像传感器107开始采用运动图像模式的读出扫描400(实线)。在t401读出扫描400完成时，图像传感器107随后从t402起开始运动图像复位扫描401(虚线)。然后，在t403输入下一垂直同步信号时，开始下一帧的运动图像读出400。

从读出开始时刻t400起直到读出完成时刻t401为止是运动图像读出时间段402。此外，从读出完成时刻t401起直到下一读出开始时刻t403为止是运动图像消隐时间段403。此外，从t402到t403的时间差是运动图像累积时间404。另外，从t401到t403是运动图像帧间隔405。注意，从运动图像累积的开始起直到读出的结束为止的时间段(从t402到t404)也被称为运动图像驱动时间段。

图4B示出在t410输入静止图像拍摄指示的情况下的操作。在t410输入静止图像拍摄指示时，控制电路110进行图3所示的操作。在图4B的示例中，410对应于从最近输出的运动图像拍摄所用的垂直同步信号的定时起直到检测到静止图像拍摄指示的定时为止的时间T1。另外，409对应于释放时滞T2。因此，条件1中的余数是由411示出的时间长度。运动图像读出时间T3对应于t412和t415之间的差，因而余数411大于运动图像读出时间T3并且满足条件1。

接着，余数411、静止图像拍摄的累积时间段408和静止图像读出时间段412的合计对应于从t412到t416的时间，并且短于运动图像帧间隔405。因此，也满足条件2。

因此，控制电路110对于图4B所示的示例，判断为不存在与静止图像拍摄的累积时间段408重叠的运动图像读出时间段(步骤S302中的判断为“否”)。然后，在步骤S304中，控制电路110决定读出下一运动图像帧。因此，图像传感器107从t411起进行运动图像复位扫描401，并且在t412输入垂直同步信号时进行下一运动图像帧的读出扫描400。

在运动图像帧的读出完成时，控制电路110将图像传感器107设置为静止图像模式(步骤S308)。在从时刻t410起释放时滞经过时，在t413将垂直同步信号输入至图像传感器107，并且图像传感器107进行静止图像拍摄的处理。具体地，首先进行静止图像复位扫描406(点划线)。在进行利用快门105的曝光之后，图像传感器107从t414起进行静止图像读出扫描407(双点划线)。从开始静止图像复位扫描406的时刻t413起直到开始静止图像读出扫描407的时刻t414为止的时间对应于静止图像拍摄的累积时间段408。注意，从静止图像累积的开始起直到读出的结束为止的时间段(从t413到t416)也称为静止图像驱动时间段。

这样，如果与在释放时滞经过之后开始的静止图像拍摄和读出有关的时间段与运动图像拍摄时间段不重叠，则在运动图像拍摄期间输入静止图像拍摄指示的情况下，在运动图像拍摄的消隐时间段中实现静止图像拍摄，并且静止图像拍摄不影响运动图像拍摄。

图4C示出在与图4B不同的定时t420输入静止图像拍摄指示的情况下的操作。在这种情况下，由于410和409的合计短于运动图像帧间隔405，因此余数411将是410和409的合计。因此，余数411大于运动图像读出时间段402，并且满足条件1。

另一方面，余数411、静止图像拍摄的累积时间段408和静止图像读出时间段412的合计长于运动图像帧间隔405。因此，不满足条件2。因此，控制电路110关于图4C所示的示例判断为存在与静止图像拍摄的累积时间段408重叠的运动图像读出时间段(步骤S302中判断为“是”)。然后，在步骤S303中，控制电路110决定不进行(取消)下一运动图像帧的读出。由此，在图4C的示例中不进行图4B的示例中的从t411开始的运动图像拍摄。

控制电路110将图像传感器107设置为静止图像模式(步骤S308)。在从时刻t420起经过释放时滞时，在t421将垂直同步信号输入至图像传感器107，并且图像传感器107进行静止图像拍摄的处理。注意，释放时滞409由于不依赖于步骤S302的判断结果因而是恒定的。由此可以使从用户按下释放按钮起直到拍摄第一个静止图像为止的时间保持恒定。

接着，将使用图5A和5B所示的时序图来说明在连续拍摄静止图像的情况下的操作。

图5A示出从第一次输入静止图像拍摄指示起直到连续进行连拍为止的操作。从在t500输入静止图像拍摄指示起直到完成第一次静止图像拍摄的t501为止进行图4B或图4C所示的操作。之后，进行预定帧数的运动图像拍摄(步骤S308)。这里要拍摄的帧数可以由用户经由操作构件111设置，并且可以根据照相机的操作状态而改变。在本实施例中，预定帧数为2。在图5A的示例中，从t502和t503起进行运动图像拍摄(累积和读出)。

在t504，控制电路110检查是否正连续输入静止图像拍摄指示(步骤S309)。这里，由于正连续输入静止图像拍摄指示，因此进行图3的步骤S310及其之后的处理。紧接在t504之后，控制电路110设置静止图像复位扫描406。然后，控制电路110控制图像传感器107的操作，以在t505开始运动图像读出扫描400之后开始静止图像复位扫描406。在该图中，静止图像复位扫描406看上去与运动图像读出扫描400同时开始，但实际上，静止图像复位扫描406在运动图像读出扫描400之后略微延迟地开始。此外，控制电路110在静止图像复位扫描406期间设置静止图像读出扫描407。在t506中，图像传感器107开始静止图像读出扫描407。结果，进行在运动图像拍摄的消隐时间段中的静止图像拍摄(步骤S311)。在静止图像拍摄为连拍的情况下，决定静止图像拍摄的开始定时，使得在运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄。由此稳定地进行运动图像拍摄，并且例如维持实时取景显示的更新频率。

之后，在再次执行预定帧数的运动图像拍摄之后，控制电路110在t507再次判断静止图像拍摄指示的输入是否正继续。在图5A的示例中，输入仍正继续，因而控制电路110进行与从t504到t507的操作同样的操作。

图5B示出在连续静止图像拍摄结束时的操作。在图5A的t500第一次输入的静止图像拍摄指示在t510仍正继续。因此，从t510到t513，进行与从t504到t507的操作同样的操作。在t512不再输入静止图像拍摄指示并且在t513检测到该情况时，控制电路110结束静止图像拍摄的处理(步骤S309中为“否”)。之后，控制电路110继续进行运动图像拍摄。

如上所述，根据本实施例，在诸如实时取景图像等的运动图像的拍摄期间拍摄静止图像的情况下，对于静止图像拍摄是单拍还是连拍的第一次，可以设置给定的释放时滞。因而，将可以进行在用户期望的定时的静止图像拍摄。另一方面，在静止图像拍摄是连拍的情况下，从第二次及其之后起，在运动图像的消隐时间段中进行静止图像拍摄。因而，在运动图像的显示不会暂停或者运动图像的更新频率不会下降的情况下，即使在静止图像拍摄期间的稳定运动图像显示也成为可能。即使在例如由于使连拍的第二次及其之后的拍摄定时偏移而导致运动图像拍摄周期和连续静止图像拍摄周期处于倍数关系的情况下，也可以防止运动图像拍摄由于静止图像拍摄而不断地停止。

本发明不限于上述结构，并且可以在本发明的主旨的范围内进行各种修改和改变。例如，可以将图3的流程图改变为图6的流程图。注意，在图6中将相同的附图标记赋予至用于执行与图3相同的操作的步骤，并且省略了重复说明。

在图6的流程图中，在输入静止图像拍摄指示时，在步骤S600中，控制电路110判断在该时间点是否正进行运动图像读出扫描400，并且在判断为正进行读出扫描的情况下，使处理进入步骤S601，以及在未判断为正进行读出扫描的情况下，使处理进入步骤S602。在步骤S601中，控制电路110等待，直到正进行的读出扫描完成为止，并且使处理进入步骤S602。

在步骤S602中，控制电路110控制图像传感器107的操作，以暂停运动图像拍摄，直到静止图像拍摄完成为止。随后，与图3同样地进行步骤S301和步骤S305及其之后的处理。在图3所示的操作中，需要在用于决定是否读出下一运动图像帧的步骤S302～S304的处理中进行计算。因而，在需要在短时间内进行判断的情况下，控制电路110将需要高的处理能力。

相比之下，在图6所示的操作中，尽管运动图像帧的拍摄数量有可能减少，但可以容易地判断是否读出下一运动图像帧。因而，存在如下的优点：即使在控制电路110的处理能力不高的情况下，也可以在短时间内判断是否读出下一运动图像帧。

第二实施例

接着，将说明本发明的第二实施例。在第一实施例中，通过主要关注于读出扫描的时间段来控制拍摄的定时。然而，需要适当的复位扫描以进行适当的拍摄。有鉴于此，本实施例说明用于设置运动图像和静止图像的累积时间的方法。

图7是与以下操作有关的流程图：控制电路110针对图像传感器107进行与静止图像复位扫描406有关的设置、与静止图像读出扫描407有关的设置、以及与紧接静止图像之后的运动图像复位扫描401有关的设置。这些操作例如可以在图3的步骤S305中实现。

在步骤S700中，控制电路110基于用户设置和自动曝光控制等来决定静止图像拍摄时的累积时间(曝光时间)。并且，在步骤S701中，在所决定的累积时间内进行静止图像拍摄的情况下，控制电路110判断静止图像拍摄时间段是否将在预定周期内结束。该预定周期例如可以是运动图像拍摄周期。可选地，可以判断静止图像曝光时间是否在预定时间内结束。在这种情况下，预定时间例如可以是通过从运动图像拍摄周期中减去静止图像读出时间所获得的时间。在任何情况下，在静止图像拍摄时间段/曝光时间超过预定周期/预定时间时，不能维持运动图像拍摄的帧频。

在步骤S701中判断为静止图像拍摄不会在预定时间内结束的情况下，控制电路110使处理进入步骤S703。在步骤S703中，控制电路110使下一运动图像帧的读出开始时刻改变(延迟)预定周期的整数倍，并且使处理进入步骤S704。这里，预定周期例如是运动图像拍摄周期。在步骤S703中，控制电路110改变运动图像拍摄开始时刻，使得可以在运动图像消隐时间段403内完成静止图像拍摄。另一方面，在步骤S701中判断为静止图像拍摄将在预定时间内结束的情况下，控制电路110使处理进入步骤S702。在步骤S702中，控制电路110在不改变下一运动图像帧的读出开始时刻的情况下，使处理进入步骤S704。

在步骤S704中，控制电路110针对图像传感器107进行与静止图像复位扫描406有关的设置和与静止图像读出扫描407有关的设置。在该时间点，控制电路110能够确定静止图像读出扫描407的完成时刻。有鉴于此，在步骤S705中，控制电路110计算静止图像读出扫描407的完成时刻与紧接在静止图像拍摄之后进行的运动图像拍摄的运动图像读出扫描400的完成时刻之间的时间差。此外，在步骤S706中，控制电路110基于各种拍摄条件来决定紧接在静止图像拍摄之后进行的运动图像拍摄中的适当累积时间。例如，可以使用ISO感光度、光圈101的开口大小和根据先前帧的图像所计算出的被摄体的亮度来决定累积时间。

在步骤S707中，控制电路110将在步骤S705中计算出的时间差与在步骤S706中决定的累积时间进行比较。控制电路110在时间差大于或等于累积时间的情况下使处理进入步骤S708，以及在时间差小于累积时间的情况下使处理进入步骤S709。

在步骤S708中，控制电路110进行与运动图像复位扫描401有关的设置(例如，开始时刻设置)，使得紧接在静止图像拍摄之后进行的运动图像拍摄的累积时间将是在步骤S706中决定的累积时间。

在步骤S709中，控制电路110进行与运动图像复位扫描401有关的设置(例如，开始时刻设置)，使得紧接在静止图像拍摄之后进行的运动图像拍摄的累积时间将等于在步骤S705中计算出的时间差。

在与运动图像复位扫描401有关的设置结束时，拍摄设置结束。

将使用图8A～8C的时序图来说明本实施例中的复位扫描和读出扫描的控制。

图8A的时序图示出在图7的步骤S701中判断为静止图像拍摄将在预定周期内结束、并且在步骤S707中判断为时间差大于或等于运动图像累积时间的情况下的操作。

图像传感器107在t800开始运动图像读出扫描400时立即开始静止图像复位扫描406。在静止图像拍摄中的曝光时间经过时，图像传感器107在t801开始静止图像读出扫描407，并且静止图像读出扫描407在t802完成。从开始静止图像复位扫描406起直到完成静止图像读出扫描为止是静止图像拍摄时间段。由于静止图像拍摄时间段短于预定周期801(这里为运动图像拍摄周期)，因此控制电路110在步骤S701中判断为“是”，并且不改变下一帧的运动图像读出扫描400的开始时刻t804。

在判断为不改变运动图像读出扫描400的开始时刻的时间点，可以计算静止图像读出扫描407的完成时刻t802和运动图像读出扫描400的完成时刻t805之间的时间差802。在该时间点，还确定了运动图像拍摄中的适当累积时间。这里，适当的运动图像累积时间短于时间差802(步骤S707中为“是”)。因而，控制电路110设置运动图像复位扫描401的开始时刻t803，使得下一帧的运动图像累积时间404将等于适当的运动图像累积时间(步骤S708)。

图8B的时序图示出在图7的步骤S701中判断为静止图像拍摄将在预定周期内结束、并且在步骤S707中未判断为时间差大于或等于运动图像累积时间的情况下的操作。

图像传感器107在t810开始运动图像读出扫描400时，立即开始静止图像复位扫描406。在静止图像拍摄中的曝光时间经过时，图像传感器107在t811开始静止图像读出扫描407，并且静止图像读出扫描407在t813完成。由于静止图像拍摄时间段短于预定周期801(这里为运动图像拍摄周期)，因此控制电路110在步骤S701中判断为“是”，并且不改变下一帧的运动图像读出扫描400的开始时刻t814。

在判断为不改变运动图像读出扫描400的开始时刻的时间点，可以计算静止图像读出扫描407的完成时刻t813和运动图像读出扫描400的完成时刻t815之间的时间差802。在该时间点，还确定了运动图像拍摄中的适当累积时间。这里，适当的运动图像累积时间长于时间差802(步骤S707中为“否”)。因而，控制电路110设置运动图像复位扫描401的开始时刻t812，使得下一帧的运动图像累积时间404将等于时间差802(步骤S708)。

在图8B的示例中，不能将运动图像累积时间404设置为适当的曝光时间。因此，在静止图像拍摄之后进行的运动图像拍摄中获得的帧将曝光不足。这样，对于由于静止图像拍摄的曝光时间长而导致不能确保适当的累积时间的运动图像拍摄，控制电路110例如能够控制DSP 108，以通过向所获得的运动图像帧应用增益并放大像素值来补偿曝光不足。可以从适当累积时间和时间差802之间的差求出增益的量。

图8C的时序图示出在图7的步骤S701中未判断为静止图像拍摄将在预定周期内结束、并且在步骤S707中判断为时间差大于或等于运动图像累积时间的情况下的操作。

图像传感器107在t820开始运动图像读出扫描400时，立即开始静止图像复位扫描406。在静止图像拍摄中的曝光时间经过时，图像传感器107在t822开始静止图像读出扫描407，并且静止图像读出扫描407在t823完成。由于静止图像拍摄时间段长于预定周期801(这里为运动图像拍摄周期)，因此控制电路110在步骤S701中判断为“否”，并且改变下一帧的运动图像读出扫描400的开始时刻。具体地，控制电路110将原本将在从t820起经过了预定周期801之后的时刻t821开始的下一帧的运动图像读出扫描400的开始时刻改变为从t820起经过了预定周期801两倍长的时间的t825。

在确定了改变后的运动图像读出扫描400的开始时刻的时间点，可以计算静止图像读出扫描407的完成时刻t823和运动图像读出扫描400的完成时刻t826之间的时间差802。在该时间点，还确定了运动图像拍摄中的适当累积时间。这里，适当的运动图像累积时间短于时间差802(步骤S707中为“是”)。因而，控制电路110设置运动图像复位扫描401的开始时刻t824，使得下一帧的运动图像累积时间404将等于适当的运动图像累积时间(步骤S708)。

如上所述，根据本实施例，设置复位扫描的开始定时，使得运动图像拍摄时的累积时间将是适当时间，由此使得能够以恰当的曝光进行运动图像拍摄。此外，在静止图像拍摄的曝光时间长、并且运动图像拍摄的累积时间短于适当的累积时间的情况下，通过在运动图像拍摄之后应用增益来校正曝光。因此，可以在尽可能进行运动图像拍摄的同时抑制曝光变化。此外，可以以比运动图像的消隐时间段长的曝光时间来拍摄静止图像。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种摄像设备，包括：

图像传感器；以及

控制部件，用于控制所述图像传感器的操作，

其中，所述控制部件在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来进行第一次的静止图像拍摄，在所述预先确定的时间内继续运动图像显示，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄，

其中，所述预先确定的时间是表示从所述拍摄指示的输入起直到开始所述第一次的静止图像拍摄为止的时间差的释放时滞。

2.根据权利要求1所述的摄像设备，

其中，在所述第一次的静止图像拍摄的累积时间段与所述运动图像拍摄的读出时间段重叠的情况下，所述控制部件控制所述图像传感器以不进行重叠的运动图像拍摄。

3.根据权利要求1所述的摄像设备，

其中，在输入所述拍摄指示的情况下，所述控制部件在没有正进行运动图像读出扫描的情况下、或者在直到正进行的运动图像读出扫描完成为止的情况下，控制所述图像传感器以暂停所述运动图像拍摄，直到所述第一次的静止图像拍摄完成为止。

4.根据权利要求1所述的摄像设备，

其中，在所述第一次的静止图像拍摄不会在预先确定的周期内结束的情况下，所述控制部件将下一运动图像拍摄的开始时刻延迟所述预先确定的周期的整数倍，以及

其中，所述预先确定的周期包括运动图像拍摄周期。

5.根据权利要求1至4中任一项所述的摄像设备，

其中，对于由于静止图像拍摄的曝光时间长而导致不能确保适当累积时间的运动图像拍摄，所述控制部件控制图像处理部件以校正所获得的运动图像帧的亮度。

6.根据权利要求5所述的摄像设备，

其中，在静止图像读出完成的定时和下一运动图像拍摄的读出完成的定时之间的时间差大于或等于所述适当累积时间的情况下，所述控制部件在所述摄像设备中设置所述下一运动图像拍摄的复位扫描的开始定时，使得所述下一运动图像拍摄的累积时间是所述适当累积时间。

7.根据权利要求5所述的摄像设备，

其中，在静止图像读出完成的定时和下一运动图像拍摄的读出完成的定时之间的时间差小于所述适当累积时间的情况下，所述控制部件在所述摄像设备中设置所述下一运动图像拍摄的复位扫描的开始定时，使得所述下一运动图像拍摄的累积时间将等于所述时间差。

8.根据权利要求1至4中任一项所述的摄像设备，

其中，静止图像读出时间长于运动图像读出时间。

9.一种摄像设备的控制方法，所述摄像设备具有图像传感器，所述控制方法包括：

在使用所述图像传感器的运动图像拍摄期间输入静止图像拍摄指示的情况下，在从所述拍摄指示的输入起经过预先确定的时间时使用所述图像传感器来执行第一次的静止图像拍摄，在所述预先确定的时间内继续运动图像显示，并且在连续输入所述拍摄指示的情况下，控制所述图像传感器以在所述运动图像拍摄的消隐时间段期间进行第二次及其之后的静止图像拍摄，

其中，所述预先确定的时间是表示从所述拍摄指示的输入起直到开始所述第一次的静止图像拍摄为止的时间差的释放时滞。

10.一种用于存储程序的机器可读存储介质，所述程序用于使得计算机执行根据权利要求9所述的控制方法。

Images