JP5641915B2

JP5641915B2 - Image processing apparatus and control method thereof

Info

Publication number: JP5641915B2
Application number: JP2010278235A
Authority: JP
Inventors: 崇淺賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-14
Filing date: 2010-12-14
Publication date: 2014-12-17
Anticipated expiration: 2030-12-14
Also published as: JP2012129719A

Description

本発明は、ＲＡＷ動画の再生時に、現像パラメータの生成と、ＲＡＷ動画の現像を行う画像処理装置及びその制御方法に関するものである。 The present invention relates to an image processing apparatus that generates a development parameter and develops a RAW moving image when a RAW moving image is reproduced, and a control method thereof.

静止画のＲＡＷ画像は、撮像素子の出力をそのまま記録したデータである。
ＲＡＷ画像を再生するためには、ＲＡＷ画像を現像する必要がある。ＲＡＷ画像の現像に用いるパラメータを現像パラメータと呼ぶ。現像パラメータの値（現像パラメータ値）によって、ＲＡＷ画像を現像して得られる画像データの色相、明度、ホワイトバランス等が決まる。ＲＡＷ動画は、静止画のＲＡＷ画像と同様に、撮像素子の出力をそのまま記録した動画である。 The still image RAW image is data in which the output of the image sensor is recorded as it is.
In order to reproduce a RAW image, it is necessary to develop the RAW image. Parameters used for developing a RAW image are called development parameters. The hue, brightness, white balance, and the like of image data obtained by developing a RAW image are determined by the value of the development parameter (development parameter value). The RAW moving image is a moving image in which the output of the image sensor is recorded as it is, as with a RAW image of a still image.

従来、ＲＡＷ動画を再生するためには、以下のステップで現像を行っていた。予め、ＲＡＷ動画の現像に用いる現像パラメータ値を生成（算出）する。前記現像パラメータ値に従ってＲＡＷ動画を現像して、動画像データを生成する。こうして生成した動画像データを、ユーザは再生して視聴する。この様に、従来、ＲＡＷ動画を再生するためには、予め現像処理を済ませておく（動画像データを生成しておく）必要があった。
一方、現像パラメータ値を自動生成しながら、ＲＡＷ動画を現像しつつ再生を行う視聴形態も考えられる。 Conventionally, in order to reproduce a RAW moving image, development is performed in the following steps. A development parameter value used for developing a RAW moving image is generated (calculated) in advance. RAW moving images are developed according to the development parameter values to generate moving image data. The user reproduces and views the moving image data generated in this way. Thus, conventionally, in order to reproduce a RAW moving image, it has been necessary to complete development processing (generate moving image data) in advance.
On the other hand, a viewing mode in which playback is performed while developing a RAW moving image while automatically generating development parameter values is also conceivable.

また、ユーザがＲＡＷ動画を現像しながら視聴する場合、従来のＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）形式等の動画像データを視聴する際に行う操作を、ＲＡＷ動画を視聴する際にも行うことが考えられる。
例えば、動画像データを視聴する際に、ユーザは再生を途中で一時停止する操作や、停止位置から再生を再開する操作等を行う。 In addition, when a user views a RAW moving image while developing it, it is considered that an operation performed when viewing moving image data in the conventional MPEG (Moving Picture Experts Group) format or the like is also performed when viewing a RAW moving image. It is done.
For example, when viewing moving image data, the user performs an operation of pausing playback halfway, an operation of restarting playback from the stop position, or the like.

このような動画再生時の一時停止及び再生再開に関連して、特許文献１は、停止位置から再生を再開するために、再生制御プログラムの実行領域を全て保存するという処理方法を開示している。
また特許文献２は、停止位置から再生を再開するために保存する情報を低減するため、ＤＶＤの複数の再生条件情報のうち変化のあった再生条件情報のみを記録するという処理方法を開示している。
従来の動画像の再生では、再生を開始する位置が分かれば、そこから継続して再生を再開することができた。 In connection with such pause and resumption of reproduction during moving image reproduction, Patent Document 1 discloses a processing method in which the entire execution area of the reproduction control program is saved in order to resume reproduction from the stop position. .
Further, Patent Document 2 discloses a processing method of recording only changed playback condition information among a plurality of playback condition information of a DVD in order to reduce information to be stored in order to resume playback from the stop position. Yes.
In conventional moving image reproduction, if the position at which reproduction is started is known, reproduction can be resumed from there.

ＲＡＷ動画の再生では、ある時点のフレーム画像のＲＡＷデータに対応する現像パラメータ値を生成するために、過去のフレーム画像のＲＡＷデータの現像に用いた現像パラメータ値を用いることが考えられる。
図７は、ＲＡＷ動画を現像しながら再生する場合の現像パラメータ値の生成、現像、及び現像結果の画面表示を行うまでの処理を模式的に時系列で示したものである。現像パラメータには一般的に複数の種類があるが、ここでは簡単のために現像パラメータとしてホワイトバランスを例に説明する。
図７の時刻ｔ１から時刻ｔ５の期間は、現像パラメータ値を生成し、ＲＡＷデータを現像しながらＲＡＷ動画を再生している期間である。 In the reproduction of the RAW moving image, it is conceivable to use the development parameter value used for the development of the RAW data of the past frame image in order to generate the development parameter value corresponding to the RAW data of the frame image at a certain time.
FIG. 7 schematically shows, in time series, processing until generation of a development parameter value, development, and screen display of a development result when a RAW moving image is reproduced while being developed. In general, there are a plurality of types of development parameters. Here, for the sake of simplicity, white balance will be described as an example of development parameters.
A period from time t1 to time t5 in FIG. 7 is a period in which the development parameter value is generated and the RAW moving image is reproduced while developing the RAW data.

時刻ｔ１のＲＡＷ動画のフレームＡ’の現像について説明する。ＲＡＷデータを現像するためには現像パラメータ値（ホワイトバランスの値、色温度値）が必要である。フレー
ムＡ’のＲＡＷデータに対応する現像パラメータ値は、フレームＡ’のＲＡＷデータから算出される。図７の例では、フレームＡ’のＲＡＷデータに対応する現像パラメータ値（色温度値）は、４０００Ｋと算出されている。この現像パラメータ値は、ＲＡＷ動画の１フレーム分（フレームＡ’）のＲＡＷデータから算出された現像パラメータ値である。以下、ＲＡＷ動画の１フレーム分のＲＡＷデータから算出される現像パラメータ値を「中間パラメータ値」と呼ぶ。 The development of the frame A ′ of the RAW moving image at time t1 will be described. In order to develop RAW data, development parameter values (white balance value, color temperature value) are required. The development parameter value corresponding to the RAW data of frame A ′ is calculated from the RAW data of frame A ′. In the example of FIG. 7, the development parameter value (color temperature value) corresponding to the RAW data of frame A ′ is calculated as 4000K. This development parameter value is a development parameter value calculated from RAW data for one frame (frame A ′) of the RAW moving image. Hereinafter, the development parameter value calculated from the RAW data for one frame of the RAW moving image is referred to as “intermediate parameter value”.

時刻ｔ１のＲＡＷ動画のフレームＡ’については、中間パラメータ値をそのままそのフレームのＲＡＷデータの現像に用いる現像パラメータ値として利用する。従って、フレームＡ’のＲＡＷデータの現像に用いる現像パラメータ値を４０００Ｋとする。
時刻ｔ２のＲＡＷ動画のフレームＢ’の現像について説明する。まず、上記のフレームＡ’の場合と同様に、ＲＡＷ動画の１フレーム分（フレームＢ’）のＲＡＷデータから中間パラメータ値を生成する。図７の例では、ＲＡＷ動画のフレームＢ’に関して算出された中間パラメータ値は６０００Ｋである。 For the frame A ′ of the RAW moving image at time t1, the intermediate parameter value is used as it is as the development parameter value used for developing the RAW data of that frame. Accordingly, the development parameter value used for developing the RAW data of the frame A ′ is set to 4000K.
Development of the frame B ′ of the RAW moving image at time t2 will be described. First, as in the case of the frame A ′ described above, an intermediate parameter value is generated from RAW data for one frame (frame B ′) of the RAW moving image. In the example of FIG. 7, the intermediate parameter value calculated for the frame B ′ of the RAW moving image is 6000K.

ここで、フレームＡ’の現像の場合と同様に、中間パラメータ値６０００ＫをそのままフレームＢ’のＲＡＷデータの現像に用いる現像パラメータ値として利用すると、フレームＡ’とフレームＢ’とで色温度値が大きく異なることになる。そのため、ＲＡＷ動画のフレームＡ’を現像して得られる画像データＡからＲＡＷ動画のフレームＢ’を現像して得られる画像データＢへの遷移で色温度が急激に変化することになり、視聴者が違和感を覚える可能性がある。 Here, as in the case of the development of the frame A ′, if the intermediate parameter value 6000K is used as it is as the development parameter value used for the development of the RAW data of the frame B ′, the color temperature values of the frame A ′ and the frame B ′ are the same. It will be very different. Therefore, the color temperature changes abruptly at the transition from the image data A obtained by developing the RAW moving image frame A ′ to the image data B obtained by developing the RAW moving image frame B ′. May feel uncomfortable.

そこで、過去のフレームのＲＡＷデータの現像に用いた現像パラメータ値と、現在のフレームのＲＡＷデータに関して算出された中間パラメータ値と、を用いて、現在のフレームのＲＡＷデータの現像に用いる現像パラメータ値を算出することが考えられる。例えば、現在のフレーム（現フレーム）の中間パラメータ値ＷＢ２’、現フレームより１フレーム過去のフレーム（前フレーム）の現像パラメータ値ＷＢ１として、現フレームの現像パラメータ値ＷＢ２を次の式により算出することができる。

ＷＢ２＝（ＷＢ２’−ＷＢ１）／４＋ＷＢ１
Therefore, the development parameter value used for developing the RAW data of the current frame using the development parameter value used for developing the RAW data of the past frame and the intermediate parameter value calculated for the RAW data of the current frame. Can be calculated. For example, the development parameter value WB2 of the current frame is calculated by the following equation, using the intermediate parameter value WB2 ′ of the current frame (current frame) and the development parameter value WB1 of the frame one frame past (previous frame) from the current frame. Can do.

WB2 = (WB2′−WB1) / 4 + WB1

例えば、時刻ｔ２のフレームＢ’の現像パラメータ値は、時刻ｔ１のフレームＡ’の現像パラメータ値４０００Ｋと、時刻ｔ２のフレームＢ’の中間パラメータ値６０００Ｋと、を上記の式に代入して４５００Ｋと算出される。これによれば、時刻ｔ２のＲＡＷ動画のフレームＢ’のＲＡＷデータはホワイトバランスの値（色温度値）が４５００Ｋで現像される。従って、色温度値４０００Ｋで現像されるフレームＡ’のＲＡＷデータを現像して得られる画像データＡからフレームＢ’のＲＡＷデータを現像して得られる画像データＢへの遷移における色温度の急激な変化が抑制される。 For example, the development parameter value of frame B ′ at time t2 is 4500K by substituting the development parameter value 4000K of frame A ′ at time t1 and the intermediate parameter value 6000K of frame B ′ at time t2 into the above equation. Calculated. According to this, the RAW data of the frame B 'of the RAW moving image at time t2 is developed with a white balance value (color temperature value) of 4500K. Accordingly, the color temperature is rapidly changed at the transition from the image data A obtained by developing the RAW data of the frame A ′ developed at the color temperature value of 4000 K to the image data B obtained by developing the RAW data of the frame B ′. Change is suppressed.

このように、ＲＡＷ動画の各フレームの現像パラメータ値を、そのフレームより過去のフレームの現像パラメータ値を用いて生成（算出）することで、現像しながらＲＡＷ動画を再生する場合に急激な画質の変化（上記の例では色温度の変化）を抑制できる。 As described above, the development parameter value of each frame of the RAW moving image is generated (calculated) using the development parameter value of the frame earlier than that frame, so that when the RAW moving image is reproduced while being developed, the image quality is rapidly increased. Changes (changes in color temperature in the above example) can be suppressed.

特開２００９−２３２１２３号公報JP 2009-232123 A 特開２００７−１６４８６０号公報JP 2007-164860 A

前述したように、ある時刻のＲＡＷ動画のフレームの中間パラメータ値は、そのフレームのＲＡＷデータから算出される。一方、ある時刻のＲＡＷ動画のフレームの最終的な現像パラメータ値の算出には、その時刻より過去のフレームの現像パラメータ値が必要となる。 As described above, the intermediate parameter value of a RAW moving image frame at a certain time is calculated from the RAW data of that frame. On the other hand, in order to calculate the final development parameter value of a RAW moving image frame at a certain time, the development parameter value of a frame in the past from that time is required.

図７の例では、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ値として４６９５Ｋが算出されるが、時刻ｔ５においてＲＡＷ動画の再生が一時停止される。フレームＥ’の現像パラメータ値（４６９５Ｋ）の情報は、再生再開時には失われている。そのため、時刻ｔ１０でＲＡＷ動画の再生を再開したときに、時刻ｔ１０のＲＡＷ動画のフレームＦ’の現像パラメータ値を算出する際に、フレームＦ’より過去のフレームの現像パラメータ値を用いることができない。従って、フレームＦ’の現像パラメータ値は、フレームＡ’の場合と同様、フレームＦ’のＲＡＷデータのみから算出される中間パラメータ値となる。この場合、ＲＡＷ動画の連続するフレームＥ’とフレームＦ’の現像パラメータの間に上記の式で規定されるような相関がなくなるため、現像処理により得られる画像データＥと画像データＦとで色温度が急激に変化する可能性があった。 In the example of FIG. 7, 4695K is calculated as the development parameter value of the frame E ′ of the RAW moving image at time t5, but the reproduction of the RAW moving image is temporarily stopped at time t5. The information of the development parameter value (4695K) of the frame E ′ is lost when the reproduction is resumed. For this reason, when the playback of the RAW moving image is resumed at time t10, the development parameter value of the frame earlier than the frame F ′ cannot be used when calculating the development parameter value of the frame F ′ of the RAW moving image at time t10. . Accordingly, the development parameter value of the frame F ′ is an intermediate parameter value calculated only from the RAW data of the frame F ′, as in the case of the frame A ′. In this case, since there is no correlation as defined by the above equation between the development parameters of consecutive frames E ′ and F ′ of the RAW moving image, the color between the image data E and the image data F obtained by the development processing The temperature could change suddenly.

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置において、再生を一時停止した後に再生を再開する場合に、再生再開前後での画質の急激な変化を抑制することができる技術を提供することを目的とする。 The present invention provides a technique capable of suppressing an abrupt change in image quality before and after resuming playback when the playback is resumed after the playback is paused in an image processing apparatus that plays back while developing a RAW moving image. For the purpose.

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成手段と、
前記生成手段により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像手段と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像パラメータ値を保存する保存手段と、
を有し、
前記生成手段は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存手段により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置である。 The present invention is an image processing apparatus that plays while developing the R AW video,
A generating means for generating a development parameter values used in the development of each frame of the RAW video,
A developing means for developing the respective frames of the RAW video using a developing parameter value generated by the generating means,
Storage means for storing a developing parameter values used in the development of the first frame is a frame upon stop playing the RAW video,
Have
It said generating means, the halted the development parameter values used in the development of the second frame is a frame at the time of resume playback of RAW video, the intermediate parameter value is a second frame or al development parameter value generated When an image processing apparatus comprising: the more conserved development parameter values used in the development of the first frame, and generating, based on said storage means.

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置の制御方法であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成工程と、
前記生成工程により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像工程と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像パラメータ値を保存する保存工程と、
を有し、
前記生成工程は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存工程により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置の制御方法である。 The present invention relates to a method of controlling an image processing apparatus for reproducing while developing the R AW video,
A generation step of generating a development parameter values used in the development of each frame of the RAW video,
A developing step of developing each frame of the RAW video using a developing parameter value generated by the generating step,
A storing step of storing the developing parameter values used in the development of the first frame is a frame upon stop playing the RAW video,
Have
Said generating step, the halted the development parameter values used in the development of the second frame is a frame at the time of resume playback of RAW video intermediate parameter value is a development parameter value generated et al or the second frame And a development parameter value used for development of the first frame stored in the storage step , and a control method for an image processing apparatus.

本発明によれば、ＲＡＷ動画を現像しながら再生する画像処理装置において、再生を一時停止した後に再生を再開する場合に、再生再開前後での画質の急激な変化を抑制することができる技術を提供することができる。 According to the present invention, in an image processing apparatus that reproduces while developing a RAW moving image, when resuming reproduction after pausing reproduction, a technique capable of suppressing a rapid change in image quality before and after resuming reproduction. Can be provided.

実施例１に係る画像処理装置の概略構成を示すブロック図1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to a first embodiment. 実施例１に係るＲＡＷ動画の再生に係る処理を時系列に記載した図The figure which described the process which concerns on reproduction | regeneration of the RAW moving image which concerns on Example 1 in time series. 実施例１に係るＲＡＷ動画の再生に係る処理のフローチャートFlowchart of processing related to reproduction of RAW moving image according to Embodiment 1 実施例２に係る画像処理装置の概略構成を示すブロック図FIG. 7 is a block diagram illustrating a schematic configuration of an image processing apparatus according to a second embodiment. 実施例２に係るＲＡＷ動画の再生に係る処理を時系列に記載した図The figure which described the process which concerns on reproduction | regeneration of the RAW moving image which concerns on Example 2 in time series. 実施例２に係るＲＡＷ動画の再生に係る処理のフローチャートFlowchart of processing relating to reproduction of RAW moving image according to Embodiment 2 本発明の背景技術に係るＲＡＷ動画の再生に係る処理を時系列に記載した図The figure which described the process which concerns on reproduction | regeneration of the RAW moving image concerning the background art of this invention in time series

（実施例１）
以下に、本発明を実施する一例を記載する。
図１は、本実施例に係る画像処理装置１０の構成図である。この画像処理装置１０は、ＲＡＷ動画の各フレームのＲＡＷデータの現像及び現像により得られる各フレームの画像データの出力を並行して行うことによりＲＡＷ動画を現像しながら再生（表示）する画像処理装置である。
ここでは、本実施例に係る画像処理装置１０を構成する各ブロックの役割を説明する。記録媒体１００は、ＲＡＷ動画データを記録する媒体であり、画像処理装置１０から着脱可能である。記録媒体１００は、例えばデジタルカメラやデジタルビデオカメラから取り出したメモリカードや、ＲＡＷ動画データが記録されたハードディスク、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等である。つまり、画像処理装置１０には、このような記録媒体１００を着脱可能であって、記録媒体１００に記録されたＲＡＷ動画データを読み取り後述する各機能部に送ることが可能なデータ読み取り機能部を有する（不図示）。 Example 1
An example for carrying out the present invention will be described below.
FIG. 1 is a configuration diagram of an image processing apparatus 10 according to the present embodiment. The image processing apparatus 10 reproduces (displays) a RAW moving image while developing it by developing the RAW data of each frame of the RAW moving image and outputting the image data of each frame obtained by the development in parallel. It is.
Here, the role of each block constituting the image processing apparatus 10 according to the present embodiment will be described. The recording medium 100 is a medium for recording RAW moving image data, and is detachable from the image processing apparatus 10. The recording medium 100 is, for example, a memory card taken out from a digital camera or a digital video camera, a hard disk on which RAW moving image data is recorded, a DVD (Digital Versatile Disc), a BD (Blu-ray Disc), or the like. That is, the image processing apparatus 10 has a data reading function unit that can attach and detach such a recording medium 100 and can read RAW moving image data recorded on the recording medium 100 and send it to each function unit described later. (Not shown).

現像パラメータ生成部１０１は、ＲＡＷ動画の現像に用いる現像パラメータ値を生成する。
現像部１０２は、現像パラメータ生成部１０１が出力する現像パラメータ値を用いて、ＲＡＷ動画を現像する。
現像パラメータ保存部１０３は、ＲＡＷ動画の再生を一時停止する際に、現像パラメータ値を保存する。
表示部１０４は、現像部１０２が現像した結果としての画像データを表示する。なお、本発明の画像処理装置の実施形態としては、表示部１０４は必須ではない。外部機器として接続される画像表示装置に現像部１０２が現像して得られた画像データを出力する構成でも良い。
操作部１０５は、ユーザが画像処理装置１０に対し指示を入力するための操作を行う手段である。 The development parameter generation unit 101 generates a development parameter value used for developing a RAW moving image.
The development unit 102 develops the RAW moving image using the development parameter value output from the development parameter generation unit 101.
The development parameter storage unit 103 stores the development parameter value when the reproduction of the RAW moving image is paused.
The display unit 104 displays image data as a result of development by the development unit 102. Note that the display unit 104 is not essential as an embodiment of the image processing apparatus of the present invention. The image data obtained by the developing unit 102 may be output to an image display device connected as an external device.
The operation unit 105 is a unit that performs an operation for the user to input an instruction to the image processing apparatus 10.

制御部１０６は、操作部１０５で受け付けたユーザの操作に従い、制御信号を出力して、画像処理装置１０を構成する各ブロックの動作を制御する。
システムバス１１０は、制御部１０６の出力する制御信号を、画像処理装置１０を構成する各ブロックに伝送する。 The control unit 106 outputs a control signal in accordance with a user operation received by the operation unit 105, and controls the operation of each block constituting the image processing apparatus 10.
The system bus 110 transmits a control signal output from the control unit 106 to each block constituting the image processing apparatus 10.

図２は、本実施例の画像処理装置１０においてＲＡＷ動画を現像しながら再生する処理を時系列で模式的に示した図である。ここでは、現像パラメータとしてホワイトバランスを例に説明する。すなわち、ここでは、現像パラメータ値は色温度値である。
本実施例では、ＲＡＷ動画の１フレーム分のＲＡＷデータから算出される現像パラメータ値を「中間パラメータ値」と称する。本実施例の画像処理装置では、現在のフレーム（現フレーム）のＲＡＷデータの現像パラメータ値を、現フレームより１フレーム過去のフレームの現像パラメータ値と、現フレームのＲＡＷデータに関して算出された中間パラメータ値と、を用いて算出する。 FIG. 2 is a diagram schematically showing, in time series, processing for reproducing a RAW moving image while developing it in the image processing apparatus 10 of the present embodiment. Here, white balance will be described as an example of the development parameter. That is, here, the development parameter value is a color temperature value.
In this embodiment, the development parameter value calculated from the RAW data for one frame of the RAW moving image is referred to as “intermediate parameter value”. In the image processing apparatus of the present embodiment, the development parameter value of the RAW data of the current frame (current frame) is set to the development parameter value of the frame one frame before the current frame and the intermediate parameter calculated for the RAW data of the current frame. And a value.

現フレームの現像パラメータ値ＷＢ２は、前フレームの現像パラメータ値ＷＢ１と、現フレームのＲＡＷデータから算出した中間パラメータ値ＷＢ２’と、に基づき、以下の式１により算出される。

ＷＢ２＝（ＷＢ１−ＷＢ２’）／４＋ＷＢ１・・・（式１）
The development parameter value WB2 for the current frame is calculated by the following equation 1 based on the development parameter value WB1 for the previous frame and the intermediate parameter value WB2 ′ calculated from the RAW data for the current frame.

WB2 = (WB1-WB2 ′) / 4 + WB1 (Formula 1)

現像パラメータ生成部１０１は、時刻ｔ１のＲＡＷ動画のフレームＡ’のＲＡＷデータに基づき、フレームＡ’の中間パラメータ値（色温度値）を算出する。色温度値は、例えば、ＲＡＷデータにおける色データの平均値から算出される。図２の例では、ＲＡＷ動画のフレームＡ’の中間パラメータ値は４０００Ｋである。時刻ｔ１のフレームＡ’はＲＡＷ動画の最初のフレームであり過去のフレーム（前フレーム）は存在しないため、フレームＡ’の中間パラメータ値（４０００Ｋ）をそのままフレームＡ’の現像パラメータ値とする。 The development parameter generation unit 101 calculates an intermediate parameter value (color temperature value) of the frame A ′ based on the RAW data of the frame A ′ of the RAW moving image at time t1. The color temperature value is calculated from an average value of color data in RAW data, for example. In the example of FIG. 2, the intermediate parameter value of the frame A ′ of the RAW moving image is 4000K. Since the frame A 'at the time t1 is the first frame of the RAW moving image and there is no past frame (previous frame), the intermediate parameter value (4000K) of the frame A' is directly used as the development parameter value of the frame A '.

現像部１０２は、現像パラメータ生成部１０１が生成したフレームＡ’の現像パラメータ値４０００Ｋを用いて、色温度４０００Ｋに対応したホワイトバランスでフレームＡ’のＲＡＷデータの現像を行う。すなわち、最終的に表示部１０４で表示されるフレームＡ’の現像結果としての画像データＡは、色温度４０００Ｋを白色の基準とする画像データとなる。 The developing unit 102 uses the development parameter value 4000K of the frame A ′ generated by the development parameter generation unit 101 to develop the RAW data of the frame A ′ with white balance corresponding to the color temperature 4000K. That is, the image data A as a result of development of the frame A ′ that is finally displayed on the display unit 104 is image data with a color temperature of 4000K as a white reference.

次に、現像パラメータ生成部１０１は、時刻ｔ２のＲＡＷ動画のフレームＢ’のＲＡＷデータからフレームＢ’の中間パラメータ値を算出する。図２の例では、フレームＢ’の中間パラメータ値は６０００Ｋである。
現像パラメータ生成部１０１は、時刻ｔ２のＲＡＷ動画のフレームＢ’の中間パラメータ値６０００Ｋと、時刻ｔ１のＲＡＷ動画のフレームＡ’の現像パラメータ値４０００Ｋとから、ＲＡＷ動画のフレームＢ’の現像に用いる現像パラメータ値を算出する。
式１を用いて算出すると、ＲＡＷ動画のフレームＢ’の現像パラメータ値は４５００Ｋとなる。現像部１０２は、現像パラメータ値４５００Ｋを用いてＲＡＷ動画のフレームＢ’を現像し、得られた画像データＢを表示部１０４に出力する。表示部１０４で表示されるフレーム画像データＢは、色温度４５００Ｋを白色の基準とする画像データとなる。 Next, the development parameter generation unit 101 calculates an intermediate parameter value of the frame B ′ from the RAW data of the frame B ′ of the RAW moving image at time t2. In the example of FIG. 2, the intermediate parameter value of the frame B ′ is 6000K.
The development parameter generation unit 101 uses the intermediate parameter value 6000K of the frame B ′ of the RAW video at time t2 and the development parameter value 4000K of the frame A ′ of the RAW video at time t1 to develop the frame B ′ of the RAW video. A development parameter value is calculated.
When calculated using Expression 1, the development parameter value of the frame B ′ of the RAW moving image is 4500K. The development unit 102 develops the RAW moving image frame B ′ using the development parameter value 4500K, and outputs the obtained image data B to the display unit 104. The frame image data B displayed on the display unit 104 is image data with a color temperature of 4500K as a white reference.

時刻ｔ５において、ユーザによりＲＡＷ動画の再生を一時停止する指示を画像処理装置１０に入力する操作がなされたとする。現像パラメータ生成部１０１は、時刻ｔ５のフレームＥ’の中間パラメータ値５０００Ｋと、時刻ｔ４のフレームＤ’の現像パラメータ値
４５９４Ｋとから、式１により、時刻ｔ５のフレームＥ’の現像パラメータ値を４６９５Ｋと算出する。そして、現像部１０２は、前記算出された現像パラメータ値４５９４ＫでフレームＥ’のＲＡＷデータを現像し、得られたフレーム画像データＥが表示部１０４に表示される。ＲＡＷ動画の再生を一時停止する指示が入力されたことにより、再生再開の指示が入力されるまで、表示部１０４にはフレーム画像データＥが継続的に表示される。表示部１０４は、内蔵するフレームメモリ（不図示）からフレーム画像データＥを読み出して継続的な表示を行う。 Assume that at time t5, the user performs an operation to input to the image processing apparatus 10 an instruction to pause playback of the RAW moving image. The development parameter generation unit 101 calculates the development parameter value of the frame E ′ at the time t5 to 4695K from the intermediate parameter value 5000K of the frame E ′ at the time t5 and the development parameter value 4594K of the frame D ′ at the time t4 according to Equation 1. And calculate. The developing unit 102 develops the RAW data of the frame E ′ with the calculated development parameter value 4594K, and the obtained frame image data E is displayed on the display unit 104. The frame image data E is continuously displayed on the display unit 104 until an instruction to resume playback is input due to the input of an instruction to pause playback of the RAW moving image. The display unit 104 reads frame image data E from a built-in frame memory (not shown) and performs continuous display.

このとき、本実施例の画像処理装置１０では、現像パラメータ生成部１０１は、算出したフレームＥ’の現像パラメータ値を、現像パラメータ保存部１０３に送る。現像パラメータ保存部１０３は送られてきたフレームＥ’の現像パラメータ値を、再生再開の指示が入力されるまで保存する。 At this time, in the image processing apparatus 10 of the present embodiment, the development parameter generation unit 101 sends the calculated development parameter value of the frame E ′ to the development parameter storage unit 103. The development parameter storage unit 103 stores the received development parameter value of the frame E ′ until a reproduction restart instruction is input.

時刻ｔ１０において、ユーザによりＲＡＷ動画の再生再開の指示を画像処理装置１０に入力する操作がなされたとする。現像パラメータ生成部１０１は、時刻ｔ１０のＲＡＷ動画のフレームＦ’の中間パラメータ値を算出（６０００Ｋ）する。現像パラメータ生成部１０１は、算出したフレームＦ’の中間パラメータ値と、現像パラメータ保存部１０３から読み出したフレームＥ’の現像パラメータ値（４６９５Ｋ）とから、式１を用いて、フレームＦ’の現像パラメータ値を算出する（５０２１Ｋ）。 Assume that at time t10, the user performs an operation to input an instruction to resume playback of the RAW moving image to the image processing apparatus 10. The development parameter generation unit 101 calculates (6000K) an intermediate parameter value of the frame F ′ of the RAW moving image at time t10. The development parameter generation unit 101 uses the equation 1 to develop the frame F ′ from the calculated intermediate parameter value of the frame F ′ and the development parameter value (4695K) of the frame E ′ read from the development parameter storage unit 103. The parameter value is calculated (5021K).

こうして算出されたフレームＦ’の現像パラメータ値を用いて、現像部１０２はＲＡＷ動画のフレームＦ’の現像を行い、現像により得られたフレーム画像データＦを表示部１０４に送る。表示部１０４には、一時停止期間中継続的に表示されていたフレーム画像データＥから前記現像により得られたフレーム画像データＦへ表示が遷移する。この時、フレームＦ’の現像パラメータ値は、フレームＥ’の現像パラメータ値を用いて式１により算出された値であるので、フレーム画像データＥからフレーム画像データＦへの遷移において画質（色温度）が急激に変化することが抑制される。 Using the development parameter value of the frame F ′ thus calculated, the developing unit 102 develops the frame F ′ of the RAW moving image, and sends the frame image data F obtained by the development to the display unit 104. On the display unit 104, the display transitions from the frame image data E that has been continuously displayed during the suspension period to the frame image data F obtained by the development. At this time, since the development parameter value of the frame F ′ is a value calculated by the expression 1 using the development parameter value of the frame E ′, the image quality (color temperature) is changed in the transition from the frame image data E to the frame image data F. ) Is suppressed from changing rapidly.

図３は、本実施例におけるＲＡＷ動画の再生に係る処理のフローチャートである。
ステップＳ１０１で、ユーザによる操作部１０５の操作により、制御部１０６にＲＡＷ動画の再生を一時停止する指示が入力されると、制御部１０６はシステムバス１１０を通じて、画像処理装置１０の各ブロックにＲＡＷ動画の再生を一時停止するための指示を出す。図２の例では、時刻ｔ５にステップＳ１０１の処理が実行される。 FIG. 3 is a flowchart of processing relating to reproduction of a RAW moving image in the present embodiment.
In step S <b> 101, when an instruction to pause the playback of the RAW moving image is input to the control unit 106 by the operation of the operation unit 105 by the user, the control unit 106 transmits RAW to each block of the image processing apparatus 10 via the system bus 110. Give instructions to pause video playback. In the example of FIG. 2, the process of step S101 is executed at time t5.

ステップＳ１０２で、現像パラメータ保存部１０３は、再生の一時停止の指示が入力された時刻のＲＡＷ動画のフレームの現像パラメータを現像パラメータ生成部１０１から取得して保存する。図２の例では、現像パラメータ保存部１０３は、一時停止の指示が入力された時刻ｔ５のフレームＥ’のＲＡＷデータの現像に用いるために現像パラメータ生成部１０１が算出した現像パラメータ値（４６９５Ｋ）を保存する。それとともに、表示部１０４は、再生が停止されている期間中、表示部１０４が内蔵するフレームメモリに記憶されたフレーム画像データ（図２の例ではフレーム画像データＥ）を表示しつづける。表示部１０４は、ユーザによる再生再開の指示により新たなフレームのＲＡＷデータの現像結果のフレーム画像データ（図２の例ではフレーム画像データＦ）が入力されるまでの期間、フレームメモリのフレーム画像データを表示し続ける。 In step S102, the development parameter storage unit 103 acquires the development parameter of the RAW moving image frame at the time when the reproduction pause instruction is input from the development parameter generation unit 101 and stores the development parameter. In the example of FIG. 2, the development parameter storage unit 103 uses the development parameter value (4695K) calculated by the development parameter generation unit 101 to be used for developing the RAW data of the frame E ′ at time t5 when the pause instruction is input. Save. At the same time, the display unit 104 continues to display the frame image data (frame image data E in the example of FIG. 2) stored in the frame memory built in the display unit 104 during the period when the reproduction is stopped. The display unit 104 displays the frame image data in the frame memory for a period until the development of frame image data (frame image data F in the example of FIG. 2) of the RAW data of a new frame is input by the user's instruction to resume playback. Continue to be displayed.

ステップＳ１０３で、制御部１０６は、ユーザによる操作部１０５の操作により、制御部１０６にＲＡＷ動画の再生を再開する指示が入力されたか否かを判定する。再生再開の指示が入力されたと判定した場合（肯定判定）、制御部１０６はシステムバス１１０を通じて、画像処理装置１０の各ブロックにＲＡＷ動画の再生を再開するための指示を出す。図２の例では、時刻ｔ１０に本ステップＳ１０３で肯定判定され、以降のステップＳ１０
４〜Ｓ１０７の処理が実行される。
ステップＳ１０４で、現像パラメータ生成部１０１は、現像パラメータ保存部１０３から、ステップＳ１０２で保存した現像パラメータ値を読み出す。図２の例では、現像パラメータ生成部１０１は、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ値４６９５Ｋを現像パラメータ保存部１０３から読み出す。 In step S <b> 103, the control unit 106 determines whether or not an instruction to resume playback of the RAW moving image is input to the control unit 106 by the operation of the operation unit 105 by the user. When it is determined that an instruction to resume playback has been input (positive determination), the control unit 106 issues an instruction for restarting playback of the RAW moving image to each block of the image processing apparatus 10 via the system bus 110. In the example of FIG. 2, an affirmative determination is made in step S103 at time t10, and subsequent steps S10.
The processing from 4 to S107 is executed.
In step S104, the development parameter generation unit 101 reads the development parameter value stored in step S102 from the development parameter storage unit 103. In the example of FIG. 2, the development parameter generation unit 101 reads the development parameter value 4695K of the frame E ′ of the RAW moving image at time t5 from the development parameter storage unit 103.

ステップＳ１０５で、現像パラメータ生成部１０１は、再生再開時のＲＡＷ動画のフレームのＲＡＷデータから中間パラメータ値を算出する。そして、現像パラメータ生成部１０１は、再生再開時のフレームの中間パラメータと、現像パラメータ保存部１０３から読み出した一時停止時のＲＡＷ動画のフレームの現像パラメータとから、再生再開時のフレームの現像パラメータを生成する。図２の例では、再生再開時（時刻ｔ１０）のＲＡＷ動画のフレームＦ’の中間パラメータ値は６０００Ｋであり、現像パラメータ保存部１０３から読み出した一時停止時（時刻ｔ５）のＲＡＷ動画のフレームＥ’の現像パラメータ値が４６９５Ｋである。よって、式１により、再生再開時のフレームＦ’の現像パラメータ値は５０２１Ｋとなる。
ステップＳ１０６で、現像部１０２は、ステップＳ１０５で現像パラメータ生成部１０１が生成した現像パラメータ値を用いて、再生再開時のＲＡＷ動画のフレームの現像を行う。図２の例では、現像部１０２は、現像パラメータ生成部１０１が生成した現像パラメータ値５０２１Ｋを用いて、ＲＡＷ動画のフレームＦ’を現像する。 In step S105, the development parameter generation unit 101 calculates an intermediate parameter value from the RAW data of the RAW moving image frame at the time of resuming the reproduction. Then, the development parameter generation unit 101 determines the development parameter of the frame at the time of resuming the reproduction from the intermediate parameter of the frame at the time of the resumption of reproduction and the development parameter of the RAW moving image frame at the time of the pause read from the development parameter storage unit 103. Generate. In the example of FIG. 2, the intermediate parameter value of the frame F ′ of the RAW moving image at the time of resuming reproduction (time t10) is 6000K, and the frame E of the RAW moving image at the time of pause (time t5) read from the development parameter storage unit 103. The development parameter value of 'is 4695K. Therefore, according to Equation 1, the development parameter value of the frame F ′ at the time of resuming reproduction is 5021K.
In step S106, the developing unit 102 uses the development parameter value generated by the development parameter generating unit 101 in step S105 to develop a RAW moving image frame when resuming reproduction. In the example of FIG. 2, the developing unit 102 develops the frame F ′ of the RAW moving image using the development parameter value 5021K generated by the development parameter generating unit 101.

ステップＳ１０７で、表示部１０４は、ステップＳ１０６で現像により得られたフレーム画像データを表示する。図２の例では、表示部１０４に表示されるフレーム画像データＦは、色温度５０２１Ｋを白色の基準とする画像データとなる。
本実施例の画像処理装置によれば、ＲＡＷ動画を現像しながら再生し、再生を一時停止した場合でも、再生再開時のフレームの現像パラメータ値が、一時停止時のフレームの現像パラメータ値を用いて生成されるので、再生再開時の画質の変化を抑制できる。 In step S107, the display unit 104 displays the frame image data obtained by development in step S106. In the example of FIG. 2, the frame image data F displayed on the display unit 104 is image data with the color temperature 5021K as a white reference.
According to the image processing apparatus of this embodiment, even when a RAW moving image is played back while being developed and playback is paused, the development parameter value of the frame at the time of resuming playback uses the development parameter value of the frame at the time of pause. Therefore, it is possible to suppress the change in image quality when replaying is resumed.

（実施例２）
次に本発明の第２の実施形態を説明する。実施例１と同等の機能の構成要素には実施例１と同一の符号をつけ詳しい説明は省略する。
実施例１では、現像パラメータとしてホワイトバランスのみに着目して、ＲＡＷ動画の再生の一時停止期間中、一時停止時のＲＡＷ動画のフレームのホワイトバランスの値（色温度値）を現像パラメータ保存部に保存する例を説明した。
本実施例では、現像パラメータの種類が複数ある場合に、一時停止期間中に値を保存することが必要な現像パラメータを判別して、当該現像パラメータ値のみを保存する例を説明する。 (Example 2)
Next, a second embodiment of the present invention will be described. Components having functions equivalent to those of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and detailed description thereof is omitted.
In the first embodiment, paying attention only to white balance as a development parameter, during a pause of RAW video playback, a white balance value (color temperature value) of a RAW video frame at the time of pause is stored in the development parameter storage unit. An example of saving was described.
In the present embodiment, an example will be described in which when there are a plurality of types of development parameters, the development parameters that need to be stored during the temporary suspension period are determined, and only the development parameter values are stored.

図４は、本実施例の画像処理装置２０の構成図である。ここでは、本実施例の画像処理装置２０を構成する各ブロックの役割を説明する。
図４に記載の記録媒体１００、操作部１０５、制御部１０６、システムバス１１０は実施例１と同一の機能を持つ。現像パラメータ生成部２０１、現像部２０２、現像パラメータ保存部２０３、表示部２０４の動作の詳細は、後述する。
保存パラメータ判定部２００は、現像パラメータの要素を判別して、保存するか否かの判定結果を現像パラメータ保存部２０３に出力する。 FIG. 4 is a configuration diagram of the image processing apparatus 20 of the present embodiment. Here, the role of each block constituting the image processing apparatus 20 of the present embodiment will be described.
The recording medium 100, the operation unit 105, the control unit 106, and the system bus 110 illustrated in FIG. 4 have the same functions as those in the first embodiment. Details of operations of the development parameter generation unit 201, the development unit 202, the development parameter storage unit 203, and the display unit 204 will be described later.
The storage parameter determination unit 200 determines the development parameter elements, and outputs a determination result as to whether or not to save to the development parameter storage unit 203.

図５は、本実施例の画像処理装置２０においてＲＡＷ動画を現像しながら再生する処理を時系列で模式的に示した図である。
以下、図４及び図５を用いて、本実施例の画像処理装置２０によるＲＡＷ動画の再生処理について説明する。本実施例では、複数の現像パラメータとして、ホワイトバランス、コントラスト、及び彩度を例に説明する。以下の説明では、ホワイトバランスを現像（中
間）パラメータ０、コントラストを現像（中間）パラメータ１、彩度を現像（中間）パラメータ２、と称することもある。現像パラメータの種類はこれら例示したものに限らない。 FIG. 5 is a diagram schematically showing, in time series, processing for reproducing a RAW moving image while developing it in the image processing apparatus 20 of the present embodiment.
Hereinafter, a RAW moving image reproduction process performed by the image processing apparatus 20 according to the present exemplary embodiment will be described with reference to FIGS. 4 and 5. In this embodiment, white balance, contrast, and saturation will be described as examples of a plurality of development parameters. In the following description, white balance may be referred to as development (intermediate) parameter 0, contrast may be referred to as development (intermediate) parameter 1, and saturation may be referred to as development (intermediate) parameter 2. The types of development parameters are not limited to those exemplified.

＜現像パラメータ：ホワイトバランス＞
ホワイトバランスの値の生成（算出）方法は、実施例１で説明した通りである。
図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関しては、それより過去のフレームが存在しないので、現像パラメータ生成部２０１は、実施例１同様に、フレームＡ’のデータから中間パラメータ０の値を算出し、それをそのまま現像パラメータ０の値とする。
図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関しては、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから中間パラメータ０の値を算出する。さらに、フレームＡ’の現像パラメータ０の値と、フレームＢ’の中間パラメータ０の値とから、フレームＢ’の現像パラメータ０の値を算出する。ここで、実施例１と同じく、現フレームの現像パラメータ０の値は、前フレームの現像パラメータ０の値と現フレームの中間パラメータ０の値とから、式１により算出する。図５の例では、時刻ｔ２のＲＡＷ動画のフレームＢ’の現像パラメータ０の値は４５００Ｋとなる。よって、ＲＡＷ動画のフレームＢ’を現像して得られるフレーム画像データＢは、色温度４５００Ｋを白色の基準とする画像データとなる。 <Development parameter: White balance>
The white balance value generation (calculation) method is as described in the first embodiment.
As for the frame A ′ of the RAW moving image at time t1 in FIG. 5, there is no past frame, so the development parameter generation unit 201 obtains the value of the intermediate parameter 0 from the data of the frame A ′ as in the first embodiment. The calculated value is used as the value of development parameter 0 as it is.
For the frame B ′ of the RAW moving image at time t2 in FIG. 5, the development parameter generation unit 201 calculates the value of the intermediate parameter 0 from the RAW data of the frame B ′. Further, the value of the development parameter 0 of the frame B ′ is calculated from the value of the development parameter 0 of the frame A ′ and the value of the intermediate parameter 0 of the frame B ′. Here, as in the first embodiment, the value of the development parameter 0 of the current frame is calculated from the value of the development parameter 0 of the previous frame and the value of the intermediate parameter 0 of the current frame by Equation 1. In the example of FIG. 5, the value of the development parameter 0 of the frame B ′ of the RAW moving image at time t2 is 4500K. Therefore, the frame image data B obtained by developing the frame B ′ of the RAW moving image is image data with the color temperature 4500K as a white reference.

＜現像パラメータ：コントラスト＞
中間パラメータ１及び現像パラメータ１は、現像結果のコントラストを決定する現像パラメータであり、現像パラメータ１の値は現像結果の画像データのコントラスト比に対応する。本実施例では、現像パラメータ１は０〜１０００の値をとるものとする。
図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関して、現像パラメータ生成部２０１は、フレームＡ’のＲＡＷデータから階調ヒストグラムを求め、この階調ヒストグラムの分布が最小値から最大値まで広く分布するようにコントラスト比を算出する。この算出したコントラスト比をフレームＡ’の中間パラメータ１の値とし、前フレームが無いので、この中間パラメータ１の値をそのままフレームＡ’の現像パラメータ１の値とする。 <Development parameter: Contrast>
The intermediate parameter 1 and the development parameter 1 are development parameters that determine the contrast of the development result, and the value of the development parameter 1 corresponds to the contrast ratio of the image data of the development result. In this embodiment, it is assumed that the development parameter 1 takes a value of 0 to 1000.
For the frame A ′ of the RAW moving image at time t 1 in FIG. 5, the development parameter generation unit 201 obtains a gradation histogram from the RAW data of the frame A ′, and the distribution of the gradation histogram is widely distributed from the minimum value to the maximum value. The contrast ratio is calculated as follows. The calculated contrast ratio is set as the value of the intermediate parameter 1 of the frame A ′, and since there is no previous frame, the value of the intermediate parameter 1 is used as it is as the value of the development parameter 1 of the frame A ′.

図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関して、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから階調ヒストグラムを求め、この階調ヒストグラムの分布が最小値から最大値まで広く分布するようにコントラスト比を算出する。現像パラメータ生成部２０１は、この算出したコントラスト比をフレームＢ’の中間パラメータ１の値とする。現像パラメータ生成部２０１は、前述のホワイトバランスの値の算出と同様に、フレームＡ’の現像パラメータ１の値と、フレームＢ’の中間パラメータ１の値とから、式１を用いて、フレームＢ’の現像パラメータ１の値を生成する。図５の例では、ＲＡＷ動画のフレームＢ’の中間パラメータ１の値は５００であり、過去のフレームＡ’の現像パラメータ１の値が１０００であるから、現在のフレームＢ’の現像パラメータ１の値は８７５となる。 For the frame B ′ of the RAW moving image at time t2 in FIG. 5, the development parameter generation unit 201 obtains a gradation histogram from the RAW data of the frame B ′, and the distribution of the gradation histogram is widely distributed from the minimum value to the maximum value. The contrast ratio is calculated as follows. The development parameter generation unit 201 sets the calculated contrast ratio as the value of the intermediate parameter 1 of the frame B ′. Similar to the calculation of the white balance value described above, the development parameter generation unit 201 uses the equation 1 to calculate the frame B from the value of the development parameter 1 of the frame A ′ and the value of the intermediate parameter 1 of the frame B ′. The value of development parameter 1 of 'is generated. In the example of FIG. 5, since the value of the intermediate parameter 1 of the frame B ′ of the RAW moving image is 500 and the value of the development parameter 1 of the past frame A ′ is 1000, the development parameter 1 of the current frame B ′. The value is 875.

＜現像パラメータ：彩度＞
中間パラメータ２及び現像パラメータ２は、現像結果の彩度を決定する現像パラメータであり、現像パラメータ２の値は現像結果の彩度に対応する。
現像パラメータ生成部２０１は、入力される１フレームのＲＡＷ動画データから平均輝度値・平均色差値を求め、当該色差値に対する現像部の増幅ゲインＧを決定する。
１フレームのＲＡＷ動画データの平均色差データＡＲＢ、ＡＲＧ（各値０〜１００）の値が特定の組合せを持つときに、ゲインＧは１．４倍の値となる。ここで、ＡＲＢ、ＡＲＧの値が特定の組み合わせを持つとは、ＡＲＢ，ＡＲＧの値が以下の式２で表される関係を満たすことをいう。
２１≦ＡＲＢ≦３０、２１≦ＡＲＧ≦３０・・・（式２） <Development parameter: Saturation>
The intermediate parameter 2 and the development parameter 2 are development parameters that determine the saturation of the development result, and the value of the development parameter 2 corresponds to the saturation of the development result.
The development parameter generation unit 201 obtains an average luminance value and an average color difference value from the input RAW moving image data of one frame, and determines an amplification gain G of the development unit for the color difference value.
When the average color difference data ARB and ARG (each value 0 to 100) of one frame of RAW moving image data have a specific combination, the gain G is 1.4 times. Here, that the values of ARB and ARG have a specific combination means that the values of ARB and ARG satisfy the relationship represented by Equation 2 below.
21 ≦ ARB ≦ 30, 21 ≦ ARG ≦ 30 (Formula 2)

平均色差データがこの条件を満たす場合、ＲＡＷ動画データを構成する画面に空や植物等、視聴者にとって記憶色として鮮やかな印象を覚えやすい要素が多く含まれていると判断できる。そのような場合に、ゲインＧを１．４倍することで、そのような要素が強調して表現される。 When the average color difference data satisfies this condition, it can be determined that the screen constituting the RAW moving image data includes many elements that are easy to remember vivid impressions as memory colors, such as sky and plants. In such a case, by multiplying the gain G by 1.4, such an element is expressed with emphasis.

図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関して、現像パラメータ生成部２０１は、フレームＡ’のＲＡＷデータから平均色差データＡＲＢ、ＡＲＧを求め、ゲインＧを算出する。ここで、フレームＡ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧの値は式２の条件を満たさず、ゲインＧは５０とする。
現像パラメータ生成部２０１は、この算出したゲインＧの値５０をフレームＡ’の中間パラメータ２の値とする。ＲＡＷ動画のフレームＡ’にはそれより過去のフレームが存在しないため、中間パラメータ２の値５０をそのままフレームＡ’の現像パラメータ２の値とする。 For the frame A ′ of the RAW moving image at time t 1 in FIG. 5, the development parameter generation unit 201 calculates the average color difference data ARB and ARG from the RAW data of the frame A ′ and calculates the gain G. Here, the values of the average color difference data ARB and ARG obtained from the RAW data of the frame A ′ do not satisfy the condition of Equation 2, and the gain G is 50.
The development parameter generation unit 201 sets the calculated gain G value 50 as the value of the intermediate parameter 2 of the frame A ′. Since there is no past frame in the frame A ′ of the RAW moving image, the value 50 of the intermediate parameter 2 is used as the value of the development parameter 2 of the frame A ′ as it is.

図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関して、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから平均色差データＡＲＢ、ＡＲＧを求め、ゲインＧを算出する。ここで、フレームＢ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧの値は式２を満たすため、ゲインＧを１．４倍し、７０とする。現像パラメータ生成部２０１は、この算出したゲインＧの値７０をフレームＢ’の中間パラメータ２の値とする。現像パラメータ生成部２０１は、前述のホワイトバランスやコントラストの場合と同様に、フレームＡ’の現像パラメータ２の値と、フレームＢ’の中間パラメータ２の値とから、式１を用いて、フレームＢ’の現像パラメータ２の値を算出する。図５の例では、ＲＡＷ動画のフレームＢ’の中間パラメータ２の値は７０であり、過去のフレームＡ’の現像パラメータ２の値が５０であるから、現在のフレームＢ’の現像パラメータ２の値は５５となる。このように、前フレームの現像パラメータ２の値を用いて現フレームの現像パラメータ２の値を算出するので、現像結果の画像データにおける急激な彩度の変化が抑制される。 With respect to the frame B ′ of the RAW moving image at time t <b> 2 in FIG. 5, the development parameter generation unit 201 calculates the average color difference data ARB and ARG from the RAW data of the frame B ′ and calculates the gain G. Here, since the values of the average color difference data ARB and ARG obtained from the RAW data of the frame B ′ satisfy Expression 2, the gain G is multiplied by 1.4 to be 70. The development parameter generation unit 201 sets the calculated gain G value 70 as the value of the intermediate parameter 2 of the frame B ′. The development parameter generation unit 201 uses the equation 1 from the value of the development parameter 2 of the frame A ′ and the value of the intermediate parameter 2 of the frame B ′, as in the case of the white balance and contrast described above. The value of development parameter 2 of 'is calculated. In the example of FIG. 5, since the value of the intermediate parameter 2 of the frame B ′ of the RAW moving image is 70 and the value of the development parameter 2 of the past frame A ′ is 50, the development parameter 2 of the current frame B ′. The value is 55. Thus, since the value of the development parameter 2 of the current frame is calculated using the value of the development parameter 2 of the previous frame, a sudden change in saturation in the image data of the development result is suppressed.

＜現像＞
図４の現像部２０２は、現像パラメータ生成部２０１が上記のようにして生成した現像パラメータ０、現像パラメータ１、及び現像パラメータ２の値を用いて、ＲＡＷ動画の各フレームの現像を行う。
表示部２０４は、現像部２０２による現像により得られた画像データを表示する。 <Development>
The developing unit 202 in FIG. 4 develops each frame of the RAW moving image using the values of the development parameter 0, the development parameter 1, and the development parameter 2 generated by the development parameter generation unit 201 as described above.
The display unit 204 displays image data obtained by development by the development unit 202.

＜現像パラメータの判定＞
図６は、実施例２に係るＲＡＷ動画の再生に係る処理のフローチャートである。
ここでは、図４〜図６を用いて、本実施例におけるＲＡＷ動画の再生、一時停止、及び再生再開における複数の現像パラメータの保存に関する処理フローを説明する。
図６のステップＳ１０１、ステップＳ１０３、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７の処理内容は実施例１の図３で説明した処理内容と同等であるから説明を省略する。 <Determination of development parameters>
FIG. 6 is a flowchart of a process related to reproduction of a RAW moving image according to the second embodiment.
Here, with reference to FIGS. 4 to 6, a processing flow relating to storage of a plurality of development parameters in the reproduction, pause, and resumption of the RAW moving image in the present embodiment will be described.
The processing contents of step S101, step S103, step S104, step S106, and step S107 in FIG. 6 are the same as the processing contents described in FIG.

ステップＳ２０２で、保存パラメータ判定部２００は、現像パラメータ生成部２０１が生成した現像パラメータ０、現像パラメータ１、及び現像パラメータ２が、ＲＡＷ動画の再生の一時停止中にその値を保存すべき現像パラメータであるか否かを判定する。図５の例では、ＲＡＷ動画の再生を一時停止する指示を入力する操作がユーザによりなされる時刻ｔ５においてステップＳ２０２の処理が実行される。
保存パラメータ判定部２００は、ホワイトバランス及びコントラストについては、その値をＲＡＷ動画の再生一時停止中に保存すべき現像パラメータであると判定する。これは
、ホワイトバランス及びコントラストの急激な変化は、視聴者が気づき易いからである。図５の例では、保存パラメータ判定部２００は、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ０の値４６９５Ｋ及び現像パラメータ１の値８６８を、ＲＡＷ動画の再生一時停止中、保存すると判定する。 In step S202, the storage parameter determination unit 200 determines that the development parameter 0, the development parameter 1, and the development parameter 2 generated by the development parameter generation unit 201 should store the values during the pause of RAW video playback. It is determined whether or not. In the example of FIG. 5, the process of step S202 is executed at time t5 when the user performs an operation to input an instruction to pause the playback of the RAW moving image.
The storage parameter determination unit 200 determines that the values of white balance and contrast are development parameters that should be stored during RAW video playback pause. This is because a sudden change in white balance and contrast is easily noticed by the viewer. In the example of FIG. 5, the storage parameter determination unit 200 determines that the development parameter 0 value 4695K and the development parameter 1 value 868 of the frame E ′ of the RAW moving image at time t5 are stored during the RAW moving image playback pause. .

一方、彩度の変化については、視聴者は気づきにくい場合がある。例えば、現像結果が黒一色や白一色の画像データであった場合、再生再開前後で彩度を決定する現像パラメータ値が大きく変化しても、視聴者は違和感を覚えにくい。
本実施例では、保存パラメータ判定部２００は、１フレーム分のＲＡＷ動画データから求めた平均色差データ（色差値）ＡＲＢ、ＡＲＧが所定範囲内の値（４５〜６５の値）を取るとき、現像パラメータ２の値を保存しない、と判定する。 On the other hand, it may be difficult for viewers to notice changes in saturation. For example, if the development result is black or white image data, even if the development parameter value for determining the saturation changes largely before and after the resumption of reproduction, the viewer does not feel uncomfortable.
In the present embodiment, the storage parameter determination unit 200 develops when the average color difference data (color difference values) ARB and ARG obtained from one frame of RAW moving image data takes values within a predetermined range (values of 45 to 65). It is determined that the value of parameter 2 is not saved.

図５の例では、時刻ｔ５のフレームＥ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧが４５〜６５の値を取るものとする。このとき、保存パラメータ判定部２００は、フレームＥ’の中間パラメータ２の値８０及びフレームＤ’の現像パラメータ２の値５５から式１により求めたフレームＥ’の現像パラメータ２の値６１を、ＲＡＷ動画の再生一時停止中に保存しない、と判定する。再生一時停止の指示が入力された時のＲＡＷ動画のフレームの平均色差データＡＲＢ又はＡＲＧの少なくとも一方が４５〜４６の値を取らない場合、保存パラメータ判定部２００は、当該フレームの現像パラメータ２の値を保存する、と判定する。
そして、保存パラメータ判定部２００は、保存すると判定した現像パラメータ値を現像パラメータ保存部２０３に出力する。 In the example of FIG. 5, it is assumed that the average color difference data ARB and ARG obtained from the RAW data of the frame E ′ at time t5 take values of 45 to 65. At this time, the storage parameter determination unit 200 calculates the value 61 of the development parameter 2 of the frame E ′ obtained from Expression 1 from the value 80 of the intermediate parameter 2 of the frame E ′ and the value 55 of the development parameter 2 of the frame D ′. It is determined that the video is not saved while the video is paused. When at least one of the average color difference data ARB or ARG of the RAW moving image frame when the instruction to pause playback is input does not take a value of 45 to 46, the storage parameter determination unit 200 sets the development parameter 2 of the frame. It is determined that the value is saved.
Then, the storage parameter determination unit 200 outputs the development parameter value determined to be stored to the development parameter storage unit 203.

ステップＳ２０３において、保存パラメータ判定部２００が保存すると判定したパラメータを、現像パラメータ保存部２０３が保存する。
ステップＳ２０４において、保存パラメータ判定部２００が保存するか否かの判定処理が未処理の現像パラメータがあるか否かが判定され、未処理の現像パラメータがある場合、ステップＳ２０２、ステップＳ２０３の処理が繰り返される。
図５の例では、ＲＡＷ動画の再生の一時停止の指示が入力される時刻ｔ５のフレームＥ’に関して、パラメータ保存部２０３は、現像パラメータ０の値４６９５Ｋと現像パラメータ１の値８６８のみを保存し、現像パラメータ２の値６１は保存しない。 In step S203, the development parameter storage unit 203 stores the parameters determined to be stored by the storage parameter determination unit 200.
In step S204, it is determined whether or not the storage parameter determination unit 200 determines whether or not there is an unprocessed development parameter. If there is an unprocessed development parameter, the processing in steps S202 and S203 is performed. Repeated.
In the example of FIG. 5, the parameter storage unit 203 stores only the development parameter 0 value 4695K and the development parameter 1 value 868 for the frame E ′ at time t5 when the instruction to pause playback of the RAW moving image is input. The value 61 of the development parameter 2 is not saved.

＜再開＞
図６のステップＳ１０３、ステップＳ１０４の処理内容は、実施例１の図３の同番号のステップと同じである。図６のステップＳ１０４の処理は、図５の例では、ＲＡＷ動画の再生再開の指示が入力される時刻ｔ１０に実行される。
ステップＳ２０７において、現像パラメータ生成部２０１は、ＲＡＷ動画の再生再開の指示が入力された時刻における１フレーム分のＲＡＷ動画データから、中間パラメータ値を生成する。図５の例では、現像パラメータ生成部２０１は、時刻ｔ１０のＲＡＷ動画のフレームＦ’のＲＡＷデータから、中間パラメータ０の値（６０００Ｋ）、中間パラメータ１の値（１２００）、及び中間パラメータ２の値（５０）を生成する。 <Resume>
The processing contents of steps S103 and S104 in FIG. 6 are the same as the steps with the same numbers in FIG. In the example of FIG. 5, the process of step S104 in FIG. 6 is executed at time t10 when an instruction to resume playback of the RAW moving image is input.
In step S207, the development parameter generation unit 201 generates an intermediate parameter value from the RAW moving image data for one frame at the time when the instruction to resume reproduction of the RAW moving image is input. In the example of FIG. 5, the development parameter generation unit 201 determines the value of the intermediate parameter 0 (6000K), the value of the intermediate parameter 1 (1200), and the intermediate parameter 2 from the RAW data of the frame F ′ of the RAW moving image at time t10. A value (50) is generated.

また、現像パラメータ生成部２０１は、現像パラメータ保存部２０３に過去のフレームの現像パラメータ値が保存されている現像パラメータについては、当該過去のフレームの現像パラメータ値を読み出す。そして、当該読み出した過去のフレームの現像パラメータ値と、前記生成した現フレームの中間パラメータ値とから、式１を用いて、現フレームの現像パラメータ値を算出する。図５の例では、再生再開時のＲＡＷ動画のフレームＦ’の１フレーム過去のフレームＥ’の現像パラメータ０の値（４６９５Ｋ）及び現像パラメータ１の値（８６８）が現像パラメータ保存部２０３に保存されている。従って、現像パラメータ生成部２０１は、現像パラメータ保存部２０３からフレームＥ’の現像パラメータ
０の値４６９５Ｋと現像パラメータ１の値８６８を読み出す。そして、現像パラメータ生成部２０１は、読み出したフレームＥ’の現像パラメータ０の値４６９５Ｋと、前記生成したフレームＦ’の中間パラメータ０の値６０００Ｋとから、式１を用いて、フレームＦ’の現像パラメータ０の値を算出する（５０２１Ｋ）。また、現像パラメータ生成部２０１は、読み出したフレームＥ’の現像パラメータ１の値８６８と、前記生成したフレームＦ’の中間パラメータ１の値１２００とから、式１を用いて、フレームＦ’の現像パラメータ１の値を算出する（９５１）。 Further, the development parameter generation unit 201 reads the development parameter value of the past frame for the development parameter for which the development parameter value of the past frame is stored in the development parameter storage unit 203. Then, the development parameter value of the current frame is calculated using Equation 1 from the read development parameter value of the past frame and the generated intermediate parameter value of the current frame. In the example of FIG. 5, the development parameter 0 value (4695K) and the development parameter 1 value (868) of the frame E ′ one frame past the frame F ′ of the RAW moving image at the time of resuming the reproduction are stored in the development parameter storage unit 203. Has been. Accordingly, the development parameter generation unit 201 reads the development parameter 0 value 4695K and the development parameter 1 value 868 of the frame E ′ from the development parameter storage unit 203. Then, the development parameter generation unit 201 uses the expression 1 to develop the development of the frame F ′ from the value 4695K of the development parameter 0 of the read frame E ′ and the value 6000K of the intermediate parameter 0 of the generated frame F ′. The value of parameter 0 is calculated (5021K). Further, the development parameter generation unit 201 uses the expression 1 to develop the frame F ′ from the read development parameter 1 value 868 of the frame E ′ and the generated intermediate parameter 1 value 1200 of the frame F ′. The value of parameter 1 is calculated (951).

一方、現像パラメータ生成部２０１は、現像パラメータ保存部２０３に過去のフレームの現像パラメータ値が保存されていない現像パラメータについては、前記生成した現フレームの中間パラメータ値をそのまま現フレームの現像パラメータ値とする。図５の例では、再生再開時のＲＡＷ動画のフレームＦ’の１フレーム過去のフレームＥ’の現像パラメータ２の値は、現像パラメータ保存部２０３に保存されていない。従って、現像パラメータ生成部２０１は、現像パラメータ２については、時刻ｔ１０のフレームＦ’の中間パラメータ２の値５０を現像パラメータ２の値５０とする。 On the other hand, for the development parameters for which the development parameter values of the past frame are not stored in the development parameter storage unit 203, the development parameter generation unit 201 uses the generated intermediate parameter value of the current frame as it is as the development parameter value of the current frame. To do. In the example of FIG. 5, the value of the development parameter 2 of the frame E ′ that is one frame before the frame F ′ of the RAW moving image at the time of resuming reproduction is not stored in the development parameter storage unit 203. Therefore, for the development parameter 2, the development parameter generation unit 201 sets the value 50 of the intermediate parameter 2 of the frame F ′ at time t10 as the value 50 of the development parameter 2.

ここで、現像パラメータ２は、前述のように彩度を決定するパラメータである。従って、再生再開時（時刻ｔ１０）のフレームＦ’の現像において一時停止時（時刻ｔ５）のフレームＥ’の現像に用いた現像パラメータ２の値と相関の無い値を用いても現像結果の画像データの視聴時に視聴者が違和感を覚えにくいと考えられる。 Here, the development parameter 2 is a parameter for determining the saturation as described above. Therefore, even if a value having no correlation with the value of the development parameter 2 used for development of the frame E ′ at the time of suspension (time t5) is used in the development of the frame F ′ at the time of resuming reproduction (time t10), the developed image It is considered that viewers do not feel uncomfortable when viewing data.

本実施例の画像処理装置によれば、現像パラメータ保存部２０３に保存する現像パラメータ値のデータ量を削減することが可能である。
以後は、図５の時刻ｔ２と同様に、ＲＡＷ動画の現像と再生を行う。 According to the image processing apparatus of this embodiment, it is possible to reduce the data amount of development parameter values stored in the development parameter storage unit 203.
Thereafter, development and reproduction of the RAW moving image are performed in the same manner as at time t2 in FIG.

＜シーン区切りの判定＞
ＲＡＷ動画のシーンの区切りは、ＲＡＷ動画の１フレーム分のデータにシーン区切りのフラグを付加することで、現像パラメータ生成部２０１が検知することが可能である。この場合、現像パラメータ生成部２０１が検知結果を保存パラメータ判定部２００に伝え、シーン区切りであれば現像パラメータを保存しないと判定することができる。 <Determination of scene break>
The development parameter generation unit 201 can detect the scene segmentation of the RAW moving image by adding a scene segmentation flag to the data for one frame of the RAW video. In this case, the development parameter generation unit 201 transmits the detection result to the storage parameter determination unit 200, and if it is a scene break, it can be determined that the development parameter is not stored.

１０画像処理装置、１０１現像パラメータ生成部、１０２現像部、１０３現像パラメータ保存部 DESCRIPTION OF SYMBOLS 10 Image processing apparatus, 101 Development parameter generation part, 102 Development part, 103 Development parameter storage part

Claims

An image processing apparatus for reproducing while developing the R AW video,
A generating means for generating a development parameter values used in the development of each frame of the RAW video,
A developing means for developing the respective frames of the RAW video using a developing parameter value generated by the generating means,
Storage means for storing a developing parameter values used in the development of the first frame is a frame upon stop playing the RAW video,
Have
It said generating means, the halted the development parameter values used in the development of the second frame is a frame at the time of resume playback of RAW video, the intermediate parameter value is a second frame or al development parameter value generated When the image processing apparatus characterized by the development parameter values, based on the produce that used for the development of the first frame more stored in said storage means.

A determining means for development parameter values not stored within the developing parameter values used for development of the first frame,
The storage means, of the development parameter values used in the development of the first frame, the image processing according to claim 1, characterized in that not save the development parameter value is determined not to save by the determination unit apparatus.

The determination unit, when the color difference value calculated et whether the first frame is a value within the predetermined range, to claim 2, wherein the determining not to save the development parameter value for determining the saturation The image processing apparatus described.

The image processing apparatus according to claim 2, wherein the determination unit determines not to save all the development parameter values when the first frame is a scene break.

A method for controlling an image processing apparatus for reproducing while developing the R AW video,
A generation step of generating a development parameter values used in the development of each frame of the RAW video,
A developing step of developing each frame of the RAW video using a developing parameter value generated by the generating step,
A storing step of storing the developing parameter values used in the development of the first frame is a frame upon stop playing the RAW video,
Have
Said generating step, the halted the development parameter values used in the development of the second frame is a frame at the time of resume playback of RAW video intermediate parameter value is a development parameter value generated et al or the second frame And a development parameter value used for development of the first frame stored in the storage step , and a control method for an image processing apparatus.

A determination step of determining a development parameter value not stored among the development parameter values used for developing the first frame;
6. The image processing apparatus according to claim 5, wherein, in the storing step, a developing parameter value determined not to be stored in the determining step is not stored among the developing parameter values used for developing the first frame. Control method.

7. The determination step according to claim 6, wherein when the color difference value calculated from the first frame is a value within a predetermined range, it is determined not to store a development parameter value for determining saturation. A method for controlling an image processing apparatus.

The method according to claim 6, wherein, in the determination step, when the first frame is a scene break, it is determined not to store all the development parameter values.