JP4512978B2 - Image processing apparatus, image processing method, program, and recording medium - Google Patents
Image processing apparatus, image processing method, program, and recording medium Download PDFInfo
- Publication number
- JP4512978B2 JP4512978B2 JP2004042905A JP2004042905A JP4512978B2 JP 4512978 B2 JP4512978 B2 JP 4512978B2 JP 2004042905 A JP2004042905 A JP 2004042905A JP 2004042905 A JP2004042905 A JP 2004042905A JP 4512978 B2 JP4512978 B2 JP 4512978B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- tap
- class
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、例えば、テレビジョン受像機において、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにする画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。 The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium, and in particular, for example, in a television receiver, a multi-smooth multi-channel image that displays an image of a plurality of channels while suppressing an increase in the scale of the apparatus. The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium that can obtain a screen.
従来のテレビジョン受像機には、ユーザが多数のチャンネルの中から、所望のチャンネルを選択することを支援するために、複数のチャンネルをマルチ画面で表示する機能を備えるものがある(例えば、特許文献1および2参照)。 Some conventional television receivers have a function of displaying a plurality of channels on a multi-screen in order to assist the user in selecting a desired channel from among a number of channels (for example, patents). Reference 1 and 2).
特許文献1に記載の方法では、1つのチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献1に記載の方法では、1つのチューナで、複数チャンネルの画像を順次受信するため、複数のチャンネルの画像それぞれは、コマ落ちしたものとなり、その結果、マルチ画面において、各チャンネルの画像は、動きの粗い、見にくいものとなる。 In the method described in Patent Document 1, a single tuner receives a multi-channel image and generates a multi-screen that displays the multi-channel image. Therefore, in the method described in Patent Document 1, since images of a plurality of channels are sequentially received by one tuner, each of the images of the plurality of channels is dropped, and as a result, each channel is displayed on a multi-screen. The image is rough and difficult to see.
一方、特許文献2に記載の方法では、複数のチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献2に記載の方法では、複数のチューナで、複数チャンネルの画像を受信するため、マルチ画面において、各チャンネルの画像は、動きの滑らかなものとなる。しかしながら、特許文献2に記載の方法では、マルチ画面で表示する画像のチャンネル数だけのチューナが必要となり、装置が大規模化することになる。 On the other hand, in the method described in Patent Document 2, a plurality of tuners receive a plurality of channel images and generate a multi-screen that displays the plurality of channel images. Therefore, in the method described in Patent Document 2, since images of a plurality of channels are received by a plurality of tuners, the images of each channel are smooth in the multi-screen. However, in the method described in Patent Document 2, as many tuners as the number of channels of an image to be displayed on a multi-screen are required, and the apparatus becomes large-scale.
そして、今後、ますます多チャンネル化が進むことを考えると、少ないチューナの数、即ち、究極には、1つのチューナで、動きの滑らかなマルチ画面を表示する技術に対する要請は高い。 Considering that the number of channels will continue to increase in the future, there is a high demand for a technique for displaying a multi-screen with smooth motion with a small number of tuners, that is, one tuner.
本発明は、このような状況に鑑みてなされたものであり、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにするものである。 The present invention has been made in view of such a situation, and it is possible to obtain a multi-screen with smooth motion that displays images of a plurality of channels while suppressing an increase in the scale of the apparatus. .
本発明の一側面の画像処理装置、プログラム、又は、記録媒体は、伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理装置において、入力画像を取得する取得手段と、複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成手段と、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとの動作モードの切り替えの制御を行う制御手段とを備え、前記フィールド/フレーム生成手段は、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段とを有し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記動作モードが、前記マルチ画面モードである場合、前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、前記動作モードが、前記通常画面モードである場合、前記取得手段は、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する画像処理装置、そのような画像処理装置として、コンピュータを機能させるためのプログラム、又は、そのようなプログラムが記録されている記録媒体である。An image processing device, a program, or a recording medium according to one aspect of the present invention processes an input image obtained by receiving a transmitted transmission signal, and outputs the output image in the image processing device that outputs the output image. Acquisition means for acquiring, field / frame generation means for generating a field or frame between one field or frame and another one field or frame for each of a plurality of systems of input images, and inputs of the plurality of systems By synthesizing the same field or frame of each image, a synthesizing means for generating the field or frame of the output image for displaying the same field or frame of each of the plurality of input images on a multi-screen, and according to a user operation , One feed for each of the plurality of input images. A field or frame between a frame or frame and another one field or frame is generated, and a field or frame of the output image is generated by synthesizing the same field or frame of each of the plurality of input images. Control means for controlling switching of an operation mode between a multi-screen mode to be performed and a normal screen mode for generating a field or frame of the output image in which the field or frame of the input image of any one system is improved And the field / frame generation unit includes: a class tap selection unit that selects a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image; Based on the class tap, classify the pixel of interest into classes. A classifying unit that performs prediction, a prediction tap selecting unit that selects a prediction tap used for calculation of the tap coefficient obtained by the learning process from pixels of the input image, and a tap coefficient that stores the tap coefficient of each of the plurality of classes. Storage means; and arithmetic means for obtaining the target pixel by linear combination of the tap coefficient of the class of the target pixel and the prediction tap selected for the target pixel; and the tap coefficient storage means The multi-screen mode tap coefficient and the normal screen mode tap coefficient are stored, and the multi-screen mode tap coefficient uses the image without field or frame loss as the teacher data, and the teacher data. An image obtained by thinning out the field or frame is used as student data, and the student data and the multi-screen mode touch are used. The tap coefficient for the normal screen mode is obtained by a learning process for performing learning that minimizes the prediction error of the predicted value of the teacher data, which is obtained by linear combination with a coefficient of An image having no noise is used as teacher data, and an image obtained by adding noise to the teacher data is used as student data, and the predicted value of the teacher data obtained by linear combination of the student data and the tap coefficient for the normal screen mode is used. When the operation mode is the multi-screen mode, and the acquisition unit obtains the transmission signals of a plurality of channels in a time-sharing manner when the operation mode is the multi-screen mode. By receiving, the images of the plurality of channels are acquired and output as the input images of the plurality of systems, and the tap coefficient storage means When the tap coefficient for the multi-screen mode is supplied to the calculation means, and the operation mode is the normal screen mode, the acquisition means receives the transmission signal of one channel, An image of a channel is acquired and output as the input image, and the tap coefficient storage unit is an image processing apparatus that supplies the tap coefficient for the normal screen mode to the arithmetic unit, and as such an image processing apparatus, A program for causing a computer to function, or a recording medium on which such a program is recorded.
本発明の一側面の画像処理方法は、伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理方法において、入力画像を取得する取得ステップと、複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成ステップと、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとの動作モードの切り替えの制御を行う制御ステップとを備え、前記フィールド/フレーム生成ステップは、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択ステップと、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択ステップと、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算を行う演算ステップとを有し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記動作モードが、前記マルチ画面モードである場合、前記取得ステップは、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、前記動作モードが、前記通常画面モードである場合、前記取得ステップは、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する画像処理方法である。An image processing method according to one aspect of the present invention includes an acquisition step of acquiring an input image in an image processing method of processing an input image obtained by receiving a transmitted transmission signal and outputting an output image; A field / frame generating step for generating a field or frame between one field or frame and another one field or frame for each of the input images of the system; and the same field or frame of each of the input images of the plurality of systems By combining the step of generating a field or frame of the output image that displays the same field or frame of each of the plurality of input images as a multi-screen, and according to a user operation, the input images of the plurality of systems 1 field or frame for each And a field or frame between the other one field or frame, and the same field or frame of each of the plurality of input images is synthesized to generate a field or frame of the output image. A control step for controlling switching of the operation mode between the mode and the normal screen mode for generating the field or frame of the output image in which the image quality of the field or frame of the input image of any one system is improved, The field / frame generation step includes: a class tap selection step for selecting a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image; and the class Classify the pixel of interest based on the tap A prediction tap selection step for selecting a prediction tap used for calculation of a class classification step and a tap coefficient obtained by learning processing from pixels of the input image; and a tap coefficient storage for storing tap coefficients of each of the plurality of classes. Calculating means for obtaining the target pixel by linear combination of a tap coefficient of the class of the target pixel among the tap coefficients stored in the unit and the prediction tap selected for the target pixel; The tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode, and the tap coefficient for the multi-screen mode is In addition to using images with no missing fields or frames as teacher data, the fields or frames of teacher data are thinned out. The obtained image is obtained as a student data for each class by a learning process for performing learning that minimizes a prediction error of the predicted value of the teacher data, which is obtained by linear combination of the student data and the tap coefficient for the multi-screen mode. The tap coefficient for the normal screen mode is an image having no noise as teacher data and an image with noise added to the teacher data as student data. It is obtained for each class by a learning process for performing learning that minimizes the prediction error of the prediction value of the teacher data obtained by linear combination with a tap coefficient, and the operation mode is the multi-screen mode. In this case, the obtaining step receives the transmission signals of the plurality of channels in a time division manner, thereby obtaining the plurality of channels. An image is acquired and output as the input images of the plurality of systems, the tap coefficient storage means supplies the tap coefficient for the multi-screen mode to the arithmetic means, and the operation mode is the normal screen mode. If there is, the acquisition step receives the transmission signal of one channel, acquires and outputs the image of the one channel as the input image, and the tap coefficient storage means is for the normal screen mode. Is an image processing method for supplying the tap coefficient to the calculation means.
本発明の一側面においては、入力画像が取得され、複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームが生成される。そして、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームが生成される。In one aspect of the present invention, an input image is acquired, and a field or frame between one field or frame and another one field or frame is generated for each of a plurality of systems of input images. Then, by synthesizing the same field or frame of each of the plurality of input images, a field or frame of the output image for displaying the same field or frame of each of the plurality of input images on a multi-screen is generated.
また、動作モードとして、ユーザの操作に応じて、前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードとがある。 In addition, as an operation mode, a field or frame between one field or frame and another one field or frame is generated for each of the plurality of input images in accordance with a user operation, and the plurality of systems A multi-screen mode for generating the field or frame of the output image by synthesizing the same field or frame of each of the input images, and the output with improved image quality of the field or frame of any one system of the input image There is a normal screen mode for generating an image field or frame.
さらに、前記出力画像のフィールドまたはフレームの生成では、所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップが、前記入力画像の画素から選択され、前記クラスタップに基づいて、前記注目画素がクラス分類される。そして、学習処理により求められたタップ係数との演算に用いる予測タップが、前記入力画像の画素から選択され、前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算が行われる。 Further, in the generation of the field or frame of the output image, a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes is selected from the pixels of the input image, and the class Based on the tap, the pixel of interest is classified. And the prediction tap used for calculation with the tap coefficient calculated | required by the learning process is selected from the pixel of the said input image, and the tap coefficient memorize | stored in the tap coefficient memory | storage means which memorize | stores the tap coefficient of each of these classes. Of these, the linear combination of the tap coefficient of the class of the target pixel and the prediction tap selected for the target pixel is performed by the calculation unit for obtaining the target pixel.
この場合に、前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶している。前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものになっている。 In this case, the tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode. The tap coefficient for the multi-screen mode is an image having no field or frame loss as teacher data, and an image obtained by thinning out the field or frame of the teacher data as student data. The tap coefficient for the normal screen mode is obtained for each class by learning processing that performs learning that minimizes the prediction error of the predicted value of the teacher data, which is obtained by linear combination with the tap coefficient. An image having no noise is used as teacher data, and an image obtained by adding noise to the teacher data is used as student data, and the predicted value of the teacher data obtained by linear combination of the student data and the tap coefficient for the normal screen mode is used. It is obtained for each class by learning processing that performs learning to minimize the prediction error.
そして、前記動作モードが、前記マルチ画面モードである場合、複数のチャンネルの伝送信号が時分割で受信されることにより、その複数のチャンネルの画像が、前記複数系統の入力画像として取得されて出力され、前記マルチ画面モード用のタップ係数が、前記演算手段に供給される。一方、前記動作モードが、前記通常画面モードである場合、1つのチャンネルの伝送信号が受信されることにより、その1つのチャンネルの画像が、前記入力画像として取得されて出力され、前記通常画面モード用のタップ係数が、前記演算手段に供給される。 When the operation mode is the multi-screen mode, transmission signals of a plurality of channels are received in a time division manner, so that images of the plurality of channels are acquired and output as the input images of the plurality of systems. Then, the tap coefficient for the multi-screen mode is supplied to the calculation means. On the other hand, when the operation mode is the normal screen mode, by receiving a transmission signal of one channel, an image of the one channel is acquired and output as the input image, and the normal screen mode A tap coefficient is supplied to the calculation means.
本発明によれば、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることが可能となる。 According to the present invention, it is possible to obtain a smooth multi-screen that displays images of a plurality of channels while suppressing an increase in the scale of the apparatus.
以下、図面を参照して、発明の実施の形態を説明する。 Hereinafter, embodiments of the invention will be described with reference to the drawings.
図1は、本発明を適用したテレビジョン受像機101の一実施の形態の構成例を示している。
FIG. 1 shows a configuration example of an embodiment of a
テレビジョン受像機101には、アンテナ102が接続されている。アンテナ102は、図示せぬ放送局から送信されてくる放送波(電波)としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機101に供給する。テレビジョン受像機101は、アンテナ101からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組を、リモコン(リモートコマンダ)103からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。
An
即ち、テレビジョン受像機101は、1つのチューナ部111を有しており、アンテナ101からの伝送信号は、チューナ部111に供給される。チューナ部111は、アンテナ101からの伝送信号を受信し、システムコントローラ118の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像(データ)および音声(データ)を選局することにより取得する。
That is, the
さらに、チューナ部111は、選局したチャンネルの音声を、増幅回路112に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部114,115,116に、それぞれ供給する。
Further, the
増幅部112は、チューナ部111からの音声を増幅し、スピーカ113に供給する。スピーカ113は、増幅部112からの音声を出力する。
The amplifying
信号処理部114乃至116は、システムコントローラ118からの制御にしたがい、チューナ部111からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ117に供給する。ディスプレイ117は、信号処理部114乃至116それぞれから供給されるR,G,B信号に対応した画像を表示する。
In accordance with control from the
システムコントローラ118は、リモコン受信部119から供給される操作信号にしたがって、チューナ部111および信号処理部114乃至116に制御信号を供給することにより、チューナ部111および信号処理部114乃至116を制御する。
The
リモコン受信部119は、ユーザがリモコン103を操作することにより、リモコン013から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ118に供給する。
The remote control reception unit 119 receives, for example, infrared signals or other wireless signals as operation signals transmitted from the remote control 013 when the user operates the
以上のように構成されるテレビジョン受像機101では、チューナ部111は、アンテナ101からの伝送信号を受信し、システムコントローラ118の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。そして、チューナ部111は、選局したチャンネルの音声を、増幅回路112に供給するとともに、画像のR信号、G信号、B信号を、信号処理部114乃至116に、それぞれ供給する。
In the
増幅部112では、チューナ部111からの音声が増幅され、スピーカ113に供給されて出力される。
In the
一方、信号処理部114乃至116では、システムコントローラ118からの制御にしたがい、チューナ部111からの画像のR信号、G信号、B信号が、それぞれ信号処理される。そして、信号処理部114では、それぞれの信号処理の結果得られる信号が、ディスプレイ117に供給され、ディスプレイ117において、対応する画像が表示される。
On the other hand, in the signal processing units 114 to 116, under the control from the
なお、テレビジョン受像機101において受信する放送は、特に限定されるものではない。即ち、テレビジョン受像機101では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。
Note that the broadcast received by the
また、以下においては、音声に関する説明は、特に必要がない限り省略する。 Further, in the following description, the explanation about the sound is omitted unless particularly necessary.
次に、図1のシステムコントローラ118によるチューナ部111および信号処理部114乃至116の制御について説明する。
Next, control of the
ここで、信号処理部114乃至116では、それぞれで処理される信号が、R信号、G信号、B信号であることを除いて同一の処理が行われるため、以下では、特に必要がない限り、信号処理部114乃至116のうちの、信号処理部114についてだけ説明する。 Here, in the signal processing units 114 to 116, the same processing is performed except that the signals processed in each are R signal, G signal, and B signal. Of the signal processing units 114 to 116, only the signal processing unit 114 will be described.
また、以下においては、チューナ部111が出力する画像がプログレッシブ画像(ノンインタレース方式の画像)であるとして説明を行う。但し、チューナ部111が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の記載における「フレーム」は、「フィールド」とすることができる。
In the following description, it is assumed that the image output from the
システムコントローラ118は、リモコン103からリモコン受信部119を介して供給される操作信号にしたがい、後述するマルチ画面モードと通常画面モードとの動作モードの切り換え制御を行う。即ち、システムコントローラ118は、ユーザによるリモコン103の操作に応じて、テレビジョン受像機101の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部111および信号処理部114乃至116を制御する。
The
従って、チューナ部111および信号処理部114乃至116は、システムコントローラ118の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。
Therefore, the
ここで、チューナ111から信号処理部114に供給(入力)される画像を、入力画像というとともに、信号処理部114における信号処理の結果得られる画像を、出力画像というものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像それぞれの同一フレームが、いわゆるマルチ画面表示された出力画像を得て、ディスプレイ117に表示するモードであり、通常画面モードとは、1チャンネルの入力画像に対応する出力画像を得て、ディスプレイ117に表示するモードである。
Here, an image supplied (input) from the
マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、複数のチャンネルの中から、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。 In the multi-screen mode, images of a plurality of channels are displayed on a multi-screen, so that the user can select a channel that broadcasts a desired program from the plurality of channels by viewing the multi-screen image. It becomes possible to select easily.
なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル(例えば、枠)を表示し、そのカーソルを、ユーザによるリモコン103の操作に応じて移動させることができる。この場合、スピーカ113からは、カーソルによって指定されている画像のチャンネル(フォーカスされているチャンネル)の音声を出力するようにすることができる。
In the multi-screen mode, a cursor (for example, a frame) for designating an image of an arbitrary channel among the images of a plurality of channels displayed on the multi-screen is displayed, and the cursor is used to operate the
図2は、図1のシステムコントローラ118によるチューナ部111の制御を説明するための図である。なお、図2では、縦軸が、画像の垂直方向を表し、横軸が時間(の経過)を表す。
FIG. 2 is a diagram for explaining control of the
動作モードが通常画面モードの場合、システムコントローラ118は、ユーザによるリモコン103の操作に対応したチャンネルを選局するように、チューナ部111を制御する。
When the operation mode is the normal screen mode, the
従って、例えば、いま、ユーザが、リモコン103を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部111は、アンテナ102からの伝送信号から、チャンネルCH1を選局し続け、これにより、図2上側に示すように、フレーム周期で、チャンネルCH1の画像を、信号処理部114に供給する。
Therefore, for example, assuming that the user has selected channel CH1 by operating the
一方、動作モードがマルチ画面モードの場合、システムコントローラ118は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部111を制御する。
On the other hand, when the operation mode is the multi-screen mode, the
従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の4チャンネルであるとすると、チューナ部111は、例えば、図2下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3,CH4を順次選局する。その後、チューナ部111は、再び、チャンネルCH1を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを時分割で選局する。その結果、フレーム周期をT1で表すこととすると、チューナ部111から信号処理部114に対しては、チャンネルCH1の画像が、フレーム周期T1の4倍の周期で供給される。即ち、チューナ部111からは、フレーム周期T1の4倍の周期で、3フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。他のチャンネルCH2乃至CH4それぞれの画像についても、同様である。
Therefore, if the number of channels to be changed is, for example, four channels CH1, CH2, CH3, and CH4, the
ここで、選局の変更対象のチャンネル数は、4チャンネルに限定されるものではない。選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象の各チャンネルの画像が、チューナ部111から信号処理部114に供給される周期は、フレーム周期T1のN倍になる。
Here, the number of channels to be changed is not limited to four channels. Assuming that the number of channels to be changed is represented by N, in the multi-screen mode, the cycle in which the image of each channel to be changed is supplied from the
また、マルチ画面モードでは、例えば、テレビジョン受像機101で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、1フレームに表示される画像のチャンネル数が所定の数より多い場合には、画像をスクロールして表示するようにすることが可能である。
In the multi-screen mode, for example, all the channels that can be received by the
また、本実施の形態では、マルチ画面モードにおいて、チューナ部111が、フレーム周期T1で、選局するチャンネルを変更することとするが、選局するチャンネルの変更は、その他、フレーム同期T1の2倍や3倍等の同期で行うことも可能である。
Further, in the present embodiment, in the multi-screen mode, the
ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部111の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4とされているものとする。
Here, in the following, in order to simplify the description, it is assumed that the channels to be changed in tuning of the
次に、図3は、通常画面モードにおいてチューナ部111で得られた1つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部111で得られた4チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、4分割のマルチ画面で単に表示した場合とを示している。
Next, FIG. 3 shows a case where an image of one channel CH1 obtained by the
なお、マルチ画面モードでは、1フレームが、例えば、2×2の4つの小画面に等分割されて、4チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。また、ここでは、4分割のマルチ画面のうちの、例えば、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。 In the multi-screen mode, one frame is equally divided into, for example, 4 × 2 small screens, and images of 4 channels CH1 to CH4 are respectively displayed. Here, it is assumed that images of channels CH1 to CH4 are displayed on, for example, small screens on the upper left, upper right, lower left, and lower right of the multi-screen divided into four.
通常画面モードでは、チューナ部111において、図2で説明したように、1つのチャンネルCH1の画像が、フレーム周期T1で得られる。従って、チューナ部111で得られた1つのチャンネルCH1の画像を単に表示した場合は、図3上側に示すように、フレーム周期T1で、チャンネルCH1の画像が表示される。
In normal screen mode, the
一方、マルチ画面モードでは、チューナ部111において、図2で説明したように、4チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T1の4倍の周期4T1で得られる。従って、チューナ部111で得られた4チャンネルCH1乃至CH4それぞれの画像を、4分割のマルチ画面で単に表示した場合には、図3下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部111で得られたチャンネルCH1の画像の最初のフレームが表示され、2番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部111で得られたチャンネルCH2の画像の2番目のフレームが表示される。さらに、3番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部111で得られたチャンネルCH3の画像の3番目のフレームが表示され、4番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部111で得られたチャンネルCH4の画像の4番目のフレームが表示される。その後、5番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部111で得られたチャンネルCH1の画像の5番目のフレームが表示され、以下、同様にして、チューナ部111において、周期4T1で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。
On the other hand, in the multi-screen mode, as described with reference to FIG. 2, the
マルチ画面モードにおいて、チューナ部111であるチャンネルが選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部111では、4チャンネルCH1乃至CH4それぞれが、時分割で、周期4T1で選局されるために、マルチ画面に表示される4チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。
In the multi-screen mode, after the channel that is the
図1のテレビジョン受像機101では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部114において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。
The
即ち、図4は、図1の信号処理部114の構成例を示している。 That is, FIG. 4 shows a configuration example of the signal processing unit 114 of FIG.
図1のチューナ部111が出力する画像としての入力画像は、入力メモリ131に供給されるようになっている。
An input image as an image output from the
入力メモリ131は、動作モードが通常画面モードの場合、システムコントローラ118からの制御信号にしたがって、チューナ部111からの入力画像を、例えばフレーム単位で一時記憶し、記憶した入力画像を、そのまま、高画質化処理部132に供給する。
When the operation mode is the normal screen mode, the
また、入力メモリ131は、動作モードがマルチ画面モードの場合、システムコントローラ118からの制御信号にしたがって、チューナ部111からの入力画像を、例えば、フレーム単位で記憶し、その記憶した入力画像のフレームをマルチ画面の小画面のサイズに縮小した縮小画像を生成して、高画質化処理部132に供給する。
Further, when the operation mode is the multi-screen mode, the
即ち、システムコントローラ118が出力する制御信号には、入力メモリ131の書き込みアドレスと読み出しアドレスが含まれており、入力メモリ131は、システムコントローラ118からの制御信号に含まれる書き込みアドレスにしたがって、チューナ部111からの入力画像を書き込む(記憶する)。さらに、入力メモリ131は、システムコントローラ118からの制御信号に含まれる読み出しアドレスにしたがって、記憶した入力画像を読み出すことにより、即ち、記憶した入力画像を構成する画素(の画素値)を、水平方向と垂直方向それぞれについて所定の画素数おきに読み出すことにより、入力画像を縮小した縮小画像を生成し、高画質化処理部132に供給する。
That is, the control signal output from the
なお、入力メモリ131では、入力画像の書き込み時に、その入力画像の書き込みを所定の画素数おきに行うことで縮小画像を生成することも可能である。
The
高画質化処理部132は、動作モードが通常画面モードの場合、システムコントローラ118からの制御信号にしたがって、入力メモリ131から供給される入力画像のフレームの画質を向上させたフレームを生成し、即ち、例えば、入力メモリ131から供給される入力画像のフレームからノイズを除去し、出力メモリ133に供給する。
When the operation mode is the normal screen mode, the high image
また、高画質化処理部132は、動作モードがマルチ画面モードの場合、システムコントローラ118からの制御信号にしたがって、入力メモリ131から供給される縮小画像のフレームと、他のフレームとの間のフレームを生成し、出力メモリ133に供給する。
In addition, when the operation mode is the multi-screen mode, the image quality
即ち、動作モードがマルチ画面モードの場合、チューナ部111は、上述したように、周期4T1で、3フレームずつのコマ落ちが生じた4チャンネルCH1乃至CH4の入力画像を、信号処理部114に供給する。従って、入力メモリ131から高画質化処理部132に供給される、4チャンネルCH1乃至CH4の入力画像を縮小した縮小画像にも、それぞれ、周期4T1で、3フレームずつのコマ落ちが生じている。
That is, when the operation mode is the multi-screen mode, the
例えば、いま、そのコマ落ちが生じているフレームを、欠損フレームというものとすると、高画質化処理部132は、例えば、入力メモリ131から供給される縮小画像が存在する隣接する2つのフレームの間の欠損フレーム(の画像)を生成することにより、4チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ133に供給する。
For example, assuming that the frame in which the frame drop has occurred is a missing frame, the image quality
なお、高画質化処理部132では、縮小画像が存在するフレームについては、その縮小画像を、そのまま、そのフレームの画像として採用することもできるし、また、欠損フレームの画像と同様にして、画像を生成することもできる。
In the high image
出力メモリ133は、動作モードが通常画面モードの場合は、システムコントローラ118からの制御信号にしたがい、高画質化処理部132が出力する画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ117(図1)に供給する。
When the operation mode is the normal screen mode, the
また、出力メモリ133は、動作モードがマルチ画面モードの場合は、システムコントローラ118からの制御信号にしたがって、高画質化処理部132からのチャンネルCH1乃至CH4の縮小画像の同一フレームを合成することにより、そのチャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ117に供給する。
Further, when the operation mode is the multi-screen mode, the
即ち、システムコントローラ118が出力する制御信号には、出力メモリ133の書き込みアドレスと読み出しアドレスが含まれており、出力メモリ133は、システムコントローラ118からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部132からのチャンネルCH1乃至CH4の同一フレームの縮小画像を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域に書き込む(記憶する)ことにより、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成(記憶)する。さらに、出力メモリ133は、システムコントローラ118からの制御信号に含まれる読み出しアドレスにしたがって、生成(記憶)した出力画像のフレームを読み出し、ディスプレイ117に供給する。
That is, the control signal output from the
次に、図5を参照して、動作モードが通常画面モードの場合の図4の信号処理部114の処理の概要について説明する。なお、図5では、i番目のフレーム(の画像)を、tiと表してある。 Next, with reference to FIG. 5, an outline of the processing of the signal processing unit 114 in FIG. 4 when the operation mode is the normal screen mode will be described. In FIG. 5, the i-th frame (image thereof) is represented as t i .
通常画面モードにおいて、チューナ部111(図1)が、チャンネルCH1を選局している場合、図5上側に示すように、高画質化処理部132には、入力メモリ131を介して、チャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次入力される。そして、高画質化処理部132では、そこに入力されるチャンネルCH1の入力画像のフレームtiからノイズが除去され、図5下側に示すように、そのノイズが除去されたチャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次出力され、出力メモリ133を介してディスプレイ117(図1)に供給される。
In the normal screen mode, when the tuner unit 111 (FIG. 1) has selected the channel CH1, as shown in the upper side of FIG. 5, the image quality
次に、図6を参照して、動作モードがマルチ画面モードの場合の図4の信号処理部114の処理の概要について説明する。なお、図6では、チャンネルCH#kのi番目のフレームを、CH#k(ti)と表してある。 Next, with reference to FIG. 6, an outline of processing of the signal processing unit 114 in FIG. 4 when the operation mode is the multi-screen mode will be described. In FIG. 6, the i-th frame of channel CH # k is represented as CH # k (t i ).
マルチ画面モードにおいて、チューナ部111が、チャンネルCH1乃至CH4を時分割で選局している場合、図6一番上に示すように、高画質化処理部132には、入力メモリ131において縮小画像とされたチャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
In the multi-screen mode, when the
即ち、図6では、フレームt1のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t1)が、フレームt2のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t2)が、フレームt3のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t3)が、フレームt4のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t4)が、フレームt5のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t5)が、高画質化処理部132に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
That is, in FIG. 6, at the timing of frame t 1, is the first frame of the channel CH1 frame CH1 (t 1) is, at the timing of the frame t 2, the frame CH2 is the second frame of the channel CH2 (t 2 ) is the timing of frame t 3 and frame CH 3 (t 3 ), which is the third frame of channel CH 3, and frame CH 4 (t 4 ), which is the fourth frame of channel CH 4 , at the timing of frame t 4 but in the timing of frame t 5, is the fifth frame of the channel CH1 frame CH1 (t 5) is input to the image
高画質化処理部132では、図6上から2番目に示すように、チャンネルCH1の欠損フレームであるフレーム(の画像)CH1(t2),CH1(t3),CH1(t4),CH1(t6),・・・が生成され、さらに、チャンネルCH2の欠損フレームであるフレームCH2(t1),CH2(t3),CH2(t4),CH2(t5),・・・が生成される。また、高画質化処理部132では、チャンネルCH3の欠損フレームであるフレームCH3(t1),CH3(t2),CH3(t4),CH3(t5),・・・が生成され、さらに、チャンネルCH4の欠損フレームであるフレームCH4(t1),CH4(t2),CH4(t3),CH4(t5),・・・が生成される。
In the image quality
このようにして、高画質化処理部132は、4チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ133に供給する。
In this manner, the high image
出力メモリ133では、図6上から3番目(一番下)に示すように、高画質化処理部132から供給される4チャンネルCH1乃至CH4それぞれの縮小画像の同一フレームCH1(ti),CH2(ti),CH3(ti),CH4(ti)が合成されることにより、それらをマルチ画面表示するフレームtiの出力画像が生成され、ディスプレイ117(図1)に供給される。
In the
以上のように、信号処理部114では、 複数チャンネルの入力画像それぞれについて、1のフレームと、他の1のフレームとの間のフレームを生成するとともに、複数チャンネルの入力画像それぞれの同一フレームを合成することにより、出力画像のフレームを生成するようにしたので、1つのチューナ部111を用いて、即ち、テレビジョン受像機101の規模を抑えて、動きの滑らかなマルチ画面を得ることができる。
As described above, the signal processing unit 114 generates a frame between one frame and another one frame for each of the input images of the plurality of channels, and combines the same frames of the input images of the plurality of channels. By doing so, since the frame of the output image is generated, a multi-screen with smooth motion can be obtained by using one
次に、図7のフローチャートを参照して、動作モードが通常画面モードの場合の図4の信号処理部114の処理について説明する。なお、以下においては、動作モードが通常画面モードの場合、チューナ部111において、例えば、チャンネルCH1が選局されるものとする。
Next, the processing of the signal processing unit 114 of FIG. 4 when the operation mode is the normal screen mode will be described with reference to the flowchart of FIG. In the following, it is assumed that, for example, channel CH1 is selected in
入力メモリ131は、チューナ部111(図1)から供給されるチャンネルCH1の画像を記憶する。そして、入力メモリ131は、ステップS101において、そのチャンネルCH1の画像を読み出し、高画質化処理部132に供給して、ステップS102に進む。
The
ステップS102では、高画質化処理部132は、入力メモリ131から供給されるチャンネルCH1の画像からノイズを除去し、その結果得られるノイズ除去画像を、出力画像として、出力メモリ133を介して、ディスプレイ117(図1)に供給して、処理を終了する。
In step S102, the image quality
なお、図7のフローチャートにしたがった処理は、例えば、チューナ部111から信号処理部114に対して画像が供給されなくなるまで、または動作モードが通常画面モードからマルチ画面モードに切り換えられるまで繰り返し行われる。
Note that the processing according to the flowchart of FIG. 7 is repeatedly performed, for example, until no image is supplied from the
次に、図8のフローチャートを参照して、動作モードがマルチ画面モードの場合の図4の信号処理部114の処理について説明する。 Next, the processing of the signal processing unit 114 of FIG. 4 when the operation mode is the multi-screen mode will be described with reference to the flowchart of FIG.
入力メモリ131は、チューナ部111(図1)から供給されるチャンネルCH1乃至CH4の(いずれかの)画像を記憶する。そして、入力メモリ131は、ステップS111において、記憶した画像を、システムコントローラ118からの制御信号にしたがって読み出すことにより縮小画像を生成し、高画質化処理部132に供給して、ステップS112に進む。
The
ステップS112では、高画質化処理部132は、入力メモリ131から供給された縮小画像のチャンネルについて、欠損フレームの縮小画像を生成し、出力メモリ133に供給する。さらに、ステップS112では、出力メモリ133は、高画質化処理部132から供給される縮小画像を、システムコントローラ118からの制御信号にしたがって書き込むことにより、チャンネルCH1乃至CH4の同一フレームの縮小画像を合成し、その結果得られる、チャンネルCH1乃至CH4の同一フレームの縮小画像をマルチ画面表示する出力画像を、ディスプレイ117(図1)に供給して、処理を終了する。
In
なお、図8のフローチャートにしたがった処理は、例えば、チューナ部111から信号処理部114に対して画像が供給されなくなるまで、または動作モードがマルチ画面モードから通常画面モードに切り換えられるまで繰り返し行われる。
The processing according to the flowchart of FIG. 8 is repeatedly performed until, for example, no image is supplied from the
ところで、上述したように、信号処理部114では、マルチ画面モードにおいて、欠損フレームを生成する。信号処理部114において、この欠損フレームを生成することにより、マルチ画面における画像の動きを滑らかなものとするため、欠損フレームは、チューナ部111で受信されたフレーム(以下、適宜、非欠損フレームという)における画像の動きを考慮して生成するのが望ましい。 By the way, as described above, the signal processing unit 114 generates a missing frame in the multi-screen mode. The signal processing unit 114 generates the missing frame to smoothen the motion of the image on the multi-screen. Therefore, the missing frame is a frame received by the tuner unit 111 (hereinafter referred to as a non-missing frame as appropriate). It is desirable to generate the image in consideration of the movement of the image in (1).
そこで、信号処理部114では、非欠損フレームを用いて、画像の動きベクトルを検出し、その動きベクトルに基づいて、マルチ画面モードの処理と、通常画面モードの処理とを行うようになっている。 Therefore, the signal processing unit 114 detects a motion vector of an image using a non-defective frame, and performs multi-screen mode processing and normal screen mode processing based on the motion vector. .
但し、通常画面モードでは、欠損フレームが存在しないことから、注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。一方、マルチ画面モードでは、欠損フレームが存在することから、注目している非欠損フレームが第nフレームであり、上述したように3フレームのコマ落ち(欠損フレーム)が存在する場合には、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。 However, since there is no missing frame in the normal screen mode, if the frame of interest is the nth frame, the motion vector of the nth frame refers to, for example, the next n + 1th frame This can be detected. On the other hand, in the multi-screen mode, since there is a missing frame, the non-missing frame of interest is the nth frame, and when there are 3 frames dropped (missing frame) as described above, For example, the motion vector of n frames needs to be detected by referring to the n + 4th frame which is the next non-defective frame.
従って、動作モードが、通常画面モードの場合とマルチ画面モードの場合とでは、信号処理部114における動きベクトルを検出する処理が異なるため、信号処理部114では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。 Accordingly, since the processing for detecting the motion vector in the signal processing unit 114 differs between the operation mode of the normal screen mode and the case of the multi-screen mode, the signal processing unit 114 in the normal screen mode is in the normal screen mode. Motion vector detection processing, that is, processing for detecting the motion vector of the nth frame by referring to the next n + 1th frame is performed. In the multi-screen mode, motion for the multi-screen mode is performed. Vector detection processing, that is, processing for detecting the motion vector of the nth frame, which is a non-missing frame, by referring to the n + 4th frame, which is the next non-missing frame, is performed.
ここで、図4の信号処理部114では、動きベクトルの検出は、高画質化処理部132において行われるようになっている。
Here, in the signal processing unit 114 of FIG. 4, the motion vector detection is performed by the image quality
なお、動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。 As a motion vector detection method, for example, a block matching method, a gradient method, or any other method can be employed.
また、本実施の形態では、動きベクトルは、例えば、画素単位で検出するものとし、従って、各画素に対して動きベクトルが得られるものとする。但し、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができ、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。 In the present embodiment, the motion vector is detected, for example, in units of pixels, and accordingly, a motion vector is obtained for each pixel. However, the detection of the motion vector can be performed, for example, every predetermined number of pixels or in units of blocks composed of the predetermined pixels, and the motion vector for an arbitrary pixel can be detected by other pixels nearby. It is possible to substitute a motion vector detected for the motion vector or a motion vector detected for a block including the pixel.
さらに、本実施の形態では、動きベクトルを、例えば画素精度で行うものとする。但し、動きベクトルの検出は、画素より小さい、または大きい精度で行ってもよい。 Furthermore, in this embodiment, it is assumed that the motion vector is performed with pixel accuracy, for example. However, the motion vector may be detected with an accuracy smaller than or greater than that of the pixel.
次に、図9のフローチャートを参照して、図1のシステムコントローラ118が行う処理について説明する。
Next, processing performed by the
システムコントローラ118は、ステップS121において、動作モードが、マルチ画面モードかどうかを判定し、マルチ画面モードでないと判定した場合、即ち、動作モードが通常画面モードである場合、ステップS122に進み、例えば、ユーザがリモコン103を操作することにより指定したチャンネルなどのある1チャンネルを選局するように、チューナ部111(図1)を制御して、ステップS123に進む。これにより、チューナ部111は、システムコントローラ118からの制御にしたがったチャンネルの選局を行い、そのチャンネルの画像を、信号処理部114乃至116に出力する。
In step S121, the
ステップS123では、システムコントローラ118は、チューナ部111から信号処理部114乃至116に供給される画像を書き込み、その書き込んだ画像を読み出すように、信号処理部114乃至116の入力メモリ131(図4)を制御して、ステップS124に進む。これにより、入力メモリ131は、システムコントローラ118の制御にしたがい、チューナ部111から供給される画像を記憶し、その記憶した画像を読み出して、高画質化処理部132に供給する。
In step S123, the
ステップS124では、システムコントローラ118は、入力メモリ131から供給される画像について、通常画面モード用の動きベクトルの検出処理を行うように、高画質化処理部132(図4)を制御して、ステップS125に進む。これにより、高画質化処理部132は、入力メモリ131から供給される画像を対象に、通常画面モード用の動きベクトルを検出する。
In step S124, the
ステップS125では、システムコントローラ118は、入力メモリ131から供給される画像を対象として、ノイズ除去処理を行うように、高画質化処理部132(図4)を制御して、ステップS126に進む。これにより、高画質化処理部132は、入力メモリ131から供給される画像を対象として、その画像から検出された動きベクトルに基づくノイズ除去処理を行い、その結果得られる画像としてのノイズ除去画像を出力する。
In step S125, the
ステップS126では、システムコントローラ118は、高画質化処理部132が出力するノイズ除去画像を書き込み、その書き込んだノイズ除去画像を読み出すように、出力メモリ133(図4)を制御する。これにより、出力メモリ133は、システムコントローラ118の制御にしたがい、高画質化処理部132が出力するノイズ除去画像を記憶し、その記憶した画像を、出力画像として読み出して、ディスプレイ117(図1)に供給する。
In step S126, the
一方、システムコントローラ118は、ステップS121において、動作モードが、マルチ画面モードであると判定した場合、ステップS131に進み、複数チャンネルであるチャンネルCH1乃至CH4それぞれを、時分割で選局するように、チューナ部111(図1)を制御して、ステップS132に進む。これにより、チューナ部111は、システムコントローラ118からの制御にしたがい、時分割でチャンネルCH1乃至CH4の選局を時分割で行い、チャンネルCH1乃至CH4の画像それぞれを、そのチャンネル数に等しい4フレーム周期で、信号処理部114乃至116に出力する。従って、チャンネルCH1乃至CH4のうちの1チャンネルに注目すると、チューナ部111から信号処理部114乃至116に出力される、その1チャンネルの画像は、4フレームにつき1フレームしか画像が存在しない、即ち、4フレームのうちの3フレームが欠損フレームとなっている画像である。
On the other hand, if the
ステップS132では、システムコントローラ118は、チューナ部111から信号処理部114乃至116に供給される画像を書き込み、その書き込んだ画像の画素(の画素値)を読み出すように、信号処理部114乃至116の入力メモリ131(図4)を制御して、ステップS133に進む。これにより、入力メモリ131は、システムコントローラ118の制御にしたがい、チューナ部111から供給される画像を記憶し、その記憶した画像を間引いて読み出すことにより、縮小画像を生成して、高画質化処理部132に供給する。従って、高画質化処理部132に対しては、4フレームにつき3フレームが欠損フレームとなっているチャンネルCH1乃至CH4の縮小画像それぞれが供給される。
In step S132, the
ステップS133では、システムコントローラ118は、入力メモリ131から供給される縮小画像について、マルチ画面モード用の動きベクトルの検出処理を行うように、高画質化処理部132(図4)を制御して、ステップS134に進む。これにより、高画質化処理部132は、入力メモリ131から供給される縮小画像を対象に、通常画面モード用の動きベクトルを検出する。
In step S133, the
ステップS134では、システムコントローラ118は、入力メモリ131から供給される縮小画像から、チャンネルCH1乃至CH4それぞれの欠損フレームを生成する欠損フレーム生成処理を行うように、高画質化処理部132(図4)を制御して、ステップS135に進む。これにより、高画質化処理部132は、入力メモリ131から供給される縮小画像を用い、その縮小画像から検出された動きベクトルに基づく欠損フレーム生成処理を行い、その結果得られる、欠損フレームがない画像としての欠損フレームなし画像を出力する。
In step S134, the
ステップS134では、システムコントローラ118は、高画質化処理部132が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を、マルチ画面を構成する小画面に対応する記憶領域に書き込み、その書き込みによって生成されるマルチ画面の出力画像を読み出すように、出力メモリ133(図4)を制御する。これにより、出力メモリ133は、システムコントローラ118の制御にしたがい、高画質化処理部132が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を記憶することにより、マルチ画面の出力画像を生成し、その出力画像を読み出して、ディスプレイ117(図1)に供給する。
In step S134, the
次に、図4の高画質化処理部132は、上述したように、動作モードが通常画面モードの場合には、ノイズ除去処理を行い、動作モードがマルチ画面モードの場合には、欠損フレーム生成処理を行う。
Next, as described above, the image quality
このノイズ除去処理と欠損フレーム生成処理としては、従来の方法を採用することも可能であるが、ここでは、クラス分類適応処理により、ノイズ除去処理と欠損フレーム生成処理を行うこととする。 As this noise removal processing and missing frame generation processing, a conventional method can be adopted, but here, noise removal processing and missing frame generation processing are performed by class classification adaptive processing.
クラス分類適応処理は、例えば、第1の画像を第2の画像に変換する画像変換処理でもあり、第2の画像を構成する各画素をクラス分けするクラス分類を行い、その各画素が属するクラスに応じたタップ係数と、第1の画像とを用いた演算としての適応処理を行うことで、第1の画像から第2の画像を構成する各画素(の画素値)を求めるものである。 The class classification adaptive processing is, for example, image conversion processing for converting a first image into a second image, classifying each pixel constituting the second image into classes, and the class to which each pixel belongs. Each pixel (the pixel value) constituting the second image is obtained from the first image by performing an adaptive process as a calculation using the tap coefficient corresponding to the first image and the first image.
ここで、例えば、第1の画像を、空間解像度が低解像度の画像とするとともに、第2の画像を、空間解像度が高解像度の画像とすれば、クラス分類適応処理は、空間解像度を向上させる解像度向上処理ということができる。また、例えば、第1の画像を、低S/N(Siginal/Noise)の画像とするとともに、第2の画像を、高S/Nの画像とすれば、クラス分類適応処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第1の画像を所定のサイズの画像とするとともに、第2の画像を、第1の画像のサイズを大きくまたは小さくした画像とすれば、クラス分類適応処理は、画像のリサイズ(拡大または縮小)を行うリサイズ処理ということができる。また、例えば、第2の画像を欠損フレームが存在しない画像とするとともに、第1の画像を、第2の画像から一部のフレームを欠落(欠損)させた、欠損フレームが存在する画像とすれば、クラス分類適応処理は、欠損フレームを生成する欠損フレーム生成処理ということができる。 Here, for example, if the first image is an image having a low spatial resolution and the second image is an image having a high spatial resolution, the class classification adaptation process improves the spatial resolution. This can be called resolution improvement processing. For example, if the first image is a low S / N (Siginal / Noise) image and the second image is a high S / N image, the classification adaptation processing removes noise. It can be said that noise removal processing is performed. Further, for example, if the first image is an image of a predetermined size and the second image is an image in which the size of the first image is increased or decreased, the class classification adaptation process performs image resizing ( This can be referred to as resizing processing for performing enlargement or reduction). In addition, for example, the second image is an image having no missing frame, and the first image is an image having a missing frame in which some frames are missing from the second image. For example, the classification adaptation process can be called a missing frame generation process for generating a missing frame.
なお、欠損フレーム生成処理としてのクラス分類適応処理は、欠損フレームが存在する第1の画像を、欠損フレームが存在しない第2の画像に変換することから、第2の画像は、第1の画像と比較して、時間解像度が向上したものとなっており、かかる観点からは、時間解像度を向上させる解像度向上処理ともいうことができる。 Note that the class classification adaptation process as the missing frame generation process converts the first image in which the missing frame exists into the second image in which the missing frame does not exist, and therefore the second image is the first image. From this point of view, it can also be referred to as a resolution improvement process for improving the time resolution.
以上のように、クラス分類適応処理によれば、第1および第2の画像をどのように定義するかによって、様々な画像変数処理を実現することができる。 As described above, according to the class classification adaptive process, various image variable processes can be realized depending on how the first and second images are defined.
図10は、クラス分類適応処理を行う高画質化処理部132の構成例を示している。
FIG. 10 shows a configuration example of the image quality
高画質化処理部132には、入力メモリ131(図4)から、第1の画像としての通常の画像または縮小画像が供給される。即ち、動作モードが通常画面モードの場合は、入力メモリ131から高画質化処理部132に対して、例えば、チューナ部111が出力するチャンネルCH1の欠損フレームがない画像が、第1の画像として供給される。また、動作モードがマルチ画面モードの場合は、入力メモリ131から高画質化処理部132に対して、例えば、チャンネルCH1乃至CH4の画像を縮小した縮小画像であって、欠損フレームがある画像が、第1の画像として供給される。
A normal image or a reduced image as the first image is supplied from the input memory 131 (FIG. 4) to the image quality
そして、高画質化処理部132では、入力メモリ131からの第1の画像が、動きベクトル検出部151、クラスタップ選択部154、および予測タップ選択部156に供給される。
In the image quality
高画質化処理部132では、注目画素選択部150が、第2の画像を構成する画素を、順次、注目画素とし、その注目画素(を表す情報)を、高画質化処理部132の必要なブロックに供給する。
In the image quality
動きベクトル検出部151は、システムコントローラ118(図1)から供給される制御信号にしたがって、入力メモリ131(図4)から供給される第1の画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部152、予測タップ構造決定部153、およびクラス生成部155に供給する。
The motion
ここで、システムコントローラ118は、動作モードが通常画面モードの場合には、通常画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力する。
Here, when the operation mode is the normal screen mode, the
動きベクトル検出部151は、システムコントローラ118が出力する制御信号に、通常画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、通常画面モード用の動きベクトルの検出処理、即ち、上述したように、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理を行う。
When the control signal output from the
また、動きベクトル検出部151は、システムコントローラ118が出力する制御信号に、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、マルチ画面モード用の動きベクトルの検出処理、即ち、上述したように、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理を行う。
In addition, when the control signal output from the
クラスタップ構造決定部152は、システムコントローラ118から供給される制御信号、および動きベクトル検出部151から供給される動きベクトルにしたがい、注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップとなる第1の画像を構成する複数の画素を決定し、その画素を表す情報としてのクラスタップ情報を、クラスタップ選択部154に供給する。
The class tap
ここで、システムコントローラ118は、動作モードが通常画面モードの場合には、後述する通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、後述するマルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力する。
Here, when the operation mode is the normal screen mode, the
クラスタップ構造決定部152は、システムコントローラ118が出力する制御信号に、通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部151から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
When the control signal output from the
また、クラスタップ構造決定部152は、システムコントローラ118が出力する制御信号に、マルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部151から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
The class tap
予測タップ構造決定部153は、システムコントローラ118から供給される制御信号、および動きベクトル検出部151から供給される動きベクトルにしたがい、注目画素(の画素値)を求めるときのタップ係数との演算に用いる予測タップとなる第1の画像を構成する複数の画素を決定し、その画素を表す情報としての予測タップ情報を、予測タップ選択部156に供給する。
The prediction tap
ここで、システムコントローラ118は、動作モードが通常画面モードの場合には、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力する。
Here, when the operation mode is the normal screen mode, the
予測タップ構造決定部153は、システムコントローラ118が出力する制御信号に、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部151から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
The prediction tap
また、予測タップ構造決定部153は、システムコントローラ118が出力する制御信号に、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部151から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
In addition, when the control signal output from the
なお、クラスタップ構造決定部152と、予測タップ構造決定部153とでは、通常画面モード用のタップ構造の画素として、同一のタップ構造の画素を決定することもできるし、異なるタップ構造の画素を決定することもできる。マルチ画面モード用のタップ構造の画素についても、同様である。
Note that the class tap
クラスタップ選択部154は、クラスタップ構造決定部152からのクラスタップ情報にしたがい、そこに供給される第1の画像から複数の画素(の画素値)を選択し、クラスタップとして、クラス生成部155に供給する。
The class
ここで、上述したように、クラスタップ選択部154は、クラスタップ構造決定部152からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部152は、動きベクトル検出部151から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部154では、動きベクトル検出部151が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
Here, as described above, the class
クラス生成部155は、例えば、動きベクトル検出部151から供給される動きベクトルと、クラスタップ選択部154から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス(を表すクラスコード)を、係数メモリ157に供給する。
For example, the
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。 Here, as a method of classifying, for example, ADRC (Adaptive Dynamic Range Coding) or the like can be employed.
いま、例えば、クラスタップのみをクラス分類に用いることとすると、ADRCを用いるクラス分類では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。 Now, for example, if only class taps are used for class classification, in the class classification using ADRC, pixel values of pixels constituting the class tap are subjected to ADRC processing, and the pixel of interest is determined according to the ADRC code obtained as a result. A class is determined.
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(例えば、小数点以下切り捨て)、これにより、各画素の画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラス生成部155は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして生成(出力)する。
In the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the pixel values constituting the class tap are detected, and DR = MAX−MIN is set as the local dynamic range of the set, and this dynamic range Based on DR, the pixel values constituting the class tap are requantized to K bits. That is, the pixel value of each pixel forming the class taps, the minimum value MIN is subtracted, and the subtracted value is divided (quantized) by DR / 2 K. A bit string obtained by arranging the pixel values of the K-bit pixels constituting the class tap in a predetermined order is output as an ADRC code. Therefore, for example, when the class tap is subjected to 1-bit ADRC processing, the pixel value of each pixel constituting the class tap is divided by the average value of the maximum value MAX and the minimum value MIN (for example, after the decimal point). Thus, the pixel value of each pixel is set to 1 bit (binarized). Then, a bit string in which the 1-bit pixel values are arranged in a predetermined order is output as an ADRC code. For example, the
なお、クラス生成部155には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラス生成部155が出力するクラスコードの場合の数は、(2N)K通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。
Note that the
従って、クラス生成部155においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
Therefore, the
ここで、クラス生成部155は、上述したように、注目画素についてのクラスタップだけでなく、動きベクトル検出部151が検出した動きベクトルにも基づいてクラス分類を行う。即ち、クラス生成部155は、例えば、動きベクトルの大きさやx方向およびy方向の成分を対象に2値化等の量子化を行って得られる値を、注目画素についてのクラスタップをADRC処理することにより得られるADRCコードの上位ビットまたは下位ビットとして付加し、その結果得られるビット列を、注目画素のクラスを表すクラスコードとして出力する。
Here, as described above, the
予測タップ選択部156は、予測タップ構造決定部153からの予測タップ情報にしたがい、そこに供給される第1の画像から複数の画素(の画素値)を選択し、予測タップとして、積和演算部158に供給する。
The prediction
ここで、上述したように、予測タップ選択部156は、予測タップ構造決定部153からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部153は、動きベクトル検出部151から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部156では、動きベクトル検出部151が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
Here, as described above, the prediction
係数メモリ157は、後述する学習によって求められた複数のクラスそれぞれのタップ係数を記憶している。即ち、係数メモリ157は、動作モードが通常画面モードの場合に行われるノイズ除去処理に用いられるクラスごとのタップ係数(ノイズ除去処理用のタップ係数)を記憶している通常画面モードメモリ1571と、動作モードがマルチ画面モードの場合に行われる欠損フレーム生成処理に用いられるクラスごとのタップ係数(欠損フレーム生成処理用のタップ係数)を記憶しているマルチ画面モードメモリ1572とを有している。そして、係数メモリ157は、システムコントローラ118(図1)から供給される制御信号にしたがい、通常画面モードメモリ1571またはマルチ画面モードメモリ1572のうちの一方を選択し、その選択したメモリから、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給する。
The coefficient memory 157 stores tap coefficients for each of a plurality of classes obtained by learning described later. That is, the coefficient memory 157, the operation mode is the normal screen mode memory 157 1 stores tap coefficients for each class used in the noise removal processing performed in the case of the normal screen mode (tap coefficients for noise removal processing) A multi-screen mode memory 157 2 for storing a tap coefficient (tap coefficient for missing frame generation processing) for each class used in the missing frame generation processing performed when the operation mode is the multi-screen mode. Yes. The coefficient memory 157 selects one of the normal
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。 Here, the tap coefficient corresponds to a coefficient that is multiplied with input data in a so-called tap in the digital filter.
積和演算部158は、予測タップ選択部156からの予測タップと、係数メモリ157からのタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素(の真値の予測値)を求める所定の演算を行う。これにより、積和演算部158は、注目画素(の画素値(の予測値))、即ち、第2の画像を構成する画素(の画素値)を求めて出力する。
The product-
次に、図10の積和演算部158における演算と、その演算に用いられるタップ係数の学習について説明する。
Next, the calculation in the product-
いま、高画質の画像(高画質画像)を第2の画像とするとともに、その高画質画像にノイズを付加する等してその画質を低下させた低画質の画像(低画質画像)を第1の画像として、低画質画像から予測タップ(となる複数の画素)を選択し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の演算によって求める(予測する)ことを考える。 Now, a high-quality image (high-quality image) is used as a second image, and a low-quality image (low-quality image) in which the image quality is reduced by adding noise to the high-quality image is used as the first image. As the image, a prediction tap (a plurality of pixels) is selected from the low-quality image, and the pixel value of the high-quality pixel is obtained (predicted) by a predetermined calculation using the prediction tap and the tap coefficient. Think.
いま、所定の演算として、例えば、線形1次予測演算を採用することとすると、高画質画素の画素値yは、次の線形1次式によって求められることになる。 Assuming that, for example, linear primary prediction calculation is adopted as the predetermined calculation, the pixel value y of the high-quality pixel is obtained by the following linear linear expression.
但し、式(1)において、xnは、高画質画素yについての予測タップを構成するn番目の低画質画像の画素(以下、適宜、低画質画素という)の画素値を表し、wnは、そのn番目の低画質画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個の低画質画素x1,x2,・・・,xNで構成されるものとしてある。 In Equation (1), x n represents the pixel value of the pixel of the n-th low-quality image (hereinafter referred to as “low-quality pixel” as appropriate) that constitutes the prediction tap for the high-quality pixel y, and w n , The nth tap coefficient to be multiplied by the nth low image quality pixel (pixel value thereof). In equation (1), the prediction tap is assumed to be composed of N low image quality pixels x 1 , x 2 ,..., X N.
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。 Here, the pixel value y of the high-quality pixel can be obtained not by the linear primary expression shown in Expression (1) but by a higher-order expression of the second or higher order.
いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。 Now, when the true value of the pixel value of the high-quality pixel of the k-th sample is expressed as y k and the predicted value of the true value y k obtained by the equation (1) is expressed as y k ′, the prediction error e k Is expressed by the following equation.
いま、式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。 Now, since the predicted value y k ′ of Equation (2) is obtained according to Equation (1), the following equation is obtained by replacing y k ′ of Equation (2) according to Equation (1).
但し、式(3)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。 In Equation (3), x n, k represents the nth low-quality pixel that constitutes the prediction tap for the high-quality pixel of the k-th sample.
式(3)(または式(2))の予測誤差ekを0とするタップ係数wnが、高画質画素を予測するのに最適なもの、即ち、いまの場合、ノイズのない高画質画素を求めるのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数wnを求めることは、一般には困難である。 Equation (3) (or Equation (2)) is the prediction error e k tap coefficients w n to zero, optimum for predicting the high-quality pixel, i.e., in this case, no high definition pixel noise In general, it is difficult to obtain such a tap coefficient w n for all high-quality pixels.
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。 Therefore, as the standard for indicating that the tap coefficient w n is optimal, for example, when adopting the method of least squares, optimal tap coefficient w n, the sum E of square errors expressed by the following formula It can be obtained by minimizing.
但し、式(4)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。 However, in Equation (4), K is the high image quality pixel y k and the low image quality pixels x 1, k , x 2, k ,..., X N constituting the prediction tap for the high image quality pixel y k. , k represents the number of samples (the number of learning samples).
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(5)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。 The minimum value of the sum E of square errors of Equation (4) (minimum value), as shown in Equation (5), given that by partially differentiating the sum E with the tap coefficient w n by w n to 0.
・・・(5)
... (5)
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。 Therefore, when partial differentiation of above equation (3) with the tap coefficient w n, the following equation is obtained.
式(5)と(6)から、次式が得られる。 From the equations (5) and (6), the following equation is obtained.
・・・(7)
... (7)
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。 By substituting equation (3) into e k in equation (7), equation (7) can be expressed by the normal equation shown in equation (8).
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。 Normal equation of Equation (8), for example, by using a like sweeping-out method (Gauss-Jordan elimination method) can be solved for the tap coefficient w n.
式(8)の正規方程式をクラスごとにたてて解くことにより、ノイズのない画素を求めるのに最適なタップ係数(自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。 By solving the normal equation of equation (8) for each class, an optimum tap coefficient (tap coefficient that minimizes the sum E of square errors) w n for obtaining a noise-free pixel is determined for each class. Can be sought.
図10の通常画面モードメモリ1571に、以上のようにして求められるノイズ除去に(ノイズのない画像を求めるのに)最適なタップ係数wnを記憶させておき、積和演算部158において、そのタップ係数wnを用いて、式(1)の演算を行うことにより、第1の画像からノイズを除去した第2の画像を求めるノイズ除去処理を行うことができる。 In the normal screen mode memory 157 1 in FIG. 10, the optimum tap coefficient w n is stored in order to remove the noise obtained as described above (to obtain a noise-free image). By using the tap coefficient w n and performing the calculation of Expression (1), it is possible to perform noise removal processing for obtaining a second image from which noise has been removed from the first image.
なお、上述の場合には、高画質画像を第2の画像とするとともに、その高画質画像にノイズを付加した低画質画像を第1の画像として、ノイズ除去に最適なタップ係数、即ち、ノイズ除去処理用のタップ係数を求める(学習する)場合について説明したが、欠損フレームのない画像を第2の画像とするとともに、その第2の画像のフレームを間引く等して得られる、欠損フレームが存在する画像を第1の画像として、上述したようにしてタップ係数を求めることにより、欠損フレームを生成するのに最適なタップ係数、即ち、欠損フレーム生成処理用のタップ係数を得ることができる。 In the above case, the high-quality image is the second image, and the low-quality image obtained by adding noise to the high-quality image is the first image. The case of obtaining (learning) the tap coefficient for the removal processing has been described. An image without a missing frame is used as a second image, and a missing frame obtained by thinning out the frame of the second image is used. By determining the tap coefficient as described above by using the existing image as the first image, it is possible to obtain the optimum tap coefficient for generating the missing frame, that is, the tap coefficient for the lost frame generation process.
そして、図10のマルチ画面モードメモリ1572に、そのようにして求められる欠損フレームを生成するのに最適なタップ係数wnを記憶させておき、積和演算部158において、そのタップ係数wnを用いて、式(1)の演算を行うことにより、第1の画像から欠損フレームのない第2の画像を求める欠損フレーム生成処理を行うことができる。
Then, the multi-screen mode memory 157 2 of FIG. 10, may be stored an optimum tap coefficients w n to generate the lost frame obtained in this way, the product-
次に、図11は、式(8)の正規方程式をたてて解くことにより、図10の通常画面モードメモリ1571に記憶させるノイズ除去処理用のクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。 Next, FIG. 11, by solving the normal equations in equation (8), the learning for determining the tap coefficient w n for each normal class for noise removal processing to be stored in the screen mode memory 157 1 in FIG. 10 The example of a structure of the learning apparatus to perform is shown.
学習装置には、タップ係数wnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、ノイズのない高画質画像を用いることができる。 The learning device, so that the learning image used for learning of the tap coefficient w n is input. Here, as the learning image, for example, a high-quality image without noise can be used.
学習装置において、学習用画像は、教師データ生成部171と生徒データ生成部173に供給される。
In the learning device, the learning image is supplied to the teacher
教師データ生成部171は、そこに供給される学習用画像から、第2の画像に対応する、学習の教師(真値)となる教師データを生成し、教師データ記憶部172に供給する。即ち、ここでは、教師データ生成部171は、学習用画像としての高画質画像を、そのまま教師データとして、教師データ記憶部172に供給する。
The teacher
教師データ記憶部172は、教師データ生成部171から供給される教師データとしての高画質画像を記憶する。
The teacher
生徒データ生成部173は、学習用画像から、第1の画像に対応する、学習の生徒となる生徒データを生成し、生徒データ記憶部174に供給する。即ち、生徒データ生成部173は、学習用画像としての高画質画像にノイズを付加することにより、そのS/Nを低下させることで、低画質画像を生成し、この低画質画像を、生徒データとして、生徒データ記憶部174に供給する。
The student
生徒データ記憶部174は、生徒データ生成部173から供給される生徒データとしての低画質画像を記憶する。
The student
係数生成処理部175は、教師データ記憶部172に記憶された教師データとしての高画質画像と、生徒データ記憶部174に記憶された生徒データとしての低画質画像とを用いて、クラスごとに、式(8)の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数wnを求めて出力する。
The coefficient
図12は、図11の学習装置で用いられる学習用画像から生成される教師データとしての高画質画像と、生徒データとしての低画質画像とを示している。なお、図12において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。 FIG. 12 shows a high-quality image as teacher data generated from the learning image used in the learning apparatus of FIG. 11 and a low-quality image as student data. In FIG. 12, the horizontal axis represents time, and the vertical axis represents the vertical direction of the image.
図12の1番上は、図11の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がT1の、ノイズのない高画質画像が採用されている。 The top of FIG. 12 shows a learning image used in the learning apparatus of FIG. As the learning image, for example, a noise-free high-quality image having a frame period T 1 is employed.
図12の上から2番目は、学習用画像から生成される教師データとしての高画質画像を示している。 The second from the top in FIG. 12 shows a high-quality image as teacher data generated from the learning image.
図11の教師データ生成部171では、学習用画像が、そのまま教師データとされるため、教師データは、学習用画像と同一の画像となっている。
In the teacher
図12の一番下は、学習用画像から生成される生徒データとしての低画質画像を示している。 The bottom of FIG. 12 shows a low-quality image as student data generated from the learning image.
図11の生徒データ生成部173では、教師データに等しい学習用画像に、ノイズが付加されることによって、生徒データが生成されるため、生徒データは、教師データである高画質画像にノイズが付加されたS/Nの低い低画質画像となっている。
In the student
図11の係数生成処理部175では、以上のような、ノイズを有する生徒データから、そのノイズがない教師データを、式(1)の演算によって求める(予測する)ための、式(1)のタップ係数wnが、クラスごとに求められる。
In the coefficient
図13は、図11の係数生成処理部175の構成例を示している。
FIG. 13 shows a configuration example of the coefficient
図11の教師データ記憶部172に記憶された教師データとしての画像(以下、適宜、教師画像ともいう)は、予測係数作成部187に供給され、生徒データ記憶部174に記憶された生徒データとしての画像(以下、適宜、生徒画像ともいう)は、動きベクトル検出部181、クラスタップ選択部184、および予測タップ選択部186に供給される。
An image as teacher data (hereinafter also referred to as a teacher image as appropriate) stored in the teacher
注目画素選択部180は、図10の注目画素選択部150と同様に、第2の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素(を表す情報)を、係数生成処理部175の必要なブロックに供給する。
Similar to the target
動きベクトル検出部181は、図10の動きベクトル検出部151が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部174(図11)から供給される第1の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部182、予測タップ構造決定部183、およびクラス生成部185に供給する。
The motion
クラスタップ構造決定部182は、動きベクトル検出部181から供給される動きベクトルにしたがい、図10のクラスタップ構造決定部152が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部184に供給する。
The class tap
予測タップ構造決定部183は、動きベクトル検出部181から供給される動きベクトルにしたがい、図10の予測タップ構造決定部153が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
The prediction tap
クラスタップ選択部184は、クラスタップ構造決定部182からのクラスタップ情報にしたがい、そこに供給される、第1の画像に対応する生徒画像から複数の画素(の画素値)を選択し、クラスタップとして、クラス生成部185に供給する。
The class
ここで、上述したように、クラスタップ選択部184は、クラスタップ構造決定部182からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部182は、動きベクトル検出部181から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部184では、動きベクトル検出部181が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
Here, as described above, the class
なお、注目画素について、クラスタップ構造決定部182が出力するクラスタップ情報は、図10のクラスタップ構造決定部152が通常画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部184は、注目画素について、通常画面モード時における図10のクラスタップ選択部154と同一のタップ構造のクラスタップを出力する。
Note that the class tap information output by the class tap
クラス生成部185は、動きベクトル検出部181から供給される動きベクトルと、クラスタップ選択部184から供給される注目画素についてのクラスタップとに基づき、図10のクラス生成部155における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス(を表すクラスコード)を、予測係数作成部187に供給する。
The
予測タップ選択部186は、予測タップ構造決定部183からの予測タップ情報にしたがい、そこに供給される、第1の画像に対応する生徒画像から複数の画素(の画素値)を選択し、予測タップとして、予測係数作成部187に供給する。
The prediction
ここで、上述したように、予測タップ選択部186は、予測タップ構造決定部183からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部183は、動きベクトル検出部181から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部186では、動きベクトル検出部181が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
Here, as described above, the prediction
なお、注目画素について、予測タップ構造決定部183が出力する予測タップ情報は、図10の予測タップ構造決定部182が通常画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部186は、注目画素について、通常画面モード時における図10の予測タップ選択部156と同一のタップ構造の予測タップを出力する。
Note that the prediction tap information output by the prediction tap
予測係数作成部187は、教師データ記憶部172から供給される教師画像を構成する画素のうちの、注目画素を取得し、その注目画素(の画素値)と、予測タップ選択部186から供給される注目画素について構成された予測タップを構成する生徒画像の画素(画素値)とを対象とした足し込みを、クラス生成部185から供給されるクラスコードごとに行う。
The prediction
即ち、予測係数作成部187は、クラス生成部185から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒画像を構成する画素(以下、適宜、生徒画素ともいう))xn,kを用い、式(8)の左辺の行列における生徒画素どうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
That is, the prediction
さらに、予測係数作成部187は、やはり、クラス生成部185から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒画素)xn,kと注目画素としての教師画像の画素(以下、適宜、教師画素ともいう)ykを用い、式(8)の右辺のベクトルにおける生徒画素xn,kおよび教師画素ykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
Furthermore, the prediction
即ち、予測係数作成部187は、前回、注目画素とされた教師画素について求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)またはベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目画素とされた教師画素について、その教師画素yk+1および生徒画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1またはxn,k+1yk+1を足し込む(式(8)のサメーションで表される加算を行う)。
In other words, the prediction
そして、予測係数作成部187は、教師データ記憶部172に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、ノイズ除去処理に最適なタップ係数wn、即ち、ノイズ除去処理用のタップ係数wnを求めて出力する。
Then, the prediction
次に、図14を参照して、図13のクラスタップ構造決定部182が、動きベクトル検出部181から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
Next, referring to FIG. 14, when the class tap
なお、上述したことから、この決定方法は、動作モードが通常画面モードの場合に、図10のクラスタップ構造決定部152が、通常画面モード用のタップ構造の画素を決定するときの決定方法でもある。
As described above, this determination method is also the determination method used when the class tap
図14上側は、第2の画像に対応する、図11の教師データ生成部171で生成される教師画像(教師データ)を示しており、図14下側は、第1の画像に対応する、図11の生徒データ生成部173で生成される生徒画像(生徒データ)を示している。
The upper side of FIG. 14 shows a teacher image (teacher data) generated by the teacher
なお、図14においては、図12における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。 In FIG. 14, as in the case of FIG. 12, the horizontal axis represents time, and the vertical axis represents the vertical direction of the image.
例えば、いま、図14上側に示すように、第t1フレームの教師画像のある画素(教師画素)が注目画素とされたとする。 For example, now, as shown in FIG. 14 upper, and a pixel of the t 1 frame teacher image (teacher pixel) is a pixel of interest.
この場合、クラスタップ構造決定部182は、図14下側に示すように、注目画素のフレームと同一の第t1フレームの生徒画像において、注目画素と(空間的に)同一の位置にある画素を、注目画素に対応する対応画素とする。
In this case, as shown in the lower side of FIG. 14, the class tap
また、クラスタップ構造決定部182は、動きベクトル検出部181から供給される動きベクトルのうちの、対応画素の動きベクトルを認識する。さらに、クラスタップ構造決定部182は、第t1フレームの生徒画像の対応画素の動きベクトルの始点の第t1フレームの位置を第1のタップ中心位置とするとともに、その動きベクトルの終点の、第t1フレームの次の第t2フレームの位置を第2のタップ中心位置とする。なお、第t2フレームは、第t1フレームの対応画素の動きベクトルが検出されるときに参照されるフレームである。
Further, the class tap
そして、クラスタップ構造決定部182は、第t1フレームの第1のタップ中心位置に最も近い位置の生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第1のタップ中心画素として決定するとともに、第t2フレームの第2のタップ中心位置に最も近い位置の生徒画素を、第2のタップ中心画素として決定する
Then, the class tap
ここで、いまの場合、第1のタップ中心位置は、対応画素の動きベクトルの始点の位置なので、その第1のタップ中心位置は、対応画素の位置に一致し、従って、第1のタップ中心画素は、対応画素となる。 Here, in this case, since the first tap center position is the position of the start point of the motion vector of the corresponding pixel, the first tap center position coincides with the position of the corresponding pixel, and therefore the first tap center. The pixel becomes a corresponding pixel.
また、本実施の形態では、動きベクトルの検出は、上述したように画素の精度で行われる。そして、第2のタップ中心位置は、対応画素の動きベクトルの終点の位置なので、第2のタップ中心画素は、第t1フレームの対応画素の、第t2フレームでの動き先の画素となる。 In the present embodiment, the motion vector is detected with pixel accuracy as described above. The second tap center position, since the position of the end point of the motion vector of the corresponding pixel, the second tap center pixel of the corresponding pixel in the t 1 frame, the movement destination of a pixel in the t 2 frame .
その後、クラスタップ構造決定部182は、第1と第2のタップ中心画素それぞれについて、そのタップ中心画素を中心として、そのタップ中心画素に近い(空間的に近い)複数の画素を、クラスタップを構成する画素として決定する。
Thereafter, the class tap
図13の予測タップ構造決定部183、および通常画面モード用時の図10の予測タップ構造決定部153も同様にして、予測タップを構成する画素を決定する。
Similarly, the prediction tap
図15は、クラスタップおよび予測タップを構成する画素の例を示している。 FIG. 15 shows an example of pixels constituting the class tap and the prediction tap.
ここで、図15において、○印は、生徒画像の画素を示している。そして、○印のうちの●印は、タップ中心画素を示している。さらに、○印のうちの、模様を付していないものは、予測タップのみを構成する画素を示しており、網掛けを付してある○印は、予測タップとクラスタップを構成する画素を示している。即ち、●印と網掛けを付してある○印が、クラスタップを構成する画素であり、●印、網掛けを付してある○印、および模様を付していない○印が予測タップを構成する画素である。 Here, in FIG. 15, the circles indicate the pixels of the student image. The mark ● among the marks ○ indicates the tap center pixel. Further, among the ○ marks, those without a pattern indicate pixels that constitute only the prediction tap, and the ○ marks that are shaded indicate pixels that constitute the prediction tap and the class tap. Show. That is, the circles marked with ● and shaded are the pixels that make up the class tap, and the circles marked with ●, shaded with ○, and unmarked circles are the prediction taps. Is a pixel that constitutes.
図15においては、6パターンのタップ構造のクラスタップおよび予測タップを示してあるが、この6パターンのうちの、例えば、左から1番目のタップ構造が採用される場合、第t1フレームの注目画素については、第t1フレームの生徒画像のタップ中心画素(第1のタップ中心画素)、およびその上下左右それぞれに隣接する画素、並びに第t2フレームの生徒画像のタップ中心画素(第2のタップ中心画素)、およびその上下左右それぞれに隣接する画素の合計10画素が、クラスタップと予測タップそれぞれを構成する画素として決定される。 In Figure 15, although there is shown a class tap and prediction tap of the tap structure of 6 patterns, of the six patterns, for example, if the first tap structure from the left is employed, attention of the t 1 frame As for the pixels, the tap center pixel (first tap center pixel) of the student image in the t 1 frame, the pixels adjacent to the top, bottom, left, and right, respectively, and the tap center pixel (second pixel of the student image in the t 2 frame) A total of 10 pixels of the tap center pixel) and pixels adjacent to the upper, lower, left, and right sides thereof are determined as pixels constituting the class tap and the prediction tap.
なお、クラスタップおよび予測タップのタップ構造は、図15に示した6パターンに限定されるものではない。 Note that the tap structure of the class tap and the prediction tap is not limited to the six patterns shown in FIG.
次に、図16のフローチャートを参照して、図11の学習装置の処理(学習処理)について、説明する。 Next, processing (learning processing) of the learning device in FIG. 11 will be described with reference to the flowchart in FIG.
まず最初に、ステップS151において、教師データ生成部171と生徒データ生成部173が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部171は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部173は、学習用画像にノイズを付加することにより、生徒画像を生成する。
First, in step S151, the teacher
教師データ生成部171が生成した教師画像は、教師データ記憶部172に供給されて記憶され、生徒データ生成部173が生成した生徒画像は、生徒データ記憶部174に供給されて記憶される。
The teacher image generated by the teacher
その後、ステップS152に進み、係数生成処理部175(図13)の注目画素選択部180は、教師データ記憶部172に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS153に進む。
Thereafter, the process proceeds to step S152, and the pixel-of-
ステップS153では、動きベクトル検出部181、クラスタップ構造決定部182、および予測タップ構造決定部183が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップS154に進む。
In step S153, the motion
ステップS154では、動きベクトル検出部181が、ステップS153で認識した対応画素の動きベクトルを、その対応画素のフレームの次のフレームの生徒画像を参照することにより検出し、クラスタップ構造決定部182、予測タップ構造決定部183、クラス生成部185に供給して、ステップS155に進む。
In step S154, the motion
ステップS155では、クラスタップ構造決定部182が、ステップS182で認識した対応画素、および動きベクトル検出部181から供給される対応画素の動きベクトルに基づき、図14で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS155では、クラスタップ構造決定部182は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部184に供給して、ステップS156に進む。
In step S155, the class tap
なお、ステップS155では、予測タップ構造決定部183も、クラスタップ構造決定部182と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部186に供給する。
In step S155, the prediction tap
ステップS156では、クラスタップ選択部184が、生徒データ記憶部174(図11)に記憶された生徒画像から、クラスタップ構造決定部182から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部185に供給する。さらに、ステップS156では、予測タップ選択部186が、生徒データ記憶部174に記憶された生徒画像から、予測タップ構造決定部183から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部187に供給して、ステップS157に進む。
In step S156, the class
ステップS157では、クラス生成部185は、クラスタップ選択部184から供給された注目画素についてのクラスタップと、動きベクトル検出部181から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部187に出力して、ステップS158に進む。
In step S157, the
ステップS158では、予測係数作成部187は、教師データ記憶部172から、注目画素を読み出し、その注目画素と、予測タップ選択部186から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式(8)の足し込みを、クラス生成部185から供給されるクラスコードごとに行い、ステップS159に進む。
In step S158, the prediction
ステップS159では、注目画素選択部180が、教師データ記憶部172に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップS159において、注目画素としていない教師画素が、まだ、教師データ記憶部172に記憶されていると判定された場合、ステップS152に戻り、注目画素選択部180は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
In step S159, the pixel-of-
また、ステップS159において、注目画素としていない教師画素が、教師データ記憶部172に記憶されていないと判定された場合、ステップS160に進み、予測係数作成部187は、いままでの処理によって得られたクラスごとの式(8)の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数wnを求めて出力し、処理を終了する。
If it is determined in step S159 that the teacher pixel that is not the pixel of interest is not stored in the teacher
図10の通常画面モードメモリ1571には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。 To the normal screen mode memory 157 1 in FIG. 10, the tap coefficient w n for each class determined as described above is stored.
次に、図17は、式(8)の正規方程式をたてて解くことにより、図10のマルチ画面モードメモリ1572に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。 Next, FIG. 17, by solving the normal equations in equation (8), learning for determining the tap coefficient w n for each class for the lost frame generation processing is stored in the multi-screen mode memory 157 2 of FIG. 10 2 shows an example of the configuration of a learning device that performs.
学習装置には、タップ係数wnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、欠損フレームのない画像を用いることができる。 The learning device, so that the learning image used for learning of the tap coefficient w n is input. Here, for example, an image without a missing frame can be used as the learning image.
学習装置において、学習用画像は、教師データ生成部191と生徒データ生成部193に供給される。
In the learning apparatus, the learning image is supplied to the teacher
教師データ生成部191は、そこに供給される学習用画像から、第2の画像に対応する教師画像を生成し、教師データ記憶部192に供給する。
The teacher
ここで、動作モードがマルチ画面モードの場合においては、図10の高画質化処理部132がクラス分類適応処理を利用した画像変換の対象とする第1の画像は、4フレームにつき3フレームの欠損フレームが存在する縮小画像である。そして、その第1の画像を対象とした画像変換によって得られる第2の画像は、欠損フレームがない縮小画像である欠損フレームなし縮小画像である。
Here, when the operation mode is the multi-screen mode, the first image to be subjected to image conversion using the class classification adaptive processing by the image quality
このため、教師データ生成部191は、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームがない縮小画像を、教師画像として生成し、教師データ記憶部192に供給する。
For this reason, the teacher
教師データ記憶部192は、教師データ生成部191から供給される教師画像としての欠損フレームのない縮小画像を記憶する。
The teacher
生徒データ生成部193は、学習用画像から、第1の画像に対応する生徒画像を生成し、生徒データ記憶部194に供給する。即ち、生徒データ生成部193は、教師データ生成部191と同様に、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成する。さらに、生徒データ生成部193は、その欠損フレームなし縮小画像のフレームを間引くことにより、4フレームにつき3フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部194に供給する。
The student
生徒データ記憶部194は、生徒データ生成部193から供給される生徒画像を記憶する。
The student
係数生成処理部195は、教師データ記憶部192に記憶された教師画像としての欠損フレームなし縮小画像と、生徒データ記憶部194に記憶された生徒画像としての欠損フレームがある縮小画像(以下、適宜、欠損フレームあり縮小画像という)とを用いて、クラスごとに、式(8)の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数wnを求めて出力する。
The coefficient
図18は、図17の学習装置で用いられる学習用画像から生成される教師画像としての欠損フレームなし縮小画像と、生徒画像としての欠損フレームあり縮小画像とを示している。なお、図18において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。 FIG. 18 shows a reduced image without a missing frame as a teacher image generated from the learning image used in the learning apparatus of FIG. 17 and a reduced image with a missing frame as a student image. In FIG. 18, the horizontal axis represents time, and the vertical axis represents the vertical direction of the image.
図18の1番上は、図17の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がT1の、欠損フレームがない画像が採用されている。 The top part of FIG. 18 shows a learning image used in the learning apparatus of FIG. As the learning image, for example, an image having a frame period T 1 and no missing frame is employed.
図18の上から2番目は、学習用画像から生成される教師画像としての欠損フレームなし縮小画像を示している。 The second from the top in FIG. 18 shows a reduced image without a missing frame as a teacher image generated from the learning image.
図17の教師データ生成部191では、学習用画像が縮小されることによって、教師画像が生成されるため、教師画像は、学習用画像を縮小しただけの、フレーム周期がT1の欠損フレームなし縮小画像となっている。
The tutor
図18の一番下は、学習用画像から生成される生徒画像としての欠損フレームあり縮小画像を示している。 The bottom of FIG. 18 shows a reduced image with a missing frame as a student image generated from the learning image.
図17の生徒データ生成部193では、学習用画像が縮小され、さらにフレームが間引かれることによって、生徒画像が生成されるため、生徒画像は、学習用画像を縮小した、欠損フレームが存在する欠損フレームあり縮小画像となっている。
In the student
なお、動作モードがマルチ画面モードの場合に、図10の高画質化処理部132がクラス分類適応処理を利用した画像変換の対象とする第1の画像は、上述したように、4フレームにつき3フレームの欠損フレームが存在する縮小画像であるため、生徒データ生成部193は、そのような縮小画像を生徒画像として生成する。
Note that when the operation mode is the multi-screen mode, the first image to be subjected to image conversion using the class classification adaptive processing by the high image
即ち、生徒データ生成部193では、学習用画像を縮小しただけの欠損フレームなし縮小画像のフレームのうちの4フレームにつき3フレームを間引くことにより、第1の画像に対応する生徒画像を生成する。従って、生徒画像は、画像が4×T1おきにしか存在しない欠損フレームあり縮小画像となる。
That is, the student
図19の係数生成処理部195では、以上のような、欠損フレームあり縮小画像である生徒画像から、欠損フレームなし縮小画像である教師画像を、式(1)の演算によって求める(予測する)ための、式(1)のタップ係数wnが、クラスごとに求められる。
The coefficient
なお、欠損フレームあり縮小画像である生徒画像を、欠損フレームなし縮小画像である教師画像に変換することは、あるフレームレートの画像を、他のフレームレートに変換することと捉えることができる。従って、例えば、いま、学習用画像のフレームレートを、Rf[フレーム/秒]と表すこととして、その学習用画像のフレームを間引くことにより、フレームレートがRf/Nの教師画像を生成するとともに、フレームレートがRf/Mの生徒画像を生成して、係数生成処理部195でタップ係数wnの学習を行えば、第1の画像を、そのフレームレートのN/Mのフレームレートの第2の画像に変換するタップ係数wnが得られることになる。
Note that converting a student image that is a reduced image with a missing frame into a teacher image that is a reduced image without a missing frame can be understood as converting an image with a certain frame rate to another frame rate. Thus, for example, now, the frame rate of the learning image, as be expressed as R f [frame / second], by thinning out frames of the learning image, the frame rate to produce a teacher image of R f / N At the same time, if a student image having a frame rate of R f / M is generated and the coefficient
図19は、図17の係数生成処理部195の構成例を示している。
FIG. 19 shows a configuration example of the coefficient
図17の教師データ記憶部192に記憶された教師画像としての欠損フレームなし縮小画像は、予測係数作成部207に供給され、生徒データ記憶部194に記憶された生徒画像としての欠損フレームあり縮小画像は、動きベクトル検出部201、クラスタップ選択部204、および予測タップ選択部206に供給される。
The reduced image without a missing frame as a teacher image stored in the teacher
注目画素選択部200は、図10の注目画素選択部150と同様に、第2の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素(を表す情報)を、係数生成処理部195の必要なブロックに供給する。
Similar to the target
動きベクトル検出部201は、図10の動きベクトル検出部151が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部194(図17)から供給される第1の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部202、予測タップ構造決定部203、およびクラス生成部205に供給する。
The motion
即ち、動きベクトル検出部201は、生徒画像である欠損フレームあり縮小画像の非欠損フレームの画素それぞれの動きベクトルを、その次の非欠損フレームを参照することにより検出し、クラスタップ構造決定部202、予測タップ構造決定部203、およびクラス生成部205に供給する。
That is, the motion
具体的には、本実施の形態では、生徒画像である欠損フレームあり縮小画像は、教師画像である欠損フレームなし縮小画像のフレームと比較すると、4フレームごとにしか非欠損フレームが存在しないため、非欠損フレームである第nフレームの生徒画素の動きベクトルは、その次の非欠損フレームである第n+4フレームを参照して検出される。 Specifically, in the present embodiment, a reduced image with a missing frame that is a student image has a non-missing frame only every four frames as compared to a reduced image without a missing frame that is a teacher image. The motion vector of the student pixel in the nth frame, which is a non-defective frame, is detected with reference to the n + 4th frame, which is the next non-defective frame.
クラスタップ構造決定部202は、動きベクトル検出部201から供給される動きベクトルにしたがい、図10のクラスタップ構造決定部152が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部204に供給する。
The class tap
予測タップ構造決定部203は、動きベクトル検出部201から供給される動きベクトルにしたがい、図10の予測タップ構造決定部153が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
The prediction tap
クラスタップ選択部204は、クラスタップ構造決定部202からのクラスタップ情報にしたがい、そこに供給される、第1の画像に対応する生徒画像から複数の画素(の画素値)を選択し、クラスタップとして、クラス生成部205に供給する。
The class
ここで、上述したように、クラスタップ選択部204は、クラスタップ構造決定部202からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部202は、動きベクトル検出部201から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部204では、動きベクトル検出部201が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
Here, as described above, the class
なお、注目画素について、クラスタップ構造決定部202が出力するクラスタップ情報は、図10のクラスタップ構造決定部152がマルチ画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部204は、注目画素について、マルチ画面モード時における図10のクラスタップ選択部154と同一のタップ構造のクラスタップを出力する。
Note that the class tap information output by the class tap
クラス生成部205は、動きベクトル検出部201から供給される動きベクトルと、クラスタップ選択部204から供給される注目画素についてのクラスタップとに基づき、図10のクラス生成部155における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス(を表すクラスコード)を、予測係数作成部207に供給する。
Based on the motion vector supplied from the motion
予測タップ選択部206は、予測タップ構造決定部203からの予測タップ情報にしたがい、そこに供給される、第1の画像に対応する生徒画像から複数の画素(の画素値)を選択し、予測タップとして、予測係数作成部207に供給する。
The prediction
ここで、上述したように、予測タップ選択部206は、予測タップ構造決定部203からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部203は、動きベクトル検出部201から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部206では、動きベクトル検出部201が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
Here, as described above, the prediction
なお、注目画素について、予測タップ構造決定部203が出力する予測タップ情報は、図10の予測タップ構造決定部153がマルチ画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部206は、注目画素について、マルチ画面モード時における図10の予測タップ選択部156と同一のタップ構造の予測タップを出力する。
Note that the prediction tap information output by the prediction tap
予測係数作成部207は、教師データ記憶部192から供給される教師画像を構成する画素のうちの、注目画素を取得し、図13の予測係数作成部187における場合と同様に、注目画素(の画素値)と、予測タップ選択部206から供給される注目画素について構成された予測タップを構成する生徒画像の画素(画素値)とを対象とした足し込みを、クラス生成部205から供給されるクラスコードごとに行う。
The prediction
そして、予測係数作成部207は、教師データ記憶部192に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、欠損フレーム生成処理に最適なタップ係数wn、即ち、欠損フレーム生成処理用のタップ係数wnを求めて出力する。
Then, the prediction
次に、図20を参照して、図19のクラスタップ構造決定部202が、動きベクトル検出部201から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
Next, referring to FIG. 20, when the class tap
なお、上述したことから、この決定方法は、動作モードがマルチ画面モードの場合に、図10のクラスタップ構造決定部152が、マルチ画面モード用のタップ構造の画素を決定するときの決定方法でもある。
As described above, this determination method is also the determination method used when the class tap
図20の上から1番目は、第2の画像に対応する、図17の教師データ生成部191で生成される教師画像(教師画像)を示しており、図20の上から2番目および3番目は、第1の画像に対応する、図17の生徒データ生成部193で生成される生徒画像(生徒画像)を示している。
The first from the top in FIG. 20 shows the teacher image (teacher image) generated by the teacher
なお、図20においては、図18における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。 In FIG. 20, as in FIG. 18, the horizontal axis represents time, and the vertical axis represents the vertical direction of the image.
上述したように、教師画像は、フレーム周期T1でフレームが存在する欠損フレームなし画像(縮小画像)となっており(図20の上から1番目)、生徒画像は、4フレームにつき3フレームが欠損フレームとなっている欠損フレームあり画像(縮小画像)となっている。 As described above, the teacher image is an image without a missing frame (reduced image) in which the frame exists at the frame period T 1 (first from the top in FIG. 20), and the student image has 3 frames per 4 frames. It is an image with a missing frame (reduced image) that is a missing frame.
なお、図20では、教師画像の第t1フレームを最初のフレームとして、i番目のフレームを、第tiフレームと表してある。従って、生徒画像の最初の非欠損フレームを、第t1フレームとすると、その次の非欠損フレームは、第t5フレームである。 In FIG. 20, as the first frame the first t 1 frame of the teacher image, the i-th frame, is represented and the t i frame. Therefore, if the first non-defective frame of the student image is the t 1 frame, the next non-defective frame is the t 5th frame.
例えば、いま、図20の一番上に示すように、第t2フレームの教師画像のある画素(教師画素)A1が注目画素とされたとする。 For example, now, as shown at the top of FIG. 20, a certain pixel of the t 2 frames teacher image (teacher pixel) A 1 is the pixel of interest.
この場合、クラスタップ構造決定部202は、例えば、図20の上から2番目に示すように、その注目画素A1の第t2フレームの直前の生徒画像の非欠損フレームである第t1フレームにおいて、注目画素A1と(空間的に)同一の位置にある生徒画素B2を、注目画素に対応する対応画素とする。
In this case, the class tap
また、クラスタップ構造決定部202は、動きベクトル検出部201から供給される動きベクトルのうちの、対応画素B2の動きベクトルを認識する。さらに、クラスタップ構造決定部202は、第t1フレームの生徒画像の対応画素B2の動きベクトルを、図20の上から2番目に点線で示すように、注目画素A1を通るように補正し、その結果得られる補正ベクトルの始点の第t1フレームの位置を第1のタップ中心位置とするとともに、その補正ベクトルの終点の、第t1フレームの次の非欠損フレームである第t5フレームの位置を第2のタップ中心位置とする。
Further, the class tap
そして、クラスタップ構造決定部202は、例えば、第t1フレームの第1のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第1のタップ中心画素として決定するとともに、第t5フレームの第2のタップ中心位置に最も近い生徒画素を、第2のタップ中心画素として決定する
Then, the class tap
ここで、図20の上から2番目においては、第1のタップ中心位置は、第t1フレームの生徒画素のうちの対応画素B2からが最も近い位置になっており、従って、第1のタップ中心画素は、対応画素B2となる。 Here, in the second from the top in FIG. 20, the first tap center position is the closest position to the corresponding pixel B 2 among the student pixels in the t 1 frame, and accordingly, tap the center pixel is a corresponding pixel B 2.
また、第2のタップ中心位置は、第t5フレームの生徒画素のうちの生徒画素B4からが最も近い位置になっており、従って、第2のタップ中心画素は、生徒画素B4となる。 Further, the second tap center position is the position closest to the student pixel B 4 among the student pixels of the t 5th frame, and therefore the second tap center pixel is the student pixel B 4. .
即ち、図20の上から2番目においては、結果的に、対応画素B2の動きベクトルの始点の画素B2と終点の画素B4が、それぞれ第1と第2のタップ中心画素となっている。 That is, in the second from the top in FIG. 20, as a result, the start pixel B 2 and the end pixel B 4 of the motion vector of the corresponding pixel B 2 become the first and second tap center pixels, respectively. Yes.
一方、例えば、図20の一番上に示すように、第t2フレームの2フレーム後の第t4フレームの教師画像のある画素(教師画素)A2が注目画素とされた場合、クラスタップ構造決定部202は、図20の上から3番目に示すように、やはり、その注目画素A2の第t4フレームの直前の生徒画像の非欠損フレームである第t1フレームにおいて、注目画素A2と(空間的に)同一の位置にある生徒画素B2を、注目画素に対応する対応画素とする。
On the other hand, for example, as shown at the top of FIG. 20, when a pixel (teacher pixel) A 2 in the teacher image of the t 4th frame after 2 frames of the t 2 frame is the target pixel, the class tap As shown in the third part from the top in FIG. 20, the
また、クラスタップ構造決定部202は、上述した場合と同様に、動きベクトル検出部201から供給される動きベクトルのうちの、対応画素B2の動きベクトルを認識し、その対応画素B2の動きベクトルを、図20の上から3番目に点線で示すように、注目画素A2を通るように補正し、その結果得られる補正ベクトルの始点の第t1フレームの位置を第1のタップ中心位置とするとともに、その補正ベクトルの終点の、第t1フレームの次の非欠損フレームである第t5フレームの位置を第2のタップ中心位置とする。
Similarly to the case described above, the class tap
そして、クラスタップ構造決定部202は、例えば、第t1フレームの第1のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第1のタップ中心画素として決定するとともに、第t5フレームの第2のタップ中心位置に最も近い生徒画素を、第2のタップ中心画素として決定する
Then, the class tap
ここで、図20の上から3番目(1番下)においては、第1のタップ中心位置は、第t1フレームの生徒画素のうちの、対応画素B2ではない生徒画素B1からが最も近い位置になっており、従って、第1のタップ中心画素は、対応画素B1となる。 Here, in the third (bottommost) from the top in FIG. 20, first tap center position of the pupil pixels in the first t 1 frame, from the student pixel B 1 is not a corresponding pixel B 2 Most Accordingly, the first tap center pixel is the corresponding pixel B 1 .
また、第2のタップ中心位置は、第t5フレームの生徒画素のうちの生徒画素B3からが最も近い位置になっており、従って、第2のタップ中心画素は、生徒画素B3となる。 Further, the second tap center position is the position closest to the student pixel B 3 among the student pixels of the t 5th frame, and therefore the second tap center pixel is the student pixel B 3. .
その後、クラスタップ構造決定部202は、第1と第2のタップ中心画素それぞれについて、そのタップ中心画素を中心として、例えば、上述の図15に示したように、そのタップ中心画素に近い(空間的に近い)複数の生徒画素を、クラスタップを構成する画素として決定する。
Thereafter, the class tap
図19の予測タップ構造決定部203、およびマルチ画面モード用時の図10の予測タップ構造決定部153も同様にして、予測タップを構成する画素を決定する。
Similarly, the prediction tap
次に、図21のフローチャートを参照して、図17の学習装置の処理(学習処理)について、説明する。 Next, processing (learning processing) of the learning device in FIG. 17 will be described with reference to the flowchart in FIG.
まず最初に、ステップS171において、教師データ生成部191と生徒データ生成部193が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部191は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部193は、学習用画像を縮小し、さらに、フレームを間引くことにより、4フレームにつき3フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
First, in step S171, the teacher
教師データ生成部191が生成した教師画像は、教師データ記憶部192に供給されて記憶され、生徒データ生成部193が生成した生徒画像は、生徒データ記憶部194に供給されて記憶される。
The teacher image generated by the teacher
その後、ステップS172に進み、係数生成処理部195(図19)の注目画素選択部200は、教師データ記憶部192に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS173に進む。
Thereafter, the process proceeds to step S172, and the pixel-of-
ステップS173では、動きベクトル検出部201、クラスタップ構造決定部202、および予測タップ構造決定部203が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップS174に進む。
In step S173, the motion
ステップS174では、動きベクトル検出部201が、ステップS173で認識した対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームの生徒画像を参照することにより検出し、クラスタップ構造決定部202、予測タップ構造決定部203、およびクラス生成部205に供給して、ステップS175に進む。
In step S174, the motion
ステップS175では、クラスタップ構造決定部202および予測タップ構造決定部203が、対応画素の動きベクトルを、図20で説明したように、注目画素を通るように補正することにより、補正ベクトルを求めて、ステップS176に進む。
In step S175, the class tap
ここで、補正ベクトルは、正確には、ベクトルではなく、動きベクトルの方向の、注目画素(の位置)を通る、その注目画素のフレームの直前の非欠損フレームと直後の非欠損フレームとで区切られる線分である。なお、非欠損フレームが、注目画素のフレームと一致する場合には、その非欠損フレームは、注目画素のフレームの直前の非欠損フレーム、または直後の非欠損フレームのうちのいずれか一方(例えば、注目画素のフレームの直前の非欠損フレーム)とみなすこととする。 Here, the correction vector is not exactly a vector, but is divided into a non-missing frame immediately before and after a non-missing frame of the pixel of interest passing through the pixel of interest (position) in the direction of the motion vector. Line segment. When the non-missing frame matches the frame of the pixel of interest, the non-missing frame is one of the non-missing frame immediately before the frame of the pixel of interest or the non-missing frame immediately after (for example, The non-defective frame immediately before the frame of the target pixel).
ステップS176では、クラスタップ構造決定部202が、ステップS173で認識した対応画素、およびS175で求めた補正ベクトルに基づき、図20で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS176では、クラスタップ構造決定部202は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部204に供給して、ステップS177に進む。
In step S176, the class tap
なお、ステップS176では、予測タップ構造決定部203も、クラスタップ構造決定部202と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部206に供給する。
In step S176, the prediction tap
ステップS177では、クラスタップ選択部204が、生徒データ記憶部194(図17)に記憶された生徒画像から、クラスタップ構造決定部202から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部205に供給する。さらに、ステップS177では、予測タップ選択部206が、生徒データ記憶部194に記憶された生徒画像から、予測タップ構造決定部203から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部207に供給して、ステップS178に進む。
In step S177, the class
ステップS178では、クラス生成部205は、クラスタップ選択部204から供給された注目画素についてのクラスタップと、動きベクトル検出部201から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部207に出力して、ステップS179に進む。
In step S178, the
ステップS179では、予測係数作成部207は、教師データ記憶部192から、注目画素を読み出し、その注目画素と、予測タップ選択部206から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式(8)の足し込みを、クラス生成部205から供給されるクラスコードごとに行い、ステップS180に進む。
In step S179, the prediction
ステップS180では、注目画素選択部200が、教師データ記憶部192に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップS180において、注目画素としていない教師画素が、まだ、教師データ記憶部192に記憶されていると判定された場合、ステップS172に戻り、注目画素選択部200は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
In step S180, the pixel-of-
また、ステップS180において、注目画素としていない教師画素が、教師データ記憶部192に記憶されていないと判定された場合、ステップS181に進み、予測係数作成部207は、いままでの処理によって得られたクラスごとの式(8)の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数wnを求めて出力し、処理を終了する。
If it is determined in step S180 that the teacher pixel that is not the pixel of interest is not stored in the teacher
図10のマルチ画面モードメモリ1572には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。 A multi-screen mode memory 157 2 of FIG. 10, the tap coefficient w n for each class determined as described above is stored.
次に、図22のフローチャートを参照して、以上のようなタップ係数を記憶している図10の高画質化処理部132の処理について説明する。
Next, the processing of the image quality
まず最初に、ステップS201において、動きベクトル検出部151、クラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157が、システムコントローラ118(図1)から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップS202に進む。
First, in step S201, the motion
ステップS202では、注目画素選択部150は、入力メモリ131(図4)から高画質化処理部132に供給される第1の画像をクラス分類適応処理により変換することによって得られる第2の画像を構成する画素のうちの、まだ注目画素としていないものの1つを、注目画素として選択し、ステップS203に進む。
In step S202, the pixel-of-
ステップS203では、動きベクトル検出部151は、入力メモリ131(図4)から供給される第1の画像を構成する画素のうちの、注目画素に対応する対応画素の動きベクトルを検出し、クラスタップ構造決定部152、予測タップ構造決定部153、およびクラス生成部155に供給して、ステップS204に進む。
In step S203, the motion
ステップS204では、クラスタップ構造決定部152は、動きベクトル検出部151から供給される動きベクトルにしたがい、注目画素について、第1と第2のタップ中心位置を求め、入力メモリ131(図4)から供給される第1の画像を構成する画素のうちの、第1と第2のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第1と第2のタップ中心画素として求める。さらに、ステップS204では、クラスタップ構造決定部152は、第1と第2のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第1の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
In step S204, the class tap
また、ステップS204では、予測タップ構造決定部153も、クラスタップ構造決定部152における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
Further, in step S204, the prediction tap
その後、ステップS204からS205に進み、クラスタップ選択部154は、クラスタップ構造決定部152からのクラスタップ情報にしたがい、入力メモリ131に記憶された第1の画像から複数の画素(の画素値)を選択し、注目画素についてのクラスタップとして、クラス生成部155に供給する。さらに、ステップS205では、予測タップ選択部156は、予測タップ構造決定部153からの予測タップ情報にしたがい、入力メモリ131に記憶された第1の画像から複数の画素(の画素値)を選択し、注目画素についての予測タップとして、積和演算部158に供給して、ステップS206に進む。
Thereafter, the process proceeds from step S204 to step S205, and the class
ステップS206では、クラス生成部155は、動きベクトル検出部151から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部154から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス(を表すクラスコード)を、係数メモリ157に供給して、ステップS207に進む。
In step S206, the
ステップS207では、係数メモリ157は、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給し、ステップS208に進む。
In step S207, the coefficient memory 157 reads the tap coefficient of the class of the pixel of interest supplied from the
ステップS208では、積和演算部158は、予測タップ選択部156からの注目画素についての予測タップと、係数メモリ157からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式(1)の演算を行うことにより、注目画素(の画素値)を求めて出力する。
In step S208, the product-
その後、ステップS208からS209に進み、注目画素選択部150は、第2の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップS209において、まだ注目画素としていない第2の画像の画素があると判定された場合、ステップS202に戻り、注目画素選択部150は、まだ注目画素としていない第2の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
Thereafter, the process proceeds from step S208 to S209, and the target
また、ステップS209において、まだ注目画素としていない第2の画像の画素がないと判定された場合、処理を終了する。 If it is determined in step S209 that there is no pixel in the second image that has not yet been set as the target pixel, the process ends.
ところで、動作モードが通常画面モードの場合には、図7等で説明したように、高画質化処理部132(図4)には、入力メモリ131から、チューナ部111(図1)が出力するチャンネルCH1などのある1チャンネルの画像(通常の画像)が供給される。そして、高画質化処理部132(図10)は、その通常の画像を、第1の画像として、ノイズ除去処理としてのクラス分類適応処理を行い、その通常の画像からノイズを除去したノイズ除去画像を、第2の画像として求める。
When the operation mode is the normal screen mode, as described with reference to FIG. 7 and the like, the tuner 111 (FIG. 1) outputs the image quality improvement processing unit 132 (FIG. 4) from the
一方、動作モードがマルチ画面モードの場合には、図8等で説明したように、高画質化処理部132(図4)には、入力メモリ131から、例えば、チューナ部111(図1)で1フレームごとに時分割に受信された4つのチャンネルCH1乃至CH4の画像それぞれの欠損フレームあり縮小画像が供給される。そして、高画質化処理部132(図10)は、その4つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、第1の画像として、欠損フレーム生成処理としてのクラス分類適応処理を行い、4つのチャンネルCH1乃至CH4それぞれについて、欠損フレームなし縮小画像を、第2の画像として求める。
On the other hand, when the operation mode is the multi-screen mode, as described in FIG. 8 and the like, the image quality improvement processing unit 132 (FIG. 4) is input from the
このように、高画質化処理部132では、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
As described above, in the high image
そこで、図1のシステムコントローラ118は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部132(図10)の動きベクトル検出部151、クラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157に供給(送信)する。
Therefore, when the operation mode is the normal screen mode or the multi-screen mode, the
そして、動きベクトル検出部151、クラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157は、図22のステップS201で説明したように、システムコントローラ118から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
The motion
具体的には、動作モードが通常画面モードの場合、図22のステップS203において、動きベクトル検出部151は、注目画素と同一フレームの第1の画像としてのチャンネルCH1の通常の画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップS203では、動きベクトル検出部151は、対応画素の動きベクトルを、その対応画素のフレームの次のフレームのチャンネルCH1の通常の画像を参照することにより検出し、クラスタップ構造決定部152、予測タップ構造決定部153、クラス生成部155に供給する。
Specifically, when the operation mode is the normal screen mode, in step S203 of FIG. 22, the motion
また、ステップS204では、クラスタップ構造決定部152は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図14で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS204では、クラスタップ構造決定部152は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
In step S204, the class tap
同様に、ステップS204では、予測タップ構造決定部153も、クラスタップ構造決定部152と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
Similarly, in step S204, the prediction tap
また、ステップS207では、係数メモリ157は、通常画面モードメモリ1571とマルチ画面モードメモリ1572のうちの通常画面モードメモリ1571を選択し、その選択した通常画面モードメモリ1571に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給する。
In step S207, the coefficient memory 157 selects the normal screen mode memory 157 1 out of the normal screen mode memory 157 1 and the multi-screen mode memory 157 2 , and is stored in the selected normal screen mode memory 157 1. Among the tap coefficients for noise removal processing, the tap coefficient of the class of the pixel of interest supplied from the
一方、動作モードがマルチ画面モードの場合、第1の画像としての4つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある1チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図22のステップS203において、動きベクトル検出部151は、注目画素のフレームの直前の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップS203では、動きベクトル検出部151は、対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像を参照することにより検出し、クラスタップ構造決定部152、予測タップ構造決定部153、クラス生成部155に供給する。
On the other hand, when the operation mode is the multi-screen mode, the reduced image with missing frames of the four channels CH1 to CH4 as the first image is one channel, for example, the reduced image with missing frames of the channel CH1. When attention is paid, in step S203 of FIG. 22, the motion
また、ステップS204では、クラスタップ構造決定部152は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図20で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS204では、クラスタップ構造決定部152は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
In step S204, the class tap
同様に、ステップS204では、予測タップ構造決定部153も、クラスタップ構造決定部152と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
Similarly, in step S204, similarly to the class tap
また、ステップS207では、係数メモリ157は、通常画面モードメモリ1571とマルチ画面モードメモリ1572のうちのマルチ画面モードメモリ1572を選択し、その選択したマルチ画面モードメモリ1572に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給する。
In step S207, the coefficient memory 157 selects the multi-screen mode memory 157 2 of the normal screen mode memory 157 1 and the multi-screen mode memory 157 2, stored in the multi-screen mode memory 157 2 that the selected Of the tap coefficients for missing frame generation processing, the tap coefficient of the class of the pixel of interest supplied from the
次に、図23は、図1の信号処理部114(さらには、信号処理部115および116)の他の構成例を示している。なお、図中、図4における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図23の信号処理部114は、高画質化処理部132に代えて高画質化処理部232が設けられているとともに、動きベクトル検出部234が新たに設けられている他は、図4における場合と同様に構成されている。
Next, FIG. 23 shows another configuration example of the signal processing unit 114 (and further, the
高画質化処理部232は、動作モードが通常画面モードの場合、図4の高画質化処理部132と同様に、システムコントローラ118からの制御信号にしたがって、入力メモリ131から供給される第1の画像としての、例えば、チャンネルCH1の通常の画像のフレームの画質を向上させたフレームを生成するノイズ除去処理を行い、即ち、入力メモリ131から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去し、その結果得られる第2の画像としての、ノイズが除去(低減)されたチャンネルCH1の画像のフレームを、出力メモリ133に供給する。
When the operation mode is the normal screen mode, the high image
また、高画質化処理部232は、動作モードがマルチ画面モードの場合、やはり、図4の高画質化処理部132と同様に、システムコントローラ118からの制御信号にしたがって、入力メモリ131から供給される第1の画像としての、例えば、チャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれから、第2の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれを生成する欠損フレーム生成処理を行い、その第2の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれを、出力メモリ133に供給する。
Further, when the operation mode is the multi-screen mode, the image quality
但し、高画質化処理部232は、ノイズ除去処理および欠損フレーム生成処理を、動きベクトル検出部234から供給される動きベクトルを用いて行うようになっている。
However, the image quality
動きベクトル検出部234には、図1のチューナ部111が入力メモリ131に供給するのと同一の画像が供給されるようになっている。従って、動作モードが通常画面モードである場合、動きベクトル検出部234には、入力メモリ131から高画質化処理部232に供給される第1の画像と同一の、例えば、チャンネルCH1の通常の画像が供給される。
The motion
動きベクトル検出部234は、動作モードが通常画面モードの場合、システムコントローラ118(図1)から供給される制御信号にしたがい、通常画面モード用の動きベクトルを検出する通常画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部111が出力するチャンネルCH1の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部232に供給する。
When the operation mode is the normal screen mode, the motion
一方、動作モードがマルチ画面モードである場合、動きベクトル検出部234には、図1のチューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像それぞれが供給される。
On the other hand, when the operation mode is the multi-screen mode, the motion
動きベクトル検出部234は、動作モードがマルチ画面モードの場合、システムコントローラ118(図1)から供給される制御信号にしたがい、マルチ画面モード用の動きベクトルを検出するマルチ画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像のうちの、あるチャンネルとしての、例えば、チャンネルCH1の欠損フレームあり画像に注目すると、チャンネルCH1の欠損フレームあり画像の非欠損フレームを構成する各画素の動きベクトルを、チャンネルCH1の、その次の非欠損フレームを参照して検出する動きベクトル検出処理を行う。さらに、動きベクトル検出部234は、その動きベクトル検出処理の結果得られる動きベクトルの大きさを、後述する理由により1/2に縮小し、その1/2の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部232に供給する。
When the operation mode is the multi-screen mode, the motion
動作モードがマルチ画面モードの場合、動きベクトル検出部234は、他のチャンネルCH2乃至CH4の欠損フレームあり画像についても、同様にして、マルチ画面モード用の動きベクトルを求め、高画質化処理部232に供給する。
When the operation mode is the multi-screen mode, the motion
なお、動作モードがマルチ画面モードの場合に、動きベクトル検出部234において、非欠損フレームの画素について検出した動きベクトルを、1/2の大きさにするのは、次のような理由による。
In addition, when the operation mode is the multi-screen mode, the motion vector detected by the motion
即ち、マルチ画面モードでは、上述したように、1フレームが、2×2(横×縦)の4つの小画面に等分割されて、4チャンネルCH1乃至CH4の縮小画像が、それぞれ表示される。このため、入力メモリ131から高画質化処理部232に対しては、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像それぞれを、小画面の大きさに縮小した大きさ、即ち、1フレームの画像の横と縦の画素数を、それぞれ1/2に縮小した(間引いた)大きさの欠損フレームあり縮小画像が供給される。
That is, in the multi-screen mode, as described above, one frame is equally divided into four small screens of 2 × 2 (horizontal × vertical), and reduced images of four channels CH1 to CH4 are respectively displayed. Therefore, from the
一方、動きベクトル検出部234では、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像(縮小されていない画像)それぞれを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、欠損フレームあり縮小画像を対象として動きベクトルを検出した場合の大きさの2倍となる。このため、動作モードがマルチ画面モードの場合、動きベクトル検出部234は、チャンネルCH1乃至CH4の欠損フレームあり画像(縮小されていない画像)それぞれを対象に検出した動きベクトルを、欠損フレームあり縮小画像を対象として検出した動きベクトルに対応させるために、1/2の大きさに縮小して、高画質化処理部232に供給するようになっている。
On the other hand, since the motion
以上のように構成される信号処理部114では、動作モードが通常画面モードの場合、チューナ部111から、例えば、チャンネルCH1の通常の画像が、入力メモリ131と動きベクトル検出部234に供給される。
In the signal processing unit 114 configured as described above, when the operation mode is the normal screen mode, for example, a normal image of the channel CH1 is supplied from the
入力メモリ131は、システムコントローラ118からの制御信号にしたがって、チューナ部111からのチャンネルCH1の通常の画像を一時記憶し、その記憶した画像を、そのまま、高画質化処理部132に供給する。
The
また、動きベクトル検出部234は、システムコントローラ118からの制御信号にしたがい、チューナ部111が出力するチャンネルCH1の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部232に供給する。
Further, the motion
高画質化処理部232は、システムコントローラ118からの制御信号にしたがい、動きベクトル検出部234からの動きベクトルを用いて、入力メモリ131から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去するノイズ除去処理としてのクラス分類適応処理を行い、そのノイズ除去処理結果としてのノイズ除去画像を、第2の画像として、出力メモリ133に供給する。
The image quality
出力メモリ133は、システムコントローラ118からの制御信号にしたがい、高画質化処理部232が出力する第2の画像としてのチャンネルCH1のノイズ除去画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ117(図1)に供給する。
The
一方、動作モードがマルチ画面モードの場合、チューナ部111から、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像それぞれが、入力メモリ131と動きベクトル検出部234に供給される。
On the other hand, when the operation mode is the multi-screen mode, the
入力メモリ131は、システムコントローラ118からの制御信号にしたがって、チューナ部111からのチャンネルCH1乃至CH4の欠損フレームあり画像を記憶するとともに読み出すことで、各フレームのサイズ(大きさ)を、マルチ画面の小画面のサイズに縮小し、即ち、フレームの横と縦の画素数を、それぞれ1/2に縮小(間引き)し、その結果得られるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、高画質化処理部232に供給する。
The
また、動きベクトル検出部234は、システムコントローラ118からの制御信号にしたがい、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像それぞれの非欠損フレームを構成する画素の動きベクトルを検出し、その動きベクトルの大きさを1/2に縮小する。そして、動きベクトル検出部234は、その1/2の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部232に供給する。
Further, the motion
高画質化処理部232は、システムコントローラ118からの制御信号にしたがい、動きベクトル検出部234からの動きベクトルを用いて、入力メモリ131から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを第1の画像として、欠損フレームを生成する欠損フレーム生成処理としてのクラス分類適応処理を行い、その欠損フレーム生成処理の結果得られる第2の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像を、出力メモリ133に供給する。
The image quality
出力メモリ133は、システムコントローラ118からの制御信号にしたがって、高画質化処理部232からのチャンネルCH1乃至CH4の欠損フレームなし縮小画像の書き込みを行うことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像の同一フレームを合成し、その結果得られる、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを、ディスプレイ117に供給する。
The
次に、図24は、図23の動きベクトル検出部234の構成例を示すブロック図である。
Next, FIG. 24 is a block diagram illustrating a configuration example of the motion
チューナ部111(図1)が出力する画像(入力画像)は、フレームメモリ241および動き検出回路244に供給される。
An image (input image) output from the tuner unit 111 (FIG. 1) is supplied to the
フレームメモリ241は、そこに供給される入力画像のフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路242およびセレクタ243に供給する。従って、動き検出回路244に、第n+4フレームの入力画像が供給されるとき、フレームメモリ241から遅延回路242およびセレクタ243には、その1フレーム前の第n+3フレームの入力画像が供給される。
The
遅延回路242は、フレームメモリ241から供給される入力画像のフレームを、3フレーム分だけ遅延して、セレクタ243に供給する。従って、チューナ部111から動きベクトル検出部234に供給される入力画像のフレームは、フレームメモリ241および遅延回路242で、合計4フレーム分だけ遅延され、セレクタ243に供給されるから、動き検出回路244に、第n+4フレームの入力画像が供給されるとき、遅延回路242からセレクタ243には、その4フレーム前の第nフレームの入力画像が供給される。
The delay circuit 242 delays the frame of the input image supplied from the
セレクタ243には、上述したように、フレームメモリ241から第n+3フレームの入力画像が供給されるとともに、遅延回路242から第nフレームの入力画像が供給される。セレクタ243は、システムコントローラ118(図1)から供給される制御信号にしたがい、フレームメモリ241からの第n+3フレームの入力画像、または遅延回路242からの第nフレームの入力画像のうちの一方を選択し、動き検出回路244に供給する。
As described above, the
動き検出回路244は、セレクタ243から供給される入力画像のフレームの各画素の動きベクトルを、チューナ部111(図1)から供給される第nフレームの入力画像を参照することにより検出し、選択部245に供給する。
The
選択部245は、システムコントローラ118(図1)から供給される制御信号にしたがい、動き検出回路244から供給される動きベクトルをそのまま、またはその大きさを1/2に縮小し、高画質化処理部232に供給する。
In accordance with the control signal supplied from the system controller 118 (FIG. 1), the
以上のように構成される動きベクトル検出部232では、動作モードが通常画面モードの場合、システムコントローラ118からの制御信号にしたがい、通常画面モード用の動きベクトルが検出される。
In the motion
即ち、動作モードが通常画面モードの場合、動きベクトル検出部234には、図1のチューナ部111が出力する、例えば、チャンネルCH1の通常の画像が供給され、このチャンネルCH1の通常の画像は、フレームメモリ241および動きベクトル検出回路244に供給される。
That is, when the operation mode is the normal screen mode, the motion
フレームメモリ241は、そこに供給されるチャンネルCH1の通常の画像のフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路242およびセレクタ243に供給する。セレクタ243は、システムコントローラ118からの制御信号にしたがい、フレームメモリ241からのチャンネルCH1の通常の画像のフレームを選択し、動き検出回路244に供給する。
The
ここで、上述したことから、動き検出回路244に、第n+4フレームのチャンネルCH1の通常の画像が供給されるとき、フレームメモリ241からセレクタ243には、その1フレーム前の第n+3フレームのチャンネルCH1の通常の画像が供給される。そして、いまの場合、セレクタ243は、フレームメモリ241からのチャンネルCH1の通常の画像のフレームを選択し、動き検出回路244に供給するから、第n+3フレームと第n+4フレームのチャンネルCH1の通常の画像、即ち、チャンネルCH1の通常の画像のあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路244に供給される。
From the above, when the normal image of the channel CH1 of the (n + 4) th frame is supplied to the
動き検出回路244は、注目フレームのチャンネルCH1の通常の画像の各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH1の通常の画像を参照することにより検出し、選択部245に供給する。
The
選択部245は、システムコントローラ118からの制御信号にしたがい、動き検出回路244から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして、高画質化処理部232に供給する。
In accordance with the control signal from the
一方、動作モードがマルチ画面モードの場合、動きベクトル検出部232では、システムコントローラ118からの制御信号にしたがい、マルチ画面モード用の動きベクトルが検出される。
On the other hand, when the operation mode is the multi-screen mode, the motion
即ち、動作モードがマルチ画面モードの場合、動きベクトル検出部234には、図1のチューナ部111が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像が供給され、このチャンネルCH1乃至CH4の欠損フレームあり画像は、フレームメモリ241および動きベクトル検出回路244に供給される。
That is, when the operation mode is the multi-screen mode, the motion
フレームメモリ241は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり画像のフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路242およびセレクタ243に供給する。遅延回路242は、フレームメモリ241から供給されるチャンネルCH1乃至CH4の欠損フレームあり画像のフレームを、さらに、3フレーム分だけ遅延し、セレクタ243に供給する。
The
セレクタ243は、システムコントローラ118からの制御信号にしたがい、遅延回路242からのチャンネルCH1乃至CH4の欠損フレームあり画像のフレームを選択し、動き検出回路244に供給する。
The
ここで、上述したことから、動き検出回路244に、第n+4フレームの画像が供給されるとき、遅延回路242からセレクタ243には、その4フレーム前の第nフレームの画像が供給される。そして、いまの場合、セレクタ243は、遅延回路242からの第nフレームを選択し、動き検出回路244に供給するから、動き検出回路244には、第nフレームと第n+4フレームの画像が供給される。
Here, as described above, when the image of the (n + 4) th frame is supplied to the
一方、動作モードがマルチ画面モードの場合、チューナ部118から動きベクトル検出部234には、上述したように、チャンネルCH1乃至CH4の欠損フレームあり画像が供給される。このチャンネルCH1乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが4フレームごとに存在する画像であるから、動き検出回路244には、チャンネルCH1乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレームが、動き検出回路244に供給される。
On the other hand, when the operation mode is the multi-screen mode, the image with missing frames of the channels CH1 to CH4 is supplied from the
動き検出回路244は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部245に供給する。
The
選択部245は、システムコントローラ118からの制御信号にしたがい、動き検出回路244から供給される動きベクトルを、1/2の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部232に供給する。
The
次に、図25は、図23の高画質化処理部232の構成例を示している。なお、図中、図10の高画質化処理部132における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図23の高画質化処理部232は、動きベクトル検出部151が設けられていない他は、図10の高画質化処理部132と同様に構成されている。
Next, FIG. 25 illustrates a configuration example of the image quality
高画質化処理部232では、図10の高画質化処理部132における場合と同様の処理が行われる。
In the image quality
但し、クラスタップ構造決定部152、予測タップ構造決定部153、およびクラス生成部155は、動きベクトル検出部151(図10)から供給される動きベクトルではなく、動きベクトル検出部234(図23)から供給される動きベクトルを用いて、図10の高画質化処理部132における場合と同様の処理を行う。
However, the class tap
また、図23の高画質化処理部232の係数メモリ157を構成する通常画面モードメモリ1571とマルチ画面モードメモリ1572には、それぞれ、図11と図17の学習装置で得られたタップ係数ではなく、後述する学習装置によって得られたタップ係数が記憶されている。
Also, typically the screen mode memory 157 1 and the multi-screen mode memory 157 2, respectively, the tap coefficients obtained by the learning apparatus of FIG. 11 and FIG. 17 constituting the coefficient memory 157 of high image
但し、図23の高画質化処理部232における通常画面モードメモリ1571とマルチ画面モードメモリ1572に記憶されているタップ係数も、それぞれ、図10の高画質化処理部132における通常画面モードメモリ1571とマルチ画面モードメモリ1572に記憶されているタップ係数と同様に、ノイズ除去処理用のタップ係数と欠損フレーム生成処理用のタップ係数であることに変わりはない。
However, the tap coefficients stored in the normal screen mode memory 157 1 and the multi-screen mode memory 157 2 in the image quality
次に、図26は、図25の高画質化処理部232の処理を説明するフローチャートである。
Next, FIG. 26 is a flowchart for explaining processing of the image quality
まず最初に、ステップS211において、クラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157が、システムコントローラ118(図1)から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップS212に進む。
First, in step S211, the class tap
ステップS212では、注目画素選択部150は、入力メモリ131(図4)から高画質化処理部132に供給される第1の画像をクラス分類適応処理により変換することによって得られる第2の画像を構成する画素のうちの、まだ注目画素としていないものの1つを、注目画素として選択し、ステップS213に進む。
In step S212, the pixel-of-
ステップS213では、クラスタップ構造決定部152は、動きベクトル検出部234(図23)から供給される動きベクトルにしたがい、注目画素について、第1と第2のタップ中心位置を求め、入力メモリ131(図4)から供給される第1の画像を構成する画素のうちの、第1と第2のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第1と第2のタップ中心画素として求める。さらに、ステップS213では、クラスタップ構造決定部152は、第1と第2のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第1の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
In step S213, the class tap
また、ステップS213では、予測タップ構造決定部153も、クラスタップ構造決定部152における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
Further, in step S213, the prediction tap
その後、ステップS213からS214に進み、クラスタップ選択部154は、クラスタップ構造決定部152からのクラスタップ情報にしたがい、入力メモリ131に記憶された第1の画像から複数の画素(の画素値)を選択し、注目画素についてのクラスタップとして、クラス生成部155に供給する。さらに、ステップS214では、予測タップ選択部156は、予測タップ構造決定部153からの予測タップ情報にしたがい、入力メモリ131に記憶された第1の画像から複数の画素(の画素値)を選択し、注目画素についての予測タップとして、積和演算部158に供給して、ステップS215に進む。
Thereafter, the process proceeds from step S213 to S214, and the class
ステップS215では、クラス生成部155は、動きベクトル検出部234(図23)から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部154から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス(を表すクラスコード)を、係数メモリ157に供給して、ステップS216に進む。
In step S215, the
ステップS216では、係数メモリ157は、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給し、ステップS217に進む。
In step S216, the coefficient memory 157 reads the tap coefficient of the class of the pixel of interest supplied from the
ステップS217では、積和演算部158は、予測タップ選択部156からの注目画素についての予測タップと、係数メモリ157からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式(1)の演算を行うことにより、注目画素(の画素値)を求めて出力する。
In step S217, the product-
その後、ステップS217からS218に進み、注目画素選択部150は、第2の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップS218において、まだ注目画素としていない第2の画像の画素があると判定された場合、ステップS212に戻り、注目画素選択部150は、まだ注目画素としていない第2の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
Thereafter, the process proceeds from step S217 to S218, and the pixel-of-
また、ステップS218において、まだ注目画素としていない第2の画像の画素がないと判定された場合、処理を終了する。 If it is determined in step S218 that there is no pixel in the second image that has not yet been focused on, the process ends.
ここで、図25の高画質化処理部232では、上述した高画質化処理部132(図10)と同様に、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
Here, in the image quality
そこで、図1のシステムコントローラ118は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部232のクラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157に供給(送信)する。
Therefore, when the operation mode is the normal screen mode or the multi-screen mode, the
そして、高画質化処理部232のクラスタップ構造決定部152、予測タップ構造決定部153、および係数メモリ157は、図26のステップS211で説明したように、システムコントローラ118から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
Then, the class tap
具体的には、動作モードが通常画面モードの場合、チューナ部111が、例えば、上述したように、チャンネルCH1の通常の画像を出力するものとすると、図26のステップS213において、クラスタップ構造決定部152は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図14で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS213では、クラスタップ構造決定部152は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
Specifically, when the operation mode is the normal screen mode, if the
ステップS213では、予測タップ構造決定部153も、クラスタップ構造決定部152と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
In step S213, the prediction tap
また、ステップS216では、係数メモリ157は、通常画面モードメモリ1571とマルチ画面モードメモリ1572のうちの通常画面モードメモリ1571を選択し、その選択した通常画面モードメモリ1571に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給する。
In step S216, the coefficient memory 157 selects the normal screen mode memory 157 1 out of the normal screen mode memory 157 1 and the multi-screen mode memory 157 2 , and is stored in the selected normal screen mode memory 157 1. Among the tap coefficients for noise removal processing, the tap coefficient of the class of the pixel of interest supplied from the
一方、動作モードがマルチ画面モードの場合、チューナ部111が、例えば、上述したように、チャンネルCH1乃至CH4の欠損フレームあり画像を出力するものとして、チャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある1チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図26のステップS213において、クラスタップ構造決定部152は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図20で説明した第1と第2のタップ中心位置を決定する。さらに、ステップS213では、クラスタップ構造決定部152は、第1と第2のタップ中心位置から、それぞれ、第1と第2のタップ中心画素を決定し、その第1と第2のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部154に供給する。
On the other hand, when the operation mode is the multi-screen mode, for example, as described above, the
同様に、ステップS213では、予測タップ構造決定部153も、クラスタップ構造決定部152と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部156に供給する。
Similarly, in step S213, similarly to the class tap
また、ステップS216では、係数メモリ157は、通常画面モードメモリ1571とマルチ画面モードメモリ1572のうちのマルチ画面モードメモリ1572を選択し、その選択したマルチ画面モードメモリ1572に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部155から供給される注目画素のクラスのタップ係数を読み出して、積和演算部158に供給する。
In step S216, the coefficient memory 157 selects the multi-screen mode memory 157 2 of the normal screen mode memory 157 1 and the multi-screen mode memory 157 2, stored in the multi-screen mode memory 157 2 that the selected Of the tap coefficients for missing frame generation processing, the tap coefficient of the class of the pixel of interest supplied from the
なお、動作モードが通常画面モードの場合、図23の動きベクトル検出部234において、動きベクトルの検出対象の画像が、例えば、チャンネルCH1の通常の画像であるときには、高画質化処理部232における処理対象も、そのチャンネルCH1の通常の画像となるから、注目画素に対応する対応画素の動きベクトルは、一意に決まる。
When the operation mode is the normal screen mode, in the motion
即ち、動作モードが通常画面モードの場合には、高画質化処理部232では、処理対象としての第1の画像が、その第1の画像からノイズを除去した第2の画像に変換される。そして、第1の画像は、例えば、チャンネルCH1の通常の画像であり、そのチャンネルCH1の通常の画像の画素のうちの、第2の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる。
That is, when the operation mode is the normal screen mode, the high image
また、図23の動きベクトル検出部234では、高画質化処理部232の処理対象と同一の第1の画像としてのチャンネルCH1の通常の画像の各画素について、動きベクトルが検出されるから、注目画素に対応する対応画素の動きベクトルは、チャンネルCH1の通常の画像の画素のうちの、対応画素となっている画素について検出された動きベクトルとなる。
In addition, the motion
一方、動作モードがマルチ画面モードの場合、高画質化処理部232では、例えば、チャンネルCH1乃至CH4の欠損フレームあり縮小画像を、第1の画像として、その第1の画像が、第1の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像に変換される。そして、第1の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちの、第2の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる点については、動作モードが通常画面モードである場合と同様である。
On the other hand, when the operation mode is the multi-screen mode, the image quality
しかしながら、動作モードがマルチ画面モードの場合、図23の動きベクトル検出部234では、高画質化処理部232の処理対象である第1の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像を縮小する前の、チャンネルCH1乃至CH4の欠損フレームあり画像(縮小されていない画像)の各画素について、動きベクトルが検出される。
However, when the operation mode is the multi-screen mode, the motion
即ち、動作モードがマルチ画面モードの場合、対応画素は、高画質化処理部232の処理対象となる第1の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちのいずれかである。しかしながら、図23の動きベクトル検出部234では、動きベクトルは、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像の画素について検出され、その縮小後のチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素については検出されない。
That is, when the operation mode is the multi-screen mode, the corresponding pixel is one of the pixels of the reduced image with the missing frame of the channels CH1 to CH4 as the first image to be processed by the image quality
但し、チャンネルCH1乃至CH4の欠損フレームあり縮小画像(以下、適宜、単に、縮小画像ともいう)は、動きベクトルの検出対象である、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像(以下、適宜、縮小前画像ともいう)であり、縮小画像の1画素は、縮小前画像の複数の画素に対応する。 However, a reduced image with a missing frame of channels CH1 to CH4 (hereinafter, also simply referred to as a reduced image as appropriate) is a motion vector detection target, and an image with a missing frame of channels CH1 to CH4 before the reduction (hereinafter, referred to as a reduced image). The pixel of the reduced image corresponds to a plurality of pixels of the image before reduction.
そこで、動作モードがマルチ画面モードの場合においては、縮小画素の1画素である対応画素の動きベクトルとしては、その対応画素に対応する、縮小前画像の複数の画素それぞれについて検出された動きベクトル(図23の動きベクトル検出部234が出力する動きベクトル)に基づく動きベクトル、即ち、例えば、その複数の画素のうちの1画素について検出された動きベクトルや、その複数の画素それぞれについて検出された動きベクトルの平均ベクトルなどを採用することができる。 Therefore, when the operation mode is the multi-screen mode, the motion vector of the corresponding pixel, which is one pixel of the reduced pixel, is the motion vector detected for each of the plurality of pixels of the pre-reduction image corresponding to the corresponding pixel. 23, that is, for example, a motion vector detected for one of the plurality of pixels, and a motion detected for each of the plurality of pixels. An average vector of vectors can be employed.
このことは、動作モードがマルチ画面モードの場合に図25の高画質化処理部232で用いられる欠損フレーム生成処理用のタップ係数(図25のマルチ画面モードメモリ1572に記憶されるタップ係数)を学習する、後述する学習装置においても、同様である。
This tap coefficients (tap coefficients stored in the multi-screen mode memory 157 2 of FIG. 25) for the lost frame generation process used by the image
次に、図27は、式(8)の正規方程式をたてて解くことにより、図25の通常画面モードメモリ1571に記憶させるノイズ除去処理用のクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。 Next, FIG. 27, by solving the normal equations in equation (8), the learning for determining the tap coefficient w n for each normal class for noise removal processing to be stored in the screen mode memory 157 1 in FIG. 25 The example of a structure of the learning apparatus to perform is shown.
なお、図中、図11における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図27の学習装置は、係数生成処理部175に代えて係数生成処理部255が設けられているとともに、動きベクトル検出部256が新たに設けられている他は、図11の学習装置と同様に構成されている。
In the figure, portions corresponding to those in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning device of FIG. 27 is different from the learning device of FIG. 11 except that a coefficient
従って、図27の学習装置においては、図11における場合と同様に、例えば、ノイズのない高画質画像が、学習用画像として、教師データ生成部171と生徒データ生成部173に供給される。
Therefore, in the learning apparatus of FIG. 27, as in the case of FIG. 11, for example, a high-quality image without noise is supplied as a learning image to the teacher
教師データ生成部171は、そこに供給される学習用画像から、通常画面モード時の第2の画像に対応する教師画像を生成し、即ち、例えば、学習用画像としての高画質画像を、そのまま教師画像として、教師データ記憶部172に供給して記憶させる。
The teacher
生徒データ生成部173は、学習用画像から、通常画面モード時の第1の画像に対応する生徒画像を生成し、即ち、例えば、学習用画像としての高画質画像にノイズを付加することにより、低画質画像を生成し、この低画質画像を、生徒画像として、生徒データ記憶部174に供給して記憶させる。
The student
係数生成処理部255は、教師データ記憶部172に記憶された教師画像としての高画質画像、および生徒データ記憶部174に記憶された生徒画像としての低画質画像、さらには、動きベクトル検出部256から供給される動きベクトルを用いて、クラスごとに、式(8)の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数wnを求めて出力する。
The coefficient
動きベクトル検出部256は、生徒データ記憶部174に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部255に供給する。
The motion
図28は、図29の動きベクトル検出部256の構成例を示している。
FIG. 28 shows a configuration example of the motion
動きベクトル検出部256においては、生徒データ記憶部174(図27)に記憶された生徒画像が、例えば、フレーム単位で、フレームメモリ261と動き検出回路264に供給される。
In the motion
フレームメモリ261は、生徒データ記憶部174から供給される生徒画像のフレームを一時記憶することにより、1フレーム分だけ遅延して、動き検出回路264に供給する。従って、生徒データ記憶部174から動き検出回路264に、第n+1フレームの入力画像が供給されるとき、フレームメモリ261から動き検出回路264には、その1フレーム前の第nフレームの生徒画像が供給される。
The
動き検出回路264は、フレームメモリ261から供給される生徒画像の第nフレームの各画素の動きベクトルを、生徒データ記憶部174から供給される第n+1フレームの生徒画像を参照することにより検出し、選択部265に供給する。
The
選択部265は、動き検出回路264から供給される動きベクトルをそのまま、係数生成処理部255(図27)に供給する。
The
以上のように構成される動きベクトル検出部256では、生徒データ記憶部174(図27)に記憶された生徒画像の各画素について、動きベクトル(通常画面モード用の動きベクトル)が検出される。
The motion
即ち、動きベクトル検出部256には、生徒データ記憶部174に記憶された生徒画像が、例えば、フレーム単位で供給され、その生徒画像のフレームは、フレームメモリ261と動き検出回路264に供給される。
In other words, the student image stored in the student
フレームメモリ261は、そこに供給される生徒画像のフレームを一時記憶することにより、1フレーム分だけ遅延して、動き検出回路264に供給する。従って、フレームメモリ261から動き検出回路264に供給される生徒画像のフレームを注目フレームというものとすると、動き検出回路264には、注目フレームと、その注目フレームの次のフレームが供給される。
The
動き検出回路264は、注目フレームの生徒画像の各画素の動きベクトルを、その注目フレームの次のフレームの生徒画像を参照することにより検出し、選択部265に供給する。
The
選択部265は、動き検出回路264から供給される動きベクトルを、そのまま、係数生成処理部255(図27)に供給する。
The
なお、選択部265が係数生成処理部255に供給する動きベクトルは、図23の動きベクトル検出部234が、通常画面モード時に高画質化処理部232に供給する通常画面モード用の動きベクトルに相当する。
Note that the motion vector supplied from the
図29は、図27の係数生成処理部255の構成例を示している。なお、図中、図13の係数生成処理部175における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図29の係数生成処理部255は、動きベクトル検出部181が設けられていない他は、図13の係数生成処理部175と同様に構成されている。
FIG. 29 shows a configuration example of the coefficient
従って、図29の係数生成処理部255では、図13の係数生成処理部175における場合と同様の処理が行われる。
Accordingly, the coefficient
但し、クラスタップ構造決定部182、予測タップ構造決定部183、およびクラス生成部185は、動きベクトル検出部181(図13)から供給される動きベクトルではなく、動きベクトル検出部256(図23、図24)から供給される通常画面モード用の動きベクトルを用いて、図13の係数生成処理部175における場合と同様の処理を行う。
However, the class tap
次に、図30のフローチャートを参照して、図27の学習装置の処理(学習処理)について、説明する。 Next, processing (learning processing) of the learning device in FIG. 27 will be described with reference to the flowchart in FIG.
まず最初に、ステップS221において、教師データ生成部171と生徒データ生成部173が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部171は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部173は、学習用画像にノイズを付加することにより、生徒画像を生成する。
First, in step S221, the teacher
教師データ生成部171が生成した教師画像は、教師データ記憶部172に供給されて記憶され、生徒データ生成部173が生成した生徒画像は、生徒データ記憶部174に供給されて記憶される。
The teacher image generated by the teacher
その後、ステップS222に進み、動きベクトル検出部256は、生徒データ記憶部174に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部255に供給して、ステップS223に進む。
Thereafter, the process proceeds to step S222, where the motion
ステップS223では、係数生成処理部255(図29)の注目画素選択部180は、教師データ記憶部172に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS224に進む。
In step S223, the pixel-of-
ステップS224では、クラスタップ構造決定部182、および予測タップ構造決定部183が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップS225に進む。
In step S224, the class tap
ステップS225乃至S229では、図16のステップS155乃至S159における場合とそれぞれ同様の処理が行われ、これにより、上述した式(8)の足し込みが、クラス生成部185から供給されるクラスコードごとに行われる。
In steps S225 to S229, the same processing as in steps S155 to S159 of FIG. 16 is performed, whereby the above-described addition of Expression (8) is performed for each class code supplied from the
そして、ステップS229において、注目画素としていない教師画素が、まだ、教師データ記憶部172に記憶されていると判定された場合、ステップS223に戻り、注目画素選択部180は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
If it is determined in step S229 that the teacher pixel that is not the target pixel is still stored in the teacher
また、ステップS229において、注目画素としていない教師画素が、教師データ記憶部172に記憶されていないと判定された場合、ステップS230に進み、予測係数作成部187は、図16のステップS160における場合と同様に、いままでの処理によって得られたクラスごとの式(8)の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数wnを求めて出力し、処理を終了する。
If it is determined in step S229 that the teacher pixel that is not the pixel of interest is not stored in the teacher
図25の通常画面モードメモリ1571には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。 To the normal screen mode memory 157 1 in FIG. 25, the tap coefficient w n for each class determined as described above is stored.
次に、図31は、式(8)の正規方程式をたてて解くことにより、図10のマルチ画面モードメモリ1572に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。 Next, FIG. 31, by solving the normal equations in equation (8), learning for determining the tap coefficient w n for each class for the lost frame generation processing is stored in the multi-screen mode memory 157 2 of FIG. 10 2 shows an example of the configuration of a learning device that performs.
なお、図中、図17における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図31の学習装置は、係数生成処理部195に代えて係数生成処理部285が設けられているとともに、動きベクトル検出部286が新たに設けられている他は、図17の学習装置と同様に構成されている。
In the figure, portions corresponding to those in FIG. 17 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning device of FIG. 31 is different from the learning device of FIG. 17 except that a coefficient
従って、図31の学習装置においては、図17の学習装置における場合と同様に、例えば、欠損フレームのない画像が、学習用画像として、教師データ生成部191と生徒データ生成部193に供給される。
Therefore, in the learning device of FIG. 31, as in the learning device of FIG. 17, for example, an image without a missing frame is supplied as a learning image to the teacher
さらに、図31の学習装置においては、学習用画像が、動きベクトル検出部286にも供給される。
Further, in the learning device of FIG. 31, the learning image is also supplied to the motion
教師データ生成部191は、そこに供給される学習用画像から、マルチ画面モード時の第2の画像である欠損フレームなし縮小画像に対応する教師画像を生成し、即ち、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームなし縮小画像を、教師画像として生成し、教師データ記憶部192に供給して記憶させる。
The teacher
生徒データ生成部193は、学習用画像から、マルチ画面モード時の第1の画像である欠損フレーム画像あり縮小画像に対応する生徒画像を生成し、即ち、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成し、さらに、その欠損フレームなし縮小画像のフレームを間引くことにより、4フレームにつき3フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部194に供給して記憶させる。
The student
係数生成処理部285は、教師データ記憶部192に記憶された教師画像としての欠損フレームなし縮小画像、および生徒データ記憶部194に記憶された生徒画像としての欠損フレームあり縮小画像、さらには、動きベクトル検出部286から供給される動きベクトルを用いて、クラスごとに、式(8)の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数wnを求めて出力する。
The coefficient
動きベクトル検出部286は、生徒データ生成部193において、画素およびフレームが間引かれる前(空間および時間方向の間引きが行われる前)の学習用画像の画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部285に供給する。
The motion
図32は、図31の動きベクトル検出部286の構成例を示している。
FIG. 32 shows a configuration example of the motion
動きベクトル検出部286においては、生徒データ生成部193(図31)に供給されるのと同一の学習用画像が、例えば、フレーム単位で、遅延回路292と動き検出回路294に供給される。
In the motion
遅延回路292は、そこに供給される学習用画像のフレームを、例えば4フレーム分だけ遅延して、動き検出回路294に供給する。従って、動き検出回路294には、第nフレームの学習用画像と、その4フレーム後の第n+4フレームの学習用画像が供給される。
The delay circuit 292 delays the frame of the learning image supplied thereto by, for example, 4 frames and supplies the delayed image to the
動き検出回路294は、学習用画像の第nフレームの各画素の動きベクトルを、学習用画像の第n+4フレームを参照することにより検出し、選択部295に供給する。
The
選択部295は、動き検出回路264から供給される動きベクトルを、その大きさを1/2に縮小し、その縮小の結果得られる動きベクトルを、高画質化処理部232に供給する。
The
以上のように構成される動きベクトル検出部286では、生徒データ生成部193(図31)に供給されるのと同一の学習用画像の画素について、動きベクトル(マルチ画面モード用の動きベクトル)が検出される。
In the motion
即ち、動きベクトル検出部286には、学習用画像が、例えば、フレーム単位で供給され、その学習用画像のフレームは、遅延回路292と動き検出回路294に供給される。
That is, the learning image is supplied to the motion
遅延回路292は、そこに供給される学習用画像のフレームを、4フレーム分だけ遅延して、動き検出回路294に供給する。即ち、これにより、上述したように、動き検出回路294には、第nフレームの学習用画像と、その4フレーム後の第n+4フレームの学習用画像が供給される。
The delay circuit 292 delays the frame of the learning image supplied thereto by 4 frames and supplies the delayed image to the
動き検出回路294は、第nフレームの学習用画像の各画素の動きベクトルを、第n+4フレームの学習用画像を参照することにより検出し、選択部295に供給する。
The
選択部295は、動き検出回路264から供給される動きベクトルを縮小し、その縮小の結果得られる動きベクトルを、係数生成処理部285(図31)に供給する。
The
なお、選択部295が係数生成処理部285に供給する動きベクトルは、図23の動きベクトル検出部234が、マルチ画面モード時に高画質化処理部232に供給するマルチ画面モード用の動きベクトルに相当する。
Note that the motion vector supplied from the
即ち、マルチ画面モード時においては、図23の高画質化処理部232の処理対象である第1の画像は、生徒データ生成部193(図31)で生成される生徒画像に対応し、その処理後に得られる第2の画像は、教師データ生成部191(図31)で生成される教師画像に対応する。さらに、図23の動きベクトル検出部234では、上述したように、縮小画像である第2の画像を縮小する前の縮小前画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その4フレーム後を参照して求められる。
That is, in the multi-screen mode, the first image that is the processing target of the image quality
図32の動きベクトル検出部286でも、生徒画像を縮小する前の学習用画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その4フレーム後を参照して求められるので、動きベクトル検出部286が検出する動きベクトルは、マルチ画面モード時に動きベクトル検出部234が高画質化処理部232に供給するマルチ画面モード用の動きベクトルに相当する。
The motion
次に、図33は、図31の係数生成処理部285の構成例を示している。なお、図中、図19の係数生成処理部195における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図33の係数生成処理部285は、動きベクトル検出部201が設けられていない他は、図19の係数生成処理部195と同様に構成されている。
Next, FIG. 33 shows a configuration example of the coefficient
図33の係数生成処理部285では、図19の係数生成処理部195における場合と同様の処理が行われる。
In the coefficient
但し、クラスタップ構造決定部202、予測タップ構造決定部203、およびクラス生成部205は、動きベクトル検出部201(図19)から供給される動きベクトルではなく、動きベクトル検出部286(図31、図32)から供給されるマルチ画面モード用の動きベクトルを用いて、図19の係数生成処理部195における場合と同様の処理を行う。
However, the class tap
次に、図34のフローチャートを参照して、図31の学習装置の処理(学習処理)について、説明する。 Next, processing (learning processing) of the learning device in FIG. 31 will be described with reference to the flowchart in FIG.
まず最初に、ステップS251において、教師データ生成部191と生徒データ生成部193が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部191は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部193は、学習用画像を縮小し、さらに、フレームを間引くことにより、4フレームにつき3フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
First, in step S251, the teacher
教師データ生成部191が生成した教師画像は、教師データ記憶部192に供給されて記憶され、生徒データ生成部193が生成した生徒画像は、生徒データ記憶部194に供給されて記憶される。
The teacher image generated by the teacher
その後、ステップS252に進み、動きベクトル検出部286は、学習用画像の各画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部285に供給して、ステップS253に進む。
Thereafter, the process proceeds to step S252, in which the motion
ステップS253では、係数生成処理部285(図33)の注目画素選択部200は、教師データ記憶部192に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS254に進む。
In step S253, the pixel-of-
ステップS254では、クラスタップ構造決定部202、および予測タップ構造決定部203が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップS255に進む。
In step S254, the class tap
ステップS255乃至S260では、図21のステップS175乃至S180における場合とそれぞれ同様の処理が行われ、これにより、上述した式(8)の足し込みが、クラス生成部185から供給されるクラスコードごとに行われる。
In steps S255 to S260, the same processing as in steps S175 to S180 of FIG. 21 is performed, whereby the above-described addition of equation (8) is performed for each class code supplied from the
そして、ステップS260において、注目画素としていない教師画素が、まだ、教師データ記憶部172に記憶されていると判定された場合、ステップS253に戻り、注目画素選択部200は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
If it is determined in step S260 that the teacher pixel that is not the target pixel is still stored in the teacher
また、ステップS260において、注目画素としていない教師画素が、教師データ記憶部172に記憶されていないと判定された場合、ステップS261に進み、予測係数作成部207は、図21のステップS181における場合と同様に、いままでの処理によって得られたクラスごとの式(8)の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数wnを求めて出力し、処理を終了する。
If it is determined in step S260 that the teacher pixel that is not the target pixel is not stored in the teacher
図25のマルチ画面モードメモリ1572には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。 A multi-screen mode memory 157 2 of FIG. 25, the tap coefficient w n for each class determined as described above is stored.
次に、図35は、図1の信号処理部114(さらには、信号処理部115および116)のさらに他の構成例を示している。
Next, FIG. 35 shows still another configuration example of the signal processing unit 114 (and further, the
図35では、信号処理部114は、図4の高画質化処理部132に相当する高画質化処理部332と、図4の出力メモリ133に相当する出力メモリ333とで構成されている。
35, the signal processing unit 114 includes an image quality
即ち、図35の信号処理部114は、図4の入力メモリ131に相当するメモリを設けずに構成されている。
That is, the signal processing unit 114 in FIG. 35 is configured without providing a memory corresponding to the
図4では、通常画面モード時には、チューナ部111が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、入力メモリ131を介して、高画質化処理部132に供給され、マルチ画面モード時には、チューナ部111が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像(縮小前画像)を縮小したチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、入力メモリ131を介して、高画質化処理部132に供給されるようになっていたが、図35では、通常画面モード時およびマルチ画面モード時のいずれであっても、チューナ部111が出力する画像が、そのまま、高画質化処理部332に供給されるようになっている。
In FIG. 4, in the normal screen mode, for example, a normal image of the channel CH1 output from the
従って、図35では、通常画面モード時においては、図4における場合と同様に、チューナ部111が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、高画質化処理部332に供給される。
Therefore, in FIG. 35, in the normal screen mode, as in the case of FIG. 4, for example, a normal image of the channel CH1 output from the
そして、高画質化処理部332は、システムコントローラ118から供給される制御信号にしたがい、チューナ部111が出力するチャンネルCH1の通常の画像を第1の画像として、図4の高画質化処理部132における場合と同様のノイズ除去処理を行い、その結果得られるノイズ除去画像を、第2の画像として、出力メモリ333に供給する。
Then, according to the control signal supplied from the
出力メモリ333は、動作モードが通常画面モードの場合は、図4の出力メモリ133と同様に、システムコントローラ118からの制御信号にしたがい、高画質化処理部332が出力する第2の画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ117(図1)に供給する。
When the operation mode is the normal screen mode, the
一方、マルチ画面モード時においては、チューナ部111が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像(縮小前画像)が、そのまま、高画質化処理部332に供給される。
On the other hand, in the multi-screen mode, for example, an image with a missing frame (image before reduction) of the channels CH1 to CH4 output from the
そして、高画質化処理部332は、システムコントローラ118から供給される制御信号にしたがい、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像を第1の画像として、図4の高画質化処理部132における場合と同様の欠損フレーム生成処理を行い、その結果得られるチャンネルCH1乃至CH4の欠損フレームなし画像を、第2の画像として、出力メモリ333に供給する。
Then, according to the control signal supplied from the
ここで、マルチ画面モード時において高画質化処理部332が欠損フレーム生成処理の対象とする第1の画像は、チューナ部111が出力するチャンネルCH1乃至CH4の欠損フレームあり画像、即ち、縮小前画像であり、また、高画質化処理部332での欠損フレーム生成処理の結果得られる画像も、チャンネルCH1乃至CH4の欠損フレームなし画像、即ち、縮小前画像である。
Here, in the multi-screen mode, the first image to be subjected to the missing frame generation process by the image quality
このため、高画質化処理部332は、欠損フレーム生成処理用のタップ係数として、そのような縮小前画像の教師画像と生徒画像とを用いた学習により得られるものを記憶しており、その点が、図4の高画質化処理部132と異なっている。
For this reason, the high image
出力メモリ333は、動作モードがマルチ画面モードの場合は、システムコントローラ118からの制御信号にしたがい、高画質化処理部132からの第2の画像としてのチャンネルCH1乃至CH4の欠損フレームなし画像の同一フレームを縮小しながら合成することにより、そのチャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ117(図1)に供給する。
When the operation mode is the multi-screen mode, the
即ち、システムコントローラ118が出力する制御信号には、出力メモリ333の書き込みアドレスと読み出しアドレスが含まれている。出力メモリ333は、システムコントローラ118からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部332からのチャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素(の画素値)を、水平方向と垂直方向それぞれについて所定の画素数おきに書き込むことにより、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を縮小した縮小画像を生成する。さらに、出力メモリ333は、その書き込みの際、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域にそれぞれ書き込むことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成(記憶)する。
That is, the control signal output by the
そして、出力メモリ133は、システムコントローラ118からの制御信号に含まれる読み出しアドレスにしたがって、生成(記憶)した出力画像のフレームを読み出し、ディスプレイ117に供給する。
Then, the
図4の信号処理部114では、動作モードがマルチ画面モードの場合に、入力メモリ131において、チャンネルCH1乃至CH4の欠損フレームあり画像が、縮小画像に縮小され、その後、高画質化処理部132において、そのチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、欠損フレームなし縮小画像に変換されるが、図35の信号処理部114では、動作モードがマルチ画面モードの場合に、チャンネルCH1乃至CH4の欠損フレームあり画像が、欠損フレームなし画像に変換され、その後、出力メモリ333において、欠損フレームなし画像が、欠損フレームなし縮小画像に縮小される。
In the signal processing unit 114 of FIG. 4, when the operation mode is the multi-screen mode, the image with missing frames of the channels CH1 to CH4 is reduced to a reduced image in the
なお、図4の信号処理部114では、チューナ部111が出力する画像が、フレーム単位で、入力メモリ131に記憶されてから、高画質化処理部132に供給されるため、高画質化処理部132には、常時、ほぼ1フレーム分の時間の処理時間が与えられるので、動作モードの切り替え時において、高画質化処理部132が出力する画像(画面)の同期が比較的とりやすい。図23の信号処理部114においても同様である。
In the signal processing unit 114 of FIG. 4, the image output from the
一方、図35の信号処理部114は、図4の入力メモリ131に相当するメモリを設けずに構成することができるので、装置の小規模化および低コスト化を図ることができる。
On the other hand, since the signal processing unit 114 in FIG. 35 can be configured without providing a memory corresponding to the
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。 Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
そこで、図36は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。 Therefore, FIG. 36 illustrates a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク405やROM403に予め記録しておくことができる。
The program can be recorded in advance on a
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体411に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体411は、いわゆるパッケージソフトウエアとして提供することができる。
Alternatively, the program is stored temporarily on a
なお、プログラムは、上述したようなリムーバブル記録媒体411からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部408で受信し、内蔵するハードディスク405にインストールすることができる。
The program is installed in the computer from the
コンピュータは、CPU(Central Processing Unit)402を内蔵している。CPU402には、バス401を介して、入出力インタフェース410が接続されており、CPU402は、入出力インタフェース410を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部407が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)403に格納されているプログラムを実行する。あるいは、また、CPU402は、ハードディスク405に格納されているプログラム、衛星若しくはネットワークから転送され、通信部408で受信されてハードディスク405にインストールされたプログラム、またはドライブ409に装着されたリムーバブル記録媒体411から読み出されてハードディスク405にインストールされたプログラムを、RAM(Random Access Memory)404にロードして実行する。これにより、CPU402は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU402は、その処理結果を、必要に応じて、例えば、入出力インタフェース410を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部406から出力、あるいは、通信部408から送信、さらには、ハードディスク405に記録等させる。
The computer includes a CPU (Central Processing Unit) 402. An input /
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。 Here, in the present specification, the processing steps for describing a program for causing the computer to perform various processes do not necessarily have to be processed in time series in the order described in the flowcharts, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 Further, the program may be processed by one computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
なお、本実施の形態では、マルチ画面モード時において、4チャンネルCH1乃至CH4の縮小画像を表示するようにしたが、マルチ画面モードにおいて表示する縮小画像は、4チャンネルに限定されるものではない。 In this embodiment, the reduced images of the four channels CH1 to CH4 are displayed in the multi-screen mode, but the reduced images displayed in the multi-screen mode are not limited to the four channels.
また、本実施の形態では、マルチ画面を、2×2の小画面で構成するようしたが、マルチ画面は、その他、例えば、1×4(4×1)や、その他の任意の数の小画面で構成することができる。さらに、マルチ画面は、ディスプレイ117(図1)の画面全体に表示されるものであっても良いし、その一部に表示されるものであっても良い。 In this embodiment, the multi-screen is composed of 2 × 2 small screens. However, the multi-screen is, for example, 1 × 4 (4 × 1) or any other arbitrary number of small screens. It can consist of screens. Furthermore, the multi-screen may be displayed on the entire screen of the display 117 (FIG. 1) or may be displayed on a part thereof.
また、本実施の形態では、チューナ部111を1つだけ設けるようにしたが、チューナ部111は、2以上設けても良い。2以上のチューナ部111を設ける場合には、例えば、その2以上のチューナ部111それぞれで、複数のチャンネルを分担して受信することにより、信号処理部114に対して、コマ落ちの少ない画像を供給することができる。
In this embodiment, only one
さらに、2以上のチューナ部111を設ける場合には、例えば、ある1以上のチューナ部111で複数チャンネルを受信して、その複数チャンネルの縮小画像からなるマルチ画面を、ディスプレイ117の一部の領域に表示し、他の1つのチューナ部111で、マルチ画面上でフォーカスされている縮小画像のチャンネルを受信して、ディスプレイ117の残りの領域に表示するようなことが可能となる。
Further, when two or
また、本実施の形態では、放送局から放送されてくるテレビジョン番組放送のチャンネルを受信するようにしたが、例えば、VTRや、DVDプレーヤ、その他の画像を出力する複数の装置それぞれが出力する画像を受信し、マルチ画面で表示することも可能である。 Further, in this embodiment, a television program broadcast channel broadcast from a broadcasting station is received. For example, a VTR, a DVD player, and other devices that output images output each of them. It is also possible to receive images and display them on multiple screens.
さらに、本実施の形態では、例えば、図10のクラス生成部115等において、クラスタップと動きベクトルに基づいてクラス分類を行うようにしたが、クラス分類は、その他、例えば、注目画素の空間的位相(位置)を表す情報としての、タップ中心位置とタップ中心画素の位置との位置関係(例えば、タップ中心位置とタップ中心画素の位置との距離や、タップ中心位置とタップ中心画素の位置のうちの一方を始点とするとともに、他方を終点とするベクトルなど)にも基づいて行うことが可能である。
Further, in this embodiment, for example, the
また、クラス分類は、例えば、注目画素の時間的位相(位置)を表す情報、即ち、例えば、図20において、非欠損フレームどうしの間隔t5−t1を1としたときの、注目画素A1(A2)の直前の非欠損フレーム(第t1フレーム)から注目画素A1のフレームまでの距離(時間)などにも基づいて行うことが可能である。 The class classification is, for example, information indicating the temporal phase (position) of the target pixel, that is, for example, the target pixel A when the interval t 5 -t 1 between non-defective frames is 1 in FIG. 1 (a 2) the distance (time) from the non-defective frame (the t 1 frame) to the frame target pixel a 1 of the previous can be performed also based on such.
さらに、本実施の形態では、マルチ画面モード時に、クラス分類適応処理によって、欠損フレームを生成する欠損フレーム生成処理を行うようにしたが、その他、クラス分類適応処理によれば、画像の縮小(画素の間引き)と欠損フレームの生成とを同時に行うことも可能である。但し、この場合、そのようなクラス分類適応処理を行うためのタップ係数、即ち、例えば、欠損フレームのない縮小前画像を教師画像とするとともに、その教師画像のフレームと画素を間引いた画像(教師画像の時間的解像度および空間的解像度の両方を劣化させた画像)を生徒画像として学習を行うことにより得られるタップ係数を、あらかじめ求めておく必要がある。 Furthermore, in the present embodiment, in the multi-screen mode, the missing frame generation process for generating the missing frame is performed by the class classification adaptation process. However, according to the class classification adaptation process, the image reduction (pixels) is performed. It is also possible to simultaneously perform thinning) and generation of a missing frame. However, in this case, tap coefficients for performing such classification adaptation processing, that is, for example, a pre-reduced image having no missing frame is used as a teacher image, and an image obtained by thinning out the frame and pixels of the teacher image (teacher image). It is necessary to obtain in advance a tap coefficient obtained by performing learning using an image obtained by degrading both temporal resolution and spatial resolution of an image as a student image.
また、本実施の形態では、通常画面モード時に、画質を向上させる処理として、ノイズ除去処理を行うようにしたが、画質を向上させる処理としては、その他、例えば、空間解像度を向上させる処理等を行うようにすることが可能である。 In this embodiment, noise removal processing is performed as processing for improving image quality in the normal screen mode. However, processing for improving image quality includes, for example, processing for improving spatial resolution. It is possible to do so.
なお、欠損フレーム生成処理用のタップ係数は、上述した学習装置において得られるものを用いる他、本件出願人が先に提案しているクラス分類適応処理関係の出願において開示している学習処理によって求められる、フレーム(またはフィールド)間の画素の生成用のタップ係数を用いることができる。 Note that the tap coefficient for the lost frame generation processing is obtained by the learning processing disclosed in the application related to the class classification adaptive processing previously proposed by the applicant, in addition to using the tap coefficient obtained in the learning device described above. Tap coefficients for generating pixels between frames (or fields) can be used.
101 テレビジョン受像機, 102 アンテナ, 103 リモコン, 111 チューナ部, 112 増幅回路, 113 スピーカ, 114乃至116 信号処理部, 117 ディスプレイ, 118 システムコントローラ, 119 リモコン受信部, 131 入力メモリ, 132 高画質化処理部, 133 出力メモリ, 150 注目画素選択部, 151 動きベクトル検出部, 152 クラスタップ構造決定部, 153 予測タップ構造決定部, 154 クラスタップ選択部、155 クラス生成部, 156 予測タップ選択部, 157 係数メモリ, 1571 通常画面モードメモリ, 1572 マルチ画面モードメモリ, 158 積和演算部, 171 教師データ生成部, 172 教師データ記憶部, 173 生徒データ生成部, 174 生徒データ記憶部, 175 係数生成処理部, 180 注目画素選択部, 181 動きベクトル検出部, 182 クラスタップ構造決定部, 183 予測タップ構造決定部, 184 クラスタップ選択部、185 クラス生成部, 186 予測タップ選択部, 187 予測係数作成部, 191 教師データ生成部, 192 教師データ記憶部, 193 生徒データ生成部, 194 生徒データ記憶部, 195 係数生成処理部, 200 注目画素選択部, 201 動きベクトル検出部, 202 クラスタップ構造決定部, 203 予測タップ構造決定部, 204 クラスタップ選択部、205 クラス生成部, 206 予測タップ選択部, 207 予測係数作成部, 232 高画質化処理部, 233 動きベクトル検出部, 241 フレームメモリ, 242 遅延回路, 243 セレクタ, 244 動き検出回路, 245 選択部, 255 係数生成処理部, 256 動きベクトル検出部, 261 フレームメモリ, 264 動き検出回路, 265 選択部, 285 係数生成処理部, 286 動きベクトル検出部, 292 遅延回路, 294 動き検出回路, 295 選択部, 332 高画質化処理部, 333 出力メモリ, 401 バス, 402 CPU, 403 ROM, 404 RAM, 405 ハードディスク, 406 出力部, 407 入力部, 408 通信部, 409 ドライブ, 410 入出力インタフェース, 411 リムーバブル記録媒体 DESCRIPTION OF SYMBOLS 101 Television receiver, 102 Antenna, 103 Remote control, 111 Tuner part, 112 Amplifier circuit, 113 Speaker, 114 thru | or 116 Signal processing part, 117 Display, 118 System controller, 119 Remote control receiving part, 131 Input memory, 132 High image quality Processing unit, 133 output memory, 150 target pixel selection unit, 151 motion vector detection unit, 152 class tap structure determination unit, 153 prediction tap structure determination unit, 154 class tap selection unit, 155 class generation unit, 156 prediction tap selection unit, 157 coefficient memory, 157 1 normal screen mode memory, 157 2 multi-screen mode memory, 158 product-sum operation unit, 171 tutor data generating unit, 172 teacher data storage unit, 173 student data generating unit, 174 student data storage unit 175 coefficient generation processing unit, 180 target pixel selection unit, 181 motion vector detection unit, 182 class tap structure determination unit, 183 prediction tap structure determination unit, 184 class tap selection unit, 185 class generation unit, 186 prediction tap selection unit, 187 Prediction coefficient creation unit, 191 teacher data generation unit, 192 teacher data storage unit, 193 student data generation unit, 194 student data storage unit, 195 coefficient generation processing unit, 200 target pixel selection unit, 201 motion vector detection unit, 202 class tap Structure determination unit, 203 prediction tap structure determination unit, 204 class tap selection unit, 205 class generation unit, 206 prediction tap selection unit, 207 prediction coefficient creation unit, 232 high image quality processing unit, 233 motion vector detection unit, 241 frame memory , 242 delay circuit, 243 series , 244 motion detection circuit, 245 selection unit, 255 coefficient generation processing unit, 256 motion vector detection unit, 261 frame memory, 264 motion detection circuit, 265 selection unit, 285 coefficient generation processing unit, 286 motion vector detection unit, 292 delay Circuit, 294 motion detection circuit, 295 selection unit, 332 high image quality processing unit, 333 output memory, 401 bus, 402 CPU, 403 ROM, 404 RAM, 405 hard disk, 406 output unit, 407 input unit, 408 communication unit, 409 Drive, 410 input / output interface, 411 removable recording medium
Claims (12)
入力画像を取得する取得手段と、
複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成手段と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
の動作モードの切り替えの制御を行う制御手段と
を備え、
前記フィールド/フレーム生成手段は、
所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
を有し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記動作モードが、前記マルチ画面モードである場合、
前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
前記動作モードが、前記通常画面モードである場合、
前記取得手段は、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、
前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
画像処理装置。 In an image processing apparatus that processes an input image obtained by receiving a transmitted transmission signal and outputs an output image,
Acquisition means for acquiring an input image;
Field / frame generating means for generating a field or frame between one field or frame and another one field or frame for each of a plurality of systems of input images;
Combining means for generating a field or frame of the output image for multi-screen display of the same field or frame of each of the plurality of input images by combining the same field or frame of each of the plurality of input images ;
Depending on user operation,
Generating a field or frame between one field or frame and another one field or frame for each of the plurality of input images, and synthesizing the same field or frame of each of the plurality of input images; A multi-screen mode for generating a field or frame of the output image;
A normal screen mode for generating a field or frame of the output image in which the image quality of the field or frame of the input image of any one system is improved;
Control means for controlling the switching of the operation mode ,
The field / frame generating means includes:
Class tap selection means for selecting a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image;
Class classification means for classifying the pixel of interest based on the class tap;
A prediction tap selection means for selecting a prediction tap used for calculation with the tap coefficient obtained by the learning process from the pixels of the input image;
Tap coefficient storage means for storing tap coefficients of each of the plurality of classes;
An arithmetic means for obtaining the target pixel by linear combination of the tap coefficient of the class of the target pixel and the prediction tap selected for the target pixel;
Have
The tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode,
The tap coefficient for the multi-screen mode is an image having no field or frame loss as teacher data, and an image obtained by thinning out the field or frame of the teacher data as student data. It is obtained for each class by a learning process for performing learning that minimizes the prediction error of the predicted value of the teacher data obtained by linear combination with a tap coefficient,
The tap coefficient for the normal screen mode is a linear combination of the student data and the tap coefficient for the normal screen mode, using an image without noise as teacher data and an image with noise added to the teacher data as student data. Obtained for each class by a learning process for performing learning that minimizes the prediction error of the prediction value of the teacher data obtained by:
When the operation mode is the multi-screen mode,
The acquisition means receives the transmission signals of a plurality of channels in a time division manner, acquires and outputs the images of the plurality of channels as the input images of the plurality of systems,
The tap coefficient storage means supplies the multi-screen mode tap coefficient to the arithmetic means,
When the operation mode is the normal screen mode,
The acquisition means receives the transmission signal of one channel, acquires and outputs the image of the one channel as the input image,
The tap coefficient storage means supplies the normal screen mode tap coefficient to the calculation means.
Images processing device.
請求項1に記載の画像処理装置。 The acquisition means outputs the input image in which the number of fields or the frame period of the plurality of channels is dropped.
The image processing apparatus according to claim 1 .
請求項1に記載の画像処理装置。 The acquisition means is a tuner that receives the transmission signal.
The image processing apparatus according to claim 1 .
前記フィールド/フレーム生成手段は、前記複数系統の縮小画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、
前記合成手段は、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
請求項1に記載の画像処理装置。 Further comprising reduced image generation means for generating the reduced images of the plurality of systems obtained by reducing the input images of the plurality of systems,
The field / frame generation means generates a field or frame between one field or frame and another one field or frame for each of the plurality of reduced images.
The synthesizing unit generates the field or frame of the output image for displaying the same field or frame of each of the plurality of reduced images by multi-screen display by combining the same field or frame of each of the plurality of reduced images.
The image processing apparatus according to claim 1 .
前記入力画像記憶手段は、前記入力画像を読み出すときの読み出しアドレスが制御されることにより、前記縮小画像を出力する
請求項4に記載の画像処理装置。 The reduced image generating means is an input image storage means for storing the input image;
The input image storage means outputs the reduced image by controlling a read address when reading the input image.
The image processing apparatus according to claim 4 .
請求項1に記載の画像処理装置。 The synthesizing unit synthesizes the same field or frame of each of the plurality of system input images by reducing the same field or frame of each of the plurality of system input images while reducing the plurality of system input images. Generate a field or frame of the output image to display
The image processing apparatus according to claim 1 .
前記入力画像記憶手段は、前記入力画像が書き込まれるときの書き込みアドレスが制御されることにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成する
請求項6に記載の画像処理装置。 The synthesizing means is an input image storage means for storing the input image;
The input image storage means synthesizes the same field or frame of each of the plurality of input images while reducing the write address when the input image is written.
The image processing apparatus according to claim 6 .
前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルに基づいて、前記入力画像の画素から、前記クラスタップまたは予測タップを選択する
請求項1に記載の画像処理装置。 A motion vector detecting means for detecting a motion vector of the input image;
The class tap selection unit or the prediction tap selection unit selects the class tap or the prediction tap from the pixels of the input image based on a motion vector of the pixel of the input image corresponding to the target pixel.
The image processing apparatus according to claim 1 .
前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルを縮小したものに基づいて、前記縮小画像の画素から、前記クラスタップまたは予測タップを選択する
請求項8に記載の画像処理装置。 Further comprising reduced image generation means for generating the reduced images of the plurality of systems obtained by reducing the input images of the plurality of systems,
The class tap selection unit or the prediction tap selection unit selects the class tap or the prediction tap from the pixels of the reduced image based on the reduced motion vector of the pixel of the input image corresponding to the target pixel.
The image processing apparatus according to claim 8 .
入力画像を取得する取得ステップと、
複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成ステップと、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと、
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
の動作モードの切り替えの制御を行う制御ステップと
を含み、
前記フィールド/フレーム生成ステップは、
所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択ステップと、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択ステップと、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段に記憶されたタップ係数のうちの、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段で、前記線形結合の演算を行う演算ステップと
を有し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記動作モードが、前記マルチ画面モードである場合、
前記取得ステップは、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
前記動作モードが、前記通常画面モードである場合、
前記取得ステップは、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、
前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
画像処理方法。 In an image processing method for processing an input image obtained by receiving a transmitted transmission signal and outputting an output image,
An acquisition step for acquiring an input image;
A field / frame generation step for generating a field or frame between one field or frame and another one field or frame for each of a plurality of systems of input images;
Combining the same field or frame of each of the plurality of input images to generate a field or frame of the output image for multi-screen display of the same field or frame of each of the plurality of input images ; and
Depending on user operation,
Generating a field or frame between one field or frame and another one field or frame for each of the plurality of input images, and synthesizing the same field or frame of each of the plurality of input images; A multi-screen mode for generating a field or frame of the output image;
A normal screen mode for generating a field or frame of the output image in which the image quality of the field or frame of the input image of any one system is improved;
Look including a control step of controlling the switching of the operation mode of,
The field / frame generation step includes:
A class tap selection step of selecting a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image;
A classifying step for classifying the pixel of interest based on the class tap;
A prediction tap selection step of selecting a prediction tap used for calculation with the tap coefficient obtained by the learning process from the pixels of the input image;
Of tap coefficients stored in tap coefficient storage means for storing tap coefficients of each of the plurality of classes, the tap coefficient of the class of the target pixel and the linearity of the prediction tap selected for the target pixel An arithmetic step for calculating the linear combination by an arithmetic means for obtaining the target pixel by combining
Have
The tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode,
The tap coefficient for the multi-screen mode is an image having no field or frame loss as teacher data, and an image obtained by thinning out the field or frame of the teacher data as student data. It is obtained for each class by a learning process for performing learning that minimizes the prediction error of the predicted value of the teacher data obtained by linear combination with a tap coefficient,
The tap coefficient for the normal screen mode is a linear combination of the student data and the tap coefficient for the normal screen mode, using an image without noise as teacher data and an image with noise added to the teacher data as student data. Obtained for each class by a learning process for performing learning that minimizes the prediction error of the prediction value of the teacher data obtained by:
When the operation mode is the multi-screen mode,
The acquisition step receives the transmission signals of a plurality of channels in a time division manner, acquires and outputs the images of the plurality of channels as the input images of the plurality of systems,
The tap coefficient storage means supplies the multi-screen mode tap coefficient to the arithmetic means,
When the operation mode is the normal screen mode,
The acquisition step receives the transmission signal of one channel, acquires and outputs the image of the one channel as the input image,
The tap coefficient storage means supplies the normal screen mode tap coefficient to the calculation means.
Images processing method.
入力画像を取得する取得手段と、
複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成手段と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
の動作モードの切り替えの制御を行う制御手段と
して、コンピュータを機能させるためのプログラムであり、
前記フィールド/フレーム生成手段は、
所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
を有し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記動作モードが、前記マルチ画面モードである場合、
前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
前記動作モードが、前記通常画面モードである場合、
前記取得手段は、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、
前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
プログラム。 In a program for causing a computer to perform image processing for processing an input image obtained by receiving a transmitted transmission signal and outputting an output image,
Acquisition means for acquiring an input image;
Field / frame generating means for generating a field or frame between one field or frame and another one field or frame for each of a plurality of systems of input images;
Combining means for generating a field or frame of the output image for multi-screen display of the same field or frame of each of the plurality of input images by combining the same field or frame of each of the plurality of input images ;
Depending on user operation,
Generating a field or frame between one field or frame and another one field or frame for each of the plurality of input images, and synthesizing the same field or frame of each of the plurality of input images; A multi-screen mode for generating a field or frame of the output image;
A normal screen mode for generating a field or frame of the output image in which the image quality of the field or frame of the input image of any one system is improved;
Control means for controlling the switching of the operation mode of
And a program to make the computer function,
The field / frame generating means includes:
Class tap selection means for selecting a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image;
Class classification means for classifying the pixel of interest based on the class tap;
A prediction tap selection means for selecting a prediction tap used for calculation with the tap coefficient obtained by the learning process from the pixels of the input image;
Tap coefficient storage means for storing tap coefficients of each of the plurality of classes;
An arithmetic means for obtaining the target pixel by linear combination of the tap coefficient of the class of the target pixel and the prediction tap selected for the target pixel;
Have
The tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode,
The tap coefficient for the multi-screen mode is an image having no field or frame loss as teacher data, and an image obtained by thinning out the field or frame of the teacher data as student data. It is obtained for each class by a learning process that performs learning to minimize the prediction error of the predicted value of the teacher data obtained by linear combination with the tap coefficient,
The tap coefficient for the normal screen mode is a linear combination of the student data and the tap coefficient for the normal screen mode, using an image without noise as teacher data and an image obtained by adding noise to the teacher data as student data. Obtained for each class by a learning process for performing learning to minimize the prediction error of the prediction value of the teacher data obtained by
When the operation mode is the multi-screen mode,
The acquisition means receives the transmission signals of a plurality of channels in a time division manner, acquires and outputs the images of the plurality of channels as the input images of the plurality of systems,
The tap coefficient storage means supplies the multi-screen mode tap coefficient to the arithmetic means,
When the operation mode is the normal screen mode,
The acquisition means receives a transmission signal of one channel, acquires and outputs an image of the one channel as the input image,
The tap coefficient storage means supplies the normal screen mode tap coefficient to the arithmetic means.
Program.
入力画像を取得する取得手段と、
複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド/フレーム生成手段と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と、
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、1のフィールドまたはフレームと、他の1のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成するマルチ画面モードと、
任意の1系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する通常画面モードと
の動作モードの切り替えの制御を行う制御手段と
して、コンピュータを機能させるためのプログラムであり、
前記フィールド/フレーム生成手段は、
所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
学習処理により求められたタップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとの線形結合により、前記注目画素を求める演算手段と
を有し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数、及び、通常画面モード用のタップ係数を記憶し、
前記マルチ画面モード用のタップ係数は、フィールド又はフレームの欠損がない画像を教師データとするとともに、教師データのフィールド又はフレームを間引いた画像を生徒データとして、前記生徒データと前記マルチ画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記通常画面モード用のタップ係数は、ノイズのない画像を教師データとするとともに、教師データにノイズを付加した画像を生徒データとして、前記生徒データと前記通常画面モード用のタップ係数との線形結合により得られる、前記教師データの予測値の予測誤差を最小にする学習を行う学習処理によりクラスごとに求められたものであり、
前記動作モードが、前記マルチ画面モードである場合、
前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力し、
前記タップ係数記憶手段は、前記マルチ画面モード用のタップ係数を、前記演算手段に供給し、
前記動作モードが、前記通常画面モードである場合、
前記取得手段は、1つのチャンネルの伝送信号を受信することにより、その1つのチャンネルの画像を、前記入力画像として取得して出力し、
前記タップ係数記憶手段は、前記通常画面モード用のタップ係数を、前記演算手段に供給する
プログラムが記録されている記録媒体。 In a recording medium on which a program for causing a computer to perform image processing for processing an input image obtained by receiving a transmitted transmission signal and outputting an output image is recorded,
Acquisition means for acquiring an input image;
Field / frame generating means for generating a field or frame between one field or frame and another one field or frame for each of a plurality of systems of input images;
Combining means for generating a field or frame of the output image for multi-screen display of the same field or frame of each of the plurality of input images by combining the same field or frame of each of the plurality of input images ;
Depending on user operation,
Generating a field or frame between one field or frame and another one field or frame for each of the plurality of input images, and synthesizing the same field or frame of each of the plurality of input images; A multi-screen mode for generating a field or frame of the output image;
A normal screen mode for generating a field or frame of the output image in which the image quality of the field or frame of the input image of any one system is improved;
Control means for controlling the switching of the operation mode of
And a program to make the computer function,
The field / frame generating means includes:
Class tap selection means for selecting a class tap used for classifying a predetermined pixel of interest into any one of a plurality of classes from the pixels of the input image;
Class classification means for classifying the pixel of interest based on the class tap;
A prediction tap selection means for selecting a prediction tap used for calculation with the tap coefficient obtained by the learning process from the pixels of the input image;
Tap coefficient storage means for storing tap coefficients of each of the plurality of classes;
An arithmetic means for obtaining the target pixel by linear combination of the tap coefficient of the class of the target pixel and the prediction tap selected for the target pixel;
Have
The tap coefficient storage means stores the tap coefficient for the multi-screen mode and the tap coefficient for the normal screen mode,
The tap coefficient for the multi-screen mode is an image having no field or frame loss as teacher data, and an image obtained by thinning out the field or frame of the teacher data as student data. It is obtained for each class by a learning process for performing learning that minimizes the prediction error of the predicted value of the teacher data obtained by linear combination with a tap coefficient,
The tap coefficient for the normal screen mode is a linear combination of the student data and the tap coefficient for the normal screen mode, using an image without noise as teacher data and an image with noise added to the teacher data as student data. Obtained for each class by a learning process for performing learning that minimizes the prediction error of the prediction value of the teacher data obtained by:
When the operation mode is the multi-screen mode,
The acquisition means receives the transmission signals of a plurality of channels in a time division manner, acquires and outputs the images of the plurality of channels as the input images of the plurality of systems,
The tap coefficient storage means supplies the multi-screen mode tap coefficient to the arithmetic means,
When the operation mode is the normal screen mode,
The acquisition means receives the transmission signal of one channel, acquires and outputs the image of the one channel as the input image,
The tap coefficient storage means supplies the normal screen mode tap coefficient to the calculation means.
Recording medium on which the program is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004042905A JP4512978B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004042905A JP4512978B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005236634A JP2005236634A (en) | 2005-09-02 |
JP4512978B2 true JP4512978B2 (en) | 2010-07-28 |
Family
ID=35019143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004042905A Expired - Fee Related JP4512978B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4512978B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008178075A (en) | 2006-12-18 | 2008-07-31 | Sony Corp | Display control device, display control method, and program |
TWI384437B (en) | 2006-12-18 | 2013-02-01 | Sony Corp | An image signal processing device, an image signal processing method, and a computer program product |
TW200834537A (en) | 2006-12-18 | 2008-08-16 | Sony Corp | Dynamic image signal processing device |
JP2009027592A (en) * | 2007-07-23 | 2009-02-05 | Sharp Corp | Television broadcast receiver and image display method in its tuning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04220823A (en) * | 1990-12-20 | 1992-08-11 | Fujitsu Ltd | Picture signal transmission control system |
JPH07152905A (en) * | 1993-11-30 | 1995-06-16 | Fujitsu Ltd | Image data processor |
JP2000125268A (en) * | 1998-10-15 | 2000-04-28 | Sony Corp | Image data converting device and image data converting method |
JP2002199349A (en) * | 2000-12-25 | 2002-07-12 | Sony Corp | Device and method for processing picture |
JP2003244659A (en) * | 2002-02-14 | 2003-08-29 | Toshiba Corp | Frame interpolation method |
-
2004
- 2004-02-19 JP JP2004042905A patent/JP4512978B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04220823A (en) * | 1990-12-20 | 1992-08-11 | Fujitsu Ltd | Picture signal transmission control system |
JPH07152905A (en) * | 1993-11-30 | 1995-06-16 | Fujitsu Ltd | Image data processor |
JP2000125268A (en) * | 1998-10-15 | 2000-04-28 | Sony Corp | Image data converting device and image data converting method |
JP2002199349A (en) * | 2000-12-25 | 2002-07-12 | Sony Corp | Device and method for processing picture |
JP2003244659A (en) * | 2002-02-14 | 2003-08-29 | Toshiba Corp | Frame interpolation method |
Also Published As
Publication number | Publication date |
---|---|
JP2005236634A (en) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5093557B2 (en) | Image processing apparatus, image processing method, and program | |
JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
US20050226529A1 (en) | Signal processing apparatus and method, and command-sequence data structure | |
US11089423B2 (en) | Signal processing device and image display apparatus including the same | |
JP2002218413A (en) | Device and method for processing information signal, image signal processor, image display device using the same, device and method for generating coefficient species data used by the same, device and method for generating coefficient data and information providing medium | |
WO2004055775A1 (en) | Image signal processing apparatus, image signal processing method, program for practicing that method, and computer-readable medium in which that program has been recorded | |
JP3885786B2 (en) | Information signal processing apparatus and processing method, and program for executing the processing method | |
JP2007006304A (en) | Image processing apparatus, image processing method, and program | |
US7602442B2 (en) | Apparatus and method for processing information signal | |
JP4512978B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
KR101110209B1 (en) | Signal processing apparatus and signal processing method | |
US20050111749A1 (en) | Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium | |
JP2005159830A (en) | Apparatus and method of signal processing, recording medium and program | |
JP2011211437A (en) | Image processing apparatus, method, and program | |
US20110243462A1 (en) | Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium | |
US8355603B2 (en) | Data converting apparatus and data converting method, learning device and learning method, and recording medium | |
JP4457276B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP4349086B2 (en) | Information signal processing apparatus and processing method, program for executing the processing method, and medium storing the program | |
JP4311166B2 (en) | Information signal processing apparatus and processing method, coefficient seed data generating apparatus and generating method used therefor, program for executing each method, and medium recording the program | |
JP4512956B2 (en) | Data processing apparatus, data processing method, and recording medium | |
JP4674439B2 (en) | Signal processing apparatus, signal processing method, and information recording medium | |
JP4232430B2 (en) | Image processing apparatus and method, recording medium, and program | |
CN101527807A (en) | Data processing device, method and program | |
JP2008124639A (en) | Image processing apparatus, image processing method, learning apparatus, learning method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |