JP5506623B2 - Video processing apparatus and video processing method - Google Patents
Video processing apparatus and video processing method Download PDFInfo
- Publication number
- JP5506623B2 JP5506623B2 JP2010214670A JP2010214670A JP5506623B2 JP 5506623 B2 JP5506623 B2 JP 5506623B2 JP 2010214670 A JP2010214670 A JP 2010214670A JP 2010214670 A JP2010214670 A JP 2010214670A JP 5506623 B2 JP5506623 B2 JP 5506623B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- blur reduction
- motion vector
- frequency conversion
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012937 correction Methods 0.000 claims description 201
- 238000001514 detection method Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 57
- 238000009826 distribution Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 description 46
- 238000000034 method Methods 0.000 description 44
- 238000001228 spectrum Methods 0.000 description 21
- 238000011946 reduction process Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、映像の特徴を解析し、動画ボヤケを低減する映像処理技術に関する。 The present invention relates to a video processing technique for analyzing video characteristics and reducing moving image blur.
一般に、ビデオカメラ等により撮影された映像信号には、シャッター速度(露出時間)と、被写体もしくはカメラの動きに応じて撮像時に生じる動画ボヤケが含まれることが多い。 In general, a video signal captured by a video camera or the like often includes a moving speed blur (exposure time) and a moving image blur that occurs at the time of imaging according to the movement of the subject or the camera.
この動画ボヤケを低減するために、連続して入力される映像フレーム、又は記録された映像フレームより、動きベクトルを検出し、映像の動きに応じて解像感を向上させることで、ボヤケ低減を行うことがある。例えば、特許文献1を参照。 In order to reduce this motion blur, the motion vector is detected from continuously input video frames or recorded video frames, and the resolution is improved according to the motion of the video, thereby reducing blur. There are things to do. See, for example, US Pat.
しかし、前記動きベクトルを用いた動画ボヤケ低減技術では、動きベクトルの誤検出により、映像の動きとは異なる方向や大きさで誤補正、例えば必要以上に解像感を向上してしまう。それ故、映像に副作用が生じないようにボヤケ低減効果を向上することは困難である。また、動きのある映像部分に必ずしも動画のボヤケが存在するわけではなく、ボヤケ部分を対象として補正するにしても、単にボヤケを低減するだけではカメラ等のフォーカス差によるボヤケまでも補正し、遠近感が失われる。 However, in the moving image blur reduction technique using the motion vector, erroneous correction of the motion vector in the direction and size different from the motion of the video, for example, the resolution is improved more than necessary due to erroneous detection of the motion vector. Therefore, it is difficult to improve the blur reduction effect so that no side effect occurs in the video. In addition, motion blur does not always exist in the moving image part. Even if the blur is corrected, the blur due to the focus difference of the camera or the like is corrected by simply reducing the blur. The feeling is lost.
本発明は、上記課題を鑑みてなされたものであり、好適に動画ボヤケを抑え、画質補正をすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to appropriately suppress image blur and correct image quality.
上記課題を解決するために、本発明の一実施の態様は、入力信号に含まれる映像を周波数変換する周波数変換部と、前記入力信号に含まれる映像の動きを検出する動きベクトル検出部と、前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減部とを備えるように構成すればよい。 In order to solve the above problems, an embodiment of the present invention includes a frequency conversion unit that converts a frequency of a video included in an input signal, a motion vector detection unit that detects a motion of the video included in the input signal, What is necessary is just to comprise so that the moving image blur reduction part which performs the moving image blur reduction correction | amendment with respect to the said image | video based on the frequency conversion result by the said frequency conversion part and the motion vector which the said motion vector detection part detected may be provided.
本発明によれば、好適に動画ボヤケを抑え、画質補正することができる。 According to the present invention, it is possible to suitably suppress moving image blur and correct image quality.
以下、本発明の実施の形態について図面に基づいて説明する。なお、実施形態を説明するための図において、同一の構成には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that in the drawings for describing the embodiments, the same components are denoted by the same reference symbols in principle, and the repetitive description thereof will be omitted.
まず、本発明の実施例1に係る映像処理装置の一例を、図1の構成図を用いて説明する。
First, an example of a video processing apparatus according to
本実施例の映像処理装置は、例えば、周波数変換部3、動きベクトル検出部5、動画ボヤケ低減部7を有する。ここで、周波数変換部3、動きベクトル検出部5は、検出部2という1つのブロックを構成してもよい。
The video processing apparatus according to the present embodiment includes, for example, a
入力映像信号1は、例えば、内蔵されるチューナで受信した放送信号を入力信号として、デコード処理を行った後の映像信号や、ノイズ低減処理やコントラスト処理等の画質補正後の映像信号でもよい。また、出力映像信号8は、LCDパネルなどの映像表示装置の入力信号としても、HDDやBD(ブルーレイディスク)等の映像記憶装置への入力信号としてもよく、また前記画質補正信号への入力信号でもよい。
The
周波数変換部3は、入力映像信号1を入力信号として、例えば8×8画素あるいは16×16画素ブロック内の映像を、FFT(高速フーリエ変換)やDCT(離散コサイン変換)等で周波数変換し、ブロック内の量子化された前記ブロックサイズ周波数帯域をもったスペクトル信号4を出力する。
The
動きベクトル検出部5は、入力映像信号1を入力信号として、映像の動きを求め、そのベクトル、即ち、動きベクトル信号6を出力する。尚、動き補償型のフレームレート変換を行う映像処理装置の場合は、動きベクトル検出部5は、動き補償型のフレームレート変換時の動きベクトル検出部のブロックと共通化しても構わない。
The motion
映像の動きベクトルの求め方は、例えば、勾配法や位相差限定相関法、ブロックマッチング法などがある。以下、ブロックマッチング法を一例として説明するが、本発明には他の動きベクトル検出方法も適用可能である。 For example, there are a gradient method, a phase difference limited correlation method, a block matching method, and the like as a method for obtaining a motion vector of an image. Hereinafter, the block matching method will be described as an example, but other motion vector detection methods can also be applied to the present invention.
図7はブロックマッチング法によるベクトル検出方法を説明する図である。ブロックの構成は、例えば上述の8×8画素あるいは16×16画素等のブロックサイズでよいが、ここでは説明を簡単にするため、3×3画素ブロックで説明する。 FIG. 7 is a diagram for explaining a vector detection method based on the block matching method. The block configuration may be, for example, a block size such as the above-mentioned 8 × 8 pixels or 16 × 16 pixels, but here, in order to simplify the description, a 3 × 3 pixel block will be described.
動きベクトルの検出においては、現在フレームにおける補正対象の画素と同位置を中心とする、例えば21×21画素の範囲を検索範囲とする。ここで、上記検索範囲中において、1v遅延フレームにおける補正対象の画素を中心とした3×3画素ブロックと最も輝度差分絶対値が低い3×3画素ブロックを検出し、検出したブロックの中心となる画素との相対位置が動きベクトルとして検出される。 In the detection of the motion vector, the search range is, for example, a range of 21 × 21 pixels centered on the same position as the pixel to be corrected in the current frame. Here, in the search range, the 3 × 3 pixel block centering on the pixel to be corrected in the 1v delay frame and the 3 × 3 pixel block having the lowest absolute value of the luminance difference are detected and become the center of the detected block. A relative position with respect to the pixel is detected as a motion vector.
また、数式1に表される通り、検索範囲で互いのブロックの輝度差分絶対値Sad(x,y)が最少となる時の (ξ,η)が動きベクトルとなる。
次に図9を用いて、動画ボヤケ低減部7の動作を説明する。動画ボヤケ低減部7は例えば、周波数特性判定・補正強度算出部71と、動き領域検出・補正範囲算出部72と、動画ボヤケ低減処理部76を有する。
Next, the operation of the moving image
動画ボヤケ低減処理には、簡単のため、一例として1次元のDoG(Difference of Gaussian)を用いて説明する。DoGは、ガウシアンの差分で数式2のように表され、特性は図12aのようになる。
動き領域検出・補正範囲算出部72は、動きベクトル信号6を入力信号とし、入力された動きベクトルにより、動きのある領域を検出する。さらに、入力された動きベクトルの大きさを補正幅とし、入力された動きベクトルの方向を補正方向とすると、当該動きのある領域が動画ボヤケである場合の補正範囲が、図12bに示すように求まる。ここで、さらに、補正方向を補正角73aに置き換え、補正幅は分散値74aへ変換し、前記DoGへのパラメータとする。尚、補正幅から分散値への変換は、例えば固定係数を持つ補正幅の比例式で求めることができる。ただし、分散値が0の時は、DoGも0とする。
The motion region detection / correction range calculation unit 72 receives the
周波数特性判定・補正強度算出部71は、スペクトル信号4を入力信号とし、入力するスペクトル信号から周波数特性を判定して、動画ボヤケの周波数特性を有する領域を検出し、検出した動画ボヤケ量に応じて、補正強度を算出し、ゲイン信号75aを出力する。
The frequency characteristic determination / correction intensity calculation unit 71 uses the
動画ボヤケ低減処理部76は、動き領域検出・補正範囲算出部72で算出した補正角73a、分散値74aと、周波数特性判定・補正強度算出部71で取得したゲイン信号75aにより、数2に従って、DoGフィルタによるボヤケ低減処理を行う。
The moving image blur
ここで、動画ボヤケ低減処理部76で動画ボヤケのみを低減するためには、周波数特性判定・補正強度算出部71における周波数特性判定処理及び動画ボヤケ量の算出処理が重要となる。図4、図5および図6を用いて、上記周波数特性判定処理を及び上記動画ボヤケ量の算出方法の一例を説明する。図5a〜cは、縦軸を垂直方向の周波数成分、横軸を水平方向の周波数成分とし、斜線部分をスペクトルの分布とした図である。図5aは、テクスチャを含む一般的な静止映像の周波数分布で、このような周波数分布を有する映像は、例えば、図4aの映像中で木等の映像が該当する。図5bは、中心にスペクトルが分布すなわち低周波成分に分布している映像である。このような周波数分布を有する映像は、例えば、図4aの映像中で、風船、背景の空や家の壁の周波数分布に該当する。図5cのスペクトルは、垂直方向が高周波成分に分布し、水平方向が低周波成分に分布している。このような周波数分布を有する映像は、例えば、図4aの映像中で、屋根の横縞模様や、水平移動によって水平方向に伸びていくバスの動画ボヤケに該当する。
Here, in order to reduce only the moving image blur by the moving image blur
次に図6a〜cの枡は、図5a〜cのそれぞれ量子化した周波数空間の周波数帯を分割した領域を表し、太線の矩形は周波数分布を判定する範囲である。例えば、判定にはスペクトル値に対する閾値を設け、スペクトル値が該閾値以上であれば、該当する周波数帯に分布するとしてカウントする。尚、判定時にスペクトルの対数を使用してもよい。 6A to 6C represent regions obtained by dividing the frequency band of the quantized frequency space shown in FIGS. 5A to 5C, and the bold rectangles are ranges for determining the frequency distribution. For example, a threshold value for a spectrum value is provided for determination, and if the spectrum value is equal to or greater than the threshold value, it is counted as being distributed in the corresponding frequency band. In addition, you may use the logarithm of a spectrum at the time of determination.
図5aの周波数分布を図6bの矩形で判定すると、当該矩形の範囲外にも、周波数帯分割領域でスペクトルがカウントされるが、図6aの矩形の場合は、スペクトルがカウントされる周波数帯分割領域を図6aの矩形の内側に包含し、矩形の外側の周波数帯分割領域ではカウントされない。このように、スペクトル値が上記閾値以上である周波数帯分割領域を全て包含する最小の矩形領域の場合に、一致と判定する。なお、ここで、当該一致判定をスペクトル値が上記閾値以上である周波数帯分割領域を全て包含する最小の矩形領域の場合と説明したが、スペクトル値が上記閾値以上である周波数帯分割領域のうち、所定の割合以上を包含する最小の矩形領域の場合としてもよい。例えば、所定の割合とは、80%や、90%など、設計に応じて設定すればよい。 When the frequency distribution of FIG. 5a is determined by the rectangle of FIG. 6b, the spectrum is counted in the frequency band division region outside the range of the rectangle, but in the case of the rectangle of FIG. The region is included inside the rectangle of FIG. 6a and is not counted in the frequency band division region outside the rectangle. Thus, it is determined that there is a match in the case of the smallest rectangular region that includes all frequency band division regions whose spectral values are equal to or greater than the threshold value. In addition, although the said match determination was demonstrated as the case of the minimum rectangular area including all the frequency band division areas whose spectrum value is more than the said threshold value, among the frequency band division areas whose spectrum value is more than the said threshold value, The minimum rectangular area including a predetermined ratio or more may be used. For example, the predetermined ratio may be set according to the design, such as 80% or 90%.
動画ボヤケは図5cのような一方向に分布する映像の1つであるため、一方向に分布する図6cに示すような動画ボヤケ判別用パターンを複数作成し、上記一致判定によりパターン・マッチングを行うことで、動画ボヤケの周波数特性を有する領域、すなわち動画ボヤケが存在する可能性がある候補領域を検出できる。動画ボヤケ量は、図6cに示すように、パターン・マッチングに用いた判定領域の長方形の横幅に応じて算出できる。これにより、ゲイン信号75aを決定すればよい。 Since moving image blur is one of images distributed in one direction as shown in FIG. 5c, a plurality of moving image blur determination patterns as shown in FIG. 6c distributed in one direction are created, and pattern matching is performed by the above-described matching determination. By doing so, it is possible to detect a region having the frequency characteristics of moving image blur, that is, a candidate region where moving image blur may exist. As shown in FIG. 6c, the moving image blur amount can be calculated according to the width of the rectangle of the determination region used for pattern matching. Thereby, the gain signal 75a may be determined.
また、図6cの破線矩形のように、周囲のカウント値を算出すると、水平のボヤケ具合が弱い時には、破線矩形内にも多くのスペクトルがカウントされる。この分布量により補正強度を調整することができる。 Further, when the surrounding count values are calculated as in the broken-line rectangle in FIG. 6c, when the horizontal blur is weak, many spectra are counted in the broken-line rectangle. The correction intensity can be adjusted by the distribution amount.
以上説明した実施例1の映像処理装置における動画ボヤケの低減処理のフローを図8aを用いて説明する。図8aに示す通り、動きベクトルの大きさと方向より、動きのある領域を検出して、当該動きのある領域が動画ボヤケである場合の補正範囲を算出する(S11)。図4aに対する当該動きのある領域の検出結果を、図4bに示す。図4bにおいて、動き領域を白色、静止領域を黒色として示す。さらに、周波数分布に対する周波数特性判定により、動画ボヤケの周波数特性を有する領域を検出し、動画ボヤケ量に応じた補正強度を算出(S12)する。S11で検出した動きのある領域のうち、S12にて検出した動画ボヤケの周波数特性を有する領域に対して、S11で算出した補正範囲を用いて、S12で算出した補正強度のボヤケ低減処理を行うことにより、図4cのように動画ボヤケの存在する範囲に対してボヤケ低減補正を行うことができる(S13)。 A flow of moving image blur reduction processing in the video processing apparatus according to the first embodiment described above will be described with reference to FIG. As shown in FIG. 8a, a moving area is detected from the magnitude and direction of the motion vector, and a correction range is calculated when the moving area is moving image blur (S11). FIG. 4b shows the detection result of the moving region with respect to FIG. 4a. In FIG. 4b, the motion area is shown as white and the stationary area is shown as black. Further, a region having the frequency characteristic of moving image blur is detected by frequency characteristic determination with respect to the frequency distribution, and a correction intensity corresponding to the moving image blur amount is calculated (S12). Among the areas with motion detected in S11, the blur reduction process of the correction intensity calculated in S12 is performed on the area having the frequency characteristics of the moving image blur detected in S12 using the correction range calculated in S11. Thus, the blur reduction correction can be performed on the range where the moving image blur exists as shown in FIG. 4C (S13).
以上説明した実施例1の映像処理装置における動画ボヤケの低減処理では、入力映像から検出した動きベクトルにより、映像中の動きのある領域を検出し、当該動きのある領域が動画ボヤケである場合の補正範囲(補正方向、補正幅)を算出し、入力映像の周波数変換結果に対して周波数特性判定を行い、動画ボヤケの周波数特性を有する領域の検出及び補正強度の算出を行い、以上の処理によって算出した、補正範囲と補正強度の情報を用いて、検出された動画ボヤケの周波数特性を有する領域にボヤケ低減処理を行う。これにより、動画ボヤケ領域を好適に補正することができる。 In the moving image blur reduction process in the video processing apparatus according to the first embodiment described above, a motion area in a video is detected from a motion vector detected from an input video, and the motion area is a motion blur. Calculate the correction range (correction direction, correction width), determine the frequency characteristics for the frequency conversion result of the input video, detect the area that has the frequency characteristics of the motion blur and calculate the correction strength. Using the calculated information of the correction range and the correction intensity, the blur reduction process is performed on the area having the frequency characteristic of the detected moving image blur. Thereby, a moving image blur area | region can be correct | amended suitably.
次に、本発明の実施例2に係る映像処理装置の一例について説明する。 Next, an example of a video processing apparatus according to the second embodiment of the present invention will be described.
本実施例の映像処理装置は、実施例1と同様に図1の構成を有する。例えば、周波数変換部3、動きベクトル検出部5、動画ボヤケ低減部7を有する。但し、実施例2では、動画ボヤケ低減部7の構成が実施例1と異なり、図10に示す構成を有する。動画ボヤケ低減部7以外の他の構成については実施例と同様に動作するため、説明を省略する。
The video processing apparatus according to the present embodiment has the configuration shown in FIG. For example, a
実施例2に係る動画ボヤケ低減部7は、周波数特性判定・補正範囲算出部77と、補正強度算出部78と、動画ボヤケ低減処理部76から構成される。
The moving image
動画ボヤケ低減処理には、実施例1と同様に、一例として1次元のDoG(Difference of Gaussian)を用いて説明する。 As in the first embodiment, the moving image blur reduction process will be described using a one-dimensional DoG (Difference of Gaussian) as an example.
周波数特性判定・補正範囲算出部77は、スペクトル信号4を入力とし、周波数特性を判定することで、動画ボヤケの周波数特性を有する領域を検出し、当該領域に動画ボヤケ低減処理を行う場合の補正範囲を示す補正角73bと分散値74bを出力する。具体的には以下の処理を行う。
The frequency characteristic determination / correction
実施例1で説明した通り、動画ボヤケは図5cのような一方向に分布する映像であるため、一方向に分布するパターンを作成し、パターン・マッチングを行うことで動画ボヤケを検出できる。例えば、図5cのパターンを30度毎に回転させて、パターン・マッチングを行うと、30度の精度でボヤケの方向が分かる。また、ボヤケの広がりは、図5cのような楕円パターンが細くなるほど大きい。この性質を利用し、補正範囲を求める。 As described in the first embodiment, the moving image blur is an image distributed in one direction as shown in FIG. 5C, and therefore, moving image blur can be detected by creating a pattern distributed in one direction and performing pattern matching. For example, when the pattern of FIG. 5c is rotated every 30 degrees and pattern matching is performed, the direction of the blur is known with an accuracy of 30 degrees. Further, the blur spread becomes larger as the elliptical pattern as shown in FIG. Using this property, the correction range is obtained.
尚、補正方向の検出には、前記回転による検出でも、必要な角度分のパターンを予め用意してもよい。 In addition, for the detection of the correction direction, a pattern for a necessary angle may be prepared in advance, even by detection by the rotation.
また、補正幅は、予め対応する補正幅を設定した幅の異なる複数の楕円パターンを用意して、パターン・マッチングに基づいて算出できる。 Also, the correction width can be calculated based on pattern matching by preparing a plurality of elliptical patterns having different widths for which a corresponding correction width is set in advance.
以上のように、補正方向と補正幅を算出した後、図12bに示すように補正方向を補正角とし、補正幅を分散値に変換してDoGのパラメータとする。 As described above, after calculating the correction direction and the correction width, as shown in FIG. 12B, the correction direction is used as a correction angle, and the correction width is converted into a dispersion value to be a DoG parameter.
補正強度算出部78は、動きベクトル信号6を入力信号とし、例えば動きベクトルの大きさに比例したゲイン値を、ゲイン信号75bとして出力する。
The correction intensity calculation unit 78 uses the
以上説明した実施例2の映像処理装置における動画ボヤケの低減処理のフローを図8bを用いて説明する。図8bに示す通り、周波数分布の広がりと方向より、動画ボヤケの周波数特性を有する領域を検出し、検出した動画ボヤケの周波数特性を有する領域に対する補正範囲を算出する(S21)。図4aに対する動画ボヤケの周波数特性を有する領域の検出結果を、図4dに示す。図4dにおいて、動画ボヤケの周波数特性を有する領域領域を白色、その他の領域を黒色として示す。さらに、動きベクトルにより動き量に応じた補正強度を算出(S22)する。S21では図4dに示すように、動画ボヤケの周波数特性を有する領域には、動画ボヤケ以外にも、屋根の横縞模様の領域も検出されてしまうが、このような、動画ボヤケと同様の周波数特性を有する動きのない領域はS22の補正強度の算出において、補正強度が0となる。よって、S21で検出した動画ボヤケの周波数特性もしくは動画ボヤケと同等の周波数特性を有する領域に対して、S21で算出した補正強度を用いて、S22で算出した補正強度のボヤケ低減を行うことにより、図4eのように、動画ボヤケの存在する範囲に対してボヤケ低減補正を行うことができる(S23)。 A flow of moving image blur reduction processing in the video processing apparatus according to the second embodiment described above will be described with reference to FIG. As shown in FIG. 8b, a region having the frequency characteristic of moving image blur is detected from the spread and direction of the frequency distribution, and a correction range for the detected region having the frequency characteristic of moving image blur is calculated (S21). FIG. 4d shows the detection result of the area having the frequency characteristic of the motion blur with respect to FIG. 4a. In FIG. 4d, the area | region area | region which has the frequency characteristic of a moving image blur is shown as white, and another area | region is shown as black. Further, the correction strength corresponding to the amount of motion is calculated from the motion vector (S22). In S21, as shown in FIG. 4d, in addition to moving image blur, a region having a horizontal stripe pattern on the roof is also detected in the region having moving image blur frequency characteristics. A region having no motion has a correction strength of 0 in the calculation of the correction strength in S22. Therefore, by performing the blur reduction of the correction intensity calculated in S22 using the correction intensity calculated in S21 for the area having the frequency characteristic of the moving image blur detected in S21 or a frequency characteristic equivalent to the moving image blur, As shown in FIG. 4e, the blur reduction correction can be performed on the range where the moving image blur exists (S23).
以上説明した実施例2の映像処理装置における動画ボヤケの低減処理では、入力映像の周波数変換結果に対して周波数特性判定を行って動画ボヤケの周波数特性を有する領域の検出し、当該動きのある領域が動画ボヤケである場合の補正範囲(補正方向、補正幅)を算出し、入力映像から検出した動きベクトルにより、補正強度の算出を行い、以上の処理によって算出した、補正範囲と補正強度の情報を用いて、検出された動画ボヤケの周波数特性を有する領域にボヤケ低減処理を行う。これにより、動画ボヤケ領域を好適に補正することができる。 In the moving image blur reduction process in the video processing apparatus according to the second embodiment described above, the frequency characteristic determination is performed on the frequency conversion result of the input video to detect the region having the moving image blur frequency characteristic, and the region having the motion Calculates the correction range (correction direction, correction width) when the video is blurred, calculates the correction strength based on the motion vector detected from the input video, and the correction range and correction strength information calculated by the above processing Is used to perform a blur reduction process on a region having the frequency characteristics of the detected moving image blur. Thereby, a moving image blur area | region can be correct | amended suitably.
次に、本発明の実施例3に係る映像処理装置の一例について説明する。を、図2の構成図を用いて説明する。 Next, an example of a video processing apparatus according to the third embodiment of the present invention will be described. Will be described with reference to the block diagram of FIG.
本実施例の映像処理装置は、例えば、図2に示す構成を有する。具体的には、例えば、周波数変換部3、動きベクトル検出部5、動画ボヤケ低減部7などを有する。動画ボヤケ低減部7は、実施例1の構成、実施例2の構成のいずれでもよい。ここで、周波数変換部3、動きベクトル検出部5は、検出部2という1つのブロックを構成してもよい。
The video processing apparatus according to the present embodiment has, for example, the configuration shown in FIG. Specifically, for example, it includes a
以下、実施例1、実施例2と異なる点について説明する。 Hereinafter, differences from the first embodiment and the second embodiment will be described.
周波数変換部3はFFTなどの周波数変換を使用し、現フレームと1V遅延フレームの例えば32×32画素範囲に対し周波数変換を行う。該画素範囲が動きベクトルを検出する範囲となる。
また、周波数変換されたスペクトル信号4は動きベクトル検出の入力信号となる。
The
The frequency-converted
動きベクトル検出部5は、数式3で示すようにFFTなどの周波数変換後の周波数分布の比により、動きベクトル(ξ,η)を求める。
検出部の構成を、以上の説明した構成とすることにより、実施例3に係るの映像処理装置は、実施例1、2の映像処理装置の効果に加えて、動きベクトル検出に利用する周波数変換を、動画ボヤケ低減にも流用することで、ブロックマッチングによる動きベクトル検出が不要になり、回路規模低減を図ることができるという効果を有する。 By configuring the detection unit as described above, the video processing apparatus according to the third embodiment can perform frequency conversion used for motion vector detection in addition to the effects of the video processing apparatuses according to the first and second embodiments. Is also used for moving picture blur reduction, which eliminates the need for motion vector detection by block matching and has the effect of reducing the circuit scale.
次に、本発明の実施例4に係る映像処理装置の一例について説明する。本実施例の映像処理装置は、例えば、図3に示す構成を有する。 Next, an example of a video processing apparatus according to the fourth embodiment of the present invention will be described. The video processing apparatus of the present embodiment has, for example, the configuration shown in FIG.
本発明の実施例1では、入力映像信号に対し、動きベクトルの大きさと方向で補正範囲を算出し、周波数分布についての周波数特性判定によって補正強度を算出する例を示した(以降、方式1)。方式1は、例えば、画面一様に動きベクトルが検出できるスクロール映像等に適している。
In the first embodiment of the present invention, an example is shown in which a correction range is calculated based on the magnitude and direction of a motion vector for an input video signal, and a correction strength is calculated by frequency characteristic determination regarding a frequency distribution (hereinafter, method 1). . The
一方、本発明の実施例2では、周波数分布から一定方向のボヤケ領域に対するパターン・マッチングにより補正範囲を算出し、動き量により補正強度を算出する例を示した(以降、方式2)。方式2は、方式1に比べ補正範囲に対する感度は鈍いが、検出できた動画ボヤケ領域に関しては誤補正が少ないため、例えば、動きの少ない映像や細かな動きがある映像に適している。
On the other hand, in the second embodiment of the present invention, an example is shown in which the correction range is calculated from the frequency distribution by pattern matching with respect to the blur region in a certain direction, and the correction strength is calculated from the motion amount (hereinafter, method 2). The
これに対し、本発明の実施例4では、コンテンツ関連情報や番組関連情報等の外部情報や、さらに、動きや、周波数分布等の信号処理情報に応じて、適応的に上記方式1と上記方式2との切換えを可能にする方式である。以下、この詳細について説明する。
On the other hand, in the fourth embodiment of the present invention, the
実施例4の映像処理装置は、図3に示すように、例えば、検出部2、動画ボヤケ低減部15、解析部11などを有する。検出部2は、実施例1、2の構成、実施例3の構成のいずれでもよい。
As shown in FIG. 3, the video processing apparatus according to the fourth embodiment includes, for example, a
検出部2は、入力映像信号1を入力信号として、周波数変換によりスペクトル信号4を、動きベクトル検出により動きベクトル信号6を出力する。
The
解析部11は、スペクトル信号4と、動きベクトル信号6をを入力信号とし、1フレーム中の映像の動きや周波数分布等の特性を解析して動画ボヤケ低減部15の処理方式の制御信号を出力する。例えば、動きベクトル信号6から映像画面中の動きベクトルヒストグラムを生成し、スペクトル信号4から周波数ヒストグラムを生成し、動きベクトルヒストグラムが映像がスクロールしていることを示している場合や周波数ヒストグラムにおいて周波数成分が一方向に偏る場合は方式1を選択し、それ以外の場合は方式2を選択する選択信号9を出力してもよい。
The analysis unit 11 receives the
また、別の制御信号の出力例としては、スペクトル信号4から周波数ヒストグラムを生成し、周波数ヒストグラムにおいて、高周波成分が多く分布する場合は補正強度を下げ、低周波成分に分布する場合は補正強度を上げる等の操作を行うゲイン信号10を出力してもよい。
As another output example of the control signal, a frequency histogram is generated from the
また、別の制御信号の出力例としては、解析部11は、コンテンツ番組のジャンル情報などのコンテンツ関連情報や番組関連情報等により、動きボヤケ低減処理の方式を選択し、選択信号を出力してもよい。例えば、スポーツ番組の場合は方式1にを選択する選択信号9を出力し、歌番組の場合は方式2を選択する選択信号9を出力してもよい。この場合は、解析部11は情報14を入力信号とし、情報14に入力映像信号1とともに放送されるコンテンツのジャンル情報などのコンテンツ関連情報や番組関連情報を含めればよい。
As another output example of the control signal, the analysis unit 11 selects a motion blur reduction processing method based on content-related information such as genre information of the content program, program-related information, and the like, and outputs a selection signal. Also good. For example, in the case of a sports program, the
また、BDや地上波デジタル放送等のフルHD映像の場合は補正強度を下げ、DVD等のSD映像の場合は補正強度を上げる等、映像の解像度に応じたゲイン信号10の出力を行ってもよい。解析部11は情報14を入力信号とし、情報14に映像の解像度の情報を含めればよい。 図11を用いて本発明の実施例4に係る映像処理装置の動画ボヤケ低減部15の構成を説明する。動画ボヤケ低減部15は、入力映像信号1、スペクトル信号4、動きベクトル信号6、方式1または方式2を選択する選択信号9、全体の補正強度を調整するゲイン信号10など制御信号を入力とし、動画ボヤケ低減を行った出力映像信号8を出力する。
Even if the
周波数特性判定・補正範囲算出・補正強度算出部(周波数)79は、スペクトル信号4を入力とし、方式1の処理に用いるゲイン信号75aを出力する。周波数特性判定・補正範囲算出・補正強度算出部(周波数)79におけるゲイン信号75aを出力するため補正強度の算出処理は、実施例1で説明した、周波数特性判定・補正強度算出部71によるゲイン信号75aを出力するため補正強度の算出処理と同様であるため、説明を省略する。また、周波数特性判定・補正範囲算出・補正強度算出部(周波数)79は、方式2の処理に用いる補正角73b、分散値74bを出力する。周波数特性判定・補正範囲算出・補正強度算出部(周波数)79における補正角73b、分散値74bの算出処理は、実施例2で説明した、周波数特性判定・補正範囲算出部77による補正角73b、分散値74bの算出処理と同様であるため、説明を省略する。
The frequency characteristic determination / correction range calculation / correction intensity calculation unit (frequency) 79 receives the
動き領域検出・補正範囲算出・補正強度算出部(ベクトル)80は、ベクトル信号6を入力とし、方式1の処理に用いる補正角73a、分散値74aを出力する。動き領域検出・補正範囲算出・補正強度算出部(ベクトル)80における補正角73a、分散値74aの算出処理は、実施例1で説明した、動き領域検出・補正範囲算出部72による補正角73a、分散値74aの算出処理と同様であるため、説明を省略する。また、動き領域検出・補正範囲算出・補正強度算出部(ベクトル)80は、方式2の処理に用いるゲイン信号75bを出力する。動き領域検出・補正範囲算出・補正強度算出部(ベクトル)80におけるゲイン信号75bを出力するため補正強度の算出処理は、実施例2で説明した、補正強度算出部78によるゲイン信号75bを出力するため補正強度の算出処理と同様であるため、説明を省略する。
The motion region detection / correction range calculation / correction intensity calculation unit (vector) 80 receives the
セレクタ部は入力された選択信号9により、方式1の処理に用いる信号73a〜75aと方式2の処理に用いる信号73b〜75bとを選択し、選択した動画ボヤケ低減処理のパラメータ、補正角73、分散値74、ゲイン信号75を動画ボヤケ低減処理部76に出力する。ここで、ゲイン信号75は、入力ゲイン信号10と乗算して動画ボヤケ低減処理へ入力すれば、解析部11の解析結果に応じた補正強度の調整が可能となる。
The selector unit selects the signals 73a to 75a used for the processing of the
以上説明した実施例4の映像処理装置における動画ボヤケの低減処理では、映像の動き特性、周波数分布の特性、コンテンツ関連情報や番組関連情報、または映像の解像度の情報に応じて、複数の動画ボヤケ低減処理の補正特性や補正量を切り換えることにより、より好適に動画ボヤケ低減を行うことが可能となる。 In the moving image blur reduction process in the video processing apparatus according to the fourth embodiment described above, a plurality of moving image blurs are performed according to video motion characteristics, frequency distribution characteristics, content related information and program related information, or video resolution information. By switching the correction characteristics and the correction amount of the reduction process, it is possible to more suitably reduce the motion blur.
1 入力映像信号
2 検出部
3 周波数変換部
4 スペクトル信号
5 動きベクトル検出部
6 動きベクトル信号
7 動画ボヤケ低減部
8 出力映像信号
9 選択信号
10 ゲイン
11 解析部
14 情報
15 動画ボヤケ低減部
71 周波数特性判定・補正範囲算出部(周波数)
72 動き領域検出・補正強度算出部(ベクトル)
73 補正角
73a 補正角(ベクトル)
73b 補正角(周波数)
74 分散値
74a 分散値(ベクトル)
74b 分散値(周波数)
75 ゲイン
75a ゲイン(周波数)
75b ゲイン(ベクトル)
76 動画ボヤケ低減処理部
77 周波数特性判定・補正強度算出部(周波数)
78 補正範囲算出部(ベクトル)
79 周波数特性判定・補正範囲算出・補正強度算出部(周波数)
80 動き領域検出・補正範囲算出・補正強度算出部(ベクトル)
DESCRIPTION OF
72 Motion region detection / correction intensity calculation unit (vector)
73 Correction angle 73a Correction angle (vector)
73b Correction angle (frequency)
74 Variance value 74a Variance value (vector)
74b Dispersion value (frequency)
75 Gain 75a Gain (frequency)
75b Gain (vector)
76 Movie blur
78 Correction range calculator (vector)
79 Frequency characteristics determination / correction range calculation / correction intensity calculation unit (frequency)
80 Motion region detection / correction range calculation / correction intensity calculation unit (vector)
Claims (16)
前記入力信号に含まれる映像の動きを検出する動きベクトル検出部と、
前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減部とを備え、
前記動画ボヤケ低減部は、前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、ボヤケ低減補正の補正範囲、補正方向、補正強度を算出して、該算出したパラメータをボヤケ低減補正に用いるものであり、
前記動画ボヤケ低減部は、前記周波数変換部による周波数変換結果の周波数特性を判定し、周波数空間において一方向に広がる周波数分布を有する画像領域を、動画ボヤケが存在する可能性がある候補領域と判定することを特徴とする映像処理装置。 A frequency converter that converts the frequency of the video included in the input signal;
A motion vector detection unit for detecting the motion of the video included in the input signal;
A video blur reduction unit that performs video blur reduction correction on the video based on a frequency conversion result by the frequency conversion unit and a motion vector detected by the motion vector detection unit ;
The moving image blur reduction unit calculates a correction range, a correction direction, and a correction strength for blur reduction correction based on a frequency conversion result by the frequency conversion unit and a motion vector detected by the motion vector detection unit, and calculates the calculated Parameter is used for blur reduction correction,
The moving image blur reduction unit determines a frequency characteristic of a frequency conversion result by the frequency conversion unit, and determines an image region having a frequency distribution spreading in one direction in a frequency space as a candidate region where the moving image blur may exist. A video processing apparatus characterized by:
前記動画ボヤケ低減部は、前記周波数特性の判定において、前記一方向に広がる周波数分布を、予め用意した周波数分布パターンとのパターン・マッチングにより検出することを特徴とする映像処理装置。 The video processing apparatus according to claim 1 ,
The moving image blur reduction unit detects the frequency distribution spreading in the one direction by pattern matching with a frequency distribution pattern prepared in advance in the determination of the frequency characteristic.
前記周波数変換部による周波数変換結果に基づいて、ボヤケ低減補正の補正強度を算出し、前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正範囲、補正方向を算出して、ボヤケ低減補正に用いる第1のボヤケ低減補正と、
前記周波数変換部による周波数変換結果に基づいて、ボヤケ低減補正の補正範囲、補正方向を算出し、前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出して、ボヤケ低減補正に用いる第2のボヤケ低減補正とを、
切換え可能であることを特徴とする請求項1に記載の映像処理装置。 The video blur reduction unit
Based on the frequency conversion result by the frequency conversion unit, the correction strength of the blur reduction correction is calculated, and the correction range and correction direction of the blur reduction correction are calculated based on the motion vector detected by the motion vector detection unit. A first blur reduction correction used for the reduction correction;
Based on the frequency conversion result by the frequency conversion unit, a correction range and a correction direction for blur reduction correction are calculated, and a correction strength for blur reduction correction is calculated based on the motion vector detected by the motion vector detection unit. A second blur reduction correction used for the reduction correction,
The video processing apparatus according to claim 1, wherein the video processing apparatus is switchable.
前記動きベクトル検出部は、前記周波数変換部による周波数変換結果を用いて前記映像の動きベクトルを検出することを特徴とする映像処理装置。 The video processing apparatus according to any one of claims 1 to 7 ,
The video processing apparatus, wherein the motion vector detection unit detects a motion vector of the video using a frequency conversion result by the frequency conversion unit.
前記入力信号に含まれる映像の動きを検出する動きベクトル検出ステップと、
前記周波数変換ステップによる周波数変換結果および前記動きベクトル検出ステップにて検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減ステップと
を備え、
前記動画ボヤケ低減ステップにおける前記動画ボヤケ低減補正においては、前記周波数変換ステップによる周波数変換結果および前記動きベクトル検出ステップにて検出した動きベクトルに基づいて、ボヤケ低減補正の補正範囲、補正方向、補正強度を算出して、該算出したパラメータをボヤケ低減補正に用い、
前記動画ボヤケ低減ステップにおける前記動画ボヤケ低減補正においては、前記周波数変換ステップによる周波数変換結果の周波数特性を判定し、周波数空間において一方向に広がる周波数分布を有する画像領域を、動画ボヤケが存在する可能性がある候補領域と判定することを特徴とする映像処理方法。 A frequency conversion step for converting the frequency of the video included in the input signal;
A motion vector detection step of detecting a motion of a video included in the input signal;
A video blur reduction step for performing video blur reduction correction on the video based on a frequency conversion result in the frequency conversion step and a motion vector detected in the motion vector detection step ;
In the moving image blur reduction correction in the moving image blur reduction step, the correction range, correction direction, and correction strength of the blur reduction correction are based on the frequency conversion result in the frequency conversion step and the motion vector detected in the motion vector detection step. And using the calculated parameter for blur reduction correction,
In the moving image blur reduction correction in the moving image blur reduction step, the frequency characteristic of the frequency conversion result in the frequency conversion step is determined, and moving image blur may exist in an image region having a frequency distribution spreading in one direction in the frequency space. A video processing method characterized by determining a candidate region having a characteristic .
前記動画ボヤケ低減ステップの前記周波数特性の判定において、前記一方向に広がる周波数分布を、予め用意した周波数分布パターンとのパターン・マッチングにより検出することを特徴とする映像処理方法。 The video processing method according to claim 9 , comprising:
In the determination of the frequency characteristic in the moving image blur reduction step, a frequency distribution spreading in one direction is detected by pattern matching with a frequency distribution pattern prepared in advance.
前記周波数変換ステップによる周波数変換結果に基づいて、ボヤケ低減補正の補正強度を算出し、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正範囲、補正方向を算出して、ボヤケ低減補正に用いる第1のボヤケ低減補正と、
前記周波数変換ステップによる周波数変換結果に基づいて、ボヤケ低減補正の補正範囲、補正方向を算出し、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出して、ボヤケ低減補正に用いる第2のボヤケ低減補正とを、
切換え可能であることを特徴とする請求項9に記載の映像処理方法。 In the video blur reduction step,
Based on the frequency conversion result in the frequency conversion step, calculates the correction strength of the blur reduction correction, calculates the correction range and correction direction of the blur reduction correction based on the motion vector detected in the motion vector detection step, A first blur reduction correction used for blur reduction correction;
Based on the frequency conversion result in the frequency conversion step, calculate the correction range and correction direction of the blur reduction correction, calculate the correction strength of the blur reduction correction based on the motion vector detected in the motion vector detection step, A second blur reduction correction used for blur reduction correction,
The video processing method according to claim 9 , wherein switching is possible.
前記動きベクトル検出ステップでは、前記周波数変換ステップによる周波数変換結果を用いて前記映像の動きベクトルを検出することを特徴とする映像処理方法。 A video processing method according to any one of claims 9 to 15 ,
In the motion vector detection step, a motion vector of the video is detected using a frequency conversion result in the frequency conversion step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010214670A JP5506623B2 (en) | 2010-09-27 | 2010-09-27 | Video processing apparatus and video processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010214670A JP5506623B2 (en) | 2010-09-27 | 2010-09-27 | Video processing apparatus and video processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012070295A JP2012070295A (en) | 2012-04-05 |
JP5506623B2 true JP5506623B2 (en) | 2014-05-28 |
Family
ID=46167002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010214670A Active JP5506623B2 (en) | 2010-09-27 | 2010-09-27 | Video processing apparatus and video processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5506623B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200766B (en) * | 2014-08-27 | 2017-02-15 | 深圳市华星光电技术有限公司 | Picture compensation method and displayer allowing picture compensation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2811909B2 (en) * | 1990-04-27 | 1998-10-15 | キヤノン株式会社 | Image processing device |
JP2001251534A (en) * | 2000-03-08 | 2001-09-14 | Matsushita Electric Ind Co Ltd | Video signal processor |
CN100380923C (en) * | 2003-12-01 | 2008-04-09 | 皇家飞利浦电子股份有限公司 | Motion-compensated inverse filtering with band-pass filters for motion blur reduction |
JP4415188B2 (en) * | 2004-08-09 | 2010-02-17 | カシオ計算機株式会社 | Image shooting device |
JPWO2009107487A1 (en) * | 2008-02-25 | 2011-06-30 | 三菱電機株式会社 | Motion blur detection device and method, image processing device, and image display device |
JP4666012B2 (en) * | 2008-06-20 | 2011-04-06 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP2010057001A (en) * | 2008-08-29 | 2010-03-11 | Mitsubishi Electric Corp | Image processor, method, and image display device |
CN102301718A (en) * | 2008-12-03 | 2011-12-28 | 索尼公司 | Image Processing Apparatus, Image Processing Method And Program |
JP5219771B2 (en) * | 2008-12-15 | 2013-06-26 | キヤノン株式会社 | Video processing apparatus and video processing apparatus control method |
-
2010
- 2010-09-27 JP JP2010214670A patent/JP5506623B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012070295A (en) | 2012-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6020199B2 (en) | Image processing apparatus, method, program, and imaging apparatus | |
JP5530563B2 (en) | High dynamic range image capture and rendering | |
US8306348B2 (en) | Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal | |
US8478002B2 (en) | Method for analyzing object motion in multi frames | |
EP2413586B1 (en) | Method and device for adaptive noise measurement of a video signal | |
US8436910B2 (en) | Image processing apparatus and image processing method | |
US9413951B2 (en) | Dynamic motion estimation and compensation for temporal filtering | |
JP5430234B2 (en) | Image processing apparatus, image processing method, program, recording medium, and integrated circuit | |
US7995146B2 (en) | Image processing apparatus and image processing method | |
KR20020008179A (en) | System and method for improving the sharpness of a video image | |
JP6254938B2 (en) | Image noise removing apparatus and image noise removing method | |
US9639919B2 (en) | Detection and correction of artefacts in images or video | |
US7932955B2 (en) | Method and system for content adaptive analog video noise detection | |
JP5930991B2 (en) | Imaging apparatus, imaging system, and imaging method | |
JP2008017448A (en) | Video signal processing method, program of video signal processing method, recording medium having recorded thereon program of video signal processing method, and video signal processing apparatus | |
JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
JP5506623B2 (en) | Video processing apparatus and video processing method | |
WO2010106739A1 (en) | Image processing device, image processing method, and image processing program | |
US8040437B2 (en) | Method and system for analog video noise detection | |
JP5039017B2 (en) | Noise level detector | |
US20210366084A1 (en) | Deblurring process for digital image processing | |
JP5219771B2 (en) | Video processing apparatus and video processing apparatus control method | |
US9258461B2 (en) | Image processing device and method, and image processing program | |
JP2010079815A (en) | Image correction device | |
US20180352153A1 (en) | Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5506623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |