JP4109328B2 - ビデオ信号符号化装置 - Google Patents
ビデオ信号符号化装置 Download PDFInfo
- Publication number
- JP4109328B2 JP4109328B2 JP22050596A JP22050596A JP4109328B2 JP 4109328 B2 JP4109328 B2 JP 4109328B2 JP 22050596 A JP22050596 A JP 22050596A JP 22050596 A JP22050596 A JP 22050596A JP 4109328 B2 JP4109328 B2 JP 4109328B2
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- video signal
- data
- vertical
- filter circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はビデオ信号符号化装置に関し、特に、様々な標準テレビジョン方式のビデオ信号を所定の共通フォーマットに変換して符号化するビデオ信号符号化装置に関するものである。
【０００２】
【従来の技術】
従来、ビデオ信号符号化装置では、ビデオ信号の情報を圧縮するために、符号化するビデオ信号の水平方向画素数（以下、画素数）と垂直方向ライン数（以下、ライン数）とを間引くことが行われる。ここで、ビデオ信号は、各国ごとにＮＴＳＣ，ＰＡＬ，ＳＥＣＡＭといった異なる規格を採用しているため、それら様々な規格のビデオ信号を符号化して通信する際には、まず各国間でも行われる通信用に定められた共通フォーマットの信号に変換する必要がある。
【０００３】
上記共通フォーマットとしては、国際標準規格であるＩＴＵ−Ｈ．２６１によるＣＩＦ（Common Interface Format ）やＱＣＩＦ（Quater CIF）などのフォーマットがある。以下に、Ａ／Ｄ変換されたＮＴＳＣ方式のビデオ信号をＱＣＩＦに変換する場合を例に挙げて、図面を参照しながら説明する。
【０００４】
ＮＴＳＣ信号をＱＣＩＦに変換する際には、画素数を変換しやすいように、画素数がＱＣＩＦの４倍になるように１３．５ＭＨｚでサンプリングされる。この中からブランキング区間を除いたものが符号化の対象となるが、この時点で輝度信号の１フレームの大きさは、図３（ａ）に示すように（７０４×４８０）＝（画素数×ライン数、以下同じ）である。また、色差信号については、図３（ｄ）に示すように水平方向の偶数番目の画素を間引いて（３５２×４８０）である。
【０００５】
このような輝度信号および色差信号をまず最初にＣＩＦに変換するために、画素数およびライン数の間引きが行われる。このとき、平滑化のためのフィルタ処理を水平方向および垂直方向共に行ってから間引くことで、輝度信号の大きさは図３（ｂ）に示すように（３５２×２８８）、色差信号の大きさは図３（ｅ）に示すように（１７６×２８８）に変換される。更に色差信号については、改めて垂直方向のフィルタ処理を行ってから間引くことで、図３（ｆ）に示すように（１７６×１４４）に変換される。この時点でＣＩＦへの変換が完了する。
【０００６】
さらに、ＱＣＩＦへの変換は、水平方向および垂直方向に対するフィルタ処理をもう一度行ってから間引くことで行われる。これにより、輝度信号の大きさは図３（ｃ）に示すように（１７６×１４４）、色差信号の大きさは図３（ｇ）に示すように（８８×７２）に変換される。これで全ての処理が完了する。
【０００７】
次に、以上の動作を実現する従来技術を用いたビデオ信号符号化装置の一例を図４を参照しながら説明する。
図４に示すように、従来技術を用いたビデオ信号符号化装置は、２つのフレームメモリ４０１，４０７、２つの水平方向フィルタ回路４０２，４０５、３つの垂直方向フィルタ回路４０３，４０４，４０６、リードアドレス発生回路４０８および符号化回路４０９によって構成される。なお、入力されるビデオ信号は、ディジタル信号に変換された信号であり、このディジタル化されたビデオ信号の各画素に同期してディジタル化されたクロック信号もこのビデオ信号と同時に入力される。
【０００８】
ビデオ信号の入力段にある第１のフレームメモリ４０１は、入力ビデオ信号をフレーム単位に格納する。これは、ＮＴＳＣはインターレース方式であるので、これをノンインターレースで読み出すことができるようにするためである。すなわち、第１のフレームメモリ４０１への書き込み時におけるデータの順番は、インターレースのラスタスキャン順であり、読み出し時におけるデータの順番は、ノンインターレースのラスタスキャン順である。
【０００９】
上記第１のフレームメモリ４０１から読み出されたデータは、第１の水平方向フィルタ回路４０２に入力される。この第１の水平方向フィルタ回路４０２は、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特に画素数を、輝度信号については７０４個から３５２個に間引き、色差信号については３５２個から１７６個に間引く。
【００１０】
この第１の水平方向フィルタ回路４０２で処理されたデータは、次段の第１の垂直方向フィルタ回路４０３に入力される。このとき、間引かれる画素に対してはビデオ信号と同時に入力されるクロック信号が非活性となる。これにより、第１の垂直方向フィルタ回路４０３は、第１の水平方向フィルタ回路４０２での間引き後のデータに対してのみ動作することになる。
【００１１】
上記第１の垂直方向フィルタ回路４０３は、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特にライン数を、輝度信号、色差信号共に４８０個から２８８個に間引く。
【００１２】
この第１の垂直方向フィルタ回路４０３で処理されたデータは、次段の第２の垂直方向フィルタ回路４０４に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第２の垂直方向フィルタ回路４０４は、第１の垂直方向フィルタ回路４０３での間引き後のデータに対してのみ動作することになる。この時点でフレームの大きさは、図３（ｂ）（ｅ）に相当し、輝度信号についてはＣＩＦへの変換が完了する。
【００１３】
上記第２の垂直方向フィルタ回路４０４は、第１の垂直方向フィルタ回路４０３と同様に、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特にライン数を、色差信号については２８８個から１４４個に間引き、輝度信号については間引きは行わずバイパスとなる。
【００１４】
この第２の垂直方向フィルタ回路４０４で処理されたデータは、次段の第２の水平方向フィルタ回路４０５に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第２の水平方向フィルタ回路４０５は、第２の垂直方向フィルタ回路４０４での間引き後のデータに対してのみ動作することになる。この時点でフレームの大きさは、図３（ｂ）（ｆ）に相当し、色差信号についてもＣＩＦへの変換が完了する。
【００１５】
上記第２の水平方向フィルタ回路４０５は、第１の水平方向フィルタ回路４０２と同様に、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特に画素数を、輝度信号については３５２個から１７６個に間引き、色差信号については１７６個から８８個に間引く。
【００１６】
この第２の水平方向フィルタ回路４０５で処理されたデータは、次段の第３の垂直方向フィルタ回路４０６に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第３の垂直方向フィルタ回路４０６は、第２の水平方向フィルタ回路４０５での間引き後のデータに対してのみ動作することになる。
【００１７】
上記第３の垂直方向フィルタ回路４０６は、第１、第２の垂直方向フィルタ回路４０３，４０４と同様の役割を持つ。ここでは特にライン数を、輝度信号については２８８個から１４４個に間引き、色差信号については１４４個から７２個に間引く。
【００１８】
この第３垂直方向フィルタ回路４０６で処理されたデータは、次段の第２のフレームメモリ４０７に書き込まれる。このとき、間引かれる画素に対してクロック信号が非活性となり、このクロック信号をもとにして図示しないライトイネーブル発生回路からライトイネーブル信号が第２のフレームメモリ４０７に出力される。これによって第２のフレームメモリ４０７は、第３の垂直方向フィルタ回路４０６での間引き後のデータのみを格納することになる。この時点でフレームの大きさは、図３（ｃ）（ｇ）に相当し、輝度信号、色差信号共にＱＣＩＦへの変換が完了する。
【００１９】
上記第２のフレームメモリ４０７は、上記第３の垂直方向フィルタ回路４０６より出力されるデータをフレーム単位で格納する。これは、ＱＣＩＦに変換されたデータを符号化回路４０９で符号化するときには、第３の垂直方向フィルタ回路４０６の出力順とは異なった順番で読み出す必要があるので、そのためのバッファの役割をする。
【００２０】
リードアドレス発生回路４０８は、ＱＣＩＦに変換されたデータを符号化回路４０９で符号化するときの順序で第２のフレームメモリ４０７から読み出すためのリードアドレスを発生する。先に例として挙げたＩＴＵ−Ｈ．２６１では、マクロブロックと呼ばれる（１６×１６）の輝度信号、（８×８）の色差信号を１単位とし、その単位でラスタスキャン順にデータを読み出すことになる。
【００２１】
符号化回路４０９は、ビデオ信号符号化装置全体として達成すべき符号化方式を実現するための回路であり、先に例として挙げたＩＴＵ−Ｈ．２６１に準じた符号化を達成するならば、Ｈ．２６１符号化回路となる。
【００２２】
次に、図４に示した各フィルタ回路４０２〜４０６の構成の一例を、図５を参照しながら説明する。なお、図５（ａ）は水平方向フィルタ回路４０２，４０５の構成を示し、図５（ｂ）は垂直方向フィルタ回路４０３，４０４，４０６の構成を示す。
【００２３】
図５（ａ）に示すように、水平方向フィルタ回路は、直列接続された２つのレジスタ５０１，５０２、３つの乗算器５０３，５０４，５０５および加算器５０６によって構成される。レジスタ５０１，５０２は、それぞれ１画素分の輝度信号あるいは色差信号を保持するものである。
【００２４】
一方、図５（ｂ）に示すように、垂直方向フィルタ回路は、直列接続された２つのディレイライン５０７，５０８、３つの乗算器５０３，５０４，５０５および加算器５０６によって構成される。ディレイライン５０７，５０８は、それぞれ１ライン分の輝度信号あるいは色差信号を保持するものである。すなわち、１ライン中の画素数分のレジスタに相当し、例えば図４の第１の垂直方向フィルタ回路４０３で輝度信号の場合には、３５２個のレジスタとなる。
【００２５】
この図５（ａ）および（ｂ）の例は、
ｙ′＝ａｘ＋ｂｙ＋ｃｚ （ａ＋ｂ＋ｃ＝１）
の計算式を実現する回路を示している。ここで、ｙはフィルタをかける対象画素、ｘ，ｚは図５（ａ）の水平方向フィルタ回路の場合は対象画素の左右の画素、図５（ｂ）の垂直方向フィルタ回路の場合は対象画素の上下の画素である。
【００２６】
なお、この図５の例は、３タップフィルタの場合を示したものであるが、タップ数を変える場合には、タップ数の増加に応じてレジスタ５０１，５０２またはディレイライン５０７，５０８と乗算器５０３，５０４，５０５とを増やし、加算器５０６をタップ数に応じた入力数のものに変えれば良い。
【００２７】
図５（ａ）に示した上記２つのレジスタ５０１，５０２は直列に接続されており、ある画素データが入力されると、その画素データに対して１画素分遅れたデータが第１のレジスタ５０１から、２画素分遅れたデータが第２のレジスタ５０２からそれぞれ出力される。
【００２８】
また、図５（ａ）の３つの乗算器５０３，５０４，５０５には、それぞれ入力画素データ、レジスタ５０１，５０２からの出力データが入力されるようになっている。これにより、３つの乗算器５０３，５０４，５０５には、水平方向に３つ並んだ画素データが同時に入力される。これを先の計算式に対応させると、第１の乗算器５０３にはｘ、第２の乗算器５０４にはｙ、第３の乗算器５０５にはｚの画素データがそれぞれ入力されることとなり、これら３つの乗算器５０３，５０４，５０５は、それぞれａ×ｘ、ｂ×ｙ、ｃ×ｚを計算する。
【００２９】
一方、図５（ｂ）に示した上記２つのディレイライン５０７，５０８も直列に接続されており、ある画素データが入力されると、その画素データに対して１ライン分遅れたデータが第１のディレイライン５０７から、２ライン分遅れたデータが第２のディレイライン５０８からそれぞれ出力される。
【００３０】
また、図５（ｂ）の３つの乗算器５０３，５０４，５０５には、それぞれ入力画素データ、ディレイライン５０７，５０８からの出力データが入力されるようになっている。これにより、３つの乗算器５０３，５０４，５０５には、垂直方向に３つ並んだ画素データが同時に入力される。これを先の計算式に対応させると、第１の乗算器５０３にはｘ、第２の乗算器５０４にはｙ、第３の乗算器５０５にはｚの画素データがそれぞれ入力されることとなり、これら３つの乗算器５０３，５０４，５０５は、それぞれａ×ｘ、ｂ×ｙ、ｃ×ｚを計算する。
【００３１】
図５（ａ）に示した水平方向フィルタ回路の場合も、図５（ｂ）に示した垂直方向フィルタ回路の場合も、加算器５０６は、３つの乗算器５０３，５０４，５０５より入力された３つ並んだ画素データの合計を計算して出力する。以上により、先の計算式が達成される。
【００３２】
【発明が解決しようとする課題】
以上の説明から明らかなように、従来の技術では、多数のフレームメモリやフィルタ回路が存在し、しかも個々のフィルタ回路自体の規模も大きいことから、ビデオ信号符号化装置の全体的な回路規模が非常に大きくなってしまうという欠点があった。特に、各フィルタ回路内の乗算器や、垂直フィルタ回路内のディレイラインは物理的、価格的に大きな負担となるものである。したがって、ビデオ信号符号化装置の小型化、低価格化のためには、これらは少ない程望ましい。
【００３３】
本発明は、このような実情に鑑みて成されたものであり、様々な標準テレビジョン方式のビデオ信号を所定の共通フォーマットに変換して符号化する方式のビデオ信号符号化装置の回路規模を小さくできるようにすることを目的とする。
【００３４】
【課題を解決するための手段】
本発明のビデオ符号化装置は、標準テレビジョン方式のビデオ信号を、水平方向の画素数および垂直方向のライン数を間引いて共通フォーマットであるＣＩＦ又はＱＣＩＦに変換した後で符号化するビデオ信号符号化装置において、上記標準テレビジョン方式のビデオ信号の入力段に設けられ、ＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第１の水平方向間引き手段と、上記第１の水平方向間引き手段での間引き後のデータに対して、ＱＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第２の水平方向間引き手段と、ＣＩＦに変換するか、ＱＣＩＦに変換するかに応じて、上記第１の水平間引き手段での間引き後のデータ又は上記第２の水平間引き手段での間引き後のデータを選択する選択手段と、上記選択手段により選択された間引き後のデータを格納するフレームメモリと、上記フレームメモリからノンインターレース方式で、かつ、前記符号化の処理単位であるマクロブロックに後段の垂直方向間引き手段で間引くライン数を加えたものごとにデータを読み出すためのアドレスを発生する読み出し制御手段と、上記フレームメモリから読み出されたビデオ信号に対して、ＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う垂直方向間引き手段とを備えた点に特徴を有する。
また、本発明のビデオ信号符号化装置の他の特徴とするところは、上記垂直方向間引き手段は、上記フレームメモリから読み出されたビデオ信号に対して垂直方向のライン数の間引きを行う１個の垂直方向間引き手段と、上記垂直方向間引き手段によりライン数の間引かれたビデオ信号を一時格納する一時記憶メモリとにより構成され、上記垂直方向間引き手段と上記一時記憶メモリとでフィードバックループを構成し、上記１個の垂直方向間引き手段を繰り返し用いてＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う構成とした点にある。
【００４６】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本実施形態によるビデオ信号符号化装置の構成を示すブロック図であり、図２は、本実施形態によるビデオ信号符号化装置の動作を説明するための図である。なお、図２は、ＮＴＳＣ信号からＣＩＦあるいはＱＣＩＦのビデオ信号を生成する動作を示している。
【００４７】
図１に示すように、本実施形態のビデオ信号符号化装置は、直列接続された２つの水平方向フィルタ回路１０１，１０２、２つのマルチプレクサ１０３，１０６、フレームメモリ１０４、リードアドレス発生回路１０５、垂直方向フィルタ回路１０７、ＲＡＭ１０８および符号化回路１０９によって構成される。なお、入力されるビデオ信号は、ディジタル信号に変換された信号であり、このディジタル化されたビデオ信号の各画素に同期したクロック信号もビデオ信号と同時に入力される。
【００４８】
ビデオ信号の入力段にある第１の水平方向フィルタ回路１０１には、図２（ａ）に示す１フレームの大きさが（７０４×４８０）の輝度信号と、図２（ｅ）に示す同じく１フレームの大きさが（３５２×４８０）の色差信号とが入力される。この第１の水平方向フィルタ回路１０１は、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。
【００４９】
上記第１の水平方向フィルタ回路１０１は、ここでは特に画素数を、輝度信号については７０４個から３５２個に間引き、色差信号については３５２個から１７６個に間引く。この第１の水平方向フィルタ回路１０１で処理されたデータは、これに直列に接続された第２の水平方向フィルタ回路１０２と第１のマルチプレクサ１０３とに入力される。
【００５０】
上記第１の水平方向フィルタ回路１０１からの出力データが第２の水平方向フィルタ回路１０２に入力されるとき、間引かれる画素に対してはビデオ信号と同時に入力されるクロック信号が非活性となる。これにより、第２の水平方向フィルタ回路１０２は、第１の水平方向フィルタ回路１０１での間引き後のデータに対してのみ動作することになる。
【００５１】
上記第２の水平方向フィルタ回路１０２は、第１の水平方向フィルタ回路１０１と同じ役割を持つ。ここでは特に画素数を、輝度信号については３５２個から１７６個に間引き、色差信号については１７６個から８８個に間引く。この第２の水平方向フィルタ回路１０２で処理されたデータは、第１のマルチプレクサ１０３に入力される。
【００５２】
上記第１のマルチプレクサ１０３は、ＮＴＳＣ信号をＣＩＦに変換するかＱＣＩＦに変換するかによって、第１の水平方向フィルタ回路１０１からの出力データと第２の水平方向フィルタ回路１０２からの出力データとの何れか一方を選択する。すなわち、符号化処理を行う画面の大きさがＣＩＦの場合は、第１の水平方向フィルタ回路１０１からの出力データを選択し、ＱＣＩＦの場合は第２の水平方向フィルタ回路１０２からの出力データを選択する。そして、選択したデータをフレームメモリ１０４に供給する。
【００５３】
上記フレームメモリ１０４は、第１のマルチプレクサ１０３より出力されるデータをフレーム単位で格納する。これは、本実施形態では、以降の処理を行うときに、第１のマルチプレクサ１０３の出力順とは異なった順番でデータを読み出すようにしているので、そのためのバッファの役割をするものである。
【００５４】
上記第１の水平方向フィルタ回路１０１あるいは第２の水平方向フィルタ回路１０２で間引かれたデータがフレームメモリ１０４に書き込まれるとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってフレームメモリ１０４は、間引き後のデータのみを格納することになる。
【００５５】
この時点でフレームの大きさは、輝度信号については図２（ｂ）のようになり、色差信号については図２（ｆ）のようになる。すなわち、符号化処理を行う画面の大きさがＣＩＦの場合は、輝度信号については（３５２×４８０）、色差信号については（１７６×４８０）となり、符号化処理を行う画面の大きさがＱＣＩＦの場合は、輝度信号については（１７６×４８０）、色差信号については（８８×４８０）となる。
【００５６】
なお、本実施形態では、第１、第２の水平方向フィルタ回路１０１，１０２からの出力データの何れか一方を第１のマルチプレクサ１０３を用いて選択することによってＣＩＦおよびＱＣＩＦの両方に対応しているが、ＮＴＳＣ信号をＣＩＦに変換する場合には、第２の水平方向フィルタ回路１０２および第１のマルチプレクサ１０３は不要となる。
【００５７】
次に、リードアドレス発生回路１０５は、フレームメモリ１０４に格納されたデータを、以降の処理を行うときの順序で読み出すためのリードアドレスを発生する。先に例として挙げたＩＴＵ−Ｈ．２６１では、マクロブロックと呼ばれる（１６×１６）の輝度信号、（８×８）の色差信号を１単位とし、その単位でラスタスキャン順にデータを読み出すことになる。ただし、この時点ではライン数の間引きは全く行っていないので、更にこのマクロブロックを中心にして、上下数ラインも加えて読み出す必要がある。なお、以降の処理は、このＩＴＵ−Ｈ．２６１の処理を行うことを例として説明する。
【００５８】
上記リードアドレス発生回路１０５により発生されるリードアドレスに従ってフレームメモリ１０４から読み出されたデータは、第２のマルチプレクサ１０６に供給される。第２のマルチプレクサ１０６は、このフレームメモリ１０４より出力されたデータと、ＲＡＭ１０８より出力されフィードバックされたデータとの何れか一方を選択して出力する。
【００５９】
すなわち、垂直方向に対するライン数変換処理は、輝度信号についてはＣＩＦの場合は１回、ＱＣＩＦの場合は２回行う必要があり、色差信号についてはＣＩＦの場合は２回、ＱＣＩＦの場合は３回行う必要があるが、第２のマルチプレクサ１０６は、次段の垂直方向フィルタ回路１０７に供給するデータとして、１回目のライン数変換処理を行うときはフレームメモリ１０４の出力を選択し、２回目以降のライン数変換処理を行うときはＲＡＭ１０８の出力を選択する。
【００６０】
上記垂直方向フィルタ回路１０７は、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。この垂直方向フィルタ回路１０７は、図４に示した３つの垂直方向フィルタ回路４０３，４０４，４０６の役割を兼ね、順番にその役割を変えていく。
【００６１】
すなわち、最初は図４の第１の垂直方向フィルタ回路４０３の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりフレームメモリ１０４からの出力データが選択される。このとき、ＣＩＦあるいはＱＣＩＦのマクロブロックを作るのに必要なライン数のデータが、１ライン当たり１６画素ずつラスタスキャン順に読み出されて間引きが行われ、その結果がＲＡＭ１０８に格納される。
【００６２】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を輝度信号、色差信号共に４８０個から２８８個に間引くことに対応する。
【００６３】
次に、垂直方向フィルタ回路１０７が図４の第２の垂直方向フィルタ回路４０４の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりＲＡＭ１０８からの出力データが選択される。これにより、その直前（１回目）にライン数変換処理されたデータが読み出されて間引きが行われ、その結果がＲＡＭ１０８に再び格納される。
【００６４】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を色差信号について２８８個から１４４個に間引くことに対応しており、輝度信号についてはバイパスとなる。もし、符号化処理を行う画面の大きさがＣＩＦの場合は、この時点でライン数変換処理が完了し、フレームの大きさは、図２（ｃ）および（ｇ）のようになる。
【００６５】
さらに、垂直方向フィルタ回路１０７が図４の第３の垂直方向フィルタ回路４０６の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりＲＡＭ１０８からの出力データが選択される。これにより、その直前（２回目）にライン数変換処理されたデータが読み出されて間引きが行われ、その結果がＲＡＭ１０８に再び格納される。
【００６６】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を輝度信号については２８８個から１４４個に間引くことに対応し、輝度信号については１４４個から７２個に間引くことに対応する。この時点でマクロブロック単位のＱＣＩＦによるビデオ信号が完成し、フレームの大きさは、図２（ｄ）および（ｈ）のようになる。
【００６７】
上述のように、ＲＡＭ１０８は、垂直方向フィルタ回路１０７より出力されるデータを格納すると同時に、垂直方向フィルタ回路１０７への入力にもなるので、２面用意している。すなわち、一方がリード状態の時はもう一方がライト状態となり、これが交互に切り替わるダブルバッファ構成となっている。
【００６８】
符号化回路１０９は、ビデオ信号符号化装置全体として達成すべき符号化方式を実現するための回路であり、本実施形態ではＨ．２６１符号化回路となる。この符号化回路１０９は、ＲＡＭ１０８より出力されるＣＩＦあるいはＱＣＩＦになったビデオ信号を、ＩＴＵ−Ｈ．２６１の手順に従って符号化する。
【００６９】
以上のように、本実施形態では、入力段に設けた２つの水平方向フィルタ回路１０１，１０２によって、ＣＩＦあるいはＱＣＩＦとして最終的に必要な段階まで水平方向に対する画素の間引きをまず最初に行ってしまうようにしている。そして、その１画面分の間引き結果をフレームメモリ１０４に格納した後、リードアドレス発生回路１０５により発生されるアドレスに従って、符号化回路１０９での処理順序に応じた順序でフレームメモリ１０４から後段の回路にデータを読み出すようにしている。
【００７０】
これにより、図１のフレームメモリ１０４は、第１のマルチプレクサ１０３からインターレースで書き込まれたデータをノンインターレースで読み出すようにするためのフレームメモリ（図４の第１のフレームメモリ４０１に相当）と、１画面のラスタスキャン順で書き込まれたデータをマクロブロックのラスタスキャン順で読み出すようにするためのフレームメモリ（図４の第２のフレームメモリ４０７に相当）とを兼用する役割を持つ。
【００７１】
したがって、本実施形態では、図１のようにフレームメモリは１つだけ設ければ良く、従来のように２つ設けなくても済むようになる。ただし、本実施形態ではＲＡＭ１０８が新たに設けられているが、間引きがかなり進んだ後のデータを格納すれば良いので、そのメモリ容量は小さい。よって、フレームメモリ１０４の容量とＲＡＭ１０８の容量とを合わせても、図４に示した２つのフレームメモリ４０１，４０７の合計容量よりも小さくなり、装置の小型化を図れる。
【００７２】
また、本実施形態では、第２のマルチプレクサ１０６と垂直方向フィルタ回路１０７とＲＡＭ１０８とでフィードバックループを構成し、１つの垂直方向フィルタ回路１０７に図４に示した３つの垂直方向フィルタ回路４０３，４０４，４０６の役割を持たせるようにしている。これにより、従来は３つ必要であった垂直方向フィルタ回路が本実施形態によれば１つで済むようになる。
【００７３】
ここで、図１の水平方向フィルタ回路１０１，１０２および垂直方向フィルタ回路１０７は、何れも図５に示すような構成のものである。したがって、垂直方向フィルタ回路の数が減った分だけ、コスト面や回路規模等の面でデメリットの大きいディレイラインや乗算器の数を格段に減らすことができる。
【００７４】
しかも、本実施形態では、垂直方向フィルタ回路１０７よりも前段でリードアドレス発生回路１０５によってマクロブロック単位のラスタスキャン順となるようにデータが読み出されているので、垂直方向フィルタ回路１０７の中のディレイラインは、従来のようにフレーム単位での１ライン中の画素数分のレジスタに相当するものではなく、マクロブロック単位での１ライン中の画素数分のレジスタに相当する。すなわち、輝度信号の場合は１６個、色差信号の場合は８個のレジスタで良く、従来の７０４個に比べて格段に少なくて済む。
【００７５】
なお、図１の例では第２のマルチプレクサ１０６と垂直方向フィルタ回路１０７とＲＡＭ１０８とでフィードバックループを構成しているが、従来例と同様に３つの垂直方向フィルタ回路を直列接続するようにしても良い（ただし、輝度信号を処理するか色差信号を処理するかによって、あるいはＣＩＦであるかＱＣＩＦであるかによって、処理が不要な垂直方向フィルタ回路は間引きは行わずバイパスさせる）。この場合は、フィルタ回路の数は従来と変わらないが、フレームメモリが１つで良く、また垂直方向フィルタ回路内のディレイラインのサイズが小さくて良い分、従来よりも回路規模を小さくすることができる。
【００７６】
また、図１の例では、垂直方向フィルタ回路１０７よりも前にリードアドレス発生回路１０５を設け、マクロブロック単位のラスタスキャン順に読み出したデータを垂直方向フィルタ回路１０７に入力するようにしているが、従来例と同様に、符号化回路１０９の前段にもフレームメモリを設け、ここからマクロブロック単位のラスタスキャン順にデータを読み出すようにしても良い。この場合は、フレームメモリの数は従来と変わらないが、垂直方向フィルタ回路が１つで良い分、従来よりも回路規模を小さくすることができる。
【００７７】
また、図１の例では垂直方向フィルタ回路１０７をフィードバックループの中で繰り返し用いるようにしたが、水平方向フィルタ回路あるいは、水平方向フィルタ回路と垂直方向フィルタ回路との両方をフィードバックループの中で繰り返し用いるようにしても良い。
【００７８】
【発明の効果】
本発明によれば、上記標準テレビジョン方式のビデオ信号の入力段に設けられ、ＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第１の水平方向間引き手段と、第１の水平方向間引き手段での間引き後のデータに対して、ＱＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第２の水平方向間引き手段と、ＣＩＦに変換するか、ＱＣＩＦに変換するかに応じて、第１の水平間引き手段での間引き後のデータ又は第２の水平間引き手段での間引き後のデータを選択する選択手段と、選択手段により選択された間引き後のデータを格納するフレームメモリと、フレームメモリからノンインターレース方式で、かつ、前記符号化の処理単位であるマクロブロックに後段の垂直方向間引き手段で間引くライン数を加えたものごとにデータを読み出すためのアドレスを発生する読み出し制御手段とを有するので、標準テレビジョン方式のビデオ信号を、ＣＩＦ又はＱＣＩＦの所望の共通フォーマットに変換することができる。また、インターレースで書き込まれたビデオ信号をノンインターレースで読み出すようにするためと、フレーム単位のラスタスキャン順に書き込まれたビデオ信号を符号化回路での処理単位のラスタスキャン順で読み出すようにするための両者の役割を本発明のフレームメモリに持たせるようにすることができ、１つのフレームメモリだけで共通フォーマットへの変換を実現することができる。
【００７９】
しかも、上記フレームメモリの後段の垂直方向間引き手段では、上述のように符号化の処理順序に応じた順序で処理単位ごとに読み出されたビデオ信号に対してライン数の間引きが行われるので、垂直方向間引き手段の内部に備えられるディレイラインのサイズを、フレーム単位より小さい符号化回路の処理単位での１ライン中の画素数分で済むようにすることができる。
したがって、本発明によれば、２つのフレームメモリを用いており、垂直方向間引き手段内のディレイラインのサイズがフレーム単位での１ライン中の画素数分であった従来例よりもビデオ信号符号化装置の回路規模を小さくすることができる。
【００８０】
また、本発明の他の特徴によれば、１個の垂直方向間引き手段とその結果を格納する一時記憶メモリとでフィードバックループを構成し、上記１個の垂直方向間引き手段を繰り返し用いて共通フォーマットとして最終的に必要な段階まで垂直方向のライン数の間引きを行うようにしたので、垂直方向間引き手段を複数個設けることなく共通フォーマットへの変換を実現することができ、複数個の垂直方向間引き手段を使って共通フォーマットへの変換を行っていた従来例よりもビデオ信号符号化装置の回路規模を小さくすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるビデオ信号符号化装置の一構成例を示すブロック図である。
【図２】本実施形態によるビデオ信号符号化装置の動作を説明するための図である。
【図３】従来のビデオ信号符号化装置の動作を説明するための図である。
【図４】従来のビデオ信号符号化装置の構成を示すブロック図である。
【図５】水平方向フィルタ回路および垂直方向フィルタ回路の構成を示す図である。
【符号の説明】
１０１，１０２ 水平方向フィルタ回路
１０３，１０６ マルチプレクサ
１０４ フレームメモリ
１０５ リードアドレス発生回路
１０７ 垂直方向フィルタ回路
１０８ ＲＡＭ
１０９ 符号化回路
５０１，５０２ レジスタ
５０３，５０４，５０５ 乗算器
５０６ 加算器
５０７，５０８ ディレイライン
【発明の属する技術分野】
本発明はビデオ信号符号化装置に関し、特に、様々な標準テレビジョン方式のビデオ信号を所定の共通フォーマットに変換して符号化するビデオ信号符号化装置に関するものである。
【０００２】
【従来の技術】
従来、ビデオ信号符号化装置では、ビデオ信号の情報を圧縮するために、符号化するビデオ信号の水平方向画素数（以下、画素数）と垂直方向ライン数（以下、ライン数）とを間引くことが行われる。ここで、ビデオ信号は、各国ごとにＮＴＳＣ，ＰＡＬ，ＳＥＣＡＭといった異なる規格を採用しているため、それら様々な規格のビデオ信号を符号化して通信する際には、まず各国間でも行われる通信用に定められた共通フォーマットの信号に変換する必要がある。
【０００３】
上記共通フォーマットとしては、国際標準規格であるＩＴＵ−Ｈ．２６１によるＣＩＦ（Common Interface Format ）やＱＣＩＦ（Quater CIF）などのフォーマットがある。以下に、Ａ／Ｄ変換されたＮＴＳＣ方式のビデオ信号をＱＣＩＦに変換する場合を例に挙げて、図面を参照しながら説明する。
【０００４】
ＮＴＳＣ信号をＱＣＩＦに変換する際には、画素数を変換しやすいように、画素数がＱＣＩＦの４倍になるように１３．５ＭＨｚでサンプリングされる。この中からブランキング区間を除いたものが符号化の対象となるが、この時点で輝度信号の１フレームの大きさは、図３（ａ）に示すように（７０４×４８０）＝（画素数×ライン数、以下同じ）である。また、色差信号については、図３（ｄ）に示すように水平方向の偶数番目の画素を間引いて（３５２×４８０）である。
【０００５】
このような輝度信号および色差信号をまず最初にＣＩＦに変換するために、画素数およびライン数の間引きが行われる。このとき、平滑化のためのフィルタ処理を水平方向および垂直方向共に行ってから間引くことで、輝度信号の大きさは図３（ｂ）に示すように（３５２×２８８）、色差信号の大きさは図３（ｅ）に示すように（１７６×２８８）に変換される。更に色差信号については、改めて垂直方向のフィルタ処理を行ってから間引くことで、図３（ｆ）に示すように（１７６×１４４）に変換される。この時点でＣＩＦへの変換が完了する。
【０００６】
さらに、ＱＣＩＦへの変換は、水平方向および垂直方向に対するフィルタ処理をもう一度行ってから間引くことで行われる。これにより、輝度信号の大きさは図３（ｃ）に示すように（１７６×１４４）、色差信号の大きさは図３（ｇ）に示すように（８８×７２）に変換される。これで全ての処理が完了する。
【０００７】
次に、以上の動作を実現する従来技術を用いたビデオ信号符号化装置の一例を図４を参照しながら説明する。
図４に示すように、従来技術を用いたビデオ信号符号化装置は、２つのフレームメモリ４０１，４０７、２つの水平方向フィルタ回路４０２，４０５、３つの垂直方向フィルタ回路４０３，４０４，４０６、リードアドレス発生回路４０８および符号化回路４０９によって構成される。なお、入力されるビデオ信号は、ディジタル信号に変換された信号であり、このディジタル化されたビデオ信号の各画素に同期してディジタル化されたクロック信号もこのビデオ信号と同時に入力される。
【０００８】
ビデオ信号の入力段にある第１のフレームメモリ４０１は、入力ビデオ信号をフレーム単位に格納する。これは、ＮＴＳＣはインターレース方式であるので、これをノンインターレースで読み出すことができるようにするためである。すなわち、第１のフレームメモリ４０１への書き込み時におけるデータの順番は、インターレースのラスタスキャン順であり、読み出し時におけるデータの順番は、ノンインターレースのラスタスキャン順である。
【０００９】
上記第１のフレームメモリ４０１から読み出されたデータは、第１の水平方向フィルタ回路４０２に入力される。この第１の水平方向フィルタ回路４０２は、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特に画素数を、輝度信号については７０４個から３５２個に間引き、色差信号については３５２個から１７６個に間引く。
【００１０】
この第１の水平方向フィルタ回路４０２で処理されたデータは、次段の第１の垂直方向フィルタ回路４０３に入力される。このとき、間引かれる画素に対してはビデオ信号と同時に入力されるクロック信号が非活性となる。これにより、第１の垂直方向フィルタ回路４０３は、第１の水平方向フィルタ回路４０２での間引き後のデータに対してのみ動作することになる。
【００１１】
上記第１の垂直方向フィルタ回路４０３は、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特にライン数を、輝度信号、色差信号共に４８０個から２８８個に間引く。
【００１２】
この第１の垂直方向フィルタ回路４０３で処理されたデータは、次段の第２の垂直方向フィルタ回路４０４に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第２の垂直方向フィルタ回路４０４は、第１の垂直方向フィルタ回路４０３での間引き後のデータに対してのみ動作することになる。この時点でフレームの大きさは、図３（ｂ）（ｅ）に相当し、輝度信号についてはＣＩＦへの変換が完了する。
【００１３】
上記第２の垂直方向フィルタ回路４０４は、第１の垂直方向フィルタ回路４０３と同様に、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特にライン数を、色差信号については２８８個から１４４個に間引き、輝度信号については間引きは行わずバイパスとなる。
【００１４】
この第２の垂直方向フィルタ回路４０４で処理されたデータは、次段の第２の水平方向フィルタ回路４０５に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第２の水平方向フィルタ回路４０５は、第２の垂直方向フィルタ回路４０４での間引き後のデータに対してのみ動作することになる。この時点でフレームの大きさは、図３（ｂ）（ｆ）に相当し、色差信号についてもＣＩＦへの変換が完了する。
【００１５】
上記第２の水平方向フィルタ回路４０５は、第１の水平方向フィルタ回路４０２と同様に、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。ここでは特に画素数を、輝度信号については３５２個から１７６個に間引き、色差信号については１７６個から８８個に間引く。
【００１６】
この第２の水平方向フィルタ回路４０５で処理されたデータは、次段の第３の垂直方向フィルタ回路４０６に入力される。このとき、間引かれる画素に対してクロック信号が非活性となり、これによって第３の垂直方向フィルタ回路４０６は、第２の水平方向フィルタ回路４０５での間引き後のデータに対してのみ動作することになる。
【００１７】
上記第３の垂直方向フィルタ回路４０６は、第１、第２の垂直方向フィルタ回路４０３，４０４と同様の役割を持つ。ここでは特にライン数を、輝度信号については２８８個から１４４個に間引き、色差信号については１４４個から７２個に間引く。
【００１８】
この第３垂直方向フィルタ回路４０６で処理されたデータは、次段の第２のフレームメモリ４０７に書き込まれる。このとき、間引かれる画素に対してクロック信号が非活性となり、このクロック信号をもとにして図示しないライトイネーブル発生回路からライトイネーブル信号が第２のフレームメモリ４０７に出力される。これによって第２のフレームメモリ４０７は、第３の垂直方向フィルタ回路４０６での間引き後のデータのみを格納することになる。この時点でフレームの大きさは、図３（ｃ）（ｇ）に相当し、輝度信号、色差信号共にＱＣＩＦへの変換が完了する。
【００１９】
上記第２のフレームメモリ４０７は、上記第３の垂直方向フィルタ回路４０６より出力されるデータをフレーム単位で格納する。これは、ＱＣＩＦに変換されたデータを符号化回路４０９で符号化するときには、第３の垂直方向フィルタ回路４０６の出力順とは異なった順番で読み出す必要があるので、そのためのバッファの役割をする。
【００２０】
リードアドレス発生回路４０８は、ＱＣＩＦに変換されたデータを符号化回路４０９で符号化するときの順序で第２のフレームメモリ４０７から読み出すためのリードアドレスを発生する。先に例として挙げたＩＴＵ−Ｈ．２６１では、マクロブロックと呼ばれる（１６×１６）の輝度信号、（８×８）の色差信号を１単位とし、その単位でラスタスキャン順にデータを読み出すことになる。
【００２１】
符号化回路４０９は、ビデオ信号符号化装置全体として達成すべき符号化方式を実現するための回路であり、先に例として挙げたＩＴＵ−Ｈ．２６１に準じた符号化を達成するならば、Ｈ．２６１符号化回路となる。
【００２２】
次に、図４に示した各フィルタ回路４０２〜４０６の構成の一例を、図５を参照しながら説明する。なお、図５（ａ）は水平方向フィルタ回路４０２，４０５の構成を示し、図５（ｂ）は垂直方向フィルタ回路４０３，４０４，４０６の構成を示す。
【００２３】
図５（ａ）に示すように、水平方向フィルタ回路は、直列接続された２つのレジスタ５０１，５０２、３つの乗算器５０３，５０４，５０５および加算器５０６によって構成される。レジスタ５０１，５０２は、それぞれ１画素分の輝度信号あるいは色差信号を保持するものである。
【００２４】
一方、図５（ｂ）に示すように、垂直方向フィルタ回路は、直列接続された２つのディレイライン５０７，５０８、３つの乗算器５０３，５０４，５０５および加算器５０６によって構成される。ディレイライン５０７，５０８は、それぞれ１ライン分の輝度信号あるいは色差信号を保持するものである。すなわち、１ライン中の画素数分のレジスタに相当し、例えば図４の第１の垂直方向フィルタ回路４０３で輝度信号の場合には、３５２個のレジスタとなる。
【００２５】
この図５（ａ）および（ｂ）の例は、
ｙ′＝ａｘ＋ｂｙ＋ｃｚ （ａ＋ｂ＋ｃ＝１）
の計算式を実現する回路を示している。ここで、ｙはフィルタをかける対象画素、ｘ，ｚは図５（ａ）の水平方向フィルタ回路の場合は対象画素の左右の画素、図５（ｂ）の垂直方向フィルタ回路の場合は対象画素の上下の画素である。
【００２６】
なお、この図５の例は、３タップフィルタの場合を示したものであるが、タップ数を変える場合には、タップ数の増加に応じてレジスタ５０１，５０２またはディレイライン５０７，５０８と乗算器５０３，５０４，５０５とを増やし、加算器５０６をタップ数に応じた入力数のものに変えれば良い。
【００２７】
図５（ａ）に示した上記２つのレジスタ５０１，５０２は直列に接続されており、ある画素データが入力されると、その画素データに対して１画素分遅れたデータが第１のレジスタ５０１から、２画素分遅れたデータが第２のレジスタ５０２からそれぞれ出力される。
【００２８】
また、図５（ａ）の３つの乗算器５０３，５０４，５０５には、それぞれ入力画素データ、レジスタ５０１，５０２からの出力データが入力されるようになっている。これにより、３つの乗算器５０３，５０４，５０５には、水平方向に３つ並んだ画素データが同時に入力される。これを先の計算式に対応させると、第１の乗算器５０３にはｘ、第２の乗算器５０４にはｙ、第３の乗算器５０５にはｚの画素データがそれぞれ入力されることとなり、これら３つの乗算器５０３，５０４，５０５は、それぞれａ×ｘ、ｂ×ｙ、ｃ×ｚを計算する。
【００２９】
一方、図５（ｂ）に示した上記２つのディレイライン５０７，５０８も直列に接続されており、ある画素データが入力されると、その画素データに対して１ライン分遅れたデータが第１のディレイライン５０７から、２ライン分遅れたデータが第２のディレイライン５０８からそれぞれ出力される。
【００３０】
また、図５（ｂ）の３つの乗算器５０３，５０４，５０５には、それぞれ入力画素データ、ディレイライン５０７，５０８からの出力データが入力されるようになっている。これにより、３つの乗算器５０３，５０４，５０５には、垂直方向に３つ並んだ画素データが同時に入力される。これを先の計算式に対応させると、第１の乗算器５０３にはｘ、第２の乗算器５０４にはｙ、第３の乗算器５０５にはｚの画素データがそれぞれ入力されることとなり、これら３つの乗算器５０３，５０４，５０５は、それぞれａ×ｘ、ｂ×ｙ、ｃ×ｚを計算する。
【００３１】
図５（ａ）に示した水平方向フィルタ回路の場合も、図５（ｂ）に示した垂直方向フィルタ回路の場合も、加算器５０６は、３つの乗算器５０３，５０４，５０５より入力された３つ並んだ画素データの合計を計算して出力する。以上により、先の計算式が達成される。
【００３２】
【発明が解決しようとする課題】
以上の説明から明らかなように、従来の技術では、多数のフレームメモリやフィルタ回路が存在し、しかも個々のフィルタ回路自体の規模も大きいことから、ビデオ信号符号化装置の全体的な回路規模が非常に大きくなってしまうという欠点があった。特に、各フィルタ回路内の乗算器や、垂直フィルタ回路内のディレイラインは物理的、価格的に大きな負担となるものである。したがって、ビデオ信号符号化装置の小型化、低価格化のためには、これらは少ない程望ましい。
【００３３】
本発明は、このような実情に鑑みて成されたものであり、様々な標準テレビジョン方式のビデオ信号を所定の共通フォーマットに変換して符号化する方式のビデオ信号符号化装置の回路規模を小さくできるようにすることを目的とする。
【００３４】
【課題を解決するための手段】
本発明のビデオ符号化装置は、標準テレビジョン方式のビデオ信号を、水平方向の画素数および垂直方向のライン数を間引いて共通フォーマットであるＣＩＦ又はＱＣＩＦに変換した後で符号化するビデオ信号符号化装置において、上記標準テレビジョン方式のビデオ信号の入力段に設けられ、ＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第１の水平方向間引き手段と、上記第１の水平方向間引き手段での間引き後のデータに対して、ＱＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第２の水平方向間引き手段と、ＣＩＦに変換するか、ＱＣＩＦに変換するかに応じて、上記第１の水平間引き手段での間引き後のデータ又は上記第２の水平間引き手段での間引き後のデータを選択する選択手段と、上記選択手段により選択された間引き後のデータを格納するフレームメモリと、上記フレームメモリからノンインターレース方式で、かつ、前記符号化の処理単位であるマクロブロックに後段の垂直方向間引き手段で間引くライン数を加えたものごとにデータを読み出すためのアドレスを発生する読み出し制御手段と、上記フレームメモリから読み出されたビデオ信号に対して、ＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う垂直方向間引き手段とを備えた点に特徴を有する。
また、本発明のビデオ信号符号化装置の他の特徴とするところは、上記垂直方向間引き手段は、上記フレームメモリから読み出されたビデオ信号に対して垂直方向のライン数の間引きを行う１個の垂直方向間引き手段と、上記垂直方向間引き手段によりライン数の間引かれたビデオ信号を一時格納する一時記憶メモリとにより構成され、上記垂直方向間引き手段と上記一時記憶メモリとでフィードバックループを構成し、上記１個の垂直方向間引き手段を繰り返し用いてＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う構成とした点にある。
【００４６】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本実施形態によるビデオ信号符号化装置の構成を示すブロック図であり、図２は、本実施形態によるビデオ信号符号化装置の動作を説明するための図である。なお、図２は、ＮＴＳＣ信号からＣＩＦあるいはＱＣＩＦのビデオ信号を生成する動作を示している。
【００４７】
図１に示すように、本実施形態のビデオ信号符号化装置は、直列接続された２つの水平方向フィルタ回路１０１，１０２、２つのマルチプレクサ１０３，１０６、フレームメモリ１０４、リードアドレス発生回路１０５、垂直方向フィルタ回路１０７、ＲＡＭ１０８および符号化回路１０９によって構成される。なお、入力されるビデオ信号は、ディジタル信号に変換された信号であり、このディジタル化されたビデオ信号の各画素に同期したクロック信号もビデオ信号と同時に入力される。
【００４８】
ビデオ信号の入力段にある第１の水平方向フィルタ回路１０１には、図２（ａ）に示す１フレームの大きさが（７０４×４８０）の輝度信号と、図２（ｅ）に示す同じく１フレームの大きさが（３５２×４８０）の色差信号とが入力される。この第１の水平方向フィルタ回路１０１は、水平方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。
【００４９】
上記第１の水平方向フィルタ回路１０１は、ここでは特に画素数を、輝度信号については７０４個から３５２個に間引き、色差信号については３５２個から１７６個に間引く。この第１の水平方向フィルタ回路１０１で処理されたデータは、これに直列に接続された第２の水平方向フィルタ回路１０２と第１のマルチプレクサ１０３とに入力される。
【００５０】
上記第１の水平方向フィルタ回路１０１からの出力データが第２の水平方向フィルタ回路１０２に入力されるとき、間引かれる画素に対してはビデオ信号と同時に入力されるクロック信号が非活性となる。これにより、第２の水平方向フィルタ回路１０２は、第１の水平方向フィルタ回路１０１での間引き後のデータに対してのみ動作することになる。
【００５１】
上記第２の水平方向フィルタ回路１０２は、第１の水平方向フィルタ回路１０１と同じ役割を持つ。ここでは特に画素数を、輝度信号については３５２個から１７６個に間引き、色差信号については１７６個から８８個に間引く。この第２の水平方向フィルタ回路１０２で処理されたデータは、第１のマルチプレクサ１０３に入力される。
【００５２】
上記第１のマルチプレクサ１０３は、ＮＴＳＣ信号をＣＩＦに変換するかＱＣＩＦに変換するかによって、第１の水平方向フィルタ回路１０１からの出力データと第２の水平方向フィルタ回路１０２からの出力データとの何れか一方を選択する。すなわち、符号化処理を行う画面の大きさがＣＩＦの場合は、第１の水平方向フィルタ回路１０１からの出力データを選択し、ＱＣＩＦの場合は第２の水平方向フィルタ回路１０２からの出力データを選択する。そして、選択したデータをフレームメモリ１０４に供給する。
【００５３】
上記フレームメモリ１０４は、第１のマルチプレクサ１０３より出力されるデータをフレーム単位で格納する。これは、本実施形態では、以降の処理を行うときに、第１のマルチプレクサ１０３の出力順とは異なった順番でデータを読み出すようにしているので、そのためのバッファの役割をするものである。
【００５４】
上記第１の水平方向フィルタ回路１０１あるいは第２の水平方向フィルタ回路１０２で間引かれたデータがフレームメモリ１０４に書き込まれるとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってフレームメモリ１０４は、間引き後のデータのみを格納することになる。
【００５５】
この時点でフレームの大きさは、輝度信号については図２（ｂ）のようになり、色差信号については図２（ｆ）のようになる。すなわち、符号化処理を行う画面の大きさがＣＩＦの場合は、輝度信号については（３５２×４８０）、色差信号については（１７６×４８０）となり、符号化処理を行う画面の大きさがＱＣＩＦの場合は、輝度信号については（１７６×４８０）、色差信号については（８８×４８０）となる。
【００５６】
なお、本実施形態では、第１、第２の水平方向フィルタ回路１０１，１０２からの出力データの何れか一方を第１のマルチプレクサ１０３を用いて選択することによってＣＩＦおよびＱＣＩＦの両方に対応しているが、ＮＴＳＣ信号をＣＩＦに変換する場合には、第２の水平方向フィルタ回路１０２および第１のマルチプレクサ１０３は不要となる。
【００５７】
次に、リードアドレス発生回路１０５は、フレームメモリ１０４に格納されたデータを、以降の処理を行うときの順序で読み出すためのリードアドレスを発生する。先に例として挙げたＩＴＵ−Ｈ．２６１では、マクロブロックと呼ばれる（１６×１６）の輝度信号、（８×８）の色差信号を１単位とし、その単位でラスタスキャン順にデータを読み出すことになる。ただし、この時点ではライン数の間引きは全く行っていないので、更にこのマクロブロックを中心にして、上下数ラインも加えて読み出す必要がある。なお、以降の処理は、このＩＴＵ−Ｈ．２６１の処理を行うことを例として説明する。
【００５８】
上記リードアドレス発生回路１０５により発生されるリードアドレスに従ってフレームメモリ１０４から読み出されたデータは、第２のマルチプレクサ１０６に供給される。第２のマルチプレクサ１０６は、このフレームメモリ１０４より出力されたデータと、ＲＡＭ１０８より出力されフィードバックされたデータとの何れか一方を選択して出力する。
【００５９】
すなわち、垂直方向に対するライン数変換処理は、輝度信号についてはＣＩＦの場合は１回、ＱＣＩＦの場合は２回行う必要があり、色差信号についてはＣＩＦの場合は２回、ＱＣＩＦの場合は３回行う必要があるが、第２のマルチプレクサ１０６は、次段の垂直方向フィルタ回路１０７に供給するデータとして、１回目のライン数変換処理を行うときはフレームメモリ１０４の出力を選択し、２回目以降のライン数変換処理を行うときはＲＡＭ１０８の出力を選択する。
【００６０】
上記垂直方向フィルタ回路１０７は、垂直方向に画素の間引きを行っても、ビデオ信号が視覚的に平滑になるようにするという役割を持つ。この垂直方向フィルタ回路１０７は、図４に示した３つの垂直方向フィルタ回路４０３，４０４，４０６の役割を兼ね、順番にその役割を変えていく。
【００６１】
すなわち、最初は図４の第１の垂直方向フィルタ回路４０３の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりフレームメモリ１０４からの出力データが選択される。このとき、ＣＩＦあるいはＱＣＩＦのマクロブロックを作るのに必要なライン数のデータが、１ライン当たり１６画素ずつラスタスキャン順に読み出されて間引きが行われ、その結果がＲＡＭ１０８に格納される。
【００６２】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を輝度信号、色差信号共に４８０個から２８８個に間引くことに対応する。
【００６３】
次に、垂直方向フィルタ回路１０７が図４の第２の垂直方向フィルタ回路４０４の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりＲＡＭ１０８からの出力データが選択される。これにより、その直前（１回目）にライン数変換処理されたデータが読み出されて間引きが行われ、その結果がＲＡＭ１０８に再び格納される。
【００６４】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を色差信号について２８８個から１４４個に間引くことに対応しており、輝度信号についてはバイパスとなる。もし、符号化処理を行う画面の大きさがＣＩＦの場合は、この時点でライン数変換処理が完了し、フレームの大きさは、図２（ｃ）および（ｇ）のようになる。
【００６５】
さらに、垂直方向フィルタ回路１０７が図４の第３の垂直方向フィルタ回路４０６の役割をすべく、垂直方向フィルタ回路１０７への入力データとして、第２のマルチプレクサ１０６によりＲＡＭ１０８からの出力データが選択される。これにより、その直前（２回目）にライン数変換処理されたデータが読み出されて間引きが行われ、その結果がＲＡＭ１０８に再び格納される。
【００６６】
このとき、間引かれる画素に対してクロック信号に対応したライトイネーブル信号が非活性となり、これによってＲＡＭ１０８は、間引き後のデータのみを格納することになる。以上の処理は、ライン数を輝度信号については２８８個から１４４個に間引くことに対応し、輝度信号については１４４個から７２個に間引くことに対応する。この時点でマクロブロック単位のＱＣＩＦによるビデオ信号が完成し、フレームの大きさは、図２（ｄ）および（ｈ）のようになる。
【００６７】
上述のように、ＲＡＭ１０８は、垂直方向フィルタ回路１０７より出力されるデータを格納すると同時に、垂直方向フィルタ回路１０７への入力にもなるので、２面用意している。すなわち、一方がリード状態の時はもう一方がライト状態となり、これが交互に切り替わるダブルバッファ構成となっている。
【００６８】
符号化回路１０９は、ビデオ信号符号化装置全体として達成すべき符号化方式を実現するための回路であり、本実施形態ではＨ．２６１符号化回路となる。この符号化回路１０９は、ＲＡＭ１０８より出力されるＣＩＦあるいはＱＣＩＦになったビデオ信号を、ＩＴＵ−Ｈ．２６１の手順に従って符号化する。
【００６９】
以上のように、本実施形態では、入力段に設けた２つの水平方向フィルタ回路１０１，１０２によって、ＣＩＦあるいはＱＣＩＦとして最終的に必要な段階まで水平方向に対する画素の間引きをまず最初に行ってしまうようにしている。そして、その１画面分の間引き結果をフレームメモリ１０４に格納した後、リードアドレス発生回路１０５により発生されるアドレスに従って、符号化回路１０９での処理順序に応じた順序でフレームメモリ１０４から後段の回路にデータを読み出すようにしている。
【００７０】
これにより、図１のフレームメモリ１０４は、第１のマルチプレクサ１０３からインターレースで書き込まれたデータをノンインターレースで読み出すようにするためのフレームメモリ（図４の第１のフレームメモリ４０１に相当）と、１画面のラスタスキャン順で書き込まれたデータをマクロブロックのラスタスキャン順で読み出すようにするためのフレームメモリ（図４の第２のフレームメモリ４０７に相当）とを兼用する役割を持つ。
【００７１】
したがって、本実施形態では、図１のようにフレームメモリは１つだけ設ければ良く、従来のように２つ設けなくても済むようになる。ただし、本実施形態ではＲＡＭ１０８が新たに設けられているが、間引きがかなり進んだ後のデータを格納すれば良いので、そのメモリ容量は小さい。よって、フレームメモリ１０４の容量とＲＡＭ１０８の容量とを合わせても、図４に示した２つのフレームメモリ４０１，４０７の合計容量よりも小さくなり、装置の小型化を図れる。
【００７２】
また、本実施形態では、第２のマルチプレクサ１０６と垂直方向フィルタ回路１０７とＲＡＭ１０８とでフィードバックループを構成し、１つの垂直方向フィルタ回路１０７に図４に示した３つの垂直方向フィルタ回路４０３，４０４，４０６の役割を持たせるようにしている。これにより、従来は３つ必要であった垂直方向フィルタ回路が本実施形態によれば１つで済むようになる。
【００７３】
ここで、図１の水平方向フィルタ回路１０１，１０２および垂直方向フィルタ回路１０７は、何れも図５に示すような構成のものである。したがって、垂直方向フィルタ回路の数が減った分だけ、コスト面や回路規模等の面でデメリットの大きいディレイラインや乗算器の数を格段に減らすことができる。
【００７４】
しかも、本実施形態では、垂直方向フィルタ回路１０７よりも前段でリードアドレス発生回路１０５によってマクロブロック単位のラスタスキャン順となるようにデータが読み出されているので、垂直方向フィルタ回路１０７の中のディレイラインは、従来のようにフレーム単位での１ライン中の画素数分のレジスタに相当するものではなく、マクロブロック単位での１ライン中の画素数分のレジスタに相当する。すなわち、輝度信号の場合は１６個、色差信号の場合は８個のレジスタで良く、従来の７０４個に比べて格段に少なくて済む。
【００７５】
なお、図１の例では第２のマルチプレクサ１０６と垂直方向フィルタ回路１０７とＲＡＭ１０８とでフィードバックループを構成しているが、従来例と同様に３つの垂直方向フィルタ回路を直列接続するようにしても良い（ただし、輝度信号を処理するか色差信号を処理するかによって、あるいはＣＩＦであるかＱＣＩＦであるかによって、処理が不要な垂直方向フィルタ回路は間引きは行わずバイパスさせる）。この場合は、フィルタ回路の数は従来と変わらないが、フレームメモリが１つで良く、また垂直方向フィルタ回路内のディレイラインのサイズが小さくて良い分、従来よりも回路規模を小さくすることができる。
【００７６】
また、図１の例では、垂直方向フィルタ回路１０７よりも前にリードアドレス発生回路１０５を設け、マクロブロック単位のラスタスキャン順に読み出したデータを垂直方向フィルタ回路１０７に入力するようにしているが、従来例と同様に、符号化回路１０９の前段にもフレームメモリを設け、ここからマクロブロック単位のラスタスキャン順にデータを読み出すようにしても良い。この場合は、フレームメモリの数は従来と変わらないが、垂直方向フィルタ回路が１つで良い分、従来よりも回路規模を小さくすることができる。
【００７７】
また、図１の例では垂直方向フィルタ回路１０７をフィードバックループの中で繰り返し用いるようにしたが、水平方向フィルタ回路あるいは、水平方向フィルタ回路と垂直方向フィルタ回路との両方をフィードバックループの中で繰り返し用いるようにしても良い。
【００７８】
【発明の効果】
本発明によれば、上記標準テレビジョン方式のビデオ信号の入力段に設けられ、ＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第１の水平方向間引き手段と、第１の水平方向間引き手段での間引き後のデータに対して、ＱＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第２の水平方向間引き手段と、ＣＩＦに変換するか、ＱＣＩＦに変換するかに応じて、第１の水平間引き手段での間引き後のデータ又は第２の水平間引き手段での間引き後のデータを選択する選択手段と、選択手段により選択された間引き後のデータを格納するフレームメモリと、フレームメモリからノンインターレース方式で、かつ、前記符号化の処理単位であるマクロブロックに後段の垂直方向間引き手段で間引くライン数を加えたものごとにデータを読み出すためのアドレスを発生する読み出し制御手段とを有するので、標準テレビジョン方式のビデオ信号を、ＣＩＦ又はＱＣＩＦの所望の共通フォーマットに変換することができる。また、インターレースで書き込まれたビデオ信号をノンインターレースで読み出すようにするためと、フレーム単位のラスタスキャン順に書き込まれたビデオ信号を符号化回路での処理単位のラスタスキャン順で読み出すようにするための両者の役割を本発明のフレームメモリに持たせるようにすることができ、１つのフレームメモリだけで共通フォーマットへの変換を実現することができる。
【００７９】
しかも、上記フレームメモリの後段の垂直方向間引き手段では、上述のように符号化の処理順序に応じた順序で処理単位ごとに読み出されたビデオ信号に対してライン数の間引きが行われるので、垂直方向間引き手段の内部に備えられるディレイラインのサイズを、フレーム単位より小さい符号化回路の処理単位での１ライン中の画素数分で済むようにすることができる。
したがって、本発明によれば、２つのフレームメモリを用いており、垂直方向間引き手段内のディレイラインのサイズがフレーム単位での１ライン中の画素数分であった従来例よりもビデオ信号符号化装置の回路規模を小さくすることができる。
【００８０】
また、本発明の他の特徴によれば、１個の垂直方向間引き手段とその結果を格納する一時記憶メモリとでフィードバックループを構成し、上記１個の垂直方向間引き手段を繰り返し用いて共通フォーマットとして最終的に必要な段階まで垂直方向のライン数の間引きを行うようにしたので、垂直方向間引き手段を複数個設けることなく共通フォーマットへの変換を実現することができ、複数個の垂直方向間引き手段を使って共通フォーマットへの変換を行っていた従来例よりもビデオ信号符号化装置の回路規模を小さくすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるビデオ信号符号化装置の一構成例を示すブロック図である。
【図２】本実施形態によるビデオ信号符号化装置の動作を説明するための図である。
【図３】従来のビデオ信号符号化装置の動作を説明するための図である。
【図４】従来のビデオ信号符号化装置の構成を示すブロック図である。
【図５】水平方向フィルタ回路および垂直方向フィルタ回路の構成を示す図である。
【符号の説明】
１０１，１０２ 水平方向フィルタ回路
１０３，１０６ マルチプレクサ
１０４ フレームメモリ
１０５ リードアドレス発生回路
１０７ 垂直方向フィルタ回路
１０８ ＲＡＭ
１０９ 符号化回路
５０１，５０２ レジスタ
５０３，５０４，５０５ 乗算器
５０６ 加算器
５０７，５０８ ディレイライン
Claims (2)
- 標準テレビジョン方式のビデオ信号を、水平方向の画素数および垂直方向のライン数を間引いて共通フォーマットであるＣＩＦ又はＱＣＩＦに変換した後で符号化するビデオ信号符号化装置において、
上記標準テレビジョン方式のビデオ信号の入力段に設けられ、ＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第１の水平方向間引き手段と、
上記第１の水平方向間引き手段での間引き後のデータに対して、ＱＣＩＦとして最終的に必要な段階まで水平方向の画素数の間引きを行う第２の水平方向間引き手段と、
ＣＩＦに変換するか、ＱＣＩＦに変換するかに応じて、上記第１の水平間引き手段での間引き後のデータ又は上記第２の水平間引き手段での間引き後のデータを選択する選択手段と、
上記選択手段により選択された間引き後のデータを格納するフレームメモリと、
上記フレームメモリからノンインターレース方式で、かつ、前記符号化の処理単位であるマクロブロックに後段の垂直方向間引き手段で間引くライン数を加えたものごとにデータを読み出すためのアドレスを発生する読み出し制御手段と、
上記フレームメモリから読み出されたビデオ信号に対して、ＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う垂直方向間引き手段とを備えたことを特徴とするビデオ信号符号化装置。 - 上記垂直方向間引き手段は、上記フレームメモリから読み出されたビデオ信号に対して垂直方向のライン数の間引きを行う１個の垂直方向間引き手段と、上記垂直方向間引き手段によりライン数の間引かれたビデオ信号を一時格納する一時記憶メモリとにより構成され、上記垂直方向間引き手段と上記一時記憶メモリとでフィードバックループを構成し、上記１個の垂直方向間引き手段を繰り返し用いてＣＩＦ又はＱＣＩＦとして最終的に必要な段階まで垂直方向のライン数の間引きを行う構成としたことを特徴とする請求項１に記載のビデオ信号符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22050596A JP4109328B2 (ja) | 1996-08-02 | 1996-08-02 | ビデオ信号符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22050596A JP4109328B2 (ja) | 1996-08-02 | 1996-08-02 | ビデオ信号符号化装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005319731A Division JP2006067632A (ja) | 2005-11-02 | 2005-11-02 | ビデオ信号符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1051772A JPH1051772A (ja) | 1998-02-20 |
| JP4109328B2 true JP4109328B2 (ja) | 2008-07-02 |
Family
ID=16752092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22050596A Expired - Lifetime JP4109328B2 (ja) | 1996-08-02 | 1996-08-02 | ビデオ信号符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4109328B2 (ja) |
-
1996
- 1996-08-02 JP JP22050596A patent/JP4109328B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1051772A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2210196C (en) | Video signal converter and television signal processing apparatus | |
| JP2584138B2 (ja) | テレビジョン方式変換装置 | |
| JP2007104623A (ja) | 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法 | |
| JP4109328B2 (ja) | ビデオ信号符号化装置 | |
| JPH0468685A (ja) | 映像信号処理装置 | |
| EP1606954B1 (en) | Arrangement for generating a 3d video signal | |
| JP2006067632A (ja) | ビデオ信号符号化装置 | |
| US6266101B1 (en) | Y/C separator | |
| JP4035222B2 (ja) | 画像処理装置 | |
| JP2642464B2 (ja) | テレビジョン信号変換装置 | |
| JP2809738B2 (ja) | 映像信号変換装置 | |
| JPH0865639A (ja) | 画像処理装置 | |
| JP2846421B2 (ja) | 画面フリーズ機能付きフレームフォーマット変換回路 | |
| JPH0316396A (ja) | 映像信号の方式変換装置 | |
| JP3443989B2 (ja) | 垂直輪郭強調回路用信号発生回路およびアスペクト比変換回路 | |
| JP3271443B2 (ja) | 撮像装置 | |
| JP2839061B2 (ja) | 画像処理装置 | |
| JP2770296B2 (ja) | 画像の走査変換方法 | |
| JP3326361B2 (ja) | 映像処理装置 | |
| JPH1066095A (ja) | ノンインターレース／インターレース変換方法および画像入力装置 | |
| JP3081060B2 (ja) | 多画面表示高品位テレビジョン受像機 | |
| JPH11150682A (ja) | 画像処理装置、画像処理方法および記憶媒体 | |
| JP2000224577A (ja) | 撮像画像の合成表示装置 | |
| JPH1023330A (ja) | 画像処理装置 | |
| JPH0740733B2 (ja) | 信号変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080404 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |