JP2004336608A - 画像データの変換方法および変換回路と、電子カメラ - Google Patents

Abstract

【課題】動きのスムーズな画像データの方式変換回路を提供する。
【解決手段】ＮＴＳＣ方式の動画の画像データが書き込まれるメモリ１６と、メモリ１６から、ＰＡＬ方式における奇数フィールドおよび偶数フィールドの画像データを作成するのに必要な信号を取り出す回路１４を設ける。取り出した画像データをＰＡＬ方式におけるライン周波数の第１および第２の画像データに変換する回路７３、７４を設ける。第１および第２の画像データのうち、奇数フィールドの画像データを所定の割り合いで混合してＰＡＬ方式における奇数フィールドの画像データとして出力するとともに、偶数フィールドの画像データを所定の割り合いで混合してＰＡＬ方式における偶数フィールドの画像データとして出力する回路７５と、混合する割り合いをＰＡＬ方式におけるフィールド期間ごとに変更する第４の回路７７とを設ける。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
この発明は、動画の撮影・再生機能を有する電子カメラに関し、特に画像データをＮＴＳＣ方式からＰＡＬ方式へ方式変換する技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラは、撮像する画像や撮像結果の画像を確認できるようにするため、ＬＣＤモニタを備えているものが多い。また、ビデオ出力端子を備え、外部のテレビ受像機などに画像を表示することのできるデジタルスチルカメラも多い。
【０００３】
さらに、デジタルスチルカメラとして、静止画だけでなく動画を撮像することのできる機種もある。そして、デジタルスチルカメラが動画の撮像を行う場合には、パーソナルコンピュータで見ることを考慮して、ＶＧＡサイズ（横６４０ドット×縦４８０ドット）で、ＮＴＳＣ方式で記録することが多い（例えば、特許文献１、２および３参照）。
【０００４】
【特許文献１】
特開平５−１２２６６３号公報
【０００５】
【特許文献２】
特開平８−１７２６０９号公報
【０００６】
【特許文献３】
特開２００１−３１３８９６号公報
【０００７】
【発明が解決しようとする課題】
ところで、ビデオカメラ（テレビカメラ）においては、図７Ａの上側に示すように、ＣＣＤイメージセンサは１フィールド期間ごとに１フィールド期間分ずつ撮像を行い、ＣＣＤイメージセンサからは１フィールド期間ごとに１フィールド期間分ずつ画像データが出力される。そして、その画像データが処理され、図７Ａの下側に示すように、ビデオ信号としてカメラから１フィールド期間ごとに１フィールド期間分ずつ連続して出力される。
【０００８】
なお、図７において、数字１、２、３、・・・は、任意の連続するフレームに付けた通し番号である。また、数字に添え字Ａを付けた符号は、その数字の示すフレームに含まれる奇数フィールドの番号を示し、添え字Ｂを付けた符号は偶数フィールドの番号を示す。さらに、実線の矢印は奇数フィールドの画像データの流れを示し、破線の矢印は偶数フィールドの画像データの流れを示す（以下、他の図においても同様）。
【０００９】
しかし、デジタルスチルカメラは、もともと静止画の撮像がメインであり、この静止画を適切に撮像できるようにしている。このため、デジタルスチルカメラにおいては、図７Ｂの上側に示すように、ＣＣＤイメージセンサは１フレーム期間おきに１フレーム期間分ずつ撮像を行い、ＣＣＤイメージセンサからは１フレーム期間おきに１フレーム期間分ずつ画像データが出力される。そして、図７Ｂの下側に示すように、その１フレーム分の画像データが奇数フィールドの画像データ（実線の矢印）と偶数フィールドの画像データ（破線の矢印）とに分割され、ビデオ信号としてカメラから１フィールド期間ごとに１フィールド期間分ずつ連続して出力される。
【００１０】
そして、この撮像および出力の方法は動画を撮像する場合であっても同じである。したがって、デジタルスチルカメラにより動画の撮像を行うと、画像の撮像間隔がビデオカメラの場合の２倍になるので、画像の動きがぎこちなくなってしまう。
【００１１】
また、ＮＴＳＣ方式およびＰＡＬ方式における同期周波数およびその周波数比は、図８に示すとおりである。したがって、ＮＴＳＣ方式で動画を撮像した場合（あるいはさらに記録してから再生した場合）、ＰＡＬ方式のテレビ受像機で見るには、画像データをＮＴＳＣ方式からＰＡＬ方式にフレーム変換するとともに、ライン変換する必要がある。
【００１２】
図９および図１０はフレーム変換方法の例を示す。この場合、図９および図１０の上側はフレーム変換前の画像データを示し、これはＣＣＤイメージセンサの出力や記録された画像データなどが該当する。また、下側はフレーム変換後でＰＡＬ方式の画像データを示し、これはカメラから外部のテレビ受像機に出力されるビデオ信号や内蔵のＬＣＤモニタに供給されるビデオ信号などが該当する。
【００１３】
そして、図９の場合には、ＮＴＳＣ方式の第１フレーム〜第３フレームは、そのままＰＡＬ方式の第１フレーム〜第３フレームにそれぞれ使用されるが、ＮＴＳＣ方式の第４フレームは、奇数フィールドがＰＡＬ方式の第４フレームの奇数フィールド４Ａに使用され、偶数フィールドは間引かれる。さらに、ＮＴＳＣ方式の第５フレームは、ＰＡＬ方式の第４フレームの偶数フィールド４Ｂと、第５フレームの奇数フィールド５Ａとに使用される。
【００１４】
そして、以後、ＮＴＳＣ方式とＰＡＬ方式とのフレーム周波数比１２００：１００１が成立するように、ＮＴＳＣ方式のフィールドが間引かれてＰＡＬ方式に変換されていく。
【００１５】
しかし、このようにＮＴＳＣ方式の画像データを１２００フレームごとに１００１フレームに間引く場合には、その間引くフィールドが時間とともに移動していくので、シーケンスが複雑であり、ＣＰＵの制御により実行するときには、ソフトウェアにとってかなり大きな負担となってしまう。
【００１６】
そこで、図１０に示すように、ＣＣＤイメージセンサや記録メディアから画像データを１／３０秒ごとにフレーム単位で取り出し、これをＰＡＬ方式にフレーム変換することが考えられている。つまり、この場合には、原画像データのフレーム周波数と、ＰＡＬ方式のフレーム周波数との比は、
３０Ｈｚ：２５Ｈｚ＝６：５
となるので、図１０にも示すように、ＮＴＳＣ方式の６フレームにつき１フレームの割り合いで間引くことによりＰＡＬ方式の画像データを得ることができ、したがって、フレーム変換の処理が容易になる。
【００１７】
しかし、このフレーム変換方法の場合には、時間軸を考えると、ＮＴＳＣ方式の６フレーム期間につき１フレーム期間の割り合いで情報が欠落するので、ＰＡＬ方式の５フレームごとに不連続点が現れることになり、スムーズな再生ができない。しかも、デジタルスチルカメラで動画を撮像する場合には、上記のように、ビデオカメラの場合に比べ、画像の動きがぎこちなくなっているので、そのような動画をさらに図１０の方式でフレーム変換すると、なおさら動きがぎくしゃくしたものとなってしまう。また、デジタルスチルカメラのＬＣＤモニタが６０Ｈｚの同期周波数系に対応していない場合もあり、ＬＣＤモニタで表示ができないことがある。
【００１８】
また、図８に示すように、ＮＴＳＣ方式とＰＡＬ方式とでは、水平ライン数も異なるので、ＮＴＳＣ方式からＰＡＬ方式へのフレーム変換を行うとき、実際には、水平ライン数の変換も行う必要がある。したがって、ＮＴＳＣの画像データをＰＡＬ方式の画像データに変換する場合には、フレーム変換とライン変換とを行うことになるが、それらの変換処理を適切に行わないと、変換結果の画像データが全体として数フレーム期間遅れたものとなってしまう。また、数フレーム期間に対応するメモリも必要となってしまう。
【００１９】
この発明は、以上のような問題点を一掃しようとするものである。
【００２０】
【課題を解決するための手段】
この発明においては、
第１のフレーム周波数およびライン周波数の画像データを第１の方式の画像データとし、
第２のフレーム周波数およびライン周波数の画像データを第２の方式の画像データとするとき、
上記第１の方式の画像データを上記第２の方式の画像データに変換する画像データの変換方法において、
上記第１の方式の動画の画像データが書き込まれているメモリから、上記第１の方式の画像データのうち、上記第２の方式における奇数フィールドおよび偶数フィールドの画像データを作成するのに必要な信号を、上記第２の方式における奇数フィールド期間および偶数フィールド期間ごとにそれぞれ取り出し、
この取り出した画像データを上記第２の方式におけるライン周波数の第１および第２の画像データに変換し、
この第１および第２の画像データのうち、奇数フィールドの画像データを所定の割り合いで混合して上記第２の方式における奇数フィールドの画像データとして出力するとともに、
上記第１および第２の画像データのうち、偶数フィールドの画像データを所定の割り合いで混合して上記第２の方式における偶数フィールドの画像データとして出力し、かつ、
上記混合する割り合いを上記第２の方式におけるフィールド期間ごとに変更する
ようにした画像データの変換方法
とするものである。
したがって、第１の方式の画像データは平均値補間により第２の方式の画像データに変換される。
【００２１】
【発明の実施の形態】
〔１〕 デジタルスチルカメラの例
図１は、この発明によるデジタルスチルカメラ１０の一例を示す。すなわち、被写体ＯＢＪの像が撮像レンズＬＮＳによりＣＣＤイメージセンサ１１に投影され、イメージセンサ１１からは被写体ＯＢＪの３原色の画像信号がＮＴＳＣ方式におけるフレーム周期で取り出され、この画像信号がＡ／Ｄコンバータ回路１２に供給されてデジタル画像データにＡ／Ｄ変換される。
【００２２】
そして、この画像データがカメラ信号処理回路１３に供給されてホワイトバランスの補正およびガンマ補正などの処理が施されてからＹＵＶ形式の画像データに変換され、この画像データがメモリコントローラ１４により画像バス１５を通じてメモリ１６の表示用エリアに書き込まれる。このメモリ１６の表示用エリアは、いわゆるビデオＲＡＭを構成するもので、そのアドレスと表示画面上のドット位置とが対応している。
【００２３】
そして、メモリ１６への書き込みと平行してメモリコントローラ１４によりメモリ１６の表示用エリアから画像データが読み出され、この読み出された画像データが画像バス１５を通じて表示用信号処理回路１７に供給され、ＲＧＢ形式の画像データに変換されるとともに、アナログ画像信号にＤ／Ａ変換され、このアナログ画像信号がＬＣＤパネル１８に供給されてカラー画像として表示される。さらに、表示用信号処理回路１７において、アナログ画像信号と同時にカラービデオ信号も形成され、このビデオ信号が外部ビデオ出力端子１９に取り出され、モニタ用のテレビ受像機（図示せず）に供給される。
【００２４】
また、メモリ１６の表示用エリアにおける画像データがメモリコントローラ１４により画像バス１５を通じて画像圧伸回路２１に供給されて所定のフォーマット、例えばＪＰＥＧフォーマットの符号データに画像圧縮され、この符号データが画像バス１５を通じてメモリ１６の作業用エリアにいったん書き込まれる。そして、このメモリ１６の作業用エリアに書き込まれた符号データがメモリコントローラ１４により読み出され、この読み出された符号データがマイクロコンピュータ２２によりメモリスティック（登録商標）などの外部記憶メディア２３に書き込まれて保存される。
【００２５】
さらに、再生時には、マイクロコンピュータ２２により外部記憶メディア２３から符号データが読み出されてメモリ１６の作業用エリアにいったん書き込まれるとともに、この書き込まれた符号データが画像圧伸回路２１によりもとの画像データに伸長され、この伸長結果の画像データがメモリ１６の表示用エリアに書き込まれる。そして、この書き込まれた画像データが上記のように表示用信号処理回路１７により処理されてＬＣＤパネル１８にカラー画像として表示されるとともに、外部ビデオ出力端子１９にカラービデオ信号として取り出される。
【００２６】
そして、撮像時および再生時に、ＬＣＤパネル１８に表示される動画や外部ビデオ出力端子１９に取り出されるカラービデオ信号の動画がスムーズな動きとなるようにするため、この発明においては、さらに、以下のような信号処理が実行される。
【００２７】
なお、以下の説明においては、必要に応じて、ＣＣＤイメージセンサ１１の出力などのように、フレーム変換前の画像データを「原画像データ」と呼び、デジタルスチルカメラ１０から出力されるビデオ信号などのように、フレーム変換後の画像データやビデオ信号を「出力画像データ」あるいは「出力ビデオ信号」と呼ぶものとする。
【００２８】
〔２〕 動画の撮像時および再生時
動画の撮像時、図２の上側に示すように、ＣＣＤイメージセンサ１１は、ＮＴＳＣ方式で１フレーム期間おきに１フレーム分ずつ撮像を行い、１フレーム期間おきに１フレーム期間分ずつ画像データ（原画像データ）を出力するように制御される。したがって、外部記憶メディア２３に保存される動画およびこれを読み出したときの動画もＮＴＳＣ方式でフレーム単位となる。
【００２９】
そして、ＬＣＤパネル１８や外部ビデオ出力端子１９に供給されるビデオ信号（出力ビデオ信号）の方式にしたがって、以下のようにフレーム変換およびライン変換が行われる。
【００３０】
〔２−１〕 ＮＴＳＣ方式のビデオ信号を取り出す場合
原画像データは図２の上側に示すようにＮＴＳＣ方式でフレーム単位で得られるが、今の場合、この原画像データをＮＴＳＣ方式のビデオ信号の形態で外部に取り出すのであるから、その出力ビデオ信号のフレーム周波数およびライン周波数は、原画像データのフレーム周波数およびライン周波数に等しい。
【００３１】
そこで、この場合には、ライン変換は行わないが、動画のぎこちなさを改善するため、図２に示すようなフレーム変換を行う。すなわち、
ＤＯＵＴ：フレーム変換後の出力画像データおよび出力ビデオ信号。
Ｄｎ ：原画像データのうち、第ｎ番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データ。
Ｄｎ＋１：原画像データのうち、第（ｎ＋１）番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データ。
ＫＦ ：所定の係数（０≦ＫＦ≦１）
とするとき、図２に示すように、出力画像データＤＯＵＴを、
ＤＯＵＴ＝（１−ＫＦ）Ｄｎ＋ＫＦ・Ｄｎ＋１ ・・・ （１）
のような信号成分とする。
【００３２】
ただし、出力画像データＤＯＵＴが奇数フィールドのときには、原画像データＤｎ、Ｄｎ＋１は奇数フィールドの画像データとし、画像データＤＯＵＴが偶数フィールドのときには、原画像データＤｎ、Ｄｎ＋１は偶数フィールドの画像データとする。また、このとき、係数ＫＦは、例えば、
ＫＦ＝１／４ ・・・ 出力画像データＤＯＵＴが奇数フィールドのとき
ＫＦ＝３／４ ・・・ 出力画像データＤＯＵＴが偶数フィールドのとき
のように、出力画像データＤＯＵＴのフィールドに対応して切り換える。
【００３３】
つまり、原画像データの連続する２フレームの各フィールドを、フィールドごとに所定の割り合いで、かつ、その割り合いをフィールド期間ごとに切り換えて混合し、出力画像データ（出力ビデオ信号）とする。
【００３４】
このようにすれば、原画像データがフレーム周期であっても、その中間の画像データが平均値補間により１フィールド期間ごとに形成され、この形成された画像データにより表示が行われるので、動画のぎこちなさが改善される。
【００３５】
〔２−２〕 ＰＡＬ方式のビデオ信号を取り出す場合
この場合には、原画像データと出力画像データとは、フレーム周波数およびライン周波数の両方が異なる。したがって、フレーム変換とライン変換とを行う必要があるが、以下に述べるように、まず、原画像データをライン変換し、そのライン変換された画像データをフレーム変換して出力画像データを得る。
【００３６】
〔２−２−１〕 ライン変換
図８に示すように、ＮＴＳＣ方式とＰＡＬ方式とでは、有効ライン数の割り合いが５：６なので、原画像データの５ラインをＰＡＬ方式用の６ラインにライン変換することになる。そこで、このライン変換は、例えば図３に示すように垂直方向について平均値補間により行う。すなわち、図３は、原画像データおよびライン変換後の画像データを水平ライン単位で示すもので、図３の左側に示すように、原画像データはＮＴＳＣ方式の水平ライン周期となる。なお、各ラインにつけた数字は、各フレーム期間におけるライン番号を示す。また、実線は奇数フィールドの水平ライン、破線は偶数フィールドの水平ラインを示す。
【００３７】
そして、
（Ａ） 原画像データの第１ラインと第２ラインとを１：１１の割り合いで混合することにより、図３の右側に示すように、ライン変換後の第１ラインを得る。これを変換後の奇数フィールドの第１ラインとする。
（Ｂ） 原画像データの第２ラインと、第３ラインとを３：９の割り合いで混合することにより、図３の右側に示すように、ライン変換後の第２ラインを得る。これを変換後の偶数フィールドの第１ラインとする。
（Ｃ） 原画像データの第３ラインと、第４ラインとを５：７の割り合いで混合することにより、ライン変換後の第３ラインを得る。これを変換後の奇数フィールドの第２ラインとする。
（Ｄ） 原画像データの第４ラインと、第５ラインとを７：５の割り合いで混合することにより、ライン変換後の第４ラインを得る。これを変換後の偶数フィールドの第２ラインとする。
（Ｅ） 原画像データの第５ラインと、第６ラインとを９：３の割り合いで混合することにより、ライン変換後の第５ラインを得る。これを変換後の奇数フィールドの第３ラインとする。
（Ｆ） 原画像データの第６ラインと、第７ラインとを１１：１の割り合いで混合することにより、ライン変換後の第６ラインを得る。これを変換後の偶数フィールドの第３ラインとする。
そして、以下、（Ａ）〜（Ｆ）と同様の処理を、原画像データの５ラインごとに繰り返す。
【００３８】
すなわち、
ｄＯＵＴ：ライン変換後の出力画像データ
ｄｍ ：原画像データのうち、第ｍ番目のラインの画像データ。
ｄｍ＋１：原画像データのうち、第（ｍ＋１）番目のラインの画像データ。
ＫＬ ：所定の係数（０≦ＫＬ≦１）
とするとき、図３に示すように、ライン変換後の画像データｄＯＵＴを、
ｄＯＵＴ＝（１−ＫＬ）ｄｍ＋ＫＬ・ｄｍ＋１ ・・・ （２）
で示される信号成分とする。
【００３９】
ただし、このとき、係数ＫＬは、例えば、
・変換後の画像データｄＯＵＴが奇数フィールドのとき、
１１／１２、７／１２、３／１２
をフィールド順次に繰り返す。
・変換後の画像データｄＯＵＴが偶数フィールドのとき、
９／１２、５／１２、１／１２
をフィールド順次に繰り返す。
ものとする。
【００４０】
つまり、変換結果の画像データｄＯＵＴに時間的に最も近い連続する２ラインの原画像データを、所定の割り合いで、かつ、その割り合いを結果の画像データの水平ライン期間ごとに切り換えて混合し、ＰＡＬ方式におけるライン数の画像データとする。
【００４１】
このようにすれば、原画像データの有効ライン数が４８０本であっても、その中間のラインの画像データが平均値補間により形成され、ＰＡＬ方式における有効ライン数が５７６本の画像データを得ることができる。
【００４２】
〔２−２−２〕 フレーム変換
このフレーム変換は、（２）式にしたがってライン変換された画像データを、ＰＡＬ方式の出力画像データに変換するためのものであるが、図４Ａ、Ｂに示すように、平均値補間により実現する。ここで、図４Ａは、（２）式にしたがってライン変換された画像データをフレーム単位で示し、図４Ｂは、フレーム変換の結果の出力画像データをフレーム単位で示す。
【００４３】
すなわち、このフレーム変換も、（１）式にしたがって出力画像データＤＯＵＴを形成する。ただし、この場合、画像データＤｎ、Ｄｎ＋１は、（２）式にしたがってライン変換した２フィールドの画像データＤＯＵＴ（＝Ｄｎ）、ＤＯＵＴ（＝Ｄｎ＋１）である。また、係数ＫＦは、ライン変換結果の画像データと出力画像データＤＯＵＴとのフレームのずれに対応して、出力画像データＤＯＵＴのフィールド期間ごとに、所定の大きさずつ変更する。
【００４４】
つまり、フレーム変換結果の画像データＤＯＵＴに時間的に最も近い連続する２フィールドの画像データ（ライン変換結果の画像データ）を、所定の割り合いで、かつ、その割り合いを、フレーム変換結果の画像データとのずれに対応してフィールド期間ごとに切り換えて混合し、ＰＡＬ方式における画像データ得る。
【００４５】
したがって、ライン変換結果の画像データがＮＴＳＣ方式のフレーム周期であっても、ＰＡＬ方式のフィールド位置の画像データが平均値補間により形成されることになるので、このフレーム変換結果の画像データにより表示を行うとき、動画の動きのぎこちなさが改善される。
【００４６】
〔３〕 原画像データから出力画像データを形成する回路の例
原画像データを出力画像データ（出力ビデオ信号）にライン変換およびフレーム変換する処理は、例えば図５に示すように、主としてメモリコントローラ１４および表示用信号処理回路１７により実行される。なお、以下においては、出力画像データがＰＡＬ方式の画像データの場合を中心にして説明する。また、メモリ１６には、原画像データが表示画面に対応するビットマップ形式で書き込まれ、水平走査位置に対応するアドレスから原画像データが読み出されるものとする。
【００４７】
図８からも明かなように、ＮＴＳＣ方式の１２００フレーム期間と、ＰＡＬ方式の１００１フレーム期間とが等しい長さであり、この期間ごとにＮＴＳＣ方式のフレームと、ＰＡＬ方式のフレームとのずれが一巡する。
【００４８】
このため、表示用信号処理回路１７は、各種のタイミング信号を形成する信号形成回路１７１、１７２を有する。そして、信号形成回路１７１は、図４Ｃに示すように、ＮＴＳＣ方式の１２００フレームごとにパルスＲＳＴＲＴを出力するとともに、図４Ｄに示すように、ＮＴＳＣ方式のフレーム周期のパルスＮＴＦＲＭも出力するものである。
【００４９】
また、信号形成回路１７２は、ＮＴＳＣ方式のフィールド周期、あるいは図４Ｅ、Ｆに示すようにＰＡＬ方式のフィールド周期のパルスＦＬＤＰＬＳおよび矩形波信号ＦＬＤＲＣＴを出力するものである。そして、マイクロコンピュータ２２から信号形成回路１７２に所定の制御信号が供給され、パルスＦＬＤＰＬＳおよび信号ＦＬＤＲＣＴの周期が、ＮＴＳＣ方式のフィールド周期あるいはＰＡＬ方式のフィールド周期に設定される。また、信号形成回路１７２には、信号形成回路１７１からパルスＲＳＴＲＴも供給される。
【００５０】
さらに、メモリ１６から原画像データを読み出すとき、水平走査位置に対応するアドレスから読み出すので、メモリコントローラ１４には、２組のレジスタ（ラッチ回路）１４１〜１４３、１４４〜１４６およびアドレスカウンタ１４９などが設けられる。
【００５１】
この場合、レジスタ１４１〜１４３は、奇数フィールドの開始アドレス（第１番目の奇数ラインの開始アドレス）Ａ＿ＳＴＡＤを保持するためのものであり、レジスタ１４４〜１４６は、１ラインあたりのアドレス数（画素数）を示すデータＡＤＤＮＵＭを保持するためのものである。また、アドレスカウンタ１４９は、そのカウント値がメモリ１６の読み出しアドレスとして使用されるものであり、所定のクロックをカウントすることによりその読み出しアドレス（カウント値）が開始アドレスから変化していくものである。
【００５２】
そして、マイクロコンピュータ２２からレジスタ１４１に奇数フィールドの開始アドレスＡ＿ＳＴＡＤおよびクロックＣＫが供給されると、その開始アドレスＡ＿ＳＴＡＤがレジスタ１４１に保持され、このレジスタ１４１の出力と、信号形成回路１７１からのパルスＮＴＦＲＭとがレジスタ１４２に供給されて奇数フィールドの開始アドレスＡ＿ＳＴＡＤがレジスタ１４２に保持される。さらに、レジスタ１４２の出力と、信号形成回路１７２からのパルスＦＬＤＰＬＳとがレジスタ１４３に供給され、レジスタ１４３からはパルスＦＬＤＰＬＳごとに奇数フィールドの開始アドレスＡ＿ＳＴＡＤが出力される。
【００５３】
同様に、マイクロコンピュータ２２からレジスタ１４４に１ラインあたりのアドレス数を示すデータＡＤＤＮＵＭが供給され、このデータＡＤＤＮＵＭがレジスタ１４６から取り出される。
【００５４】
そして、加算回路１４７において、レジスタ１４３から出力される奇数フィールドの開始アドレスＡ＿ＳＴＡＤと、レジスタ１４６から出力される１ラインあたりのアドレス数のデータＡＤＤＮＵＭとが加算され、加算回路１４７からは偶数フィールドの開始アドレス（第１番目の偶数ラインの開始アドレス）Ｂ＿ＳＴＡＤが取り出される。
【００５５】
そして、これら奇数フィールドの開始アドレスＡ＿ＳＴＡＤおよび偶数フィールドの開始アドレスＢ＿ＳＴＡＤがデータセレクタ１４８に供給されるとともに、データセレクタ１４８には信号形成回路１７２からの信号ＦＬＤＲＣＴが制御信号として供給される（今の場合、信号ＦＬＤＲＣＴはＰＡＬ方式のフィールド周期で反転する）。したがって、図４Ｇに示すように、データセレクタ１４８からは、奇数フィールドの開始アドレスＡ＿ＳＴＡＤと偶数フィールドの開始アドレスＢ＿ＳＴＡＤとが、ＰＡＬ方式のフィールド期間ごと交互に取り出される。
【００５６】
そして、このデータセレクタ１４８から取り出された開始アドレスがアドレスカウンタ１４９に供給され、そのカウント値がメモリ１６に読み出しアドレスとして供給される。したがって、メモリ１６からは、原画像データがＰＡＬ方式のフィールド周期で取り出される。
【００５７】
そして、この取り出された原画像データが、表示用信号処理回路１７に設けられた１対のライン補間処理回路７３、７４に１フレーム期間ごとに交互に供給される。このライン補間処理回路７３、７４は、（２）式にしたがった補間処理により、原画像データをライン変換するためのものである。このため、ライン補間処理回路７３は、変換回路７３１および演算回路７３２〜７３４を有し、ライン補間処理回路７４は、変換回路７４１および演算回路７４２〜７４４を有する。
【００５８】
この場合、変換回路７３１は、バッファメモリ（図示せず）を有し、メモリ１６から読み出された原画像データのうち、第ｎ番目のフレームにおける第ｍ番目のラインの画像データｄｍと、第（ｍ＋１）番目のラインの画像データｄｍ＋１とを同時化して出力するものである。
【００５９】
そして、この同時化された画像データｄｍおよびｄｍ＋１が減算回路７３２に供給されてデータｄｍ＋１からデータｄｍが減算され、その減算結果（ｄｍ＋１−ｄｍ）が乗算回路７３３に供給されるとともに、後述する係数形成回路７６から乗算回路７３３に係数ＫＬが供給されて値（ｄｍ＋１−ｄｍ）に乗算される。そして、その乗算結果ＫＬ（ｄｍ＋１−ｄｍ）が加算回路７３４に供給されるとともに、変換回路７３１からのデータｄｍが加算回路７３４に供給される。
【００６０】
したがって、加算回路７３４からは、

で示される画像データｄＯＵＴが出力される。すなわち、第ｎ番目のフレームについてライン変換された画像データｄＯＵＴが得られる。この画像データｄＯＵＴは、以後、（１）式における第ｎ番目のフレームの画像データＤｎとして使用するものであり、したがって、以下、（ライン変換された）画像データＤｎとする。
【００６１】
また、ライン補間処理回路７４はライン補間処理回路７３と同様に構成される。ただし、変換回路７４１は、メモリ１６から読み出された原画像データのうち、第（ｎ＋１）番目のフレームにおける第ｍ番目のラインの画像データｄｍと、第（ｍ＋１）番目のラインの画像データｄｍ＋１とを同時化して出力するものである。
【００６２】
したがって、ライン補間処理回路７４の加算回路７４４からは、第（ｎ＋１）番目のフレームについてライン変換された画像データｄＯＵＴが得られる。この画像データｄＯＵＴは、ライン補間処理回路７３から出力される画像データＤｎ（＝ｄＯＵＴ）よりも１フレーム期間後の画像データであるから、（１）式における第（ｎ＋１）番目のフレームの（ライン変換された）画像データＤｎ＋１となる。したがって、ライン補間処理回路７３、７４からはライン変換された画像データであって連続する２フレームの画像データが同時化されて出力されることになる。
【００６３】
そして、これらライン変換された画像データＤｎ、Ｄｎ＋１が、表示用信号処理回路１７に設けられたフレーム補間処理回路７５に供給される。このフレーム補間処理回路７５は、（１）式にしたがった補間処理により、ライン変換された画像データＤｎ、Ｄｎ＋１を出力画像データにフレーム変換するためのものである。
【００６４】
このため、ライン変換された画像データＤｎ、Ｄｎ＋１が減算回路７５２に供給されてデータＤｎ＋１からデータＤｎが減算され、その減算結果（Ｄｎ＋１−Ｄｎ）が乗算回路７５３に供給されるとともに、後述する係数形成回路７７から乗算回路７５３に係数ＫＦが供給されて値（Ｄｎ＋１−Ｄｎ）に乗算される。そして、その乗算結果ＫＬ（Ｄｎ＋１−Ｄｎ）が加算回路７５４に供給されるとともに、変換回路７５１からのデータＤｎが加算回路７５４に供給される。
【００６５】
したがって、加算回路７５４からは、

で示される画像データＤＯＵＴが出力される。すなわち、ライン変換され、さらに、フレーム変換された画像データＤＯＵＴが得られる。
【００６６】
そして、この画像データＤＯＵＴが、アナログのカラービデオ信号にＤ／Ａ変換されてから外部ビデオ出力端子１９に取り出される。したがって、外部ビデオ出力端子１９に接続されたモニタ用のテレビ受像機には、ＰＡＬ方式で画像が表示される。
【００６７】
〔４〕 係数形成回路７６、７７の例
上記のように、係数形成回路７６はライン変換用の係数ＫＬを形成するものであり、係数形成回路７７はフレーム変換用の係数ＫＦを形成するものである。このため、係数形成回路７６、７７は、例えば図６に示すように主要部を類似の構成とすることができる。そこで、以下においては、まず、構成および処理内容の簡単なフレーム変換用の係数形成回路７７について説明する。
【００６８】
〔４−１〕 係数形成回路７７の例
係数形成回路７７は、ＮＴＳＣ方式のフレームと、ＰＡＬ方式のフレームとのずれに対応して変化する係数ＫＦを形成するが、この例においては、ライン変換後の画像データからＰＡＬ方式の出力画像データを形成するとき、その出力画像データの時間位置の分解能をＰＡＬ方式の１／１２８フィールド期間とする場合である。
【００６９】
係数形成回路７７は、初期値と変化分とを切り換えるデータセレクタ７７１と、積算を行うための加算回路７７２と、その積算結果を保持する７ビットのレジスタ（ラッチ回路）７７３とを有する。また、マイクロコンピュータ２２から初期値および変化分として、例えば「０」および「７６」が出力され、データセレクタ７７１および加算回路７７２に供給される。さらに、信号形成回路１７１からデータセレクタ７７１にパルスＲＳＴＲＴが制御信号として供給される。
【００７０】
すると、ＲＳＴＲＴ＝“１”になったとき、データセレクタ７７１からは初期値「０」が取り出され、この取り出された初期値「０」が信号形成回路１７２からのパルスＦＬＤＰＬＳによりレジスタ７７３に保持される。したがって、図４Ｈに示すように、パルスＲＳＴＲＴから１フィールド期間（フィールド１Ａの期間）は、レジスタ７７３の出力ＱＦは「０」となっている。また、このとき、レジスタ７７３の出力ＱＦ（＝０）と、マイクロコンピュータ２２からの変化分「７６」とが加算回路７７２において加算され、その加算値「７６」が加算回路７７２から出力されるようになる。
【００７１】
続いて、ＲＳＴＲＴ＝“０”になり、１フィールド期間が経過すると、その経過後の時点（フィールド１Ｂの開始時点）には、ＲＳＴＲＴ＝“０”なので、加算回路７７２の出力、今の場合、値「７６」がデータセレクタ７７１を通じてレジスタ７７３に供給され、パルスＦＬＤＲＣＴによりレジスタ７７３に保持される。したがって、図４Ｈに示すように、この時点からＱＦ＝７６となる。また、これにより加算回路７７２の出力は「１５２」になる。
【００７２】
さらに、ＰＡＬ方式の１フィールド期間が経過すると、加算回路７７２の出力「１５２」がデータセレクタ７７１を通じてレジスタ７７３に供給され、パルスＦＬＤＲＣＴによりレジスタ７７３に保持される。ただし、このとき、レジスタ７７３は７ビットのレジスタなので、加算回路７７２の出力「１５２」のうち、下位７ビットだけがレジスタ７７３にラッチされることになり、図４Ｈに示すように、レジスタ７７３の出力ＱＦは「２４」（＝１５２−１２８）となる。
【００７３】
そして、以後、以上のような動作がＰＡＬ方式の１フィールド期間ごとに繰り返されるので、レジスタ７７３の出力ＱＦは、ＰＡＬ方式の１フィールド期間ごとに図４Ｈに示すように変化していくことになる。そして、この出力ＱＦがＬＳＢ方向に７ビットだけシフトされて値ＱＦ／１２８とされ、この値がフレーム補間処理回路７５の乗算回路７５３に係数ＫＦとして供給される。なお、（１）式の両辺を１２８倍すると、

となる。
【００７４】
したがって、出力画像データの第１フレームの奇数フィールド１Ａの期間では、ＱＦ＝０（ＫＦ＝０）なので、図４Ｉに示すように、ライン変換後の画像データの第１フレームの奇数フィールドと第２フレームの奇数フィールドとが、１２８：０の割り合いで混合されて奇数フィールド１Ａの画像データが形成される。また、出力画像データの第１フレームの偶数フィールド１Ｂの期間では、ＱＦ＝７６（ＫＦ＝７６／１２８）なので、ライン変換後の画像データの第１フレームの偶数フィールドと第２フレームの偶数フィールドとが、５２：７６の割り合いで混合されて偶数フィールド１Ｂの画像データが形成される。
【００７５】
さらに、出力画像データの第２フレームの奇数フィールド２Ａの期間では、ＱＦ＝２４（ＫＦ＝２４／１２８）なので、ライン変換後の画像データの第２フレームの奇数フィールドと第３フレームの奇数フィールドとが、１０４：２４の割り合いで混合されて奇数フィールド２Ａがの画像データが形成される。また、出力画像データの第２フレームの偶数フィールド２Ｂの期間では、ＱＦ＝１００（ＫＦ＝１００／１２８）なので、ライン変換後の画像データの第２フレームの偶数フィールドと第３フレームの偶数フィールドとが、２８：１００の割り合いで混合されて偶数フィールド２Ｂの画像データが形成される。
【００７６】
そして、以下同様にライン変換後の画像データの連続する２フレームの各フィールドの画像データが、ＰＡＬ方式のフィールド期間ごとに図４Ｉに示すような割り合いで混合されて出力画像データＤＯＵＴ（出力ビデオ信号）が形成される。
【００７７】
したがって、ライン変換後の画像データがＮＴＳＣ方式のフレーム周期であっても、ＰＡＬ方式で撮像したときのフィールド位置の画像データが平均値補間により形成されることになり、この形成された画像データが出力画像データＤＯＵＴとなるので、動画の撮像時のぎこちなさが改善され、スムーズな動きとなる。
【００７８】
一方、ＮＴＳＣ方式の出力画像データＤＯＵＴを得る場合には、マイクロコンピュータ２２により信号形成回路１７２が制御されてパルスＦＬＤＰＬＳおよび信号ＦＬＤＲＣＴの周期がＮＴＳＣ方式のフィールド周期に設定される。また、マイクロコンピュータ２２から初期値および変化分として、例えば「３２」および「６４」が出力され、データセレクタ７７１および加算回路７７２に供給される。また、例えばＫＬ＝０とされる。
【００７９】
したがって、この場合には、係数形成回路７７の出力ＱＦは、ＮＴＳＣ方式の１フィールド期間ごとに「３２」あるいは「９６」に交互に切り換わるので、補間処理回路７７における混合比となる係数ＫＦは、ＮＴＳＣ方式の１フィールド期間ごとに１／４あるいは３／４に交互に切り換わることになる。したがって、図２により説明した処理となるので、ＮＴＳＣ方式の出力画像データＤＯＵＴを得る場合も、スムーズな動きの動画を表示することができる。
【００８０】
〔４−２〕 係数形成回路７６の例
係数形成回路７６により形成される係数ＫＬは、連続する２ライン分の画像データを例えば図３に示すような割り合いで混合するためのものである。このため、係数形成回路７６は、図６に示すように基本的には係数形成回路７７と同様に構成される。
【００８１】
すなわち、係数形成回路７６は、係数形成回路７７のデータセレクタ７７１、加算回路７７２およびレジスタ７７３に対応するデータセレクタ７６１、加算回路７６２およびレジスタ７６３を有するとともに、データセレクタ７６４および検出回路７６５を有する。この場合、検出回路７６５には、パルスＦＬＤＰＬＳと、加算回路７６２の加算出力と、レジスタ７６３の出力ＱＬとが供給され、出力画像データにおける各フィールド期間の開始時点、今の場合、ＰＡＬ方式のフィールド期間の開始時点が検出され、この検出出力がセレクタ７６１にその制御信号として供給される。
【００８２】
また、出力画像における奇数フィールドと偶数フィールドとで水平ラインの空間位置を合わせるため、マイクロコンピュータ２２から奇数フィールドの初期値Ａ＿ＯＦＦと偶数フィールドの初期値Ｂ＿ＯＦＦとが取り出される。初期値Ａ＿ＯＦＦは、図３および上記（Ａ）における第１ラインと第２ラインとの混合比１：１１に対応する値であり、初期値Ｂ＿ＯＦＦは、図３および上記（Ｂ）における第２ラインと第３ラインとの混合比３：９に対応する値である。
【００８３】
そして、これら初期値Ａ＿ＯＦＦ、Ｂ＿ＯＦＦがデータセレクタ７６４に供給されるとともに、信号形成回路１７２からの矩形波信号ＦＬＤＲＣＴがデータセレクタ７６４にその制御信号として供給され、データセレクタ７６４からは初期値Ａ＿ＯＦＦ、Ｂ＿ＯＦＦが該当するフィールド期間ごとにに交互に取り出される。
【００８４】
この取り出された初期値Ａ＿ＯＦＦあるいはＢ＿ＯＦＦがデータセレクタ７６１に供給されるとともに、マイクロコンピュータ２２から変化分ＬＰＨＡＳＥが出力され、加算回路７６２に供給される。この場合、変化分ＬＰＨＡＳＥは、図３における混合比の変化分２／１１に対応するものである。また、レジスタ７６３には、信号形成回路１７２から出力画像データの水平ライン期間の開始時点ごとに所定のラッチパルスが供給される。
【００８５】
したがって、出力画像データの各フィールド期間の開始時点に、レジスタ７６３の値ＱＬは、初期値Ａ＿ＯＦＦあるいはＢ＿ＯＦＦにセットされ、以後、１水平ライン期間ごとに変化分ＬＰＡＳＥが加算された値となるので、値ＱＬは、図３に示すように変化することになる。そこで、この値ＱＬが係数ＫＬとしてライン補間処理回路７３、７４の乗算回路７３３、７４３に供給され、ライン変換が行われる。
【００８６】
〔５〕 まとめ
上述したデジタルスチルカメラによれば、ＮＴＳＣ方式の画像データをＰＡＬ方式の画像データにフレーム変換するとき、時間的にＰＡＬ方式のフィールド位置に位置する画像データを平均値補間により形成し、この形成した画像データを表示用の信号として出力しているので、スムーズな動きの動画を表示することができる。
【００８７】
また、ＮＴＳＣ方式からＰＡＬ方式へのライン変換も、空間的にＰＡＬ方式のライン位置に位置する画像データを平均値補間により形成しているので、表示画面にラインむらなどを生じることがなく、高品質の画像とすることができる。
【００８８】
さらに、図３および図４から明かなように、２フレーム分の原画像データが得られると、ライン変換およびフレーム変換を行うことができるので、ライン変換およびフレーム変換にともなう画像データの遅れはほぼ２フレーム期間であり、出力画像データの遅れを抑えることができる。また、このことによりメモリの容量を減らすことができる。
【００８９】
なお、上述において、ライン変換係数ＫＬおよびフレーム変換係数ＫＦを変更すれば、他の水平ライン周波数およびフレーム周波数の画像データの変換にも対応することができる。
【００９０】
〔この明細書で使用している略語の一覧〕

【００９１】
【発明の効果】
この発明によれば、ＮＴＳＣ方式の画像データをＰＡＬ方式の画像データにライン変換およびフレーム変換するとき、空間的および時間的な平均値補間により実現しているので、スムーズな動きで高品質な動画とすることができる。さらに、ライン変換およびフレーム変換にともなう画像データの遅れはほぼ２フレーム期間であり、出力画像データの遅れを抑えることができる。また、このことによりメモリの容量を減らすことができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明を説明するための図である。
【図３】この発明を説明するための図である。
【図４】この発明を説明するための図である。
【図５】この発明の一部を示す系統図である。
【図６】この発明の一部を示す系統図である。
【図７】この発明を説明するための図である。
【図８】この発明を説明するための図である。
【図９】この発明を説明するための図である。
【図１０】この発明を説明するための図である。
【符号の説明】
１０…デジタルスチルカメラ、１１…ＣＣＤイメージセンサ、１２…Ａ／Ｄコンバータ回路、１３…カメラ信号処理回路、１４…メモリコントローラ、１５…画像バス、１６…メモリ、１７…表示用信号処理回路、１８…ＬＣＤパネル、１９…外部ビデオ出力端子、２１…画像圧縮回路、２２…マイクロコンピュータ、２３…外部記憶メディア、７３および７４…ライン補間処理回路、７６および７７…係数形成回路、１４１〜１４６、７６３および７７３…レジスタ、１４８、７６１、７６４および７７１…データセレクタ、１７１および１７２…信号形成回路

Claims (8)

1. 第１のフレーム周波数およびライン周波数の画像データを第１の方式の画像データとし、
   第２のフレーム周波数およびライン周波数の画像データを第２の方式の画像データとするとき、
   上記第１の方式の画像データを上記第２の方式の画像データに変換する画像データの変換方法において、
   上記第１の方式の動画の画像データが書き込まれているメモリから、上記第１の方式の画像データのうち、上記第２の方式における奇数フィールドおよび偶数フィールドの画像データを作成するのに必要な信号を、上記第２の方式における奇数フィールド期間および偶数フィールド期間ごとにそれぞれ取り出し、
   この取り出した画像データを上記第２の方式におけるライン周波数の第１および第２の画像データに変換し、
   この第１および第２の画像データのうち、奇数フィールドの画像データを所定の割り合いで混合して上記第２の方式における奇数フィールドの画像データとして出力するとともに、
   上記第１および第２の画像データのうち、偶数フィールドの画像データを所定の割り合いで混合して上記第２の方式における偶数フィールドの画像データとして出力し、かつ、
   上記混合する割り合いを上記第２の方式におけるフィールド期間ごとに変更する
   ようにした画像データの変換方法。
2. 請求項１に記載の画像データの変換方法において、
   上記第１の方式はＮＴＳＣ方式であり、
   上記第２の方式はＰＡＬ方式である
   ようにした画像データの変換方法。
3. 請求項１に記載の画像データの変換方法において、
   上記第１の方式はＮＴＳＣ方式であり、
   上記第２の方式を、ＮＴＳＣ方式あるいはＰＡＬ方式に切り換る
   ようにした画像データの変換方法。
4. 第１のフレーム周波数およびライン周波数の画像データを第１の方式の画像データとし、
   第２のフレーム周波数およびライン周波数の画像データを第２の方式の画像データとするとき、
   上記第１の方式の画像データを上記第２の方式の画像データに変換する画像データの変換回路において、
   上記第１の方式の動画の画像データが書き込まれるメモリと、
   このメモリから、上記第１の方式の画像データのうち、上記第２の方式における奇数フィールドおよび偶数フィールドの画像データを作成するのに必要な信号を、上記第２の方式における奇数フィールド期間および偶数フィールド期間ごとにそれぞれ取り出す第１の回路と、
   上記取り出した画像データを上記第２の方式におけるライン周波数の第１および第２の画像データに変換する第２の回路と、
   上記第１および第２の画像データのうち、奇数フィールドの画像データを所定の割り合いで混合して上記第２の方式における奇数フィールドの画像データとして出力するとともに、
   上記第１および第２の画像データのうち、偶数フィールドの画像データを所定の割り合いで混合して上記第２の方式における偶数フィールドの画像データとして出力する第３の回路と、
   上記混合する割り合いを上記第２の方式におけるフィールド期間ごとに変更する第４の回路と
   を有する画像データの変換回路。
5. 請求項４に記載のフレーム変換回路において、
   上記第１の方式はＮＴＳＣ方式であり、
   上記第２の方式はＰＡＬ方式である
   ようにしたフレーム変換回路。
6. 請求項４に記載のフレーム変換回路において、
   上記第１の方式はＮＴＳＣ方式であり、
   上記第２の方式を、ＮＴＳＣ方式あるいはＰＡＬ方式に切り換る回路
   を有するフレーム変換回路。
7. 第１のフレーム周波数およびライン周波数の画像データを第１の方式の画像データとし、
   第２のフレーム周波数およびライン周波数の画像データを第２の方式の画像データとする電子カメラにおいて、
   被写体の像が投影され、上記第１の方式の画像データを、上記第１の方式で、そのフレーム期間分ずつ出力するイメージセンサと、
   このイメージセンサから出力される上記第１の方式の画像データが書き込まれるメモリと、
   このメモリから、上記第１の方式の画像データのうち、上記第２の方式における奇数フィールドおよび偶数フィールドの画像データを作成するのに必要な信号を、上記第２の方式における奇数フィールド期間および偶数フィールド期間ごとにそれぞれ取り出す第１の回路と、
   上記取り出した画像データを上記第２の方式におけるライン周波数の第１および第２の画像データに変換する第２の回路と、
   上記第１および第２の画像データのうち、奇数フィールドの画像データを所定の割り合いで混合して上記第２の方式における奇数フィールドの画像データとして出力するとともに、
   上記第１および第２の画像データのうち、偶数フィールドの画像データを所定の割り合いで混合して上記第２の方式における偶数フィールドの画像データとして出力する第３の回路と、
   上記混合する割り合いを上記第２の方式におけるフィールド期間ごとに変更する第４の回路と、
   上記第３の回路から出力される上記画像データを外部に出力する外部端子と
   を有する電子カメラ。
8. 請求項７に記載の電子カメラにおいて、
   上記第１の方式はＮＴＳＣ方式であり、
   上記第２の方式を、ＮＴＳＣ方式あるいはＰＡＬ方式に切り換る回路
   を有する電子カメラ。

Images