Nothing Special   »   [go: up one dir, main page]

JP2005057605A - 画像処理装置、画像処理システム、撮像装置および画像処理方法 - Google Patents

画像処理装置、画像処理システム、撮像装置および画像処理方法 Download PDF

Info

Publication number
JP2005057605A
JP2005057605A JP2003288109A JP2003288109A JP2005057605A JP 2005057605 A JP2005057605 A JP 2005057605A JP 2003288109 A JP2003288109 A JP 2003288109A JP 2003288109 A JP2003288109 A JP 2003288109A JP 2005057605 A JP2005057605 A JP 2005057605A
Authority
JP
Japan
Prior art keywords
zoom
parameter
distortion correction
correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003288109A
Other languages
English (en)
Other versions
JP4337463B2 (ja
Inventor
Atsushi Nose
敦 能勢
Koji Aoyama
幸治 青山
Toru Kurata
徹 倉田
Jinko Wada
仁孝 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003288109A priority Critical patent/JP4337463B2/ja
Priority to US10/902,140 priority patent/US7596286B2/en
Priority to EP20040254667 priority patent/EP1505539A3/en
Priority to KR1020040061817A priority patent/KR101035836B1/ko
Priority to CNB2004100832964A priority patent/CN100346636C/zh
Publication of JP2005057605A publication Critical patent/JP2005057605A/ja
Priority to HK05103315A priority patent/HK1070772A1/xx
Priority to US12/053,077 priority patent/US7630584B2/en
Application granted granted Critical
Publication of JP4337463B2 publication Critical patent/JP4337463B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】 光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高める。
【解決手段】 補正パラメータエンコーダ202は、光学ズーム機構におけるズーム位置を区分したズームポイントごとに歪み補正パラメータをエンコードし、これらを歪み補正メモリ113に格納する。歪み補正メモリ113は、歪み補正対象画素の座標とズーム位置情報とから、ズーム位置に応じた2つのズームポイントに対応する歪み補正パラメータを読み出す。ズーム補間処理部114は、読み出された各歪み補正パラメータを、ズーム位置の位相係数を用いて補間演算する。補正パラメータデコーダ112は、補間された歪み補正パラメータをx−y方向にデコードして画像信号処理部104に供給し、これにより撮像画像の歪み補正処理が行われる。
【選択図】 図1

Description

本発明は、撮像された画像の歪みを補正する画像処理装置、画像処理システム、撮像装置および画像処理方法に関し、特に、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像に対して、ズーム位置に応じた歪み補正を行うことが可能な画像処理装置、画像処理システム、撮像装置および画像処理方法に関する。
ビデオカメラやスチルカメラ等の撮像装置では、撮像レンズの歪曲収差特性の影響により、撮像した画像に歪みが生じることが知られている。高精度・高性能なレンズを用いた場合にはこのような歪みは目立たないが、コストの低いレンズを使用した場合や、光学ズームレンズを使用した場合には、歪みによる画質への影響を回避することは難しい。そこで、近年では、このような光学歪みを信号処理によって補正する画像撮像システムが提案されている。
図17は、このような信号処理機能を具備する従来の画像撮像システムの構成例を示すブロック図である。
図17に示す画像撮像システムは、撮像装置3と、前処理装置4とを具備している。なお、ここでは、撮像装置3としてデジタルビデオカメラを想定する。また、前処理装置4は、例えばこの撮像装置3の外部に設置されたパーソナルコンピュータ等として構成される。
撮像装置3は、光学ブロック101、撮像素子102、画像前処理部103、画像信号処理部104、画像メモリ105、表示処理部106、モニタ107、圧縮・伸長処理部108、記録再生部109、記録媒体110、制御マイクロコンピュータ(以下、制御マイコンと呼称する)311、補正パラメータデコーダ312、および歪み補正メモリ313を具備する。また、前処理装置4は、補正パラメータ導出部401と、補正パラメータエンコーダ402とを具備する。
撮像装置3において、被写体からの反射光は光学ブロック101に入射される。光学ブロック101は、複数のレンズやこれらの駆動機構等からなり、入射光を撮像素子102に集光する。撮像素子102は、CCD(Charge Coupled Device)等からなり、入射光を電気信号に変換して画像前処理部103に供給する。画像前処理部103では、撮像素子102から出力された画像信号に対して、CDS(Correlated Double Sampling)処理やAGC(Auto Gain Control)処理、A/D変換処理等が行われ、デジタル化された画像信号が画像信号処理部104に供給される。
画像信号処理部104では、入力されたデジタル画像信号が画像メモリ105に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ312から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部106に供給されて、モニタ107で表示される画像信号が生成され、これにより撮像画像がモニタ107に表示される。なお、モニタ107は、例えばLCD(Liquid Crystal Display)等からなる。
また、画像信号処理部104で画質補正処理された画像信号は、圧縮・伸長処理部108において所定の画像フォーマットで圧縮符号化処理され、記録再生部109により記録媒体110に書き込まれる。これにより、撮像画像の記録が行われる。なお、記録媒体110としては、例えば磁気テープ、半導体メモリ、光ディスク、ハードディスク等を用いることが可能である。
一方、記録媒体110に記録された画像データを再生する場合には、この画像データは記録再生部109によって読み出されて、圧縮・伸長処理部108において伸長復号化処理され、処理後の画像信号が表示処理部106に供給されることにより、再生画像がモニタ107に表示される。
このような画像の記録・再生動作は制御マイコン311によって制御される。制御マイコン311は、図示しないユーザインタフェース(I/F)からの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部104に出力する。
補正パラメータデコーダ312は、制御マイコン311から供給された情報等に応じて、歪み補正メモリ313から読み出した圧縮データを、各画素に対応した補正量パラメータに伸長(デコード)し、画像信号処理部104に供給する。歪み補正メモリ313は、補正パラメータデコーダ312からの要求に応じて、保持している歪み補正パラメータを補正パラメータデコーダ312に供給する。
ここで、画像信号処理部104において実行される歪み補正処理の例について説明する。画像信号処理部104では、例えば、歪み補正後の画像を格子状に分割し、補正対象の画素を含むx方向、y方向の複数の格子点の座標を用いて、各方向について補間演算することにより、歪みを補正する。
補正パラメータデコーダ312からは、例えば、x方向、y方向に対する補正座標および補間位相を与える補正量パラメータが出力される。そして、画像信号処理部104は、これらの補正量パラメータに基づいて各方向に対する補正ベクトルおよび補間係数を算出し、各方向について一次元補間演算を順次行う。このような処理により、比較的負荷の低い処理により各方向の歪みを補正することができる。
一方、前処理装置4において、補正パラメータ導出部401は、撮像画像における全画素の歪み補正座標を、光学ブロック101に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ402に出力する。
補正パラメータエンコーダ402は、歪み補正後の画像を格子状に区分し、その格子位置を利用して、補正パラメータ導出部401からの全画素の歪み補正座標をx方向、y方向にそれぞれ圧縮する。これにより生成された歪み補正パラメータは、歪み補正メモリ313に格納される。
なお、歪み補正パラメータは、歪み補正処理の実行のたびに補正パラメータエンコーダ402においてリアルタイムに生成され、歪み補正メモリ313に供給されてもよい。あるいは、電源投入時等の初期動作時に歪み補正メモリ313に一括してロードされるようにしてもよい。
補正パラメータデコーダ312は、画像信号処理部104から補正対象とする座標の指定を受けて、この座標を含む格子に対応する歪み補正パラメータを、歪み補正メモリ313から読み出し、x方向、y方向にそれぞれ補間処理を行うことにより歪み補正座標を伸長して、補正量パラメータを生成する。
このように、全画像を格子分割して、各画素についての歪み補正座標を圧縮しておき、補正パラメータデコーダ312において伸長するような構成により、必要なデータ量や演算処理の負担が軽減され、リアルタイム処理が可能となる。
ところで、光学ズーム機能を具備する撮像装置においては、ズーム動作によりレンズ位置が変化すると、歪みの特性が大きく変化することが知られている。
ここで、図18は、ズーム動作時のレンズ位置と歪み量との関係を示すグラフの例である。
図18に示すように、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、歪みを補正するためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意する必要がある。これらのデータを算出するためには膨大な演算量が必要となり、またこれらのデータを保持するためには、大きなメモリ容量が必要となる。
なお、低コストな回路を用いて、レンズ位置に応じた歪みの補正を行うことが可能な従来の例として、撮像ズームレンズの撮像ポジションが歪曲収差の大きいポジション内であることが検出されている場合には、固体撮像素子の画像データを幾何学的変形に基づいて読み出すことにより像の歪みを補正するように構成された固体撮像カメラがあった(例えば、特許文献1参照)。
特許第2925871号公報(段落番号〔0015〕〜〔0020〕、第1図)
上述したように、ズーム動作時のレンズ位置に応じた適切な歪み補正をデジタル信号処理により行うためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意しなければならず、必要な演算能力や回路規模、消費電力等が増大し、製造コストが高くなることが問題であった。また、レンズ交換等によりレンズ系の歪曲収差の特性が変わった場合には、新たな特性に応じた歪み補正用データを用意する必要があり、このような場合に対応することは困難であった。
図17に例示した従来の画像撮像システムでは、例えば、制御マイコン311がズーム位置を補正パラメータデコーダ312に通知し、補正パラメータデコーダ312が、このズーム位置に応じた歪み補正パラメータを選択的にデコードすることにより、レンズ位置に応じた適切な歪み補正を行うことができる。また、歪み補正パラメータのデータ量を抑制するためには、レンズ位置を区分して各点に対応するデータのみ用意し、レンズ位置が区分点に合致しない場合はこれに近い区分点のデータを選択して、近似的なデータにより補正する方法が考えられる。しかし、この方法では、分割点の数を減らしてデータ量を少なくするほど、歪み補正の精度が低下し、画質が劣化してしまう。
なお、上記の特許文献1で開示した固体撮像カメラでは、レンズ位置が歪曲収差の大きい領域内であるときだけ歪み補正を行うので、補正精度が低く、歪みを目立たなくすることは困難であった。
本発明はこのような点に鑑みてなされたものであり、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像処理装置を提供することを目的とする。
また、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像撮像システムを提供することである。
さらに、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な撮像装置を提供することである。
また、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像処理方法を提供することである。
本発明では上記課題を解決するために、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータが圧縮されたズーム圧縮パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する前記補正パラメータを補間演算により算出するズーム方向デコード手段と、前記ズーム方向デコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段とを有することを特徴とする画像処理装置が提供される。
ここで、ズーム位置取得手段は、入力画像の撮像時における光学ズーム機構のレンズ位置状態を示すズーム位置を取得する。また、入力画像の歪みを補正するために、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したズーム区分点を利用して、レンズ位置状態ごとの歪み補正用の補正パラメータを圧縮したズーム圧縮パラメータが用意される。ズーム方向デコード手段は、このようなズーム圧縮パラメータを基に、ズーム位置取得手段によって取得されたズーム位置に対応する補正パラメータを補間演算により算出する。そして、画像補整手段は、ズーム方向デコード手段によって伸長された補正パラメータを基にして、入力画像の歪みを補正する。
また、本発明では、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正するための画像処理方法において、入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得し、前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータが圧縮されたズーム圧縮パラメータを基に、前記ズーム位置に対応する前記補正パラメータを補間演算により算出し、算出した前記補正パラメータを基にして前記入力画像の歪みを補正することを特徴とする画像処理方法が提供される。
このような画像処理方法では、入力画像の歪みを補正するために、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したズーム区分点を利用して、レンズ位置状態ごとの歪み補正用の補正パラメータを圧縮したズーム圧縮パラメータを用意する。そして、入力画像の撮像時における光学ズーム機構のレンズ位置状態を示すズーム位置を取得し、ズーム圧縮パラメータを基に、取得したズーム位置に対応する補正パラメータを補間演算により算出し、算出した補正パラメータを基にして入力画像の歪みを補正する。
本発明の画像処理装置によれば、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したズーム区分点を設定し、これらのズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータを圧縮したズーム圧縮パラメータを用意しておくことで、ズーム位置に応じた歪み補正が行われるので、必要とされる補正用データのデータ量が削減され、例えば、これらの補正用データを算出するために必要な演算能力、あるいはこれらの補正用データを記憶しておくメモリの容量が抑制される。そして、このようなズーム圧縮パラメータを基に、入力画像の撮像時におけるズーム位置に対応する補正パラメータが補間演算により算出されるので、必要な補正用データのデータ量が削減されながらも、ズーム位置に応じた高精度の歪み補正を行うことができる。
また、本発明の画像処理方法によれば、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したズーム区分点を設定し、これらのズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータを圧縮したズーム圧縮パラメータを用意しておくことで、ズーム位置に応じた歪み補正が行われるので、必要とされる補正用データのデータ量が削減され、例えば、これらの補正用データを算出するために必要な演算能力、あるいはこれらの補正用データを記憶しておくメモリの容量が抑制される。そして、このようなズーム圧縮パラメータを基に、入力画像の撮像時におけるズーム位置に対応する補正パラメータが補間演算により算出されるので、必要な補正用データのデータ量が削減されながらも、ズーム位置に応じた高精度の歪み補正を行うことができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の実施の形態では、画像を撮像して記録する撮像装置を含む画像撮像システムに本発明を適用した場合を例に挙げて説明する。また、撮像装置としては、デジタルビデオカメラを想定する。
〔第1の実施の形態〕
図1は、本発明の第1の実施の形態に係る画像撮像システムの構成例を示すブロック図である。
図1に示す画像撮像システムは、画像を撮像してデジタルデータとして記録媒体に記録するためのものであり、撮像装置1と、前処理装置2とを具備している。
撮像装置1は、光学ブロック101、撮像素子102、画像前処理部103、画像信号処理部104、画像メモリ105、表示処理部106、モニタ107、圧縮・伸長処理部108、記録再生部109、記録媒体110、制御マイクロコンピュータ(以下、制御マイコンと呼称する)111、補正パラメータデコーダ112、歪み補正メモリ113、およびズーム補間処理部114を具備する。また、前処理装置2は、補正パラメータ導出部201と、補正パラメータエンコーダ202とを具備する。
撮像装置1において、光学ブロック101は、被写体からの反射光を集光するレンズ群やこれらを駆動するための駆動機構等からなり、入射光を撮像素子102に集光する。特に、本実施の形態では、光学ブロック101は光学ズーム機能を備えている。光学ズーム動作時のレンズ駆動は、制御マイコン111からの制御信号によって制御される。
撮像素子102は、CCDやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等からなり、光学ブロック101において集光された光を電気信号に変換して、アナログ画像信号を画像前処理部103に供給する。
画像前処理部103は、撮像素子102から供給されたアナログ画像信号に対して、CDS処理やAGC処理、A/D変換処理等を行い、デジタル画像信号を画像信号処理部104に供給する。
画像信号処理部104は、画像前処理部103からのデジタル画像信号を画像メモリ105に格納するとともに、このデジタル画像信号に対して、補正パラメータデコーダ112から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理を行う。画像メモリ105は、例えばDRAM(Dynamic Random Access Memory)等の半導体メモリ等によって構成される。
表示処理部106は、画像信号処理部104または圧縮・伸長処理部108からの画像信号から、モニタ107に表示させるための画像信号を生成して、モニタ107に出力する。モニタ107は、例えばLCD等により構成される。
圧縮・伸長処理部108は、画像信号処理部104からの画像信号を所定の画像フォーマットで圧縮符号化処理し、記録再生部109に供給する。また、記録再生部109からの画像信号を伸長復号化処理し、表示処理部106に供給する。
記録再生部109は、圧縮・伸長処理部108によって圧縮符号化された画像信号を、記録媒体110に書き込む。また、記録媒体110から読み出した画像データを、圧縮・伸長処理部108に供給する。記録媒体110は、例えば、可搬型の半導体メモリ、光ディスク、ハードディスク等からなる。
制御マイコン111は、図示しないユーザインタフェース(I/F)からの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部104等に出力する。また、光学ブロック101内のレンズの位置情報等を補正パラメータデコーダ112に供給する。また、歪み補正メモリ113に対して、メモリの読み書きのためのクロック信号を与える。
補正パラメータデコーダ112は、制御マイコン111から供給された情報等に応じて、歪み補正メモリ113から読み出されてズーム補間処理部114において補間演算によりズーム方向に伸長(デコード)された歪み補正パラメータを、各画素に対応した補正量パラメータとしてx−y方向にデコードし、この補正量パラメータを画像信号処理部104に供給する。
歪み補正メモリ113は、前処理装置2の補正パラメータエンコーダ202から、歪み補正座標を圧縮して生成された歪み補正パラメータの入力を受けて、これらを保持する。そして、補正パラメータデコーダ112からの要求に応じて、保持している歪み補正パラメータをズーム補間処理部114に出力する。
ズーム補間処理部114は、歪み補正メモリ113から読み出された歪み補正パラメータを用いてズーム方向の補間処理を行い、処理後の歪み補正パラメータを補正パラメータデコーダ112に供給する。
また、前処理装置2において、補正パラメータ導出部201は、撮像画像における全画素に対応する歪み補正座標を、光学ブロック101に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ202に出力する。
補正パラメータエンコーダ202は、補正パラメータ導出部201からの全画素の歪み補正座標を、歪み補正パラメータに圧縮(エンコード)して、歪み補正メモリ113に格納する。また、エンコード時に用いた格子情報を補正パラメータデコーダ112に供給する。
なお、前処理装置2は、撮像装置1の外部に設置されたパーソナルコンピュータ等の外部情報処理機器により構成されればよい。例えば、補正パラメータ導出部201および補正パラメータエンコーダ202における演算は、非常に負荷の大きな演算となるが、これらを外部情報処理機器において実行させることにより、撮像装置1の撮像動作に対するリアルタイムの歪み補正処理に影響が及ばなくなる。また、補正パラメータエンコーダ202から歪み補正メモリ113や補正パラメータデコーダ112に供給される情報は、例えば電源投入時等の初期動作時にあらかじめ供給されればよい。
ここで、まず、上記の撮像装置1における基本的な動作について説明する。
被写体からの反射光は、光学ブロック101によって撮像素子102に集光され、撮像素子102からはアナログ画像信号が画像前処理部103に出力される。画像前処理部103では、撮像素子102からのアナログ画像信号に対してCDS処理やAGC処理等が施され、さらにA/D変換されて、デジタル化された画像信号が画像信号処理部104に供給される。
画像信号処理部104では、入力されたデジタル画像信号が画像メモリ105に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ112から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部106に供給され、これにより、歪みが補正された撮像画像がモニタ107に表示される。
また、画像信号処理部104で画質補正処理された画像信号は、圧縮・伸長処理部108において所定の画像フォーマットで圧縮符号化処理され、記録再生部109により記録媒体110に書き込まれる。これにより、撮像画像の記録が行われる。なお、圧縮符号化された画像データは、この他に、例えば通信I/Fを通じて外部の機器に対して送信されてもよい。
一方、記録媒体110に記録された画像データを再生する場合には、この画像データは記録再生部109によって読み出されて、圧縮・伸長処理部108において伸長復号化処理され、処理後の画像信号が表示処理部106に供給されることにより、再生画像がモニタ107に表示される。
ところで、撮像した画像信号を表示・記録する際には、画像信号処理部104において、原画像に生じた光学歪みに対するデジタル補正処理が行われる。この光学歪みは、光学ブロック101内のレンズの光学的特性に起因するものである。
本実施の形態では、前処理装置2において、全画素分の歪み補正座標をエンコードして、歪み補正メモリ113に格納する。そして、制御マイコン111から撮像画像上の座標を受けた補正パラメータデコーダ112が、歪み補正メモリ113から対応する圧縮データをズーム補間処理部114を介して取得してデコードし、歪み補正座標を復元して画像信号処理部104に出力する。これにより、画像信号処理部104は、受け取った歪み補正座標等を用いて歪み補正処理を行うことが可能となっている。
また、光学歪みの特性は、光学ズーム動作時のレンズ位置によって異なる。従って、厳密には、レンズ位置に応じた補正データを利用する必要がある。
ここで、図2は、ズーム動作時のレンズ位置と歪み量との関係の例と、レンズ位置の区分点とを示す図である。
図2に示すグラフのように、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、高精度な歪み補正を行うためには、補正パラメータデコーダ112は、レンズ位置に対応する歪み補正パラメータを選択的にデコードして、画像信号処理部104に供給する必要がある。しかし、すべてのレンズ位置に対応する歪み補正座標を用意した場合、そのデータ量は膨大なものとなってしまう。
本発明ではこれに対して、ワイド端からテレ端までの間のズーム位置を複数に区分し、この区分を利用して歪み補正座標をズーム方向にエンコードする。そして、歪み補正時には、実際のレンズ位置に応じた必要な歪み補正パラメータを用いて補間処理を行うことで、このレンズ位置に対応する歪み補正パラメータをデコードし、歪み補正に利用することを特徴とする。これにより、必要なデータ量の削減と、歪み補正精度の向上とを両立させる。本実施形態の場合、このようなズーム方向の補間処理はズーム補間処理部114において行われ、補間された歪み補正パラメータが補正パラメータデコーダ112においてさらにx−y方向に対してデコードされ、画像信号処理部104で利用される。
なお、以下の説明では、制御マイコン111により制御される光学ズーム機構内のレンズ位置状態をズーム位置と呼称し、また、レンズ位置状態をワイド端からテレ端までの間で区分した区分点(両端部を含む)を、ズームポイントと呼称する。
図2の例では、光学ズーム機構内のレンズは、ワイド端からテレ端までの間でP0〜P16の各ズーム位置をとるものとしている。そして、歪み補正パラメータのズーム方向のエンコードを行うためのズームポイントとして、Z0〜Z7を規定している。ここで、ズーム位置の移動に応じた歪み量の変化が小さい領域ではズームポイントの間隔を広くとり、歪み量の変化が大きい領域ではズームポイントの間隔を狭くすることにより、歪み補正の精度を高めることができる。
ここで、まず、ズーム方向の補間演算として、線形補間を用いる場合について説明する。ここでは例として、ズーム位置を跨ぐ2つのズームポイントに対応する歪み補正パラメータを用いて、ズーム方向の補間演算を行うことにする。例えば、撮像時の光学ズーム機構内のズーム位置が図2のようにP9であれば、例えばこのP9に近接するズームポイントZ4およびZ5に対応する歪み補正パラメータを用いて補間演算を行い、P9に対応する歪み補正パラメータを算出して歪み補正処理を行うことができる。また、補間演算時には、選択したズームポイント間におけるズーム位置の位相を用いる。なお、以下では、x−y方向の補間演算としては、例として、n次多項式(ただし、nは自然数)を用いた近似による補間を行うものとする。
光学ズーム機構のズーム位置は、ユーザI/Fを通じて入力される制御信号に基づいて、制御マイコン111によって制御される。制御マイコン111は、この制御信号に応じて光学ブロック101にズーム位置制御のための制御信号を出力するとともに、ズーム位置情報を補正パラメータデコーダ112に出力する。このとき、制御マイコン111は、指定されたズーム位置を跨ぐ2つのズームポイントを認識し、このうちワイド端側のズームポイントを識別する数値と、2つのズームポイント間におけるズーム位置の位相係数とを加算した値をズーム位置情報として設定する。ここで、位相係数は、ズームポイント間の距離を1とした場合に、ズームポイント間の基準点からズーム位置までの距離を表す。本実施の形態ではその基準点をワイド端側のズームポイントとする。この場合、ズーム位置情報の整数部は、選択されたズームポイントのうちワイド端側のものを示し、小数部がこのズームポイントを基準とした位相係数を示すことになる。
次に、歪み補正のためのパラメータを算出する動作について説明する。図3は、前処理装置2内の補正パラメータエンコーダ202の内部構成例を示すブロック図である。
補正パラメータエンコーダ202は、図3に示すように、格子分割部211と、圧縮データ導出部212とを具備している。
格子分割部211は、全画面に対する格子の分割方法を決定し、格子情報として、圧縮データ導出部212および補正パラメータデコーダ112に出力する。また、ズーム位置を区分したズームポイントの区分方法を決定し、ズームポイント情報として、圧縮データ導出部212および歪み補正メモリ113に出力する。
圧縮データ導出部212は、補正パラメータ導出部201から全画素および全ズーム位置に対応する歪み補正座標の入力を受け、格子分割部211からの格子情報とズームポイント情報とから、画面のx−y方向およびズーム方向(z方向)のそれぞれについて歪み補正座標を圧縮し、歪み補正パラメータを算出する。なお、x方向、y方向、およびズーム方向(z方向)のそれぞれについては、デコード時における補間演算の方法は同じである必要はない。
圧縮データ導出部212は、格子分割部211において分割された各格子線分のすべての歪み補正座標と格子線分上の位置とから離散関数を生成し、求める区分n次多項式で近似する。そして、その格子線分をn分割した内分点およびその両端(格子点)における歪み補正座標を、求めた区分n次多項式から算出し、算出した歪み補正座標を歪み補正パラメータとして歪み補正メモリ113に出力する。なお、格子線分とは、互いの格子線で区切られた格子線(格子点間の線分)を表す。
ここで、n次多項式は以下の式(1)で表され、区分n次多項式とは、ある有効範囲で区切られた区間のみを、式(1)のようなn次多項式で表したものである。なお、nは自然数とする。
F(x)=a(n)*x+a(n−1)*x(n−1)+a(n−2)*x(n−2)+・・・+a(0) ……(1)
なお、画面を格子状に分割する場合には、例えば、画面全体を分割の対象とする方法、あるいは、レンズの歪みが点対称であることを利用して、画面の1/4を分割の対象とする方法等がある。これらは、歪みの特性に応じて選択される。さらに、格子分割の方法としては、例えば、画面内を均等な間隔で分割する方法や、画面の中心から端部までの距離を2のべき乗ごとに分割する方法、歪みの大きい画面上下端および左右端の歪み補正座標を利用して、この歪み補正座標と位置との関数を作成し、作成された関数から、区分n次多項式を用いて関数と区分n次多項式との誤差が最も小さくなる分割位置を探索する方法等が提案されている。
また、n次多項式の算出は、例えば以下のように行われる。ここでは、2次多項式を例に挙げて説明する。まず、1つの格子線分を選択する。ここで、例えばx1=x0+1として、(x0,h(x0))、(x1,h(x1))、(x2,h(x2))の3点を通る区分n次多項式を算出するものとすると、選択した格子線分のx方向の両端x0とx2との間において、x0からx2に対してx1の値を1ずつずらしていき、x2−1の点まで上記の算出を行う。このようにして、すべての区分2次多項式の中で、元の関数との誤差が最も小さい区分n次多項式を算出する。
図4は、補正パラメータエンコーダ202における処理の流れを示すフローチャートである。
ステップS401において、補正パラメータエンコーダ202は、対象画面上のすべての画素に対する歪み補正座標を、補正パラメータ導出部201から読み込む。このとき、ズームポイントごとにすべての歪み補正座標を読み込む。
ステップS402において、格子分割部211は、ユーザI/Fを通じて指定された格子分割数や分割方法、画面サイズ等の情報に従って、画面を格子状に分割する。
ステップS403において、分割された格子の画面上の座標等を示す格子情報を、圧縮データ導出部212および補正パラメータデコーダ112に転送する。また、ズームポイントの区分方法を示すズームポイント情報を、圧縮データ導出部212および歪み補正メモリ113に対して転送する。
ステップS404〜S409の処理は、1つのズームポイントに対応する歪み補正座標を用いて行われる。ステップS404において、圧縮データ導出部212は、格子点間に囲まれる格子線分を1つ選択する。
ステップS405において、圧縮データ導出部212は、選択された格子線分上に含まれるすべての点の歪み補正座標をy軸、格子線上の距離をx軸上にとって離散関数を作成し、この離散関数を区分n次多項式で近似する。これにより、近似式として区分n次多項式が導出される。
ステップS406において、パラメータを抽出するための格子線分の分割点を決定する。この処理では、対象の格子線分をn分割し、その内分点と両端の格子点を抽出する。
ステップS407において、ステップS405で導出した区分n次多項式から、上記の各分割点上の歪み補正座標を算出する。
ステップS408において、算出した歪み補正座標を、歪み補正パラメータとして歪み補正メモリ113に転送する。これにより、1つのズームポイントおよび1つの格子線分に対応する圧縮データが、歪み補正メモリ113の所定領域に格納される。
ステップS409において、画面上のすべての格子線分に対するパラメータ導出処理が終了したか否かを判断し、終了した場合はステップS410に進む。また、終了していない場合はステップS404に戻って、すべての格子線分に対してステップS404〜S408を繰り返し実行する。
ステップS410において、すべてのズームポイントについての圧縮データ導出処理が終了していない場合はステップS404に戻り、すべてのズームポイントに対応する歪み補正座標を用いて、ステップS404〜S409の処理を繰り返す。
以上の処理によって、すべてのズームポイントにおける全画素の歪み補正座標が圧縮されて、圧縮データが歪み補正メモリ113に格納される。ここで、例えば近似式として区分2次多項式を用いた場合、ステップS407では、格子線分上の中点と両端の格子点とが分割点に決定され、これらの3点に対応する歪み補正座標が歪み補正パラメータとされる。従って、1つの格子に対した必要とされる歪み補正パラメータは、4つの格子点と4つの格子線分の中点の合計8点における歪み補正座標とされるので、データ量を圧縮することができる。このようなエンコード処理が行われることで、歪み補正処理のために必要とされる補正用データのデータ量が削減されるので、歪み補正メモリ113のメモリ容量を小さくして、部品コストや回路規模を削減することが可能となる。
次に、ズーム方向に対する歪み補正パラメータの補間処理について説明する。まず、図5は、歪み補正メモリ113の内部構成例を示すブロック図である。
歪み補正メモリ113は、図5に示すように、パラメータ記憶部131と、アドレス生成器132とを具備している。
パラメータ記憶部131には、補正パラメータエンコーダ202から転送された歪み補正パラメータが格納される。そして、アドレス生成器132からのアドレス指定に応じて、格納された歪み補正パラメータをズーム補間処理部114に転送する。
アドレス生成器132は、補正パラメータデコーダ112から、ズーム位置情報、および補正対象に指定された画素の座標の指定を受けて、演算に必要な歪み補正パラメータが格納されているメモリアドレスに変換し、これを読み出しアドレスとしてパラメータ記憶部131に対して指定する。また、後述するように、ズーム位置情報の小数部に示されたズーム位置のズームポイント間の位相係数を、ズーム補間処理部114に対して通知する。なお、アドレス生成器132は、補正パラメータエンコーダ202から転送されたズームポイント情報を保持している。
ここで、アドレス生成器132は、補正パラメータデコーダ112から受け取ったズーム位置情報により指定されたズーム位置(すなわち撮像中の現在のズーム位置)に基づき、このズーム位置に近接するズームポイントに対応する歪み補正パラメータを、補間対象の値として指定する。例えば、現在のズーム位置を跨ぐ複数のズームポイントに対応する歪み補正パラメータを指定する。そして、このように指定した歪み補正パラメータが格納されたメモリアドレスをパラメータ記憶部131に対して指定し、ズーム補間処理部114に出力させる。補間対象値の指定数やその指定方法は、ズーム補間処理部114における補間処理に応じて決定される。
本実施の形態では、上述したように、2つのズームポイントに対応する歪み補正パラメータを利用して、ズーム方向のパラメータ補間処理を行うことにする。アドレス生成器132は、ズーム位置情報の整数部により指定されたズームポイント、およびそれより1つテレ端側のズームポイントにそれぞれ対応する歪み補正パラメータを、補間対象の値として指定し、これらと座標値とに対応するメモリアドレスをパラメータ記憶部131に対して指定する。例えば、図2のようにズームポイントが設定された場合、現在のズーム位置がP9であるときは、補間対象の値としてZ4およびZ5の各ズームポイントに対応する歪み補正パラメータを利用する。
また、アドレス生成器132は、ズーム位置情報の小数部により指定された、2つのズームポイント(Zoom0,Zoom1とする)の間における現在のズーム位置の位相係数を、ズーム補間処理部114に対して転送する。この情報は、ズーム方向の補間処理で利用される。
図6は、ズーム補間処理部114における補間処理を説明するための図である。
ズーム補間処理部114には、パラメータ記憶部131より、2つのズームポイントZoom0およびZoom1に対応する歪み補正パラメータが入力される。ズーム補間処理部114では、対象とされる画素の近傍の4つの格子点の歪み補正パラメータについて、それぞれズームポイントZoom0およびZoom1の値を用いて補間演算を行い、歪み補正パラメータを2次元の値に落とす。
ここで、図6に示すように、対象画素近傍の4つの格子点の歪み補正パラメータを、ズームポイントZoom0についてはそれぞれDist_x0_y0_z0、Dist_x0_y1_z0、Dist_x1_y0_z0、Dist_x1_y1_z0とし、Zoom1についてはそれぞれDist_x0_y0_z1、Dist_x0_y1_z1、Dist_x1_y0_z1、Dist_x1_y1_z1とする。また、アドレス生成器132から供給されるズーム位置の位相係数をcoef(0≦coef<1)とする。ズーム補間処理部114における線形補間による補間処理後の各格子点の歪み補正パラメータDist_x0_y0、Dist_x0_y1、Dist_x1_y0、Dist_x1_y1は、例えばそれぞれ以下の式(2)〜(5)によって算出される。
Dist_x0_y0=Dist_x0_y0_z0*(1−coef)+Dist_x0_y0_z1*coef ……(2)
Dist_x0_y1=Dist_x0_y1_z1*(1−coef)+Dist_x0_y1_z1*coef ……(3)
Dist_x1_y0=Dist_x1_y0_z0*(1−coef)+Dist_x1_y0_z1*coef ……(4)
Dist_x1_y1=Dist_x1_y1_z0*(1−coef)+Dist_x1_y1_z1*coef ……(5)
図7は、歪み補正メモリ113およびズーム補間処理部114における処理の流れを示すフローチャートである。
ステップS701において、補正パラメータデコーダ112から、光学ズーム機構における現在のズーム位置に応じて選択されたズームポイントおよび位相係数を示すズーム位置情報が、歪み補正メモリ113に入力される。
ステップS702において、歪み補正メモリ113内のアドレス生成器132は、入力されたズーム位置情報の整数部に基づいて、利用する2つのズームポイントを設定する。また、ズーム位置情報の小数部に基づいて、各ズームポイント間におけるズーム位置の位相係数の値を、ズーム補間処理部114に転送する。
ステップS703において、補正パラメータデコーダ112から、補正対象とする画素の座標が、歪み補正メモリ113に入力される。
ステップS704において、アドレス生成器132は、入力された座標値と、ステップS702で設定したズームポイントとから読み出しアドレスを生成し、パラメータ記憶部131に対して指定する。これにより、各ズームポイントおよび座標値に対応する歪み補正パラメータが、ズーム補間処理部114に転送される。
ステップS705において、ズーム補間処理部114は、パラメータ記憶部131からの歪み補正パラメータと、アドレス生成器132からの位相係数とを用いてズーム方向に対する補間演算を行う。そして、2次元座標に対応するデータとして算出された歪み補正パラメータを、補正パラメータデコーダ112に転送する。
ステップS706において、全画素分についての歪み補正パラメータの補間演算が終了していない場合には、ステップS703に戻り、補正パラメータデコーダ112から新たな座標の値を受け取って、同様に補間演算を行う。これにより、全画素についての歪み補正パラメータが算出される。
なお、上記のフローチャートは、撮像した画像の1フィールドごと、あるいは1フレームごとに実行される。ただし、インタレース方式で動画像を撮像する場合、ステップS701においてズーム位置情報を1フィールドごとに受け取り、上記フローチャートの処理を実行することが望ましい。
また、実際には、補正パラメータデコーダ112から指定される座標値が、同じ格子内に存在している場合には、上記の補間演算を新たに行う必要はなく、それ以前に算出された歪み補正パラメータが再び補正パラメータデコーダ112に転送されればよい。また、補正対象の画素の座標値を包含する格子が補正パラメータデコーダ112において算出され、算出された格子の位置がアドレス生成器132に通知されるようにしてもよい。
以上の処理により、歪み補正パラメータが実際のズーム位置に応じて補間される。歪み補正パラメータは、ズーム位置を区分したズームポイントごとに補正パラメータエンコーダ202で生成され、歪み補正メモリ113に格納されるので、これらのデータ量は大幅に削減される。このため、歪み補正メモリ113のメモリ容量を削減することができ、製造コストや回路規模が削減される。また、補正パラメータエンコーダ202における演算量も減らすことができる。そして、以上の効果が得られながらも、ズーム方向の補間演算により実際のズーム位置に適した歪み補正パラメータが算出されるので、精度のよい歪み補正を行うことが可能となる。
次に、図8は、補正パラメータデコーダ112および画像信号処理部104の内部構成例を示すブロック図である。
図8に示すように、補正パラメータデコーダ112は、格子情報バッファ121、格子決定部122、正規化部123、関数算出部124、関数変換部125、および平面補間部126を具備している。また、画像信号処理部104は、水平一次元補間部104aと、垂直一次元補間部104bとを具備している。
補正パラメータデコーダ112において、格子情報バッファ121は、補正パラメータエンコーダ202から出力された格子情報を保持する。
格子決定部122は、画像信号処理部104から補正対象として指定された画素の座標と、制御マイコン111からのズーム位置情報とを、歪み補正メモリ113に通知して、対応する歪み補正パラメータの読み出しを要求するとともに、指定された座標が包含される格子を、格子情報バッファ121に保持された格子の位置情報と比較して算出する。また、算出した格子の位置を指定する情報を歪み補正メモリ113に通知するようにしてもよい。
正規化部123は、補正対象の座標、格子決定部122で算出された格子位置、および、格子情報バッファ121に格納された格子情報より、その画素が囲まれた4本の格子線分において利用する相対座標を算出する。
関数算出部124は、ズーム補間処理部114から歪み補正パラメータを受け取り、格子線分上の各分割点の歪み補正座標から区分n次多項式を再構築する。
関数変換部125は、関数算出部124によって得られた区分n次多項式の係数を、平面補間で利用する関数形式に変換する。
平面補間部126は、関数変換部125によって得られた平面関数の係数を用いて平面関数を作成し、その関数に代入する座標を正規化部123から取得して、指定された画素に対応する歪み補正座標を計算する。そして、算出した歪み補正座標と、正規化部123で算出された相対座標とを、補正量パラメータとして画像信号処理部104に転送する。
ここで、図9は、補正パラメータデコーダ112における処理の流れを示すフローチャートである。
ステップS901において、初期設定として、補正パラメータエンコーダ202から、格子情報を読み込む。読み込んだ格子情報は、格子情報バッファ121に格納される。
ステップS902において、画像信号処理部104から、補正対象とする画素の座標が入力され、歪み補正パラメータのデコードが要求される。また、制御マイコン111から、このときの光学ズーム機構におけるズーム位置に応じたズーム位置情報が入力される。
ステップS903において、格子決定部122は、入力された座標に基づいて、指定された画素が含まれる格子を決定する。また、格子決定部122は、入力された座標とズーム位置情報とを歪み補正メモリ113に転送し、必要な歪み補正パラメータの読み出しを要求する。これにより、上述したように、歪み補正メモリ113から、ズーム位置に近接する2つのズームポイントに対応する歪み補正パラメータがズーム補間処理部114に出力され、ズーム方向に対する補間処理が行われて、補間された歪み補正パラメータが補正パラメータデコーダ112に供給される。
ステップS904において、正規化部123は、対象画素の各格子線分の中での相対座標を算出する。
ステップS905において、関数算出部124は、格子を囲む4本の格子線分のうちの1本を選択し、ズーム補間処理部114からの歪み補正パラメータから該当する歪み補正座標を選択して、区分n次多項式を再構築する。
ステップS906において、ステップS905の処理が、4本すべての格子線分に対して行われているか否かを判定し、行われていない場合はステップS905に戻り、行われている場合はステップS907に進む。
ステップS907において、関数変換部125は、得られた区分n次多項式の係数を基に平面関数を導出する。
ステップS908において、平面補間部126は、導出された平面関数に、正規化部123で算出された相対座標を代入して、対象画素の歪み補正座標を導出する。そして、相対座標とともに、補正量パラメータとして画像信号処理部104に出力する。ここでは、例えば、補正量パラメータの整数部に歪み補正座標、小数部に相対座標を設定する。
以上の処理により、補正対象とされた1画素分の歪み補正座標がデコードされ、歪み補正に必要な補正量パラメータが画像信号処理部104に出力される。そして、ステップS909において、処理の終了要求がない場合には、ステップS902に戻って、次の画素の座標の入力を待機する。
ここで、図8に戻って説明する。画像信号処理部104において、水平一次元補間部104aおよび垂直一次元補間部104bは、補正パラメータデコーダ112の平面補間部126からの補正量パラメータに基づいて、入力された画像信号に対してそれぞれx方向(水平方向)およびy方向(垂直方向)についての一次元補間処理を行って、各方向への歪みを補正する。画像信号処理部104では、画像前処理部103から出力されたデジタル画像信号を一旦画像メモリ105に格納した後、この画像の各画素信号について、まず水平一次元補間部104aにおいてx方向の補間処理を行った後、処理済みの信号に対して、垂直一次元補間部104bにおいてy方向の補間処理を行う。
このように、x方向およびy方向に対する補間処理を分割して行うことで、各補間処理を処理負荷の軽い一次元補間演算により行うことが可能となる。また、一次元補間処理とされたことで、例えばキュービック補間のような4タップのフィルタ、あるいはより高次タップ数のフィルタを用いることができ、より高画質な画像を得ることが可能となる。
次に、x−y方向とともに、ズーム方向(z方向)に対しても、上記のn次多項式を用いた近似による補間演算を行うことで、パラメータのエンコード・デコードを行う場合の処理について、補足説明する。図10は、x−y−z方向の補間演算にn次多項式を用いた場合の歪み補正パラメータについて説明するための図である。
上述したように、x−y方向の補間演算に区分n次多項式を用いた場合には、x方向、y方向の各格子線上の座標に対応する歪み補正座標を区分n次多項式により近似した後、各格子線をn分割してその内分点に対応する歪み補正座標を、求められた区分n次多項式から算出していた。このような方法をz方向に対して拡張した場合、x−y方向のデータ圧縮で歪み補正パラメータの抽出点とされたすべての各格子点および各内分点について、さらにz方向に対して同様なデータ圧縮が行われる。すなわち、補正パラメータエンコーダ202は、ズーム位置を跨ぐ2つのズームポジション(図中のZoom0、Zoom1)でそれぞれ抽出されたすべての格子点の間、および内分点の間で、歪み補正座標の推移を示す関数を区分n次多項式で近似し、格子点間、内分点間をそれぞれn分割してその内分点に対応する歪み補正座標を歪み補正パラメータとする。
図10は、区分2次多項式により近似した場合の歪み補正座標の抽出点を示しており、ズーム位置を跨ぐ2つのズームポジションにそれぞれ対応する格子で囲まれる直方体の範囲では、24カ所の格子点および内分点に対応する歪み補正座標が、歪み補正パラメータとして出力される。
ズーム補間処理部114は、補正対象の座標およびズーム位置が指定されると、これらを囲む上記直方体の範囲に対応する24カ所の歪み補正座標を歪み補正メモリ113から読み出し、選択された2つのズームポイントに対応する各格子上の格子点間および内分点間について、区分2次多項式を再構築する。そして、得られた区分2次多項式にズーム方向の位相係数を適用し、ズーム方向の補間演算を行う。これにより、ズーム位置に対応する格子上の歪み補正座標が算出されて、補正パラメータデコーダ112に供給される。補正パラメータデコーダ112における処理は、図9で説明した処理を同様である。
以上の処理により、線形補間を用いた場合と比較して、ズーム位置に対してより高精度な歪み補正処理を行うことが可能となる。
なお、この他に例えば、z方向に対してはn次多項式を用いた補間演算を行い、x−y方向に対しては線形補間による補間演算を行うことで、パラメータのエンコード・デコードを行うことも可能である。この場合、歪み補正パラメータとして、近似した区分n次多項式の係数を用いることも可能である。
以上の実施の形態では、ズーム位置を区分したズームポイントごとに歪み補正パラメータが生成され、歪み補正メモリ113に格納されるので、これらのデータ量が大幅に削減され、歪み補正メモリ113のメモリ容量を小さくして、その製造コストや回路規模を削減することが可能となる。そして、なおかつ、ズーム補間処理部114におけるズーム方向の補間演算により、実際のズーム位置に対応する歪み補正パラメータが算出されるので、高精度な歪み補正を行うことが可能となる。
また、低コストで、かつデジタル信号処理による高精度な歪み補正が可能となることで、レンズ設計に対する自由度が高くなり、レンズの小型化や低コスト化を容易に実現することが可能になる。
なお、上記の実施の形態では、前処理装置2においてエンコードされた歪み補正パラメータを、あらかじめ撮像装置2内の歪み補正メモリ113に格納しておく構成としたが、このような歪み補正メモリ113を設けずに、補正パラメータデコーダ112からの要求に応じて、前処理装置2においてその都度歪み補正パラメータをエンコードして、ズーム補間処理部114に供給するようにしてもよい。このような場合にも、必要となる歪み補正パラメータのデータ量が抑制されるので、前処理装置2における処理負荷を大幅に低減することができ、歪み補正処理に同期して歪み補正パラメータをリアルタイムに読み込むことが可能となる。リアルタイム性が高まることで、静止画像だけでなく、特に動画像に対するより低コストで高精度な歪み補正が実現可能となるメリットが生じる。
また、エンコードされた歪み補正パラメータを、通信I/Fを通じて外部機器からリアルタイムに受信して、歪み補正処理に使用する構成としてもよい。この場合にも、通信されるデータ量が小さくなるので、通信回線への負担が低減される。
さらに、上記の実施の形態では、x−y方向にエンコードされた歪み補正パラメータを取得して、補正パラメータデコーダ112においてデコードした後、画像信号処理部104に供給して歪み補正を行う構成としたが、x−y方向についてデコードされた状態の歪み補正用データを、外部から受信する、あるいはメモリに保持しておくような構成の場合にも、本発明を適用することが可能である。ただし、この場合には、上記の実施の形態と比較して、用意すべきデータ量や演算量が大きくなり、より大きなメモリ容量あるいは演算能力が必要となる。
〔第2の実施の形態〕
ところで、上記の実施の形態に係る画像撮像システムでは、光学ズームレンズ機構のズームポイントごとに、歪み補正パラメータを用意して、歪み補正メモリ113に記憶させていた。このため、従来のシステムと比較すると用意するデータ量が大幅に削減され、メモリ容量を削減できるものの、ある程度のメモリ容量を確保する必要があった。また、これらの歪み補正パラメータが外部から供給されるように構成した場合にも、ある程度の通信容量や、これらの値を算出する演算能力が必要とされていた。従って、必要なメモリ容量や通信容量、演算能力をより低下させ、低コスト化で歪み補正処理のリアルタイム性を確保したいという要求があった。
一方、上記の第1の実施の形態では、ズーム位置に近接する2つのズームポイントに対応する歪み補正パラメータを用いて補間処理を行い、ズーム位置に応じた歪み補正パラメータを算出していた。このため、例えば補間演算に必要な2つのズームポイントに対応する歪み補正パラメータのみを歪み補正メモリ113に格納しておき、撮像画像の1フィールドまたは1フレームごとに、必要な歪み補正パラメータを通信により受信し、記憶内容を書き換えることで、歪み補正メモリ113の容量を削減することが考えられる。
以下、このような構成により撮像装置に搭載するメモリの容量を削減するとともに、受信する歪み補正パラメータのデータ量を削減した画像撮像システムを、第2の実施の形態として説明する。なお、以下の説明では、第1の実施の形態と同様に、z方向の補間演算として線形補間を用いるものとするが、区分n次多項式等の他の補間方式を用いた場合にも適用することが可能である。また、以下の説明では、例として、1フィールド分の画面ごとに歪み補正処理が行われるものとする。
図11は、本発明の第2の実施の形態に係る画像撮像システムに設けられる歪み補正メモリ113およびズーム補間処理部114の内部構成例を示すブロック図である。
本実施の形態に係る画像撮像システムの基本的な構成は、図1に示したものと同様である。ただし、歪み補正メモリ113およびズーム補間処理部114の内部構成が異なる。また、補正パラメータエンコーダ202は、歪み補正メモリ113からの要求に応じて、必要な歪み補正パラメータのみを歪み補正メモリ113に供給する。
図11に示すように、歪み補正メモリ113は、パラメータ記憶部131、アドレス生成器132、セレクタ133および134、レジスタ判定部135を具備している。また、ズーム補間処理部114は、ズーム補間器141および位相演算器142を具備している。
歪み補正メモリ113において、パラメータ記憶部131は、2つのレジスタReg0およびReg1を具備している。各レジスタReg0およびReg1には、それぞれ選択されたズームポイントに対応する歪み補正パラメータが格納される。各レジスタReg0およびReg1は、歪み補正のための画像の格子分割数をx方向、y方向のそれぞれについてm、nとすると、(m+1)*(n+1)個のデータを格納可能な容量を具備している。
アドレス生成器132は、補正パラメータデコーダ112から供給された、補正対象画素の座標に基づいて、演算に必要な歪み補正パラメータが格納されているメモリアドレスに変換し、読み出しアドレスをパラメータ記憶部131に対して指定する。
セレクタ133および134は、レジスタ判定部135からレジスタセレクト信号および書き込み制御信号の入力を受けて、これらに基づいて、補正パラメータエンコーダ202から転送された歪み補正パラメータの格納先としてレジスタReg0またはReg1のいずれかを指定する。
レジスタ判定部135は、補正パラメータデコーダ112から、ズーム位置情報(z_pos)、設定値の変更を指示する信号(SET)、データの有効期間を示す信号(ACT)の入力を受けるとともに、補正パラメータエンコーダ202からズームポイント情報の入力を受けて、1フィールド前において選択していたズームポイントと比較して、現在のズーム位置に応じたズームポイントを選択し、そのズームポイントに対応する歪み補正パラメータの読み出し要求を補正パラメータエンコーダ202に出力する。そして、選択したズームポイントや、このときのレジスタReg0およびReg1の状態に応じて、レジスタセレクト信号および書き込み制御信号を出力する。また、歪み補正パラメータの読み出しを要求する信号(read_enable)を補正パラメータデコーダ112から受けて、この信号に応じてアドレス生成器132にアドレス指定を要求する。さらに、選択したズームポイントを示す情報(pre_u,pre_d)と、どちらのレジスタReg0およびReg1に格納されているかを示す情報(u1x0)とを、位相演算器142に出力する。
このような構成により、レジスタ判定部135からの読み出し要求に応じて、補正パラメータエンコーダ202から所定のズームポイントに対応する歪みパラメータが転送される。そして、レジスタ判定部135からのレジスタセレクトおよび書き込み制御信号により、セレクタ133および134の動作が制御され、書き込み先として選択されたレジスタReg0またはReg1に対して、歪み補正パラメータが格納される。
また、アドレス生成器132は、レジスタ判定部135からのアドレス指定要求に応じて、入力された座標に対応する各レジスタReg0およびReg1内のアドレスをパラメータ記憶部131に対して指定する。これにより、座標に対応する歪み補正パラメータが各レジスタReg0およびReg1から順次読み出され、ズーム補間器141に供給される。
一方、ズーム補間処理部114において、ズーム補間器141は、レジスタReg0およびReg1から読み出した歪み補正パラメータと、位相演算器142によって算出された位相係数とを用いて補間演算を行い、2次元の値にデコードした歪み補正パラメータを補正パラメータデコーダ112に出力する。
位相演算器142は、レジスタ判定部135からの入力情報と、補正パラメータデコーダ112からのズーム位置情報とに基づいて、選択されているズームポイント間におけるズーム位置を示す位相係数を演算して、ズーム補間器141に出力する。
なお、レジスタ判定部135の機能は、歪み補正パラメータの送信元機器(例えば前処理装置2)に設けられてもよい。また、本実施の形態では、歪み補正パラメータを補正パラメータエンコーダ202から取得する構成としているが、例えば、あらかじめすべてのズームポイントに対応する歪み補正パラメータが生成されて外部のメモリに保持され、このメモリに撮像装置1からアクセスして取得するようにしてもよい。
ところで、本実施の形態では、歪み補正メモリ113においては常に2つのズームポイントに対応する歪み補正パラメータのみ保持しておく。また、光学ズーム機構への操作によりズーム位置が変化した場合にも、保持している歪み補正パラメータの再読み込みおよび書き換えをできるだけ行わないようにすることで、前処理装置2からのデータ転送量を抑制する。具体的には、ズーム位置が変更された場合に、レジスタReg0およびReg1のうち、いずれか一方の書き換えのみを行うようにする。
このような動作により、ズーム位置の変更時には、常に一方のみのズームポイントが変更されるようになる。このため、隣接していないズームポイントが選択される場合もある。ここで、制御マイコン111から、補正パラメータデコーダ112を介して供給されるズーム位置情報では、整数部が、そのズーム位置の基準点側(本実施の形態ではワイド端側)に位置するズームポイントを示し、小数部が、隣接するズームポイント(本実施の形態ではテレ端側に隣接するズームポイント)との間の位相係数を示している。従って、レジスタ判定部135において実際に選択されたズームポイントが隣接していないものである場合には、ズーム位置情報で指定される位相係数を、実際に選択されたズームポイント間を基準として換算し、ズーム補間器141に供給する必要がある。このような換算が、位相演算器142において実行される。
以下、図12を用いて、ズーム位置の変化に伴う歪み補正パラメータの書き換え動作の概要について説明する。図12は、ズーム位置の変化に応じたズームポイントの選択方法を説明する図である。
ズーム位置の変化に応じたズームポイントの選択は、主に図12(A)〜(C)にそれぞれ示す3パターンのズーム位置変化によって異なる方法が採られる。なお、図12では、各ズームポイントをワイド端側からテレ端側に向かって「Zoom0」〜「Zoom4」として示している。また、歪み補正メモリ113において各ズームポイントの歪み補正パラメータが格納されるメモリ領域を、それぞれ「Reg0」「Reg1」と表している。
図12(A)のパターンでは、ズーム位置が「Zoom1」「Zoom2」の各ズームポイントの間にある状態から、「Zoom2」「Zoom3」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが1区分だけテレ端側にシフトしている。
ここで、ズーム位置の変化前には、「Zoom1」「Zoom2」に対応する歪み補正パラメータがそれぞれレジスタReg0およびReg1に格納されていたものとすると、レジスタReg1に格納された歪み補正パラメータは、ズーム位置の変化後にもそのまま利用することができる。従って、レジスタReg0に格納された歪み補正パラメータのみを、「Zoom3」に対応する歪み補正パラメータに書き換えればよい。
しかし、ズーム位置の変化前と変化後とでは、レジスタReg0およびReg1の間で対応するズームポイントの配列(すなわち、ズーム補間器141が受け取る歪み補正パラメータに対応するズームポイントの配列)が逆転するため、ズーム補間器141に対して供給する位相係数coefは、「Zoom3」を基点としてワイド端側への位置状態を示すように算出されなければならない。
また、図12(B)のパターンでは、ズーム位置が「Zoom1」「Zoom2」の各ズームポイントの間にある状態から、「Zoom0」「Zoom1」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが1区分だけワイド端側にシフトしている。
ここで、ズーム位置の変化前には、「Zoom1」「Zoom2」に対応する歪み補正パラメータがそれぞれレジスタReg0およびReg1に格納されていたものとすると、レジスタReg0に格納された歪み補正パラメータは、ズーム位置の変化後にもそのまま利用することができるので、レジスタReg1に格納された歪み補正パラメータのみを、「Zoom0」に対応する歪み補正パラメータに書き換えればよい。なお、この場合にも、レジスタReg0およびReg1の間でズームポイントの配列が逆転するため、位相係数coefはテレ端側の「Zoom1」を基点として換算する必要がある。
これらのパターンのように、ズームポイントの組み合わせが、ズーム位置の変化前と変化後とで1区分だけシフトした場合には、一方の歪み補正パラメータのみ新たに受信することで対応できる。従って、通信データ量を減少させることができる。また、ズーム位置の変化後に、書き換えをしなかったメモリ領域からのデータ読み出しを行っている間に、他方のメモリ領域へのデータ書き換えを行うことで、歪み補正メモリ113の書き込み・読み出しに要する時間が短縮されるので、処理のリアルタイム性を保ちやすくなる。
一方、図12(C)のパターンでは、ズーム位置が「Zoom1」「Zoom2」の各ズームポイントの間にある状態から、「Zoom3」「Zoom4」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが2区分以上ワイド端側にシフトしている。
ここで、上記のパターンと同様に、メモリ領域の書き換えを一方のみとすることで、通信データ量を同様に削減する。このために、ズーム位置の移動方向に近い側(図12(C)の場合はテレ端側)となる変化前のズームポイント(ここでは「Zoom2」)を、変化後のズームポイントとしてそのまま利用し、他方のズームポイントに対応するレジスタのみデータの書き換えを行うようにする。図12(C)の場合には、「Zoom2」に対応する歪み補正パラメータが格納されたレジスタReg1の書き換えを行わずに、このデータを変化後にもそのまま利用し、レジスタReg0に保持された歪み補正パラメータを、「Zoom4」に対応する歪み補正パラメータに書き換える。
これにより、ズーム補間処理部114では、変化後には「Zoom2」と「Zoom4」とにそれぞれ対応する歪み補正パラメータを用いて補間演算を行うことになる。このとき、各ズームポイント間のズーム位置の位相係数coefについては、ズームポイントの配列逆転に伴いテレ端側の「Zoom4」を基点として、「Zoom2」と「Zoom4」との距離の割合を示すように換算し、ズーム補間処理部114に供給する必要がある。
次に、図13は、本実施の形態における歪み補正処理の流れを示すフローチャートである。
ステップS1301において、歪み補正メモリ113における初期設定を行う。ここで、「pre_u」「pre_d」は、選択された2つのズームポイントのうち、ズーム位置の基準点から見て遠い側のズームポイント、近い側のズームポイントをそれぞれ示す変数であり、レジスタ判定部135が保持する。ここでは、基準点を最もワイド端側のズームポイント(Zoom0)とし、ワイド端側のズームポイントを「pre_u」、テレ端側のズームポイントを「pre_d」とし、初期設定としてそれぞれ「Zoom1」「Zoom0」を選択しておく。
また、「u1x0」は、「pre_u」が格納されているレジスタを示す変数で、レジスタReg0、Reg1をそれぞれ「0」「1」として表す。ここでは初期設定としてレジスタReg1を設定しておく。なお、「pre_d」が格納されているレジスタは「〜u1x0」と示すことにする。
そして、選択した「Zoom0」「Zoom1」にそれぞれ対応する歪み補正パラメータの読み出しを補正パラメータエンコーダ202に要求し、これらを受信してパラメータ記憶部131に格納する。ここで、「allset[#]」は、補正パラメータエンコーダ202から必要な歪み補正パラメータの読み出しを要求し、歪み補正メモリ113に格納する処理を示し、引数「0」「1」により書き込み先のレジスタReg0、Reg1がそれぞれ指定される。初期設定では、例として、「Zoom0」「Zoom1」に対応する歪み補正パラメータをそれぞれレジスタReg0、Reg1に格納しておく。
なお、この時点で、補正パラメータエンコーダ202より格子情報およびズームポイント情報が転送され、それぞれ補正パラメータデコーダ112、歪み補正メモリ113に格納される。
ここで、光学ズーム機構におけるズーム位置の変更があった場合には、補正パラメータデコーダ112からの、ズーム位置の変更を示す信号「SET」が1になる。ステップS1302では、「SET」が1である場合はステップS1303に進み、変更されたズーム位置に基づいてズームポイントを再設定する処理を行う。設定終了後に再びステップS1302の判定を行う。
また、「SET」が0である場合は、ステップS1304に進み、データ有効期間を示す信号「ACT」が1である場合はステップS1305に進み、0である場合はステップS1302に戻る。なお、通常は、ズーム位置の変更に応じてステップS1303が実行され、設定終了後に「SET」が0となって、ステップS1304以後の歪み補正パラメータの補間および歪み補正処理が、次に「SET」が1となるまで繰り返し実行される。
ここで、図14は、上記のステップS1303で示したズームポイント設定処理の流れを示すフローチャートである。
図14のフローチャートの開始時には、制御マイコン111から、補正パラメータデコーダ112を介して、新たなズーム位置情報「z_pos」が歪み補正メモリ113およびズーム補間処理部114に入力される。上述したように、「z_pos」の整数部により、指定されたズーム位置のワイド端側に近接するズームポイントが指定され、小数部により、そのズームポイントとテレ端側に隣接するズームポイントとの間におけるズーム位置の位相が指定される。
なお、以下の各ステップの処理は、特に記述しない限り、レジスタ判定部135によって行われる。
ステップS1401において、「z_pos」の値が「pre_u」より小さく、かつ「pre_d」より大きい場合、すなわち、「z_pos」で指定されるズームポイントが、レジスタ判定部135により1フィールド前に選択されていた2つのズームポイントの間に存在する場合には、ステップS1402に進む。そうでない場合はステップS1406に進む。
ステップS1402において、「z_pos」の整数部が「pre_d」(選択されていたズームポイントのうち、ワイド端側のズームポイント)と一致していない場合はステップS1403に進み、一致している場合にはステップS1404に進む。
ステップS1403において、「z_pos」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に対して要求し、転送されたデータを「pre_d」が格納されていたレジスタに格納する。そして、「pre_d」の値を「z_pos」の整数部に一致させる。すなわち、ワイド端側に選択されていたズームポイントを、ズーム位置情報で指定されたズームポイントに変更する。そして、設定処理を終了する。 一方、ステップS1404において、「z_pos」に1を加えた値(「z_pos」により指定されたズームポイントのテレ端側に隣接するズームポイント)が「pre_u」と一致しない場合にはステップS1405に進む。また、一致しない場合は、1フィールド前に選択されていたズームポイントの間に再びズーム位置が設定されたことになり、ズームポイントの選択を変更する必要がないため、設定処理を終了する。
ステップS1405において、「z_pos」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に対して要求し、転送されたデータを「pre_u」が格納されていたレジスタに格納する。そして、「pre_u」の値を、「z_pos」で指定されたズームポイントのテレ端側に設定し、テレ端側のズームポイントを変更して、処理を終了する。
以上のステップS1403およびS1405は、1フィールド前に選択されていたズームポイントが隣接しておらず、かつ、新たなズーム位置がそのズームポイント間の領域に存在した場合の処理となる。なお、ステップS1404〜S1405の間に、「z_pos」の位置が「pre_u」と「pre_d」のどちらに近いかを判定し、「pre_u」に近い場合にはステップS1403の処理を行うようにしてもよい。この場合は、歪み補正の精度をより高めることができる。
また、ステップS1406以降の処理は、「z_pos」の位置がそれ以前のズームポイント間の領域外に存在する場合、あるいはいずれかのズームポイントに完全に一致する場合に実行される。ステップS1406において、「z_pos」の値が「pre_d」より小さい場合(すなわち、それ以前のワイド端側のズームポイントよりさらにワイド端側の位置が指定された場合)はステップS1407に進み、そうでない場合はステップS1408に進む。
ステップS1407において、「z_pos」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に対して要求し、転送されたデータを「pre_u」が格納されていたレジスタに格納する。そして、「pre_u」が格納されているレジスタをワイド端側のズームポイントに対応するレジスタに設定変更するとともに、「pre_u」の値を「pre_d」の値に置換する。すなわち、それ以前に選択していたワイド端側のズームポイントを、テレ端側のズームポイントとする。さらに、そのズームポイントを「z_pos」の整数値で置換し、設定処理を終了する。これにより、以前にテレ端側として設定されていたレジスタが、新たにワイド端側として設定変更され、これに対応する歪み補正パラメータが格納された状態になる。
一方、ステップS1408において、「z_pos」が「pre_d」に完全に一致し、かつ、「pre_u」がレジスタReg0に格納されている場合は、ステップS1409に進む。また、そうでない場合はステップS1410に進む。なお、「z_pos」が「pre_d」に完全に一致し、かつ、「pre_u」がレジスタReg1に格納されている場合は、設定を変更する必要がないので、処理を終了する。
ステップS1409において、レジスタReg0およびReg1に対して同じ「pre_d」の値(=「z_pos」の値)を格納することにより、位相係数coefを0にするように操作する。すなわち、「z_pos」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に要求し、転送されたデータをレジスタReg0に格納する。これとともに、レジスタReg1をテレ端側のズームポイントに対応するデータを格納したレジスタとして設定し、「pre_u」の値を「pre_d」に一致させ、設定処理を終了する。
また、ステップS1410において、「z_pos」が「pre_u」に完全に一致する場合はステップS1411に進み、そうでない場合はステップS1412に進む。
ステップS1411では、「z_pos」で指定されるズームポイントが、以前におけるテレ端側のズームポイントと一致しており、この場合にも、レジスタReg0およびReg1に対して同じ「pre_d」の値(=「z_pos」の値)を格納して、位相係数coefを0にするように操作する。すなわち、「z_pos」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に要求し、転送されたデータを、「pre_d」の対応データが格納されていたレジスタに格納する。これとともに、「pre_u」の対応データが格納されていたレジスタをワイド端側のズームポイントの対応データを格納したレジスタとして設定し、「pre_d」の値を「z_pos」に一致させて、設定処理を終了する。
また、ステップS1412において、「z_pos」の値が「pre_u」より大きい場合(すなわち、それ以前のテレ端側のズームポイントよりさらにテレ端側の位置が指定された場合)はステップS1413に進む。なお、そうでない場合は設定処理を終了する。
ステップS1413では、それ以前のテレ端側のズームポイントよりさらにテレ端側のズーム位置が指定された状態となっている。このステップでは、まず、補正パラメータエンコーダ202からの新たな歪み補正パラメータの格納先として、テレ端側に対応するように設定されていたレジスタを指定するとともに、ワイド端側およびテレ端側の対応レジスタを逆転させる。そして、「pre_d」の値を「pre_u」の値に置換した後、「pre_u」を、「z_pos」の整数値に1を加算した値で置換する。これにより、「z_pos」で指定されるズームポイントのテレ端側が「pre_u」に設定され、このズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ202に対して要求して、設定処理を終了する。補正パラメータエンコーダ202から転送されたデータは、新たにテレ端側に指定されたレジスタに格納される。
以上の処理によって設定された「pre_u」「pre_d」「u1x0」の各変数が、位相演算器142に出力されて、図13のフローチャート(ステップS1302)に戻る。
ここで、図15および図16は、ズームポイント設定処理の具体例を示す図である。
図15(A)および(B)は、それぞれステップS1403およびS1405での処理に対応する例であり、隣接しないズームポイントが選択された状態から、それらのズームポイント間に新たなズーム位置が設定されている。図15(A)では、テレ端側のズームポイントのみ変更され、図15(B)ではワイド端側のズームポイントのみ変更される。
また、図15(C)は、ステップS1407に対応する例であり、以前に選択されていたズームポイント間の領域よりワイド端側に、新たなズーム位置が指定されている。この場合、ワイド端側とされていたズームポイントをテレ端側に変更し、ワイド端側について、「z_pos」で指定されるズームポイントを新たに設定する。
また、図16(A)および(B)は、それぞれステップS1409、S1411に対応する例であり、新たなズーム位置が、以前にそれぞれワイド端側、テレ端側として選択されていたズームポイントと一致している。これらの場合は、ワイド端側およびテレ端側の双方のズームポイントとして、「z_pos」で指定されるズーム位置を設定することで、位相係数coefの値を0にすることができる。
また、図16(C)は、ステップS1413に対応する例であり、以前に選択されていたズームポイント間の領域よりテレ端側に、新たなズーム位置が指定されている。この場合、テレ端側とされていたズームポイントをワイド端側に変更し、テレ端側について、「z_pos」で指定されるズームポイントよりさらにテレ端側のズームポイントを新たに設定する。
以下、再び図13を参照して説明する。
「SET」「ACT」がともに1である場合は、歪み補正処理が実行されることになる。ステップS1305において、位相演算器142は、レジスタ判定部135から供給された各変数を用いて、実際に選択された各ズームポイント間における位相係数coefを算出する。位相演算器142は、pre_u−pre_d=1となるように、ズーム位置情報で指定された位相係数を正規化する。なお、ズームポイントの位置を示す値は整数と仮定している。
u1x0=1のとき、位相係数coefは以下の式(6)によって求められる。
coef=(z_pos−pre_d)/(pre_u−pre_d) ……(6)
また、u1x0=0のとき、位相係数coefは以下の式(7)によって求められる。
coef=(pre_u−z_pos)/(pre_u−pre_d) ……(7)
なお、pre_u=pre_dの場合には、位相係数coefの値を0とする。
このような処理により、レジスタReg0およびReg1が、それぞれワイド端側、テレ端側のズームポイントに対応するデータを保持している場合は、位相係数coefはワイド端側のズームポイントを基準として算出される。また、その逆の場合は、位相係数coefはテレ端側のズームポイントを基準として算出される。すなわち、本実施の形態では、レジスタReg0に対応付けられたズームポイントを起点として、レジスタReg1に対応付けられたズームポイント側に対する位相係数coefが常に算出される。
ステップS1306において、歪み補正パラメータの読み出しを要求する「read_enable」が1になった場合にはステップS1307に進む。また、0である場合はステップS1309に進む。
ステップS1307において、アドレス生成器132は、レジスタ判定部135からの要求に応じて、補正パラメータデコーダ112からの座標を取得し、画面の中の位置を検索して、対照する画素を囲む4つの格子点を算出する。そして、これらの格子点の歪み補正パラメータが格納されているアドレスを生成し、レジスタReg0およびReg1に対して順次指定し、2つのズームポイントに対応する歪み補正パラメータを読み出す。
ステップS1308において、ズーム補間器141は、各レジスタReg0およびReg1から読み出された歪み補正パラメータを、位相演算器142からの位相係数coefを用いて補間演算する。このとき、ステップS1305で説明したように、位相係数coefは、レジスタReg0およびReg1の間におけるズームポイントの対応付けに応じて、位相の基準方向が正規化されているため、ズーム補間器141では、各レジスタReg0およびReg1へのズームポイントの対応に関係なく、正常な補間演算が行われる。
ズーム補間器141によってズーム方向に補間された歪み補正パラメータは、補正パラメータデコーダ112に出力される。補正パラメータデコーダ112は、受け取った歪み補正パラメータをデコードして画像信号処理部104に供給し、これにより対象画素における歪み補正演算が実行される。
ステップS1309において、上記のステップS1307およびS1308の処理が全画素について行われたか否かを判定し、行われていない場合はステップS1306に戻る。なお、「read_enable」が0である間は、1になるまで待機状態となる。
また、1フィールド分の全画素に対する歪み補正が終了すると、ステップS1310に進む。ここで、処理を終了するか否かを判定し、終了しない場合はステップS1302に戻り、次のフィールドに対する歪み補正処理の要求、あるいはズーム位置の移動に伴うズームポイントの設定変更の要求を待機する。
なお、実際の処理では、ズームポイント設定処理が終了して、補正パラメータエンコーダ202から歪み補正パラメータがレジスタReg0またはReg1に転送されると、これに並行して、レジスタReg0およびReg1からのデータ読み出しやズーム方向の補間演算、歪み補正処理が実行されることが望ましい。
以上の第2の実施の形態では、歪み補正処理に利用される2つのズームポイントに対応する歪み補正パラメータのみが、歪み補正メモリ113に記憶されるので、歪み補正メモリ113のメモリ容量を小さくすることができ、製造コストや設置面積が削減される。これとともに、ズーム位置が変化した場合に、一方のズームポイントのみの選択が変更されるので、このとき1つのズームポイントに対応する歪み補正パラメータのみが補正パラメータエンコーダ202から転送される。このため、1フィールド当たりの通信データ量が削減され、通信I/Fや歪み補正メモリ113のデバイスとして低コストのものを使用した場合にも、歪み補正処理と同期したリアルタイムのデータ転送を行うことが可能となる。
また、上記構成により、ズームポイントの間隔を短くして、より多くの歪み補正パラメータを補正パラメータエンコーダ202において生成可能とした場合にも、転送される1フィールド当たりのデータ量や必要なメモリ容量は変化しないので、ズーム方向のレンズ移動に応じてより高精度な歪み補正を行うことが可能となる。さらに、ズーム位置が変化しても、選択されるズームポイントが変わらない場合には、新たな歪み補正パラメータを取得する必要がないので、データ転送やメモリの書き換えによる消費電力を抑制することが可能となる。
ここで、上記の第2の実施の形態において、ズーム方向の補間演算に区分n次多項式を用いた場合について、補足説明する。
ズーム方向の補間演算に区分n次多項式を用いた場合、補正対象の画素の座標とズーム位置とが指定されたときに歪み補正メモリ113に格納すべきデータは、ズーム位置を跨ぐ2つのズームポジションに対応する各格子からエンコードされた歪み補正座標(または区分n次多項式の係数)と、これらのズームポジション間をn分割した内分点に対応する格子からエンコードされた歪み補正座標(または区分n次多項式の係数)となる。従って、これらをそれぞれ格納する(n+1)個のレジスタをパラメータ記憶部131に設ければよい。
一例として区分2次多項式を用いた場合、必要なレジスタは3個となる。ここで、ズーム位置が変化した場合には、このうち2つのレジスタの書き換えを行う。具体的には、変化後のズーム位置に近いズームポイントに対応する歪み補正パラメータが格納されていたレジスタの書き込みを禁止する。そして、他のレジスタのうちの一方に、新たに選択されたズームポイントに対応する歪み補正パラメータを格納する。
また、他方のレジスタには、選択された2つのズームポイント間に存在するいずれかの内分点またはズームポイントに対応する歪み補正パラメータを格納する。このとき選択する内分点またはズームポイントは、他の2つのレジスタの格納データに対応するズームポイント間の中間位置に近いものとすることで、歪み補正の精度を上げることができる。
また、このとき選択した内分点またはズームポイントが格納されるレジスタを常に同じにしておくことにより、上記の位相演算器142のように、他の2つのレジスタへのデータ格納状態に基づいて、位相係数の算出方向を変えることが可能となる。具体的には、この2つのレジスタのうち、あらかじめ決められた一方のレジスタに対応するズームポイントを常に算出基準として、位相係数を算出するようにする。
以上の処理により、ズーム方向の補間演算に区分n次多項式を用いた場合にも、1フィールド当たりのデータ転送量を削減することが可能となる。ただし、多項式の次数nが増加するほど、データ転送量の削減割合は低くなる。
なお、上記の各実施の形態では、撮像装置としてデジタルビデオカメラを想定したが、この他に、デジタルスチルカメラや、撮像機能を具備する携帯型電話機、PDA(Personal Digital Assistants)等の情報処理機器を適用することも可能である。また、撮像機能を有していない機器において、すでに撮影済みの画像データを例えば記録媒体から読み出して、あるいは通信により受信して、撮像時のズーム位置情報を基にして歪み補正処理を行う場合にも、本発明を適用可能である。
本発明は、上記のように撮像した画像の歪みを補正する用途以外に、例えば、ディスプレイ装置におけるミスコンバージェンスを補正する用途にも適用することが可能である。この場合、本発明の画像処理装置の機能は例えばディスプレイ装置の内部に設けられ、入力画像信号から生成したRGB信号に対して、各色について異なる補正データを用いて歪み補正を行うことで、表示画面上の色ずれを解消することができる。また、上記の実施の形態における光学ズーム機構のズーム位置に相当する信号として、ユーザからの入力操作により各色の色ずれの調整量を指定する制御信号が入力される。ここで、調整量としてとり得る範囲を区分して、その区分点(ズームポイントに対応)ごとに歪み補正データを用意しておき、入力された調整量に近接する区分点の歪み補正データを用いて補間演算を行うことで、必要な歪み補正データのデータ量を削減しながら、調整量に応じた高精度な色ずれ補正を行うことが可能となる。
本発明の第1の実施の形態に係る画像撮像システムの構成例を示すブロック図である。 ズーム動作時のレンズ位置と歪み量との関係の例と、レンズ位置の区分点とを示す図である。 補正パラメータエンコーダの内部構成例を示すブロック図である。 補正パラメータエンコーダにおける処理の流れを示すフローチャートである。 歪み補正メモリの内部構成例を示すブロック図である。 ズーム補間処理部における補間処理を説明するための図である。 第1の実施の形態に係る歪み補正メモリおよびズーム補間処理部における処理の流れを示すフローチャートである。 補正パラメータデコーダおよび画像信号処理部の内部構成例を示すブロック図である。 補正パラメータデコーダにおける処理の流れを示すフローチャートである。 x−y−z方向の補間演算にn次多項式を用いた場合の歪み補正パラメータについて説明するための図である。 本発明の第2の実施の形態に係る画像撮像システムに設けられる歪み補正メモリおよびズーム補間処理部の内部構成例を示すブロック図である。 ズーム位置の変化に応じたズームポイントの選択方法を説明する図である。 本発明の第2の実施の形態における歪み補正処理の流れを示すフローチャートである。 本発明の第2の実施の形態におけるズームポイント設定処理の流れを示すフローチャートである。 ズームポイント設定処理の具体例を示す第1の図である。 ズームポイント設定処理の具体例を示す第2の図である。 光学歪みを信号処理により補正する機能を具備する従来の画像撮像システムの構成例を示すブロック図である。 ズーム動作時のレンズ位置と歪み量との関係を示すグラフの例である。
符号の説明
1……撮像装置、2……前処理装置、101……光学ブロック、102……撮像素子、103……画像前処理部、104……画像信号処理部、105……画像メモリ、106……表示処理部、107……モニタ、108……圧縮・伸長処理部、109……記録再生部、110……記録媒体、111……制御マイコン、112……補正パラメータデコーダ、113……歪み補正メモリ、114……ズーム補間処理部、201……補正パラメータ導出部、202……補正パラメータエンコーダ

Claims (16)

  1. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータが圧縮されたズーム圧縮パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する前記補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段と、
    を有することを特徴とする画像処理装置。
  2. 前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する前記補正パラメータを前記ズーム圧縮パラメータとして取得し、選択した前記複数のズーム区分点間における前記ズーム位置の相対位置と前記ズーム圧縮パラメータとを基に線形補間による補間演算を行うことを特徴とする請求項1記載の画像処理装置。
  3. 前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する前記補正パラメータの推移を近似したn次多項式(ただし、nは自然数)を前記ズーム圧縮パラメータを基に再現し、選択した前記複数のズーム区分点間における前記ズーム位置の相対位置を前記n次多項式に適用することで補間演算を行うことを特徴とする請求項1記載の画像処理装置。
  4. 前記ズーム圧縮パラメータは、前記ズーム位置に基づいて選択された2つの前記ズーム区分点と、選択された前記各ズーム区分点間をn分割することで得られる(n−1)の内分点とに対応する前記補正パラメータからなり、
    前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択した2つの前記ズーム区分点とその間における前記内分点とに対応する前記補正パラメータより前記n次多項式を再現して、前記ズーム位置に対応する前記補正パラメータを補間演算により算出することを特徴とする請求項2記載の画像処理装置。
  5. 前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを格納する複数の記憶領域を具備するパラメータ記憶手段と、
    前記ズーム位置の変化に応じて前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを選択するパラメータ選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータを格納する前記記憶領域を選択する記憶領域選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出する位相演算手段と、
    をさらに有し、
    前記ズーム方向デコード手段は、前記各記憶領域から読み出した前記ズーム圧縮パラメータと、前記位相演算手段によって算出された前記位相係数とを基にして補間演算を行うことを特徴とする請求項1記載の画像処理装置。
  6. 前記パラメータ選択手段は、前記ズーム位置が変化したとき、変化後の前記ズーム位置が、変化前で選択されていた前記ズーム圧縮パラメータに対応する前記ズーム区分点間の領域外に存在する場合に、変化前での選択に対応する前記ズーム区分点のうち、変化後の前記ズーム位置に近い前記ズーム区分点に対応する前記ズーム圧縮パラメータを継続して選択するとともに、他の前記ズーム圧縮パラメータのみ新たに選択し、
    前記記憶領域選択手段は、前記ズーム位置の変化後に、前記パラメータ選択手段により新たに選択された前記ズーム圧縮パラメータのみ書き込みを行うように前記記憶領域を選択することを特徴とする請求項5記載の画像処理装置。
  7. 前記位相演算手段は、前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータと、前記記憶領域選択手段による前記記憶領域の選択とに応じて、常に、あらかじめ決められた一つの前記記憶領域に記憶された前記ズーム圧縮パラメータに対応する前記ズーム区分点を基準とした前記ズーム位置の相対位置を前記位相係数として算出することを特徴とすることを特徴とする請求項6記載の画像処理装置。
  8. 歪み補正後の画像の横方向および縦方向に対して前記補正パラメータが圧縮されたX−Y圧縮パラメータを補間演算により伸長するX−Y方向デコード手段をさらに有し、
    前記ズーム方向デコード手段は、前記X−Y圧縮パラメータが前記ズーム位置に応じてさらに圧縮された圧縮データを前記ズーム圧縮パラメータとして受け取って補間演算を行い、算出したX−Y圧縮パラメータを前記X−Y方向デコード手段に供給し、
    前記画像補正手段は、前記X−Y方向デコード手段によって補間演算により伸長された前記補正パラメータに基づいて歪みの補正を行うことを特徴とする請求項1記載の画像処理装置。
  9. 前記X−Y圧縮パラメータは、前記歪み補正後の画像を格子状に区分し、各格子点の位置を利用して格子線に対応する前記補正パラメータを圧縮することにより生成され、
    前記X−Y方向デコード手段は、格子の区分ごとに前記X−Y圧縮パラメータを伸長することを特徴とする請求項8記載の画像処理装置。
  10. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理システムにおいて、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータを圧縮するズーム方向エンコード手段と、
    前記ズーム方向エンコード手段により圧縮されたズーム圧縮パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する前記補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段と、
    を有することを特徴とする画像処理システム。
  11. 前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを前記ズーム方向エンコード手段から受け取って複数の記憶領域にそれぞれパラメータ記憶手段と、
    前記ズーム位置の変化に応じて前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを選択するパラメータ選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータを格納する前記記憶領域を選択する記憶領域選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出する位相演算手段と、
    をさらに有し、
    前記ズーム方向デコード手段は、前記各記憶領域から読み出した前記ズーム圧縮パラメータと、前記位相演算手段によって算出された前記位相係数とを基にして補間演算を行うことを特徴とする請求項10記載の画像処理システム。
  12. 光学ズーム機構を具備する集光レンズ群を用いて画像を撮像する撮像装置において、
    前記光学ズーム機構のレンズ位置状態を示すズーム位置を検知するズーム位置検知手段と、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータが圧縮されたズーム圧縮パラメータを基に、前記ズーム位置検知手段によって検知された前記ズーム位置に対応する前記補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段によって算出された前記補正パラメータを基にして撮像画像の歪みを補正する画像補正手段と、
    を有することを特徴とする撮像装置。
  13. 前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを格納する複数の記憶領域を具備するパラメータ記憶手段と、
    前記ズーム位置の変化に応じて前記ズーム方向デコード手段による補間演算に必要な前記ズーム圧縮パラメータを選択するパラメータ選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータを格納する前記記憶領域を選択する記憶領域選択手段と、
    前記パラメータ選択手段によって選択された前記ズーム圧縮パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出する位相演算手段と、
    をさらに有し、
    前記ズーム方向デコード手段は、前記各記憶領域から読み出した前記ズーム圧縮パラメータと、前記位相演算手段によって算出された前記位相係数とを基にして補間演算を行うことを特徴とする請求項12記載の撮像装置。
  14. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正するための画像処理方法において、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得し、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用してレンズ位置状態ごとの歪み補正用の補正パラメータが圧縮されたズーム圧縮パラメータを基に、前記ズーム位置に対応する前記補正パラメータを補間演算により算出し、
    算出した前記補正パラメータを基にして前記入力画像の歪みを補正する、
    ことを特徴とする画像処理方法。
  15. 前記ズーム位置の変化に応じてズーム方向に対する補間演算に必要な前記ズーム圧縮パラメータを選択し、
    選択した前記ズーム圧縮パラメータを個別の記憶領域にそれぞれ格納し、
    選択した前記ズーム圧縮パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出し、
    前記各記憶領域から読み出した前記ズーム圧縮パラメータと、算出した前記位相係数とを基にして前記ズーム方向に対する補間演算を行うことを特徴とする請求項14記載の画像処理方法。
  16. 前記ズーム位置が変化したとき、変化後の前記ズーム位置が、変化前で選択されていた前記ズーム圧縮パラメータに対応する前記ズーム区分点間の領域外に存在する場合に、変化前での選択に対応する前記ズーム区分点のうち、変化後の前記ズーム位置に近い前記ズーム区分点に対応する前記ズーム圧縮パラメータを継続して選択するとともに、他の前記ズーム圧縮パラメータのみ新たに選択し、
    前記ズーム位置の変化後には、新たに選択された前記ズーム圧縮パラメータのみ前記記憶領域に書き込み、継続して選択した前記ズーム圧縮パラメータが格納されている前記記憶領域への新たな書き込み動作を行わない、
    ことを特徴とする請求項15記載の画像処理方法。
JP2003288109A 2003-08-06 2003-08-06 画像処理装置、画像処理システム、撮像装置および画像処理方法 Expired - Fee Related JP4337463B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2003288109A JP4337463B2 (ja) 2003-08-06 2003-08-06 画像処理装置、画像処理システム、撮像装置および画像処理方法
US10/902,140 US7596286B2 (en) 2003-08-06 2004-07-30 Image processing apparatus, image processing system, imaging apparatus and image processing method
EP20040254667 EP1505539A3 (en) 2003-08-06 2004-08-04 Image processing method and apparatus
KR1020040061817A KR101035836B1 (ko) 2003-08-06 2004-08-05 화상 처리 장치, 화상 처리 시스템, 촬상 장치 및 화상처리 방법
CNB2004100832964A CN100346636C (zh) 2003-08-06 2004-08-06 图像处理设备、图像处理系统、成像设备和图像处理方法
HK05103315A HK1070772A1 (en) 2003-08-06 2005-04-19 Image processing apparatus, image processing system, imaging apparatus and image processing method
US12/053,077 US7630584B2 (en) 2003-08-06 2008-03-21 Image processing apparatus, image processing system, imaging apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003288109A JP4337463B2 (ja) 2003-08-06 2003-08-06 画像処理装置、画像処理システム、撮像装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008215047A Division JP4803224B2 (ja) 2008-08-25 2008-08-25 画像処理装置、画像処理システム、撮像装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2005057605A true JP2005057605A (ja) 2005-03-03
JP4337463B2 JP4337463B2 (ja) 2009-09-30

Family

ID=34366887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003288109A Expired - Fee Related JP4337463B2 (ja) 2003-08-06 2003-08-06 画像処理装置、画像処理システム、撮像装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP4337463B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100744937B1 (ko) 2006-06-29 2007-08-01 삼성전기주식회사 렌즈 왜곡 보정 방법
WO2007129444A1 (ja) * 2006-04-14 2007-11-15 Nikon Corporation 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
JP2007329548A (ja) * 2006-06-06 2007-12-20 Sony Corp 画像処理システム、画像処理方法及びプログラム
JP2008067176A (ja) * 2006-09-08 2008-03-21 Mitsubishi Electric Corp 画像補正装置および画像補正方法
JP2008227562A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、カメラ装置、およびカメラシステム
US7929023B2 (en) 2006-02-27 2011-04-19 Sony Corporation Camera device and monitoring system
JP2011114480A (ja) * 2009-11-25 2011-06-09 Victor Co Of Japan Ltd 画像処理装置
JP2011182071A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 倍率色収差・像歪補正装置およびそのプログラム
US8320703B2 (en) 2006-12-06 2012-11-27 Sony Corporation Image processing method and apparatus
DE102011006272A1 (de) 2010-03-29 2013-01-17 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser
JP2013110647A (ja) * 2011-11-22 2013-06-06 Jvc Kenwood Corp 画像補正装置および画像補正方法
JP2015154209A (ja) * 2014-02-13 2015-08-24 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
JP2016082358A (ja) * 2014-10-15 2016-05-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP2017034385A (ja) * 2015-07-30 2017-02-09 日本放送協会 カメラ用のシェーディング補正装置
JP2019033917A (ja) * 2017-08-17 2019-03-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP2020042158A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
CN115209035A (zh) * 2021-04-14 2022-10-18 Oppo广东移动通信有限公司 基于视频的畸变校正方法、装置、拍照设备以及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990698B2 (en) 2014-12-01 2018-06-05 Canon Kabushiki Kaisha Control apparatus, lens apparatus, and non-transitory computer-readable storage medium that determine data as coefficient data corresponding to an order less than a predetermined order of an approximation function
JP6573386B2 (ja) * 2014-12-01 2019-09-11 キヤノン株式会社 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929023B2 (en) 2006-02-27 2011-04-19 Sony Corporation Camera device and monitoring system
JP4798221B2 (ja) * 2006-04-14 2011-10-19 株式会社ニコン 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
WO2007129444A1 (ja) * 2006-04-14 2007-11-15 Nikon Corporation 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
US8120676B2 (en) 2006-04-14 2012-02-21 Nikon Corporation Image distortion correcting method, carrier medium carrying distortion correcting program, and optical apparatus
JP2007329548A (ja) * 2006-06-06 2007-12-20 Sony Corp 画像処理システム、画像処理方法及びプログラム
JP4720626B2 (ja) * 2006-06-06 2011-07-13 ソニー株式会社 画像処理システム、画像処理方法及びプログラム
KR100744937B1 (ko) 2006-06-29 2007-08-01 삼성전기주식회사 렌즈 왜곡 보정 방법
JP2008067176A (ja) * 2006-09-08 2008-03-21 Mitsubishi Electric Corp 画像補正装置および画像補正方法
JP4664259B2 (ja) * 2006-09-08 2011-04-06 三菱電機株式会社 画像補正装置および画像補正方法
US8320703B2 (en) 2006-12-06 2012-11-27 Sony Corporation Image processing method and apparatus
JP2008227562A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、カメラ装置、およびカメラシステム
JP2011114480A (ja) * 2009-11-25 2011-06-09 Victor Co Of Japan Ltd 画像処理装置
JP2011182071A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 倍率色収差・像歪補正装置およびそのプログラム
DE102011006272A1 (de) 2010-03-29 2013-01-17 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser
US8587712B2 (en) 2010-03-29 2013-11-19 Canon Kabushiki Kaisha Image processing apparatus and method of correcting image quality degradation caused by aberrations due to optical system
JP2013110647A (ja) * 2011-11-22 2013-06-06 Jvc Kenwood Corp 画像補正装置および画像補正方法
JP2015154209A (ja) * 2014-02-13 2015-08-24 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US9762804B2 (en) 2014-10-15 2017-09-12 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, and image processing method for aberration correction
JP2016082358A (ja) * 2014-10-15 2016-05-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP2017034385A (ja) * 2015-07-30 2017-02-09 日本放送協会 カメラ用のシェーディング補正装置
JP2019033917A (ja) * 2017-08-17 2019-03-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
US11103125B2 (en) 2017-08-17 2021-08-31 Sony Olympus Medical Solutions Inc. Endoscope system and circuitry that corrects distortion based on image size
JP6996901B2 (ja) 2017-08-17 2022-01-17 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP2020042158A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
US11187870B2 (en) 2018-09-11 2021-11-30 Canon Kabushiki Kaisha Lens apparatus, image pickup apparatus, processing apparatus, and camera apparatus
CN115209035A (zh) * 2021-04-14 2022-10-18 Oppo广东移动通信有限公司 基于视频的畸变校正方法、装置、拍照设备以及存储介质

Also Published As

Publication number Publication date
JP4337463B2 (ja) 2009-09-30

Similar Documents

Publication Publication Date Title
JP4337463B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
KR101035836B1 (ko) 화상 처리 장치, 화상 처리 시스템, 촬상 장치 및 화상처리 방법
JP4144292B2 (ja) 画像処理装置と画像処理システム及び画像処理方法
US7424172B2 (en) Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method
EP2063646A2 (en) Method and apparatus for predictive coding
CN101662690A (zh) 图像处理设备、成像设备、图像处理方法及程序
JP2012249125A (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2008139577A1 (ja) 画像処理装置、撮像装置、および画像歪み補正方法
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
JP2009105533A (ja) 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
US11669942B2 (en) Image de-warping system
JP4333270B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP4803224B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP4285575B2 (ja) 画像処理装置とカメラシステム及び画像処理方法
JP4720626B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP2009116763A (ja) 画像処理装置および画像データのメモリアクセス方法
JP5704057B2 (ja) 画像補正装置および画像補正方法
Nair et al. Recent Trends in Deep Learning Based Omnidirectional Image SuperResolution
JP2009140046A (ja) 画像処理装置および画像データのメモリアクセス方法
JP2008079202A (ja) 画像処理装置および画像処理方法、並びにカメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees