JP2000311241A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2000311241A JP2000311241A JP11121547A JP12154799A JP2000311241A JP 2000311241 A JP2000311241 A JP 2000311241A JP 11121547 A JP11121547 A JP 11121547A JP 12154799 A JP12154799 A JP 12154799A JP 2000311241 A JP2000311241 A JP 2000311241A
- Authority
- JP
- Japan
- Prior art keywords
- memory
- data
- processing
- image processing
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015654 memory Effects 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】 バスのデータ転送量を低減すると共にメモリ
容量を増やすことなく、拡大縮小処理を含む複数の画像
処理を、リアルタイムでパイプライン処理できるように
した画像処理装置を提供する。 【解決手段】 拡大縮小処理部8の前段に16点Cubic補
間処理を行うために4×5個の独立メモリ素子からなる
メモリ6を備え、該メモリは補間処理を行うための入力
データを読み出す4×4個のメモリ素子と前段の処理部
からの出力データを書き込む4×1個のメモリ素子とに
列単位で切り替えて用いるように構成され、該メモリの
読み出しメモリ素子に格納されている補間処理に必要な
4×4個のデータを選択的に読み出して補間処理を行
い、同時に残りの書き込みメモリ素子へ前段の処理部か
らの出力データを書き込み、パイプライン処理を実行す
るように構成する。
容量を増やすことなく、拡大縮小処理を含む複数の画像
処理を、リアルタイムでパイプライン処理できるように
した画像処理装置を提供する。 【解決手段】 拡大縮小処理部8の前段に16点Cubic補
間処理を行うために4×5個の独立メモリ素子からなる
メモリ6を備え、該メモリは補間処理を行うための入力
データを読み出す4×4個のメモリ素子と前段の処理部
からの出力データを書き込む4×1個のメモリ素子とに
列単位で切り替えて用いるように構成され、該メモリの
読み出しメモリ素子に格納されている補間処理に必要な
4×4個のデータを選択的に読み出して補間処理を行
い、同時に残りの書き込みメモリ素子へ前段の処理部か
らの出力データを書き込み、パイプライン処理を実行す
るように構成する。
Description
【0001】
【発明の属する技術分野】この発明は、ディジタルカメ
ラ等の電子的撮像装置に用いられる画像処理装置、特に
少ないメモリ容量でリアルタイムでパイプライン処理を
実現することが可能な拡大縮小処理を含む画像処理装置
に関する。
ラ等の電子的撮像装置に用いられる画像処理装置、特に
少ないメモリ容量でリアルタイムでパイプライン処理を
実現することが可能な拡大縮小処理を含む画像処理装置
に関する。
【0002】
【従来の技術】一般に、CCDなどの固体撮像素子を用
いたディジタルカメラ等の電子的撮像装置における拡大
縮小処理を含む画像処理手順としては、図13に示すよう
に、まずCCD撮像素子101 から出力された撮像信号は
プリプロセス処理102 がなされたのち、フレームメモリ
103 に一旦記憶される。次いで、フレームメモリ103 か
ら画像データを読み出し、拡大縮小処理を含むイメージ
プロセス処理104 を順次行い、最後にJPEG処理105
を行って、メモリカード106 等の記録媒体に記録すると
いう処理がなされている。
いたディジタルカメラ等の電子的撮像装置における拡大
縮小処理を含む画像処理手順としては、図13に示すよう
に、まずCCD撮像素子101 から出力された撮像信号は
プリプロセス処理102 がなされたのち、フレームメモリ
103 に一旦記憶される。次いで、フレームメモリ103 か
ら画像データを読み出し、拡大縮小処理を含むイメージ
プロセス処理104 を順次行い、最後にJPEG処理105
を行って、メモリカード106 等の記録媒体に記録すると
いう処理がなされている。
【0003】このような画像信号の処理手順を実現する
にあたって、従来は例えば図14に示すような画像処理装
置を用いている。すなわち、従来の画像処理装置は、バ
ス201 にCPU202 と共にプリプロセス回路203 ,拡大
縮小処理部を含む複数のイメージプロセス回路204-1〜
204-n,JPEG処理部205 及びフレームメモリ206が
それぞれ接続されて構成されている。そして、CPU20
2 の制御により、CCD撮像素子からの撮像信号がプリ
プロセス回路203 で処理されたのちバス201 を通してフ
レームメモリ206 に一旦記録される。次に、フレームメ
モリ206 から画像データを読み出し、バス201 を通して
イメージプロセス回路204-1に入力して処理を行い、再
びバス201 を通してフレームメモリ206 に書き直す。以
下同様にして、バス201 を介してフレームメモリ206 と
拡大縮小処理部を含むイメージプロセス回路204-2〜20
4-nとの間でデータのやり取りを順次行って、最後にJ
PEG処理部205 でJPEG処理を行い、処理データを
フレームメモリ206 又はメモリカードに記録するように
なっている。
にあたって、従来は例えば図14に示すような画像処理装
置を用いている。すなわち、従来の画像処理装置は、バ
ス201 にCPU202 と共にプリプロセス回路203 ,拡大
縮小処理部を含む複数のイメージプロセス回路204-1〜
204-n,JPEG処理部205 及びフレームメモリ206が
それぞれ接続されて構成されている。そして、CPU20
2 の制御により、CCD撮像素子からの撮像信号がプリ
プロセス回路203 で処理されたのちバス201 を通してフ
レームメモリ206 に一旦記録される。次に、フレームメ
モリ206 から画像データを読み出し、バス201 を通して
イメージプロセス回路204-1に入力して処理を行い、再
びバス201 を通してフレームメモリ206 に書き直す。以
下同様にして、バス201 を介してフレームメモリ206 と
拡大縮小処理部を含むイメージプロセス回路204-2〜20
4-nとの間でデータのやり取りを順次行って、最後にJ
PEG処理部205 でJPEG処理を行い、処理データを
フレームメモリ206 又はメモリカードに記録するように
なっている。
【0004】次に、従来行われている拡大縮小処理の具
体的な処理内容について説明する。図15はCubic補間処
理により拡大縮小処理を行う態様を示す図で、このCub
ic補間処理はA〜Pで示す16点の画素のデータを用い
て、例えば中央のZで示している一点を補間するもの
で、画像の一点を補間するためには周囲の16画素のデー
タが必要となっている。図15においてxa,xb,x
c,xd,ya,yb,yc,ydは補間係数で、A〜
Pの16点の画素のデータをそれぞれA〜Pで表すものと
すると、Z位置の補間データは次式(1)で表される。 Z=xa・ya・A+xb・ya・B+xc・ya・C+xd・ya・D +xa・yb・E+xb・yb・F+xc・yb・G+xd・yb・H +xa・yc・I+xb・yc・J+xc・yc・K+xd・yc・L +xa・yd・M+xb・yd・N+xc・yd・O+xd・yd・P ・・・・・・・・・(1)
体的な処理内容について説明する。図15はCubic補間処
理により拡大縮小処理を行う態様を示す図で、このCub
ic補間処理はA〜Pで示す16点の画素のデータを用い
て、例えば中央のZで示している一点を補間するもの
で、画像の一点を補間するためには周囲の16画素のデー
タが必要となっている。図15においてxa,xb,x
c,xd,ya,yb,yc,ydは補間係数で、A〜
Pの16点の画素のデータをそれぞれA〜Pで表すものと
すると、Z位置の補間データは次式(1)で表される。 Z=xa・ya・A+xb・ya・B+xc・ya・C+xd・ya・D +xa・yb・E+xb・yb・F+xc・yb・G+xd・yb・H +xa・yc・I+xb・yc・J+xc・yc・K+xd・yc・L +xa・yd・M+xb・yd・N+xc・yd・O+xd・yd・P ・・・・・・・・・(1)
【0005】したがって、このようなCubic処理を行う
ためには、16点の画素データをメモリから取り出すとき
に、ランダムアクセスすることができる必要がある。従
来、このような拡大縮小処理を行う前に、どのような形
式で画素データをメモリに保存していたかの一例を図16
に示す。図16に示すメモリは、補間するために要する画
素数が16であるので、16個のメモリ素子が用意されてお
り、アドレス方向へ深さをもっている独立した16個のメ
モリ素子で構成されている。そして、このような構成の
メモリに対して画素データを格納して行く。画素データ
の格納方法としては、図17に示すような格納方法が考え
られる。図17は画像の左上部を詳細に示している図であ
るが、画素A1〜P1で示しているブロックの画素デー
タを図16で示したメモリのアドレス1に格納する。次
に、画素A2〜P2で示しているブロックの画素データ
を同じマッピングでアドレス2に書き込む。以下、同様
に繰り返し操作を行って画像全領域の画素データをメモ
リに書き込む。
ためには、16点の画素データをメモリから取り出すとき
に、ランダムアクセスすることができる必要がある。従
来、このような拡大縮小処理を行う前に、どのような形
式で画素データをメモリに保存していたかの一例を図16
に示す。図16に示すメモリは、補間するために要する画
素数が16であるので、16個のメモリ素子が用意されてお
り、アドレス方向へ深さをもっている独立した16個のメ
モリ素子で構成されている。そして、このような構成の
メモリに対して画素データを格納して行く。画素データ
の格納方法としては、図17に示すような格納方法が考え
られる。図17は画像の左上部を詳細に示している図であ
るが、画素A1〜P1で示しているブロックの画素デー
タを図16で示したメモリのアドレス1に格納する。次
に、画素A2〜P2で示しているブロックの画素データ
を同じマッピングでアドレス2に書き込む。以下、同様
に繰り返し操作を行って画像全領域の画素データをメモ
リに書き込む。
【0006】このようにして画素データをメモリに格納
しておくことにより、画像のいずれかの領域のある一点
の補間に要するデータは、必ずA〜Pに対応するメモリ
素子のいずれかのアドレス部分から取り出せばよいこと
になる。例えば、図17においてA1〜P1,A2〜P
2,A(m+1)〜P(m+1),A(m+2)〜P
(m+2)の4つのブロックから、それぞれ4画素ずつ
のデータを用いて補間処理する場合には、K1,L1,
O1,P1のデータはアドレス1から、I2,J2,M
2,N2のデータはアドレス2から、C(m+1),D
(m+1),G(m+1),H(m+1)のデータはア
ドレス(m+1)から、A(m+2),B(m+2),
E(m+2),F(m+2)のデータはアドレス(m+
2)から取り出すというように、アドレスは異なるが、
16個のメモリ素子から1個ずつデータを取り出すことに
より、補間に必要なデータが得られることになる。
しておくことにより、画像のいずれかの領域のある一点
の補間に要するデータは、必ずA〜Pに対応するメモリ
素子のいずれかのアドレス部分から取り出せばよいこと
になる。例えば、図17においてA1〜P1,A2〜P
2,A(m+1)〜P(m+1),A(m+2)〜P
(m+2)の4つのブロックから、それぞれ4画素ずつ
のデータを用いて補間処理する場合には、K1,L1,
O1,P1のデータはアドレス1から、I2,J2,M
2,N2のデータはアドレス2から、C(m+1),D
(m+1),G(m+1),H(m+1)のデータはア
ドレス(m+1)から、A(m+2),B(m+2),
E(m+2),F(m+2)のデータはアドレス(m+
2)から取り出すというように、アドレスは異なるが、
16個のメモリ素子から1個ずつデータを取り出すことに
より、補間に必要なデータが得られることになる。
【0007】ところで、このような方式で補間処理を行
う場合に、パイプライン処理を実行しようとすると、図
18に示すように、前段のイメージプロセス回路からの出
力データを、2つのメモリa,b(ダブルバッファ)を
用いて、メモリaとメモリbに切り替えて書き込むよう
にし、一方のメモリにデータを書き込んでいるときに他
方のメモリbに書き込まれているデータを読み出して、
拡大縮小処理部へ入力するようにしなければならない。
しかしながら、拡大縮小処理において、各ブロックの境
界部分などの補間処理には、補間処理に必要とする一部
のデータを次の領域の補間処理に再度用いなければなら
ない状態が生じる。すなわち、例えばメモリbに書き込
み読み出したデータのうちハッチングで示した次の処理
でも必要とするデータ(のり代分)は、再度メモリaに
は前段の処理部から書き込むことはできないので、メモ
リbからバッファを介してメモリaに転送するなどの操
作が必要となる。このような操作は極めて煩雑であり、
現実的にはこのような操作を伴うパイプライン処理は困
難であり、したがって従来はこのようなパイプライン処
理は行わず、前段の出力データは一旦フレームメモリへ
格納し、フレームメモリからその都度データを読み出し
て拡大縮小処理を行う方式が用いられている。
う場合に、パイプライン処理を実行しようとすると、図
18に示すように、前段のイメージプロセス回路からの出
力データを、2つのメモリa,b(ダブルバッファ)を
用いて、メモリaとメモリbに切り替えて書き込むよう
にし、一方のメモリにデータを書き込んでいるときに他
方のメモリbに書き込まれているデータを読み出して、
拡大縮小処理部へ入力するようにしなければならない。
しかしながら、拡大縮小処理において、各ブロックの境
界部分などの補間処理には、補間処理に必要とする一部
のデータを次の領域の補間処理に再度用いなければなら
ない状態が生じる。すなわち、例えばメモリbに書き込
み読み出したデータのうちハッチングで示した次の処理
でも必要とするデータ(のり代分)は、再度メモリaに
は前段の処理部から書き込むことはできないので、メモ
リbからバッファを介してメモリaに転送するなどの操
作が必要となる。このような操作は極めて煩雑であり、
現実的にはこのような操作を伴うパイプライン処理は困
難であり、したがって従来はこのようなパイプライン処
理は行わず、前段の出力データは一旦フレームメモリへ
格納し、フレームメモリからその都度データを読み出し
て拡大縮小処理を行う方式が用いられている。
【0008】
【発明が解決しようとする課題】従来の画像処理装置
は、上記のように複数のイメージプロセス回路による拡
大縮小処理を含む画像処理は、それぞれバスを通してフ
レームメモリからデータを読み出しあるいは書き込みを
行って実行されるようになっている。したがって、実時
間処理を行う場合には、バスを通るデータ転送量が極め
て多く、処理時間と共に消費電力が増大するという問題
点がある。
は、上記のように複数のイメージプロセス回路による拡
大縮小処理を含む画像処理は、それぞれバスを通してフ
レームメモリからデータを読み出しあるいは書き込みを
行って実行されるようになっている。したがって、実時
間処理を行う場合には、バスを通るデータ転送量が極め
て多く、処理時間と共に消費電力が増大するという問題
点がある。
【0009】本発明は、従来の画像処理装置における上
記問題点を解消するためになされたもので、バスのデー
タ転送量を低減すると共にメモリ容量を増やすことなく
拡大縮小処理を含む複数の画像処理がリアルタイムでパ
イプライン処理できるようにした画像処理装置を提供す
ることを目的とする。
記問題点を解消するためになされたもので、バスのデー
タ転送量を低減すると共にメモリ容量を増やすことなく
拡大縮小処理を含む複数の画像処理がリアルタイムでパ
イプライン処理できるようにした画像処理装置を提供す
ることを目的とする。
【0010】
【課題を解決するための手段】上記問題点を解決するた
め、本発明は、固体撮像素子から出力されフレームメモ
リに記録された画像データにおいて、拡大縮小処理部を
含む複数の画像処理部で空間的な画像処理を施して出力
させる画像処理装置に対して、前記拡大縮小処理部の前
段に、(補間サイズの行数)×(補間サイズに少なくと
も1を加えた列数)分の同時アクセス可能なメモリ素子
からなるメモリを備え、該メモリは前段の画像処理部か
らの出力データを書き込むメモリ部と拡大縮小処理部へ
の入力データを読み出すメモリ部とを列単位で切り替え
可能に構成され、前記読み出しメモリ部に格納された補
間に必要な(補間サイズの行数)×(補間サイズの列
数)個のメモリ素子のデータを選択的に読み出し補間処
理を行い、同時に残りの書き込みメモリ部へ前段の画像
処理部からの出力データを書き込みパイプライン処理を
実行するように構成したことを特徴とするものである。
め、本発明は、固体撮像素子から出力されフレームメモ
リに記録された画像データにおいて、拡大縮小処理部を
含む複数の画像処理部で空間的な画像処理を施して出力
させる画像処理装置に対して、前記拡大縮小処理部の前
段に、(補間サイズの行数)×(補間サイズに少なくと
も1を加えた列数)分の同時アクセス可能なメモリ素子
からなるメモリを備え、該メモリは前段の画像処理部か
らの出力データを書き込むメモリ部と拡大縮小処理部へ
の入力データを読み出すメモリ部とを列単位で切り替え
可能に構成され、前記読み出しメモリ部に格納された補
間に必要な(補間サイズの行数)×(補間サイズの列
数)個のメモリ素子のデータを選択的に読み出し補間処
理を行い、同時に残りの書き込みメモリ部へ前段の画像
処理部からの出力データを書き込みパイプライン処理を
実行するように構成したことを特徴とするものである。
【0011】このように構成することにより、小容量の
メモリを用いてリアルタイムでパイプライン処理が行え
る拡大縮小処理を含む画像処理の可能な画像処理装置を
実現することができる。
メモリを用いてリアルタイムでパイプライン処理が行え
る拡大縮小処理を含む画像処理の可能な画像処理装置を
実現することができる。
【0012】
【発明の実施の形態】次に実施の形態について説明す
る。まず、本発明に係る概略的な実施の形態を図1に基
づいて説明する。この実施の形態は画像処理部として拡
大縮小処理部を含む2つの画像処理部で構成している場
合を示している。本実施の形態に係る画像処理装置にお
いては、バス1に接続された各部の制御を行うCPU2
の制御により、CCD撮像素子からの撮像信号をプリプ
ロセス回路3で処理した信号を、バス1を介してフレー
ムメモリ4へ一旦記憶し、次いでフレームメモリ4から
読み出した画像データをバス1を介してイメージプロセ
ス回路5に入力させるまでは、従来の画像処理装置と同
じである。本発明に係る画像処理装置においては、初段
の画像処理部であるイメージプロセス回路5からメモリ
6及びセレクタ7を介して次段の画像処理部である拡大
縮小処理部8までを直列に接続しておいて、パイプライ
ン方式で画像処理を行い、JPEG処理部9でJPEG
処理を行ったのち、画像データをバス1を介してフレー
ムメモリ4やメモリカード等に記録するようになってい
る。
る。まず、本発明に係る概略的な実施の形態を図1に基
づいて説明する。この実施の形態は画像処理部として拡
大縮小処理部を含む2つの画像処理部で構成している場
合を示している。本実施の形態に係る画像処理装置にお
いては、バス1に接続された各部の制御を行うCPU2
の制御により、CCD撮像素子からの撮像信号をプリプ
ロセス回路3で処理した信号を、バス1を介してフレー
ムメモリ4へ一旦記憶し、次いでフレームメモリ4から
読み出した画像データをバス1を介してイメージプロセ
ス回路5に入力させるまでは、従来の画像処理装置と同
じである。本発明に係る画像処理装置においては、初段
の画像処理部であるイメージプロセス回路5からメモリ
6及びセレクタ7を介して次段の画像処理部である拡大
縮小処理部8までを直列に接続しておいて、パイプライ
ン方式で画像処理を行い、JPEG処理部9でJPEG
処理を行ったのち、画像データをバス1を介してフレー
ムメモリ4やメモリカード等に記録するようになってい
る。
【0013】このようにバス1を介したデータ転送量
は、フレームメモリ4から初段のイメージプロセス回路
5への転送と、JPEG処理部9からフレームメモリ4
又はメモリカードへの転送だけとなり、したがってフレ
ームメモリと拡大縮小処理部8との間でデータのやりと
りを行っていた従来例と比べて、データ転送量はかなり
低減させることができる。
は、フレームメモリ4から初段のイメージプロセス回路
5への転送と、JPEG処理部9からフレームメモリ4
又はメモリカードへの転送だけとなり、したがってフレ
ームメモリと拡大縮小処理部8との間でデータのやりと
りを行っていた従来例と比べて、データ転送量はかなり
低減させることができる。
【0014】次に、拡大縮小処理部及びその前段に配置
されているメモリ及びセレクタの構成について、詳細に
説明する。まず、メモリ6は図2に示すように、4×5
(ROW×COL)の20個の独立メモリ素子A〜Tを用いて構成
されており、このように構成されているメモリ6への画
像データの格納は、次のように行われる。すなわち、拡
大縮小処理部8ではCubic補間処理が行われ、その処理
には4×4の16個の画素データが必要なので、図3に示
す画像のA1〜P1のブロックの画素データをメモリ6
の各メモリ素子A〜Pのアドレス1に格納し、次いでA
2〜P2のブロックの画素データをメモリ素子A〜Pの
アドレス2に格納する。以下同様にして画像の列(ROW)
方向のブロックの画素データをメモリ素子A〜Pの各ア
ドレスに順次格納する。そして、図4に示すように、メ
モリ6を構成するメモリ素子A〜Pのアドレス1の画像
データを、セレクタ7を介して読み出し、拡大縮小処理
部8においてCubic補間処理を行う。セレクタ7は20個
の入力から1個を選択して出力する16個のセレクタで構
成されている。このメモリ素子A〜Pからの画像データ
の読み出し中に、20個の独立メモリ素子A〜Tの残りの
メモリ素子Q,R,S,Tのアドレス1,2,・・・・
・に、図5の(A)に示すように、対応する画像データ
Q1〜T1,Q2〜T2,・・・・・を書き込み格納す
る。
されているメモリ及びセレクタの構成について、詳細に
説明する。まず、メモリ6は図2に示すように、4×5
(ROW×COL)の20個の独立メモリ素子A〜Tを用いて構成
されており、このように構成されているメモリ6への画
像データの格納は、次のように行われる。すなわち、拡
大縮小処理部8ではCubic補間処理が行われ、その処理
には4×4の16個の画素データが必要なので、図3に示
す画像のA1〜P1のブロックの画素データをメモリ6
の各メモリ素子A〜Pのアドレス1に格納し、次いでA
2〜P2のブロックの画素データをメモリ素子A〜Pの
アドレス2に格納する。以下同様にして画像の列(ROW)
方向のブロックの画素データをメモリ素子A〜Pの各ア
ドレスに順次格納する。そして、図4に示すように、メ
モリ6を構成するメモリ素子A〜Pのアドレス1の画像
データを、セレクタ7を介して読み出し、拡大縮小処理
部8においてCubic補間処理を行う。セレクタ7は20個
の入力から1個を選択して出力する16個のセレクタで構
成されている。このメモリ素子A〜Pからの画像データ
の読み出し中に、20個の独立メモリ素子A〜Tの残りの
メモリ素子Q,R,S,Tのアドレス1,2,・・・・
・に、図5の(A)に示すように、対応する画像データ
Q1〜T1,Q2〜T2,・・・・・を書き込み格納す
る。
【0015】第1の列方向の補間処理が終了すると、次
に独立メモリ素子E〜Tに書き込まれている16個の画素
データを順次読み出して第2の列方向のCubic補間処理
を行う。そして、この際、メモリ素子A〜Dの各アドレ
スに格納されている画素データA1〜D1,A2〜D
2,・・・・・は不要になるので、図5の(B)に示す
ように、独立メモリA〜Dの各アドレスに、画素データ
Q1〜T1,Q2〜T2,・・・・・の行(COL)方向に
隣接している画素データA1〜D1,A2〜D2,・・
・・・を、上記第2の列方向のCubic補間処理のための
画素データの読み出し中に、新たに書き込み格納する。
以下同様にして図5の(C)に示すように、16個の画素
データを読み出してCubic補間処理中に、新たに1列分
の画素データを順次書き込み、これにより小容量メモリ
6を用いて画像領域全体に亘ってCubic補間処理をパイ
プライン的に実行することができる。
に独立メモリ素子E〜Tに書き込まれている16個の画素
データを順次読み出して第2の列方向のCubic補間処理
を行う。そして、この際、メモリ素子A〜Dの各アドレ
スに格納されている画素データA1〜D1,A2〜D
2,・・・・・は不要になるので、図5の(B)に示す
ように、独立メモリA〜Dの各アドレスに、画素データ
Q1〜T1,Q2〜T2,・・・・・の行(COL)方向に
隣接している画素データA1〜D1,A2〜D2,・・
・・・を、上記第2の列方向のCubic補間処理のための
画素データの読み出し中に、新たに書き込み格納する。
以下同様にして図5の(C)に示すように、16個の画素
データを読み出してCubic補間処理中に、新たに1列分
の画素データを順次書き込み、これにより小容量メモリ
6を用いて画像領域全体に亘ってCubic補間処理をパイ
プライン的に実行することができる。
【0016】以上のCubic補間処理中における16個の独
立メモリ素子A〜Tからなるメモリ6におけるアクセス
態様を図6に示す。また、メモリ6からセレクタ7を介
してCubic補間処理のために読み出される画素データ
と、読み出された16個の画素データを用いて拡大縮小処
理部でCubic補間処理を行う際における、各画素データ
に乗算される補間係数の切り替え態様を図7の(A),
(B)に示す。なお、図7の(A)はメモリ素子A〜D
が書き込み状態となっている場合、図7の(B)はメモ
リ素子E〜Hが書き込み状態となっている場合を示して
いる。
立メモリ素子A〜Tからなるメモリ6におけるアクセス
態様を図6に示す。また、メモリ6からセレクタ7を介
してCubic補間処理のために読み出される画素データ
と、読み出された16個の画素データを用いて拡大縮小処
理部でCubic補間処理を行う際における、各画素データ
に乗算される補間係数の切り替え態様を図7の(A),
(B)に示す。なお、図7の(A)はメモリ素子A〜D
が書き込み状態となっている場合、図7の(B)はメモ
リ素子E〜Hが書き込み状態となっている場合を示して
いる。
【0017】次に、拡大縮小処理部を含む画像処理部の
処理の実行/停止制御について説明する。画像処理の中
で拡大縮小処理は特殊な処理であり、入力されてくるデ
ータの数と出力されるデータの数とが変化する。すなわ
ち、拡大処理の場合は、密に画素データを取り込むこと
になるので、16個の画素データから処理されたデータが
複数個出力される場合があり、一方、縮小処理の場合
は、16個の画素データから処理されたデータが1個も出
力されない場合もある。したがって、このように拡大縮
小処理ではデータが不連続で出力されるため、前段の画
像処理部と拡大縮小処理部との間のデータの授受は連続
的に行えず、前段の画像処理部例えばローパスフィルタ
処理部の処理の実行と同期させて同様に処理を連続的に
実行させることはできない。
処理の実行/停止制御について説明する。画像処理の中
で拡大縮小処理は特殊な処理であり、入力されてくるデ
ータの数と出力されるデータの数とが変化する。すなわ
ち、拡大処理の場合は、密に画素データを取り込むこと
になるので、16個の画素データから処理されたデータが
複数個出力される場合があり、一方、縮小処理の場合
は、16個の画素データから処理されたデータが1個も出
力されない場合もある。したがって、このように拡大縮
小処理ではデータが不連続で出力されるため、前段の画
像処理部と拡大縮小処理部との間のデータの授受は連続
的に行えず、前段の画像処理部例えばローパスフィルタ
処理部の処理の実行と同期させて同様に処理を連続的に
実行させることはできない。
【0018】本実施の形態においては、前段の画像処理
部と拡大縮小処理部との間に設けているメモリ6は、拡
大縮小処理部でCubic補間処理に必要な16個のデータの
他に1列分の書き込みメモリ素子を備えているので、C
ubic補間処理に必要とする画素データの当該ブロックの
処理ステップの実行中及び前段処理部からのデータの書
き込み中に、前段処理部及び拡大縮小処理部における次
の処理ブロックの処理の実行の可否を判断して、実行/
停止の制御を行うことができる。
部と拡大縮小処理部との間に設けているメモリ6は、拡
大縮小処理部でCubic補間処理に必要な16個のデータの
他に1列分の書き込みメモリ素子を備えているので、C
ubic補間処理に必要とする画素データの当該ブロックの
処理ステップの実行中及び前段処理部からのデータの書
き込み中に、前段処理部及び拡大縮小処理部における次
の処理ブロックの処理の実行の可否を判断して、実行/
停止の制御を行うことができる。
【0019】次に、図8の(A),(B)のタイミング
チャートに基づいて、前段画像処理部及び拡大縮小処理
部の実行/停止の制御について説明する。図8の(A)
は、拡大処理時の実行/停止制御を示すタイミングチャ
ートで、拡大処理時には元の画素に比べて密に画素をと
ることになるので、同じ16個の画素データを用いて複数
回Cubic補間処理をすることになる。そうすると、その
処理期間に新たにデータを受け取ることができないた
め、そのように同じデータで複数回Cubic補間処理をす
る場合には、前段の画像処理部の処理の実行を停止させ
る必要がある。そのため、前段の画像処理部の処理を停
止させる必要がある場合は、実行/停止判定部(拡大縮
小処理部内に設けられている)により、処理実行停止判
定信号を出力させ、CPUを介して前段の画像処理部の
処理の実行を一時停止させるようにする。
チャートに基づいて、前段画像処理部及び拡大縮小処理
部の実行/停止の制御について説明する。図8の(A)
は、拡大処理時の実行/停止制御を示すタイミングチャ
ートで、拡大処理時には元の画素に比べて密に画素をと
ることになるので、同じ16個の画素データを用いて複数
回Cubic補間処理をすることになる。そうすると、その
処理期間に新たにデータを受け取ることができないた
め、そのように同じデータで複数回Cubic補間処理をす
る場合には、前段の画像処理部の処理の実行を停止させ
る必要がある。そのため、前段の画像処理部の処理を停
止させる必要がある場合は、実行/停止判定部(拡大縮
小処理部内に設けられている)により、処理実行停止判
定信号を出力させ、CPUを介して前段の画像処理部の
処理の実行を一時停止させるようにする。
【0020】図8の(B)は、縮小処理時の実行/停止
制御を示すタイミングチャートで、縮小処理時には、元
の画素に比べて粗に画素をとることなので、ある時点で
は16個の画素データを処理に使わない場合が生じる。そ
の場合は、Cubic補間演算処理が早く完了してしまうの
で、前段の画像処理部から出力されてくる次の処理デー
タがメモリに書き込まれるまで、拡大縮小処理部の処理
を一時停止させる必要がある。そのため、そのような状
態を予め実行停止判定部で判定したとき、拡大縮小処理
部の自己の処理の実行を一時停止させるようにする。
制御を示すタイミングチャートで、縮小処理時には、元
の画素に比べて粗に画素をとることなので、ある時点で
は16個の画素データを処理に使わない場合が生じる。そ
の場合は、Cubic補間演算処理が早く完了してしまうの
で、前段の画像処理部から出力されてくる次の処理デー
タがメモリに書き込まれるまで、拡大縮小処理部の処理
を一時停止させる必要がある。そのため、そのような状
態を予め実行停止判定部で判定したとき、拡大縮小処理
部の自己の処理の実行を一時停止させるようにする。
【0021】上記実施の形態においては、拡大縮小処理
部において、4×4の16個の画素データを用いてCubic
補間処理を行うようにしたものを示したが、例えば図9
に示すように2×2の4個の画素A〜Dのデータを用い
て4点補間処理を行うようにすることも可能である。こ
の場合におけるZ位置の補間データは、画素データをA
〜Dで表すものとすると、次式(2)のように表され
る。 Z=xa・ya・A+xb・ya・B+xa・yb・C+xb・yb・D ・・・・・・・・・(2)
部において、4×4の16個の画素データを用いてCubic
補間処理を行うようにしたものを示したが、例えば図9
に示すように2×2の4個の画素A〜Dのデータを用い
て4点補間処理を行うようにすることも可能である。こ
の場合におけるZ位置の補間データは、画素データをA
〜Dで表すものとすると、次式(2)のように表され
る。 Z=xa・ya・A+xb・ya・B+xa・yb・C+xb・yb・D ・・・・・・・・・(2)
【0022】そして、この場合に用いるメモリは、図10
の(A)に示すように、2×3の6個の独立メモリ素子
A〜Fで構成され、このメモリへの画素データの格納
は、この4点補間処理では2×2の4個の画素データが
必要なので、図10の(B)に示す画像のA1〜D1のブ
ロックの画素データをメモリの各メモリ素子A〜Dのア
ドレス1に格納し、次いでA2〜D2のブロック画素デ
ータをメモリ素子A〜Dのアドレス2に格納し、以下同
様にして画像の列方向のブロックの画素データをメモリ
素子A〜Dの各アドレスに順次格納する。そして、この
メモリの4つのメモリ素子A〜Dに格納されている画素
A1〜D1のデータが4点補間処理のために読み出され
るとき、図10の(B)に示す画像において画素C1,D
1,C2,D2,・・・・・に隣接している1列の画素
E1,F1,E2,F2,・・・・・のデータがメモリ
の残りの独立メモリ素子E,Fの各アドレスに書き込ま
れるようになっている。
の(A)に示すように、2×3の6個の独立メモリ素子
A〜Fで構成され、このメモリへの画素データの格納
は、この4点補間処理では2×2の4個の画素データが
必要なので、図10の(B)に示す画像のA1〜D1のブ
ロックの画素データをメモリの各メモリ素子A〜Dのア
ドレス1に格納し、次いでA2〜D2のブロック画素デ
ータをメモリ素子A〜Dのアドレス2に格納し、以下同
様にして画像の列方向のブロックの画素データをメモリ
素子A〜Dの各アドレスに順次格納する。そして、この
メモリの4つのメモリ素子A〜Dに格納されている画素
A1〜D1のデータが4点補間処理のために読み出され
るとき、図10の(B)に示す画像において画素C1,D
1,C2,D2,・・・・・に隣接している1列の画素
E1,F1,E2,F2,・・・・・のデータがメモリ
の残りの独立メモリ素子E,Fの各アドレスに書き込ま
れるようになっている。
【0023】次いで,メモリ素子C〜Fに格納されてい
るデータC1,D1,E1,F1を用いて4点補間処理
を行い、このCubic補間処理中に、画像の画素E1,F
1にCOL方向に隣接している画素A1,B1,A2,B
2,・・・・・のデータを、メモリ素子A,Bに書き込
み格納されるようになっている。このようなメモリへの
アクセス態様を図11に示し、また2×2の4点補間処理
の場合のメモリ16、セレクタ17、拡大縮小処理部18の概
略ブロック構成を図12に示す。
るデータC1,D1,E1,F1を用いて4点補間処理
を行い、このCubic補間処理中に、画像の画素E1,F
1にCOL方向に隣接している画素A1,B1,A2,B
2,・・・・・のデータを、メモリ素子A,Bに書き込
み格納されるようになっている。このようなメモリへの
アクセス態様を図11に示し、また2×2の4点補間処理
の場合のメモリ16、セレクタ17、拡大縮小処理部18の概
略ブロック構成を図12に示す。
【0024】なお、上記実施の形態においては、拡大縮
小処理部の前段に配置するメモリとして、(補間サイズ
の行数)×(補間サイズ+1の列数)の独立メモリ素子
で構成したものを示したが、(補間サイズ+2以上)の
列数の独立メモリ素子で構成したメモリを用いることも
でき、同様に読み出し書き込み動作を行わせることが可
能である。
小処理部の前段に配置するメモリとして、(補間サイズ
の行数)×(補間サイズ+1の列数)の独立メモリ素子
で構成したものを示したが、(補間サイズ+2以上)の
列数の独立メモリ素子で構成したメモリを用いることも
でき、同様に読み出し書き込み動作を行わせることが可
能である。
【0025】
【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば、バスのデータ転送量を低減すると
共に、メモリ容量を増やすことなく、拡大縮小処理を含
む複数の画像処理をリアルタイムでパイプライン処理で
きるようにした画像処理装置を実現することができる。
に、本発明によれば、バスのデータ転送量を低減すると
共に、メモリ容量を増やすことなく、拡大縮小処理を含
む複数の画像処理をリアルタイムでパイプライン処理で
きるようにした画像処理装置を実現することができる。
【図1】本発明に係る画像処理装置の実施の形態の概略
構成を示すブロック構成図である。
構成を示すブロック構成図である。
【図2】図1に示した実施の形態における拡大縮小処理
部の前段に配置されるメモリの構成を示す図である。
部の前段に配置されるメモリの構成を示す図である。
【図3】図2に示したメモリに格納される画像の画素デ
ータ配列を示す図である。
ータ配列を示す図である。
【図4】図1に示した実施の形態におけるメモリ、セレ
クタ及び拡大縮小処理部の構成を示す概略ブロック構成
図である。
クタ及び拡大縮小処理部の構成を示す概略ブロック構成
図である。
【図5】図2に示したメモリに格納される画素データの
アドレシングを示す図である。
アドレシングを示す図である。
【図6】図2に示したメモリのアクセス態様を示すタイ
ミングチャートである。
ミングチャートである。
【図7】セレクタによるメモリ格納データと補間係数の
切り替え態様を示す図である。
切り替え態様を示す図である。
【図8】拡大処理時及び縮小処理時における前段画像処
理部と拡大縮小処理部の実行/停止制御態様を示すタイ
ミングチャートである。
理部と拡大縮小処理部の実行/停止制御態様を示すタイ
ミングチャートである。
【図9】4点Cubic補間処理態様を示す図である。
【図10】4点Cubic補間処理を行う場合に用いるメモリ
の構成及び該メモリに格納される画像の画素データ配列
を示す図である。
の構成及び該メモリに格納される画像の画素データ配列
を示す図である。
【図11】図10に示したメモリのアクセス態様を示すタイ
ミングチャートである。
ミングチャートである。
【図12】4点Cubic補間処理を行うメモリ、セレクタ、
及び拡大縮小処理部の構成を示す概略ブロック構成図で
ある。
及び拡大縮小処理部の構成を示す概略ブロック構成図で
ある。
【図13】従来の拡大縮小処理を含む画像処理手順を示す
説明図である。
説明図である。
【図14】従来の拡大縮小処理部を含む画像処理装置を示
す概略ブロック構成図である。
す概略ブロック構成図である。
【図15】16点Cubic補間処理による拡大縮小処理の態様
を示す図である。
を示す図である。
【図16】図14に示した拡大縮小処理部の前段に配置され
るメモリの構成を示す図である。
るメモリの構成を示す図である。
【図17】図16に示したメモリに対する画像データの格納
方法を示す図である。
方法を示す図である。
【図18】図16に示したメモリを用いてパイプライン処理
を行う場合の態様を示す図である。
を行う場合の態様を示す図である。
1 バス 2 CPU 3 プリプロセス回路 4 フレームメモリ 5 イメージプロセス回路 6,16 メモリ 7,17 セレクタ 8,18 拡大縮小処理部 9 JPEG処理部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 BA02 CA16 CB16 CD06 CH05 CH11 CH18 5C023 AA02 AA31 BA02 CA02 DA04 DA08 5C076 AA21 AA22 BA03 BA04 BA05 BA06 BB04
Claims (4)
- 【請求項1】 固体撮像素子から出力されフレームメモ
リに記録された画像データに対して、拡大縮小処理部を
含む複数の画像処理部で空間的な画像処理を施して出力
させる画像処理装置において、前記拡大縮小処理部の前
段に、(補間サイズの行数)×(補間サイズに少なくと
も1を加えた列数)分の同時アクセス可能なメモリ素子
からなるメモリを備え、該メモリは前段の画像処理部か
らの出力データを書き込むメモリ部と拡大縮小処理部へ
の入力データを読み出すメモリ部とを列単位で切り替え
可能に構成され、前記読み出しメモリ部に格納された補
間に必要な(補間サイズの行数)×(補間サイズの列
数)個のメモリ素子のデータを選択的に読み出し補間処
理を行い、同時に残りの書き込みメモリ部へ前段の画像
処理部からの出力データを書き込みパイプライン処理を
実行するように構成したことを特徴とする画像処理装
置。 - 【請求項2】 前記拡大縮小処理部は、m行n列(但し
m,nは正の整数)の画像領域から一点の補間処理を行
うように構成されており、補間処理のための画像領域の
第1列目の1〜m行目までのデータを、それぞれ前記メ
モリの第1から第mのメモリ素子の第1のアドレスに、
第1列目のm+1〜2m行目までのデータを、それぞれ
第1から第mのメモリ素子の第2のアドレスに書き込
み、以降同様に、第1列目のデータをm個ずつ、第1か
ら第mのメモリ素子に、アドレスをインクリメントしな
がら一定の数だけ順次書き込み、同じ手順で、第2列目
のデータを第m+1から第2mのメモリ素子に書き込
み、以降同様に、第n+1列目までのデータをm×(n
+1)個のメモリ素子に書き込んだ後、第n+2列目か
らは再び第1から第mのメモリ素子へ同じ手順でデータ
を書き込むメモリ制御手段を備え、画像を列方向に補間
するに当たって、どの画素を補間する場合でも、補間に
必要な全てのデータが同時に読み出せるように構成した
ことを特徴とする請求項1に係る画像処理装置。 - 【請求項3】 列方向の一定数分の補間処理中及び前段
の画像処理部の出力データの一定数分の書き込み中に、
前段の画像処理部から出力される次列のデータの前記メ
モリへの書き込み及び拡大縮小処理部における処理の実
行が可能か否かを判断し、拡大縮小処理部の前段の画像
処理部の処理の実行/停止を制御する手段を備えている
ことを特徴とする請求項2に係る画像処理装置。 - 【請求項4】 列方向の一定数分の補間処理中及び前段
の画像処理部の出力データの一定数分の書き込み中に、
前段の画像処理部から出力される次列のデータの前記メ
モリへの書き込み及び拡大縮小処理部における処理の実
行が可能か否かを判断し、拡大縮小処理部の処理の実行
/停止を制御する手段を備えていることを特徴とする請
求項2に係る画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11121547A JP2000311241A (ja) | 1999-04-28 | 1999-04-28 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11121547A JP2000311241A (ja) | 1999-04-28 | 1999-04-28 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000311241A true JP2000311241A (ja) | 2000-11-07 |
Family
ID=14813960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11121547A Pending JP2000311241A (ja) | 1999-04-28 | 1999-04-28 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000311241A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006004114A (ja) * | 2004-06-16 | 2006-01-05 | Ricoh Co Ltd | 解像度変換回路及び表示装置 |
CN100345436C (zh) * | 2004-10-20 | 2007-10-24 | 奥林巴斯株式会社 | 图像处理装置 |
US7457470B2 (en) | 2004-08-10 | 2008-11-25 | Olympus Corporation | Image processing apparatus |
JP2009005235A (ja) * | 2007-06-25 | 2009-01-08 | Seiko Epson Corp | プロジェクタおよび画像処理装置 |
JP2009003953A (ja) * | 2008-08-04 | 2009-01-08 | Olympus Corp | 画像処理装置 |
US7636498B2 (en) | 2003-06-02 | 2009-12-22 | Olympus Corporation | Image processing apparatus |
KR101145554B1 (ko) * | 2009-07-31 | 2012-05-15 | 산요 세미컨덕터 컴퍼니 리미티드 | 프레임 레이트 변환 장치, 및 그것을 탑재한 표시 장치 |
JP2014075028A (ja) * | 2012-10-04 | 2014-04-24 | Olympus Corp | 画像処理装置 |
KR101544914B1 (ko) | 2009-02-12 | 2015-08-17 | 삼성전자주식회사 | 보간 픽셀을 생성하는 방법 |
-
1999
- 1999-04-28 JP JP11121547A patent/JP2000311241A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636498B2 (en) | 2003-06-02 | 2009-12-22 | Olympus Corporation | Image processing apparatus |
JP2006004114A (ja) * | 2004-06-16 | 2006-01-05 | Ricoh Co Ltd | 解像度変換回路及び表示装置 |
JP4488498B2 (ja) * | 2004-06-16 | 2010-06-23 | 株式会社リコー | 解像度変換回路及び表示装置 |
US7457470B2 (en) | 2004-08-10 | 2008-11-25 | Olympus Corporation | Image processing apparatus |
CN100345436C (zh) * | 2004-10-20 | 2007-10-24 | 奥林巴斯株式会社 | 图像处理装置 |
JP2009005235A (ja) * | 2007-06-25 | 2009-01-08 | Seiko Epson Corp | プロジェクタおよび画像処理装置 |
JP4609458B2 (ja) * | 2007-06-25 | 2011-01-12 | セイコーエプソン株式会社 | プロジェクタおよび画像処理装置 |
US8659508B2 (en) | 2007-06-25 | 2014-02-25 | Seiko Epson Corporation | Projector and image processing apparatus |
JP2009003953A (ja) * | 2008-08-04 | 2009-01-08 | Olympus Corp | 画像処理装置 |
KR101544914B1 (ko) | 2009-02-12 | 2015-08-17 | 삼성전자주식회사 | 보간 픽셀을 생성하는 방법 |
KR101145554B1 (ko) * | 2009-07-31 | 2012-05-15 | 산요 세미컨덕터 컴퍼니 리미티드 | 프레임 레이트 변환 장치, 및 그것을 탑재한 표시 장치 |
JP2014075028A (ja) * | 2012-10-04 | 2014-04-24 | Olympus Corp | 画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3278756B2 (ja) | 画像処理方法及び装置 | |
EP3494542B1 (en) | Method and system for correcting a distorted input image | |
US7212237B2 (en) | Digital camera with electronic zooming function | |
JPH11103407A (ja) | Ccdデータ画素補間回路およびこのccdデータ画素 補間回路を備えたデジタルスチルカメラ | |
KR100333420B1 (ko) | 영상데이타기억장치및방법 | |
JP2004304387A (ja) | 画像処理装置 | |
JP3860808B2 (ja) | 色補間用ラインバッファおよびラインデータ提供装置および方法 | |
JP2000311241A (ja) | 画像処理装置 | |
JP4286192B2 (ja) | 画像処理装置及び画像処理方法 | |
US6542429B2 (en) | Method of controlling line memory | |
JP2003219185A (ja) | 画像処理装置及び画像処理方法 | |
JP2000324337A (ja) | 画像拡大縮小装置 | |
US7573513B2 (en) | Image processing device and image processing method | |
EP1784783B1 (en) | Method of address-controlling memory with single buffer structure | |
JP3553376B2 (ja) | 並列画像処理プロセッサ | |
JP2610887B2 (ja) | イメージデータ回転処理装置 | |
JP4389580B2 (ja) | 画像信号処理回路 | |
JP2002237951A (ja) | 映像信号処理回路 | |
JPH06324935A (ja) | アドレス発生器およびアドレス発生システム | |
JP2001022923A (ja) | 画像データ処理装置 | |
JPS60103779A (ja) | 画像信号処理装置 | |
JP2005050341A (ja) | 画像処理装置およびその方法 | |
JPH06303530A (ja) | 固体撮像装置 | |
TW201133390A (en) | Routable image pipeline device | |
JPH0312752A (ja) | 画像データアクセス方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090915 |