JP2006352451A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2006352451A JP2006352451A JP2005175206A JP2005175206A JP2006352451A JP 2006352451 A JP2006352451 A JP 2006352451A JP 2005175206 A JP2005175206 A JP 2005175206A JP 2005175206 A JP2005175206 A JP 2005175206A JP 2006352451 A JP2006352451 A JP 2006352451A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- compression
- compressed image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 claims abstract description 146
- 230000006835 compression Effects 0.000 claims abstract description 140
- 239000003550 marker Substances 0.000 claims description 60
- 239000000872 buffer Substances 0.000 claims description 28
- 230000008707 rearrangement Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、画像処理装置に関し、特に画像データの圧縮処理を行うことが可能な画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus capable of performing compression processing of image data.
画像処理装置において、バスのデータ転送量の低減とメモリ容量の削減とを図るための技術として、拡大縮小処理を含む複数の画像処理をパイプライン処理可能とした技術が特許文献1において提案されている。この特許文献1の手法では、複数の画像処理部とその後段の圧縮処理部とをバッファを介して直結的に接続するように画像処理装置を構成しておき、画像処理部には、それぞれの画像処理に必要な補間用画素データと圧縮処理に必要な最小単位であるMCU(Minimum Coded Unit)分の列方向データを有するデータとをまとめて入力するようにしている。ここで、MCUは、例えば8画素×8画素や16画素×16画素のデータから構成されるデータである。
In the image processing apparatus, as a technique for reducing the data transfer amount of the bus and the memory capacity, a technique that enables pipeline processing of a plurality of image processes including an enlargement / reduction process is proposed in
このような特許文献1では、画像処理部から圧縮処理部までの間の処理において、処理データをSDRAM等の記憶装置に転送する必要がなくなるため、バスのデータ転送量を低減することができる。
特許文献1の手法では、画像処理後に圧縮処理部に入力されるデータの列方向幅が必ずMCU1つ分に限定されてしまう。ここで、昨今の画像処理技術の高度化により、補間画素数は増大する傾向にある。この一方で、補間画素数は、処理後のデータ幅には依存しないため、圧縮処理を行う際の入力データの列方向幅を大きくすることが画像処理の高効率化に繋がる。
In the method of
本発明は、上記の事情に鑑みてなされたもので、圧縮処理部に入力できる画像データの列方向幅を大きくすることにより、より効率の良い画像処理が可能な画像処理装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an image processing apparatus capable of performing more efficient image processing by increasing the column-direction width of image data that can be input to a compression processing unit. Objective.
上記の目的を達成するために、本発明の第1の態様による画像処理装置は、供給された画像データに対して空間的な画像処理を施すための複数の直列に接続された画像処理部と、前記画像処理部により画像処理された画像データを、列方向の入力画素数が圧縮処理の最小単位のN倍となるようなブロック単位で該ブロック単位の画像データを走査線の長さ分並べた1ブロックライン分順次入力し、この入力されたブロック単位の画像データを順次圧縮処理することにより1ブロックライン分のブロック単位の圧縮画像データを得る画像圧縮部と、前記画像圧縮部で得られた1ブロックライン分のブロック単位の圧縮画像データが書き込まれる記憶領域を有する記憶部と、前記記憶部の前記記憶領域に書き込まれた1ブロックライン分のブロック単位の圧縮画像データを順次読み出して、データの並び順を変更し、並び順を変更した1ブロックライン分のブロック単位の圧縮画像データを、前記記憶部の前記並び順を変更する前の圧縮画像データが書き込まれている記憶領域とは別の記憶領域に順次書き込む並び替え部とを具備することを特徴とする。 In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention includes a plurality of serially connected image processing units for performing spatial image processing on supplied image data. The image data processed by the image processing unit is arranged in units of blocks corresponding to the length of the scanning line so that the number of input pixels in the column direction is N times the minimum unit of compression processing. An image compression unit that sequentially inputs one block line and sequentially compresses the input block unit image data to obtain block unit compressed image data for one block line, and is obtained by the image compression unit. A storage unit having a storage area in which compressed image data in units of one block line is written, and a block of one block line written in the storage area of the storage unit. The compressed image data of the unit is sequentially read out, the arrangement order of the data is changed, and the compressed image data of the block unit for one block line whose arrangement order is changed is converted into the compressed image before the arrangement order of the storage unit is changed. A rearrangement unit that sequentially writes data in a storage area different from the storage area in which data is written is provided.
この第1の態様によれば、圧縮処理部に入力できる画像データの列方向幅を大きくすることができ、これに伴って画像処理部に入力できる画像データの列方向幅も大きくすることができる。また、圧縮処理部に入力できる画像データの列方向幅を大きくすることにより、後の再生に適さない順序で圧縮処理が行われるが、これを後の再生に適するような順序に並び替えることができる。 According to the first aspect, the column direction width of the image data that can be input to the compression processing unit can be increased, and accordingly, the column direction width of the image data that can be input to the image processing unit can also be increased. . In addition, by increasing the column direction width of image data that can be input to the compression processing unit, compression processing is performed in an order that is not suitable for later reproduction, but this may be rearranged in an order that is suitable for later reproduction. it can.
本発明によれば、圧縮処理部に入力できる画像データの列方向幅を大きくすることにより、より効率の良い画像処理が可能な画像処理装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus which can perform more efficient image processing can be provided by enlarging the column direction width | variety of the image data which can be input into a compression process part.
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像処理装置の主要な構成について示す図である。図1に示す画像処理装置は、撮像部101と、プリプロセス部102と、DMA103と、バス104と、記憶装置105と、DMA106と、画像処理部107と、圧縮処理部108と、DMA109とから構成されている。また、画像処理部107は、拡大縮小処理などの空間的な画像処理を含む複数の異なる画像処理を行うことが可能なように、複数の画像処理部(図1では画像処理部A107aと画像処理部B107b)が直結的に接続されて構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram showing a main configuration of an image processing apparatus according to the first embodiment of the present invention. The image processing apparatus illustrated in FIG. 1 includes an
図1において、撮像部101によって撮像されて得られた画像信号は、プリプロセス部102にて所定のアナログ処理及びデジタル処理が施される。これらの処理によって生成された画像データはDMA103を介してバス104に転送され、SDRAMなどで構成された記憶装置105に書き込まれる。
In FIG. 1, an image signal obtained by being imaged by the
記憶装置105に書き込まれた画像データは、DMA106を介して画像処理部107に入力される。ここで、第1の実施形態では、記憶装置105から画像処理部107に、列方向の入力画素数が後段の圧縮処理に必要な最小単位のデータ(MCU)の整数倍(ここでは例えば4倍)を単位とするデータと画像処理部107において削られる画素データを補間するための補間画素データとからなる画像データが1ライン分(このような画像データを1ブロックライン分の画像データと称する)入力される。このような1ブロックライン分の画像データを入力するために、記憶装置105に記憶されている画像データを1画素ずつ列方向に、MCUの4倍のデータ幅に補間画素データ分を加えたデータ幅だけ読み出し、この読み出しを行方向に走査線の長さ分だけ繰り返すようにして画像データの読み出しを行うようにする。このようにして読み出された単位毎の画像データが画像処理部107に入力されることにより、画像処理部A107aと画像処理部B107bとにおける画像処理によって補間画素データ部分が削られ、最終的に列方向の入力画素数がMCUの4倍で構成される単位毎の画像データのみが圧縮処理部108に入力される。圧縮処理部108では入力された画像データに対して圧縮処理が行われたあと、これにより得られた圧縮画像データがDMA109を介して記憶装置105に書き込まれる。
The image data written in the
なお、画像処理部107における画像処理は必ずしも全ての処理を行う必要は無く、必要のない画像処理を行わないようにバイパスさせることも可能である。図1の例では画像処理部B107bにおける処理をバイパスできるように構成されている。
Note that the image processing in the
図2は、本発明の第1の実施形態に係る画像処理装置の要部である圧縮処理部108の構成について示した図である。図2に示す圧縮処理部108は、JPEGコアI/F部201と、JPEGコア202と、符号カウンタ203と、並び替え部204とから構成されている。
FIG. 2 is a diagram illustrating a configuration of the
JPEGコアI/F部201には、4個のバッファ(BUF−A〜BUF−D)が設けられており、JPEGコアI/F部201に入力された画像データがこれらバッファBUF−A〜BUF−Dに順次格納される。ここで、バッファBUF−A〜BUF−Dは、それぞれJPEGコアI/F部201に入力された画像データを1圧縮単位ずつ格納できるだけの容量を有しているものである。この1圧縮単位とは、列方向の画素数が1MCU分、行方向の画素数が1MCUの整数倍の画素数を有する非圧縮の画像データのことを言うものとする。この1圧縮単位の画像データの末尾部分にはJPEG圧縮時にリスタートマーカが付加される。ここで、リスタートマーカとは圧縮処理の区切りを示すためのデータである。つまり、リスタートマーカ間隔が2、即ち圧縮時にリスタートマーカを2MCU毎に付加するようにするのであれば、図3(a)に示すように1圧縮単位は2MCU分の画像データとなる。また、圧縮時にリスタートマーカを4MCU毎に付加するようにするのであれば、図3(b)に示すように1圧縮単位は4MCU分の画像データとなる。
The JPEG core I /
以下、JPEGコアI/F部201に入力される画像データ内における圧縮単位を図4に示すようにしてナンバリングして説明を続ける。なお、図4に示す圧縮単位は、図5に示すように左上端の圧縮単位1−1、1−2、1−3、1−4がパラレルにJPEGコアI/F部201に入力される。ここで、圧縮単位の画像データ1−1、1−2、1−3、1−4からなる画像データをブロック単位の画像データと呼ぶことにすると、このブロック単位の画像データは、行方向に1画素分ずつ図5の矢印に示す方向にデータの入力がなされ、列方向に最初の1MCU分の画像データがバッファBUF−Aに、次に続く1MCU分の画像データがそれぞれバッファBUF−B、バッファBUF−C、バッファBUF−Dに格納され、この入力動作が、行方向の画素数が1圧縮単位の画素数になるまで繰り返される。そして、これら4つの圧縮単位が図6のようにしてバッファBUF−A〜BUF−Dにそれぞれ別々に格納される。バッファBUF−A〜BUF−Dのそれぞれに1圧縮単位分の画像データが格納されると、まずバッファBUF−Aから1圧縮単位分の画像データがJPEGコア202に入力され、以後バッファBUF−B、バッファBUF−C、バッファBUF−Dと順次1圧縮単位分の画像データがJPEGコア202に入力される。バッファBUF−A〜BUF−Dからそれぞれ1圧縮単位分の画像データが出力されると、次の4つの圧縮単位2−1、2−2、2−3、2−4がパラレルにJPEGコアI/F部201に入力される。以後も同様にして圧縮単位が4つずつパラレルにJPEGコアI/F部201に入力され、4つの圧縮単位が4つのバッファに格納され次第JPEGコア202に入力される。これにより図7に示すような順序で圧縮単位毎の画像データがJPEGコア202に入力される。
Hereinafter, description will be continued by numbering the compression units in the image data input to the JPEG core I /
JPEGコア202では1圧縮単位分の画像データが入力されるたびにJPEG圧縮処理が行われる。そして、1圧縮単位分の画像データが圧縮されるごとにリスタートマーカが付加されて圧縮画像データが生成される。ここで、リスタートマーカは8のモジュロで番号付けされる。つまり、1つの圧縮単位分の圧縮画像データが生成されるたびに、FFD0、FFD1、FFD2、FFD3、FFD4、FFD5、FFD6、FFD7、FFD0、FFD1…、の順で番号付けされたリスタートマーカが付加される。
The
ここで、図7に示す順序でJPEGコア202に入力されて圧縮された圧縮画像データはそのまま図7に示す順序で記憶装置105に書き込まれる。ところで一般の画像再生装置では圧縮画像データの伸長を行う場合は圧縮画像データを行方向に読み出して行うので、図7の順序で記憶されている圧縮画像データを伸長しても図4に示す元の画像の順序で伸長することはできない。そこで、以後の符号カウンタ203及び並び替え部204を利用して圧縮画像データの並び替えを行った後で記憶装置105に記憶させるようにする。
Here, the compressed image data input to the
図2において、JPEGコア202で生成された圧縮画像データは符号カウンタ203に入力される。ここで、符号カウンタ203は、図8に示すように、符号カウンタコントローラ203aと、4つの符号カウンタA〜Dとで構成されている。図8に示す順序でJPEGコアI/F部201のバッファBUF−A〜BUF−Dから出力されJPEGコア202において圧縮された圧縮画像データの符号量はまず符号カウンタAにおいてカウントされる。同時に符号カウンタコントローラ203aにおいて入力された圧縮画像データ中のリスタートマーカ(図においてRSTで示す部分)の検出が行われる。符号カウンタコントローラ203aにおいてリスタートマーカが検出されると、1圧縮単位分の圧縮画像データの符号量がカウントされたことになるので、符号カウンタコントローラ203aからカウンタの切り替え指示がなされる。これを受けてカウンタの切り替えが行われ、次は符号カウンタBによって符号量のカウントが行われる。以後も同様にしてリスタートマーカが検出されるたびに符号カウンタコントローラ203aによってカウンタの切り替え指示がなされる。
In FIG. 2, the compressed image data generated by the
符号カウンタ203において符号量がカウントされた1ブロックライン分の圧縮画像データはDMA109を介して記憶装置105に書き込まれる。その後、並び替え部204によって記憶装置105から1ブロックライン分の圧縮画像データが読み出されて圧縮画像データの並び替えが行われる。
The compressed image data for one block line whose code amount is counted by the
図9(a)は、並び替え部204の内部の構成を示す図である。並び替え部204は、圧縮画像データ読み出し部204aと、リスタートマーカ検出部204bと、リスタートマーカ書き換え部204cと、選択部204dと、圧縮画像データ書き込み部204eとから構成されている。
FIG. 9A is a diagram illustrating an internal configuration of the
圧縮画像データ読み出し部204aでは、記憶装置105に1ブロックライン分の圧縮画像データが書き込まれるたびに、記憶装置105からの圧縮画像データの読み出しが行われる。この読み出された圧縮画像データはリスタートマーカ検出部204bに入力される。リスタートマーカ検出部204bでは、圧縮画像データ読み出し部204aから入力された圧縮画像データ中のリスタートマーカの検出が行われるとともにリスタートマーカの数がカウントされる。
The compressed image
リスタートマーカ書き換え部204cではリスタートマーカ検出部204bにおいて検出されたリスタートマーカのマーカ番号の書き換えが行われる。この書き換え時のマーカ番号は、
マーカ番号=((行方向圧縮単位数×現在の行方向圧縮単位位置)+現在の列方向圧縮単位位置)%8 (式1)
の式に基づいて決定される。ここで、(式1)の行方向圧縮単位数は、行方向に配列された圧縮単位の数を示す。図4の例ではhとなる。また、現在の行方向圧縮単位位置は、リスタートマーカの書き換え対象となっている圧縮単位毎の圧縮画像データの行方向位置(即ち、何列目であるか)を示す。例えば、圧縮単位1−1を圧縮して得られた圧縮画像データ(以下、圧縮画像データ1−1と称する。他の圧縮画像データについても同様)の位置を(行,列)=(0,0)とすると、圧縮画像データ1−2の行方向位置は1となる。また、圧縮画像データ2−1の行方向位置は0となる。さらに、現在の列方向圧縮単位位置は、リスタートマーカの書き換え対象となっている単位毎の圧縮画像データの列方向位置(即ち、何行目であるか)を示す。上記した圧縮画像データ1−2の列方向位置は0となる。また、圧縮画像データ2−1の列方向位置は1となる。また、(式1)中の「%8」は8のモジュロ演算を行うことを意味している。
The restart
Marker number = ((number of compression units in row direction × current compression unit position in row direction) + current compression unit position in column direction)% 8 (Formula 1)
It is determined based on the following formula. Here, the number of compression units in the row direction in (Equation 1) indicates the number of compression units arranged in the row direction. In the example of FIG. The current row direction compression unit position indicates the row direction position (that is, what column) of the compressed image data for each compression unit to be rewritten by the restart marker. For example, the position of the compressed image data obtained by compressing the compression unit 1-1 (hereinafter referred to as compressed image data 1-1. The same applies to other compressed image data) (row, column) = (0, 0), the position of the compressed image data 1-2 in the row direction is 1. Also, the row direction position of the compressed image data 2-1 is zero. Furthermore, the current column direction compression unit position indicates the column direction position (that is, what number line) of the compressed image data for each unit to be rewritten by the restart marker. The position in the column direction of the compressed image data 1-2 is 0. The position in the column direction of the compressed image data 2-1 is 1. In addition, “% 8” in (Expression 1) means that 8 modulo operations are performed.
例えば、行方向圧縮単位数が10でリスタートマーカの書き換え対象が圧縮画像データ1−2である場合には、書き換え後のリスタートマーカのマーカ番号は、マーカ番号=((10×1)+0)%8=2となる。即ち、書き換えが行われることにより、元のマーカ番号がFFD1であった圧縮画像データ1−2のマーカ番号はFFD2となる。 For example, when the number of compression units in the row direction is 10 and the restart marker to be rewritten is the compressed image data 1-2, the marker number of the restart marker after rewriting is marker number = ((10 × 1) +0. )% 8 = 2. That is, by performing the rewriting, the marker number of the compressed image data 1-2 in which the original marker number is FFD1 becomes FFD2.
選択部204dでは、圧縮画像データ読み出し部204aにおいて読み出された圧縮画像データとリスタートマーカ書き換え部204cにおいて書き換えられたリスタートマーカの何れかが選択的に圧縮画像データ書き込み部204eに出力される。つまり、選択部204dでは、リスタートマーカ検出部204bにおいてリスタートマーカが検出されるまでは圧縮画像データ読み出し部204aにおいて読み出された圧縮画像データが出力され、リスタートマーカ検出部204bにおいてリスタートマーカが検出されたときにリスタートマーカ書き換え部204cにおいて書き換えられたリスタートマーカが出力される。これにより、圧縮単位毎の圧縮画像データの末尾にリスタートマーカ書き換え部204cにおいてマーカ番号が書き換えられたリスタートマーカが付加される。
In the
圧縮画像データ書き込み部204eでは、リスタートマーカが書き換えられた圧縮単位毎の圧縮画像データが、図9(a)に示すようにして記憶装置105の並び替え前の圧縮画像データが書き込まれている記憶領域とは別の記憶領域に書き込まれる。この際、圧縮画像データ書き込み部204eでは、符号カウンタ203においてカウントされた符号量に基づいて圧縮画像データの書き込み先のアドレスが生成される。
In the compressed image
図10は、このような並び替えの際の圧縮画像データの書き込み先アドレス生成の考え方について示す図である。まず、圧縮画像データ1−1の書き込み先のアドレスは、上記別の記憶領域の先頭アドレスとなる。次に入力される圧縮画像データ1−2の書き込み先のアドレスは上記別の記憶領域の先頭アドレスに符号カウンタAにおいてカウントされた符号量を加算することにより生成される。次に入力される圧縮画像データ1−3の書き込み先のアドレスは圧縮画像データ1−2の書き込み先のアドレスに符号カウンタCにおいてカウントされた符号量を加算することにより生成される。次に入力される圧縮画像データ1−4の書き込み先のアドレスは圧縮画像データ1−3の書き込み先のアドレスに符号カウンタDにおいてカウントされた符号量を加算することにより生成される。 FIG. 10 is a diagram showing the concept of generating the write destination address of the compressed image data at the time of such rearrangement. First, the write destination address of the compressed image data 1-1 is the start address of the other storage area. The address to which the compressed image data 1-2 to be input next is written is generated by adding the code amount counted by the code counter A to the head address of the other storage area. The address to which the compressed image data 1-3 to be input next is written is generated by adding the code amount counted by the code counter C to the address to which the compressed image data 1-2 is written. The write destination address of the compressed image data 1-4 to be input next is generated by adding the code amount counted by the code counter D to the write destination address of the compressed image data 1-3.
次に入力される圧縮画像データ2−1はBUF−Aの系から入力される圧縮画像データである。このため、圧縮画像データ2−1は圧縮画像データ1−1のリスタートマーカに連続して書き込まれる。次の圧縮画像データ2−2は圧縮画像データ1−2のリスタートマーカに、圧縮画像データ2−3は圧縮画像データ1−3のリスタートマーカに、圧縮画像データ2−4は圧縮画像データ1−4のリスタートマーカに連続して書き込まれ、これ以後の圧縮画像データも同様にして書き込まれる。 The next input compressed image data 2-1 is compressed image data input from the BUF-A system. For this reason, the compressed image data 2-1 is continuously written in the restart marker of the compressed image data 1-1. The next compressed image data 2-2 is the restart marker of the compressed image data 1-2, the compressed image data 2-3 is the restart marker of the compressed image data 1-3, and the compressed image data 2-4 is the compressed image data. It is continuously written to the restart marker of 1-4, and the subsequent compressed image data is similarly written.
このような圧縮画像データの並び替えを行うことによって、記憶装置105においては、BUF−Aの系の最後の圧縮画像データである圧縮画像データh−1のリスタートマーカに連続してBUF−Bの系の最初の圧縮画像データである圧縮画像データ1−2が格納され、BUF−Bの系の最後の圧縮画像データである圧縮画像データh−2のリスタートマーカに連続してBUF−Cの系の最初の圧縮画像データである圧縮画像データ1−3が格納され、BUF−Cの系の最後の圧縮画像データである圧縮画像データh−3のリスタートマーカに連続してBUF−Dの系の最初の圧縮画像データである圧縮画像データ1−4が格納されることになる。
By performing such rearrangement of the compressed image data, in the
なお、図9(a)の例では、並び替えが行われた圧縮単位毎の圧縮画像データを記憶装置105に記憶させるようにしているが、図9(b)に示すように記憶装置105とは別の外部メディア110に記録するようにしても良い。なお、外部メディア110としては、例えばメモリカードやハードディスクなどが用いられる。
In the example of FIG. 9A, the compressed image data for each compression unit subjected to the rearrangement is stored in the
このような処理が、リスタートマーカ検出部204bにおいて1ブロックライン分のリスタートマーカがカウントされるまで繰り返される。1ブロックライン分のリスタートマーカがカウントされた時点で、リスタートマーカ検出部204bから圧縮画像データ読み出し部204aに対して読み出し停止指示が与えられ、圧縮画像データ読み出し部204aにおける読み出しが一旦終了する。
Such a process is repeated until restart markers for one block line are counted in the restart
以後は次のブロックラインの処理に移り、このような処理が全ブロックラインの終了まで、即ち1フレーム分の処理が終了するまで繰り返される。 Thereafter, the processing moves to the next block line, and such processing is repeated until the end of all the block lines, that is, until the processing for one frame is completed.
次に、第1の実施形態の効果について図11(a)及び図11(b)を参照して説明する。上記したように、画像処理部A107aと画像処理部B107bとにおいては、画像処理によって補間画素データ部分が削られる。一般の画像処理においては、この削られる部分をなるべく少なくできるように、1ブロックライン分の画像データを記憶装置105から読み出す際に図11(a)や図11(b)に示すようにして補間画素データを重複するように読み出すようにしている。このような読み出しを行うようにすれば、補間画素データとして最終的に削られる部分は記憶装置105に記憶されている画像データ中の上端及び下端のみとなる。このとき削られる補間画素データは処理後の画像データの幅には依存しない。なお、実際には画像データ中の左端及び右端も削られるがこれらの影響は無視することができる程度のものである。
Next, the effect of 1st Embodiment is demonstrated with reference to Fig.11 (a) and FIG.11 (b). As described above, in the image
ここで、1回の入力で画像処理部107に入力できる列方向入力画素数が少ないと、図11(a)に示すように、1フレーム分の画像データを処理するために画像処理部に1ブロックライン分の画像データを入力する回数も多くなる。この場合、重複して読み出さなければならない補間画素データのデータ量が大きくなり、画像処理部107に入力するデータの総量が大きくなって画像処理の効率が低くなってしまう。
Here, when the number of input pixels in the column direction that can be input to the
これに対し第1の実施形態では、圧縮処理部108に複数の圧縮単位の画像データを入力できるようにすることにより、図11(b)に示すように画像処理部107に入力する1ブロックライン分の画像データの列方向幅を大きくすることができる。これにより、重複して読み出さなければならない補間画素データのデータ量を少なくして入力データの総量を減らし、画像処理の効率を向上させることが可能である。
On the other hand, in the first embodiment, by allowing image data of a plurality of compression units to be input to the
また、圧縮処理部108に複数の圧縮単位の画像データを入力するようにしたことにより、画像再生の際の伸長時において正しい並び順の画像データが復元されなくなってしまうが、第1の実施形態では圧縮処理の際に圧縮単位毎に得られた圧縮画像データの並び替えを行うことにより、伸長時において正しい並び順の画像データが復元される。
In addition, by inputting image data of a plurality of compression units to the
[第2の実施形態]
図12は、本発明の第2の実施形態に係る画像処理装置における圧縮処理部の構成について示す図である。図12において図2と異なる点は符号カウンタ203が省略されている点である。これに伴って並び替え部204における並び替えの処理内容が異なっている。なお、これ以外の点は第1の実施形態と同様である。
[Second Embodiment]
FIG. 12 is a diagram showing the configuration of the compression processing unit in the image processing apparatus according to the second embodiment of the present invention. 12 differs from FIG. 2 in that the
以下、並び替え部204における並び替えについて説明する。第2の実施形態では、符号カウンタ203がなく、バッファ毎の符号量をカウントできないので、圧縮画像データ読み出し部204aにおいて、記憶装置105に記憶された圧縮単位毎の圧縮画像データの1ブロックライン分をN回(ここでは4回)読み出すようにする。そして、1ブロックライン分の圧縮画像データを順次読み出して、リスタートマーカ検出部204bにて各圧縮単位の圧縮画像データのリスタートマーカの検出を行う。リスタートマーカ検出部204bは、各ブロックの上からK(1≦K≦N)番目の圧縮単位の画像データに対応する圧縮単位の圧縮画像データのみを検出する動作を行う。この検出結果を受けて、圧縮画像データ書き込み部204eにおいて、上からK番目の圧縮単位の画像データに対応する圧縮単位の圧縮画像データのみを記憶装置105の別領域や外部メディア110に書き込むようにする。ここで、Kは、1回の読み出しのたびに1ずつ増加させるようにする。つまり、リスタートマーカ検出部204bは、第1の実施形態における動作に加えて、各ブロックの上からK番目の圧縮単位の画像データに対応する圧縮単位の圧縮画像データのみを検出する動作を行う。なお、リスタートマーカ書き換え部204c、選択部204dの動作は第1の実施形態と同様である。
Hereinafter, the rearrangement in the
図13は、第2の実施形態の並び替えについて具体的に説明するための図である。図13に示すように、1回目の読み出し(K=1)では、まず読み出される圧縮単位の画像データは1−1なので、リスタートマーカ検出部204bにより検出されて圧縮画像データ書き込み部204eにより記憶装置105の別領域や外部メディア110に書き込まれる。続いて読み出される圧縮単位の圧縮画像データ1−2、1−3、1−4は検出されず書き込まれない。次に読み出される圧縮単位の圧縮画像データ2−1は検出されて書き込まれる。同様にして、圧縮単位の圧縮画像データ3−1、…、h−1までの書き込みが行われる。このようにして、読み出した1ブロックライン分の圧縮画像データのうちの上から1番目の圧縮単位に対応する圧縮画像データ1−1、2−1、3−1、…、(h−1)−1、h−1(即ちバッファBUF−Aの系の圧縮画像データ)が記憶装置105の別領域や外部メディア110に書き込まれ、記憶装置105の別領域や外部メディア110には、圧縮単位の圧縮画像データ1−1、2−1、…、(h−1)−1、h−1が最初の行に1列に並べられる。
FIG. 13 is a diagram for specifically explaining the rearrangement of the second embodiment. As shown in FIG. 13, in the first reading (K = 1), the image data of the compression unit to be read is 1-1, so that it is detected by the restart
2回目の読み出しでは、読み出した1ブロックライン分の圧縮画像データのうちの上から2番目の圧縮単位に対応する圧縮画像データ1−2、2−2、3−2、…、(h−1)−2、h−2(即ちバッファBUF−Bの系の圧縮画像データ)が記憶装置105の別領域や外部メディア110に書き込まれ、記憶装置105の別領域や外部メディア110には、圧縮単位の圧縮画像データ1−2、2−2、…、(h−1)−2、h−2が2番目の行に1列に並べられる。3回目の読み出しでは、読み出した1ブロックライン分の圧縮画像データのうちの上から3番目の圧縮単位に対応する圧縮画像データ1−3、2−3、3−3、…、(h−1)−3、h−3(即ちバッファBUF−Cの系の圧縮画像データ)が記憶装置105の別領域や外部メディア110に書き込まれ、記憶装置105の別領域や外部メディア110には、圧縮単位の圧縮画像データ1−3、2−3、…、(h−1)−3、h−3が3番目の行に1列に並べられる。4回目の読み出しでは、読み出した1ブロックライン分の圧縮画像データのうちの上から4番目の圧縮単位に対応する圧縮画像データ1−4、2−4、3−4、…、(h−1)−4、h−4(即ちバッファBUF−Dの系の圧縮画像データ)が記憶装置105の別領域や外部メディア110に書き込まれ、記憶装置105の別領域や外部メディア110には、圧縮単位の圧縮画像データ1−4、2−4、…、(h−1)−4、h−4が4番目の行に1列に並べられる。
以上の動作を行うことにより、1ブロックライン分のデータ並び替えが完了する。
In the second reading, the compressed image data 1-2, 2-2, 3-2,..., (H-1) corresponding to the second compression unit from the top of the compressed image data for one block line that has been read. ) -2, h-2 (that is, compressed image data of the system of the buffer BUF-B) is written in another area of the
By performing the above operation, data rearrangement for one block line is completed.
以上説明したような第2の実施形態では符号カウンタ203で符号量をカウントしなくとも並び替えを行うことが可能である。
In the second embodiment as described above, rearrangement can be performed without the
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した各実施形態では、記憶装置105から画像処理部107に入力する画像データの列方向の入力画素数をMCUの4倍で説明しているが、この数を変更しても良い。また、BUF−A〜BUF−Dのそれぞれを入力側のバッファと出力側のバッファの2つのバッファで構成する所謂バタフライ構成として処理の高速化を図るようにしても良い。
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, in each of the above embodiments, the number of input pixels in the column direction of the image data input from the
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be extracted as an invention.
101…撮像部(CCD)、102…プリプロセス部、103,106,109…DMA、104…バス、105…記憶装置、107…画像処理部、108…圧縮処理部、110…外部メディア、201…JPEGコアI/F部、202…JPEGコア、203…符号カウンタ、204…並び替え部
DESCRIPTION OF
Claims (8)
前記画像処理部により画像処理された画像データを、列方向の入力画素数が圧縮処理の最小単位のN倍となるようなブロック単位で該ブロック単位の画像データを走査線の長さ分並べた1ブロックライン分順次入力し、この入力されたブロック単位の画像データを順次圧縮処理することにより1ブロックライン分のブロック単位の圧縮画像データを得る画像圧縮部と、
前記画像圧縮部で得られた1ブロックライン分のブロック単位の圧縮画像データが書き込まれる記憶領域を有する記憶部と、
前記記憶部の前記記憶領域に書き込まれた1ブロックライン分のブロック単位の圧縮画像データを順次読み出して、データの並び順を変更し、並び順を変更した1ブロックライン分のブロック単位の圧縮画像データを、前記記憶部の前記並び順を変更する前の圧縮画像データが書き込まれている記憶領域とは別の記憶領域に順次書き込む並び替え部と、
を具備することを特徴とする画像処理装置。 A plurality of serially connected image processing units for performing spatial image processing on the supplied image data;
The image data processed by the image processing unit is arranged in units of blocks corresponding to the length of the scanning line so that the number of input pixels in the column direction is N times the minimum unit of compression processing. An image compression unit that sequentially inputs one block line and obtains compressed image data in block units for one block line by sequentially compressing the input block unit image data;
A storage unit having a storage area in which compressed image data for each block line obtained by the image compression unit is written;
The block-unit compressed image data for one block line written in the storage area of the storage unit is sequentially read out, the data arrangement order is changed, and the block-unit compressed image for one block line with the arrangement order changed. A rearrangement unit that sequentially writes data in a storage area different from the storage area in which the compressed image data before the rearrangement of the storage unit is changed;
An image processing apparatus comprising:
前記圧縮処理部は、前記ブロック単位の画像データを格納する単一或いは複数のバッファを含み、
前記圧縮処理部は、前記1ブロックライン分のブロック単位の圧縮画像データを得る際に、行方向に1画素分で列方向に前記圧縮処理の最小単位のN倍の画素数からなる画像データを順次前記バッファに格納することを行方向に繰り返して前記バッファにブロック単位毎の圧縮単位の画像データをN個分格納し、前記格納されたブロック単位毎のN個分の圧縮単位の画像データを、列方向で1番上の圧縮単位の画像データから順次圧縮処理を施し、1つの圧縮単位の画像データの圧縮処理が終了するごとに、圧縮処理が終了した画像データに前記圧縮単位の画像データの圧縮処理が終了したことを示すリスタートマーカを付加することでブロック単位毎の圧縮単位の圧縮画像データを得て、該得られたブロック単位毎の圧縮単位の圧縮画像データを順次1ブロックライン分前記記憶部に書き込むことを特徴とする請求項1に記載の画像処理装置。 The block unit image data includes N units of compression unit image data consisting of image data corresponding to the number of pixels that is M times the minimum unit of the compression process in the column direction and M units of the minimum unit of the compression process in the column direction. It is an array of pieces,
The compression processing unit includes a single or a plurality of buffers for storing the block-unit image data,
When obtaining the compressed image data in units of blocks for the one block line, the compression processing unit obtains image data composed of one pixel in the row direction and N pixels as the minimum unit of the compression processing in the column direction. Sequential storage in the buffer is repeated in the row direction, and N pieces of compression unit image data for each block unit are stored in the buffer, and N pieces of compression unit image data for each stored block unit are stored. Each time compression processing is performed sequentially from the image data of the first compression unit in the column direction, and the compression processing of the image data of one compression unit is completed, the image data of the compression unit is added to the compressed image data. The compressed marker data for each block unit is obtained by adding a restart marker indicating that the compression processing has been completed, and the compressed image data of the obtained compression unit for each block unit is obtained. The image processing apparatus according to claim 1, characterized in that writes into the sequential one block line the storage unit the data.
前記並び替え部は、最初のブロックにおける上から1番目の圧縮単位の圧縮画像データの書き込み先のアドレスを前記別の記憶領域の先頭アドレスとし、最初のブロックにおける上から2番目以降の圧縮単位の圧縮画像データの書き込み先のアドレスをそれぞれ1つ上の圧縮単位の圧縮画像データの書き込み先のアドレスに前記1つ上の圧縮単位毎の圧縮画像データの全ブロック分の符号量をカウントする符号カウンタでカウントされた符号量を加算することにより生成し、2番目以降のブロックにおける各圧縮単位の圧縮画像データの書き込み先のアドレスをそれぞれ1つ前のブロックにおいて対応する圧縮単位の圧縮画像データのリスタートマーカに連続するように生成することにより、前記圧縮単位の圧縮画像データのそれぞれの書き込み先のアドレスを生成することを特徴とする請求項3に記載の画像処理装置。 Of the compressed image data in the compression unit for each block obtained in the compression processing unit, corresponds to the image data in the K (1 ≦ K ≦ N) th compression unit from the top of the compression unit image data in each block. Further comprising N code counters for counting the code amount of only compressed image data for each compression unit for all blocks,
The reordering unit uses the address of the compressed image data of the first compression unit from the top in the first block as the start address of the other storage area, and the second and subsequent compression units from the top in the first block. A code counter that counts the code amount of all blocks of the compressed image data for each one compression unit to the write destination address of the compressed image data of the compression unit that is one higher than the write destination address of the compressed image data The address of the compressed image data in each compression unit in the second and subsequent blocks is written to the address of the compressed image data in the corresponding compression unit in the previous block. By generating the data so as to be continuous with the start marker, each of the compressed image data in the compression unit is written. The image processing apparatus according to claim 3, characterized in that to produce only the previous address.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005175206A JP4713957B2 (en) | 2005-06-15 | 2005-06-15 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005175206A JP4713957B2 (en) | 2005-06-15 | 2005-06-15 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006352451A true JP2006352451A (en) | 2006-12-28 |
JP4713957B2 JP4713957B2 (en) | 2011-06-29 |
Family
ID=37647819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005175206A Expired - Fee Related JP4713957B2 (en) | 2005-06-15 | 2005-06-15 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4713957B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977064B2 (en) | 2008-02-13 | 2015-03-10 | Qualcomm Incorporated | Rotational transcoding for JPEG or other coding standards |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109326251B (en) * | 2017-08-01 | 2021-02-26 | 奇景光电股份有限公司 | Image data compression method and time sequence controller |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1075345A (en) * | 1996-06-26 | 1998-03-17 | Fuji Xerox Co Ltd | Image processing unit |
JP2002084493A (en) * | 2000-09-08 | 2002-03-22 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device and image pickup method |
JP2003018595A (en) * | 2001-07-03 | 2003-01-17 | Matsushita Electric Ind Co Ltd | Video encoding system, video decoding system, video encoding method, and video decoding method |
-
2005
- 2005-06-15 JP JP2005175206A patent/JP4713957B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1075345A (en) * | 1996-06-26 | 1998-03-17 | Fuji Xerox Co Ltd | Image processing unit |
JP2002084493A (en) * | 2000-09-08 | 2002-03-22 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device and image pickup method |
JP2003018595A (en) * | 2001-07-03 | 2003-01-17 | Matsushita Electric Ind Co Ltd | Video encoding system, video decoding system, video encoding method, and video decoding method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977064B2 (en) | 2008-02-13 | 2015-03-10 | Qualcomm Incorporated | Rotational transcoding for JPEG or other coding standards |
Also Published As
Publication number | Publication date |
---|---|
JP4713957B2 (en) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11154228A (en) | Image processor and its method | |
CN108073549B (en) | Convolution operation device and method | |
KR100793286B1 (en) | Digital video codec using small size buffer memory, and method for controlling the same | |
JP5359569B2 (en) | Memory access method | |
JP5231330B2 (en) | Image processing device | |
US7650038B2 (en) | Image processing method and image processing apparatus | |
US8554003B2 (en) | Image data processing apparatus, image data processing method, and computer readable medium | |
JP4533447B2 (en) | Image processing device | |
JP4713957B2 (en) | Image processing device | |
CN100444633C (en) | Image processing method and image processing apparatus | |
JP6395000B2 (en) | Image processing device | |
JP2007036596A (en) | Image processing apparatus | |
US20070041662A1 (en) | Efficient scaling of image data | |
JP4109151B2 (en) | Image processing device | |
JP4610450B2 (en) | Image processing apparatus for processing fixed length compressed image and packing data of attribute information | |
JP5203692B2 (en) | Imaging method, imaging apparatus, and program | |
US20140286583A1 (en) | Image encoder and image processing system | |
JP2006121343A (en) | Image processor | |
JP5705143B2 (en) | Image reading device | |
JP2009038782A (en) | Image processor, image processing method, program for image processing method, and recording medium recording program for image processing method | |
JP3702675B2 (en) | Image processing apparatus and image processing method | |
KR101586844B1 (en) | Image processing apparatus and method | |
CN115936101A (en) | Sparse data compression device and method for neural network tensor processor | |
JP2007110419A (en) | Image magnification method | |
JP2002135595A (en) | Image decompression apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4713957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |