JP2010017452A - Processor for electronic endoscope and image processing system - Google Patents
Processor for electronic endoscope and image processing system Download PDFInfo
- Publication number
- JP2010017452A JP2010017452A JP2008182399A JP2008182399A JP2010017452A JP 2010017452 A JP2010017452 A JP 2010017452A JP 2008182399 A JP2008182399 A JP 2008182399A JP 2008182399 A JP2008182399 A JP 2008182399A JP 2010017452 A JP2010017452 A JP 2010017452A
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- data
- scaling
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 44
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 19
- 239000000872 buffer Substances 0.000 description 73
- 238000012937 correction Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像を電子的に拡大する電子ズーム機能を有する電子内視鏡用プロセッサ装置及び画像処理システムに関するものである。 The present invention relates to an electronic endoscope processor device and an image processing system having an electronic zoom function for electronically enlarging an image.
医療分野において、電子内視鏡装置を利用した医療診断が盛んに行われている。電子内視鏡装置は、体腔内へ挿入される挿入部を備えた電子内視鏡(スコープ)と、電子内視鏡が着脱自在に接続され、電子内視鏡に内蔵された固体撮像素子から撮像信号を受信して画像処理を行い、観察像をモニタに表示させるプロセッサ装置と、電子内視鏡内のライトガイドを通して体腔内を照明する光を発生する光源装置とを備える。 In the medical field, medical diagnosis using an electronic endoscope apparatus is actively performed. An electronic endoscope apparatus includes an electronic endoscope (scope) having an insertion portion that is inserted into a body cavity, and a solid-state imaging device built in the electronic endoscope, in which the electronic endoscope is detachably connected. A processor device that receives an imaging signal, performs image processing, and displays an observation image on a monitor, and a light source device that generates light that illuminates the body cavity through a light guide in the electronic endoscope.
一般に、このような電子内視鏡装置では、モニタへ観察像を動画像として表示させるとともに、フリーズ操作により静止画像を表示させることが可能となっている。さらに、電子内視鏡装置には、この静止画像を部分的に拡大する電子ズーム機能が備えられており、関心部位を拡大表示することが可能となっている。 In general, in such an electronic endoscope apparatus, an observation image is displayed as a moving image on a monitor, and a still image can be displayed by a freeze operation. Further, the electronic endoscope apparatus is provided with an electronic zoom function for partially enlarging the still image, so that the region of interest can be enlarged and displayed.
電子ズーム機能とは、固体撮像素子により撮像される画像から、ズーム倍率に応じた大きさの領域(ズーム領域)を切り出し、切り出した領域を変倍処理により1フレーム分の大きさに拡大する機能である。例えば、1フレーム分の画像が640×480画素の大きさであって、電子ズーム倍率が2倍の場合には、画像中の任意の位置の320×240画素の領域を切り出し、切り出した領域を、行方向及び列方向への変倍処理により640×480画素の大きさとする。 The electronic zoom function is a function of cutting out a region (zoom region) having a size corresponding to the zoom magnification from an image picked up by a solid-state imaging device, and expanding the cut-out region to the size of one frame by scaling processing It is. For example, when an image for one frame is 640 × 480 pixels in size and the electronic zoom magnification is 2 times, a region of 320 × 240 pixels at an arbitrary position in the image is cut out, and the cut out region is The size is 640 × 480 pixels by the scaling process in the row direction and the column direction.
この変倍処理とは、補間処理により新たな画素データを生成する処理であり、この処理を行う変倍回路への入力画素データ数に対する出力画素データ数の割合は、電子ズーム倍率に応じて変化する。例えば、電子ズーム倍率が2倍の場合には、出力画素データ数が入力画素データ数の4倍となる。このため、変倍回路に入力する画素データのデータレートを一定とすると、電子ズーム倍率に応じて、変倍回路から出力される画素データのデータレートが変化することになる。例えば、電子ズーム倍率が2倍の場合には、出力画素データ数が入力画素データ数の4倍となるため、変倍回路は、4倍のデータレートで出力を行うことになる。 The scaling process is a process for generating new pixel data by an interpolation process, and the ratio of the number of output pixel data to the number of input pixel data to the scaling circuit that performs this process varies according to the electronic zoom magnification. To do. For example, when the electronic zoom magnification is twice, the number of output pixel data is four times the number of input pixel data. Therefore, if the data rate of the pixel data input to the zoom circuit is constant, the data rate of the pixel data output from the zoom circuit changes according to the electronic zoom magnification. For example, when the electronic zoom magnification is 2 times, the number of output pixel data is 4 times the number of input pixel data, so the scaling circuit outputs at a data rate of 4 times.
具体的には、変倍回路は、行方向に変倍を行う水平変倍回路と、列方向に変倍を行う垂直変倍回路からなる。図10(A)は、電子ズーム倍率が2倍の場合における水平変倍回路への入力画素データ(D1,D2,D3,・・・)と、水平変倍回路からの出力画素データ(D1,H1,D2,H2,D3,・・・)である。H1,H2,・・・は、入力画素データに基づいて補間処理により生成された補間データである。このように、水平変倍回路は、画素データが入力されるたびに補間データの生成を行うため、補間処理後の画素データのデータレートは、入力時の2倍のデータレートになる。この水平変倍回路からの出力画素データを、垂直変倍回路に入力することで、垂直変倍回路からの出力画素データは、さらに2倍のデータレートになる。よって、電子ズーム倍率が2倍の場合には、変倍処理後のデータレートは変倍処理前の4倍に変化する。 Specifically, the scaling circuit includes a horizontal scaling circuit that performs scaling in the row direction and a vertical scaling circuit that performs scaling in the column direction. FIG. 10A shows input pixel data (D1, D2, D3,...) And output pixel data (D1, D1) from the horizontal scaling circuit when the electronic zoom magnification is 2. H1, D2, H2, D3,. H1, H2,... Are interpolation data generated by interpolation processing based on input pixel data. As described above, since the horizontal scaling circuit generates interpolation data every time pixel data is input, the data rate of the pixel data after the interpolation processing is twice that at the time of input. By inputting the output pixel data from the horizontal scaling circuit to the vertical scaling circuit, the output pixel data from the vertical scaling circuit is further doubled. Therefore, when the electronic zoom magnification is 2, the data rate after the scaling process changes to 4 times before the scaling process.
上記のように電子ズーム倍率に応じて変倍処理後のデータレートが変化すると、メモリの処理速度の関係上、変倍回路からの出力データをメモリで受信することができない場合がある。かかる問題を解決するために、固体撮像素子から出力される1フレーム分の画素データ(フレームデータ)を一旦フレームメモリに書き込み、フレームメモリに書き込まれたフレームデータを、電子ズーム倍率に応じて、書き込み時のデータレートより低いデータレートで読み出して変倍回路に入力することで、変倍処理後のデータレートを電子ズーム倍率に依らず一定とする技術が知られている(例えば、特許文献1参照)。
しかしながら、上記のような従来技術では、変倍処理後のデータレートを一定に保つために、変倍回路の前段にデータレート変更用のフレームメモリを設ける必要があり、消費電力の増加、発熱の増加、回路規模の拡大、装置の大型化や、コストの増大につながるといった問題がある。特許文献1では、データレート変更用のフレームメモリに代えて、フレームデータの1行分の画素データを書き込むことが可能なレジスタを変倍回路(解像度変換部)の前段に設けることにより、変倍処理のデータレートを一定に保つことが記載されているが、変倍処理についての記載が不十分であるため、上記の問題を解決することはできない。
However, in the prior art as described above, in order to keep the data rate after scaling processing constant, it is necessary to provide a frame memory for changing the data rate before the scaling circuit, which increases power consumption and generates heat. There are problems such as increase, circuit scale expansion, device enlargement, and cost increase. In
本発明は、上記課題を鑑みてなされたものであり、データレート変更用のフレームメモリを設けることなく、複数回に分けて変倍処理を行なうことにより変倍処理後のデータレートを一定に保つことができる電子内視鏡用プロセッサ装置及び画像処理システムを提供することを目的とする。 The present invention has been made in view of the above problems, and maintains a constant data rate after scaling processing by performing scaling processing in multiple steps without providing a frame memory for changing the data rate. An object of the present invention is to provide an electronic endoscope processor device and an image processing system.
上記目的を達成するために、本発明の電子内視鏡用プロセッサ装置は、電子内視鏡から入力されるフリーズ信号に応じて、前記電子内視鏡から入力される画像信号を静止画像として記憶する画像記憶手段と、前記電子内視鏡から入力される電子ズーム操作信号に応じて、前記画像記憶手段から同一の静止画像を、電子ズーム倍率に応じた回数以上出力させる制御手段と、前記電子内視鏡から入力される画像信号を取り込んで画像処理を行うとともに、前記画像記憶手段から静止画像が出力された際には、該静止画像を取り込んで画像処理を行う画像処理手段と、前記画像記憶手段から複数回出力される各静止画像に基づき、前記出力回数に分けて変倍処理を行い、前記出力回ごとに変倍画像の部分データを生成する変倍処理手段と、前記変倍処理手段により生成される各部分データを所定の領域に記憶して1つの変倍画像とする変倍画像記憶手段と、を備えたことを特徴とする。 In order to achieve the above object, the processor device for an electronic endoscope of the present invention stores an image signal input from the electronic endoscope as a still image according to a freeze signal input from the electronic endoscope. Image storage means, control means for outputting the same still image from the image storage means more than the number of times corresponding to the electronic zoom magnification in response to an electronic zoom operation signal input from the electronic endoscope, and the electronic An image processing unit that captures an image signal input from an endoscope and performs image processing; and when a still image is output from the image storage unit, an image processing unit that captures the still image and performs image processing; and the image Based on each still image output from the storage means a plurality of times, scaling processing is performed for each of the output times, and scaling processing means for generating partial data of the scaled image for each output time; and the scaling Characterized by comprising a variable magnification image storage means to one of the scaled image by storing each partial data in a predetermined area generated by the management unit.
なお、前記部分データは、水平ラインを単位として区分されたものであることが好ましい。 The partial data is preferably divided in units of horizontal lines.
また、前記画像処理手段は、前記画像記憶手段から取り込んだ静止画像を、前記電子内視鏡から入力される画像信号の場合とは異なる画像処理パラメータに基づいて画像処理を行うことが好ましい。 Further, it is preferable that the image processing unit performs image processing on a still image taken from the image storage unit based on an image processing parameter different from that of an image signal input from the electronic endoscope.
また、本発明の画像処理システムは、操作部から入力されるフリーズ信号に応じて、撮像手段から入力される画像信号を静止画像として記憶する画像記憶手段と、前記操作部から入力される電子ズーム操作信号に応じて、前記画像記憶手段から同一の静止画像を、電子ズーム倍率に応じた回数以上出力させる制御手段と、前記撮像手段から入力される画像信号を取り込んで画像処理を行うとともに、前記画像記憶手段から静止画像が出力された際には、該静止画像を取り込んで画像処理を行う画像処理手段と、前記画像記憶手段から複数回出力される各静止画像に基づき、前記出力回数に分けて変倍処理を行い、前記出力回ごとに変倍画像の部分データを生成する変倍処理手段と、前記変倍処理手段により生成される各部分データを所定の領域に記憶して1つの変倍画像とする変倍画像記憶手段と、を備えたことを特徴とする。 The image processing system according to the present invention includes an image storage unit that stores an image signal input from the imaging unit as a still image in response to a freeze signal input from the operation unit, and an electronic zoom input from the operation unit. In response to an operation signal, the same still image is output from the image storage unit a number of times corresponding to the electronic zoom magnification, and the image signal input from the imaging unit is captured and image processing is performed. When a still image is output from the image storage means, the output processing is divided based on the image processing means for capturing the still image and performing image processing, and each still image output a plurality of times from the image storage means. A scaling process means for performing a scaling process and generating partial data of the scaled image for each output time, and each partial data generated by the scaling process means for a predetermined area Characterized by comprising a variable magnification image storage means to one of the scaled image stored in.
なお、前記部分データは、水平ラインを単位として区分されたものであることが好ましい。 The partial data is preferably divided in units of horizontal lines.
また、前記画像処理手段は、前記画像記憶手段から取り込んだ静止画像を、前記撮像手段から入力される画像信号の場合とは異なる画像処理パラメータに基づいて画像処理を行うことが好ましい。 Further, it is preferable that the image processing unit performs image processing on the still image taken from the image storage unit based on an image processing parameter different from that of the image signal input from the imaging unit.
本発明の電子内視鏡用プロセッサ装置は、画像処理手段から複数回出力される各静止画像に基づき、該出力回数に分けて変倍処理を行い、各出力回ごとに変倍画像の部分データそれぞれを生成し、生成された各部分データを所定の領域に記憶して1つの変倍画像とするので、データレート変更用のフレームメモリを設けることなく、変倍処理後のデータレートを一定に保つことができる。 The processor device for an electronic endoscope of the present invention performs a scaling process by dividing the number of outputs based on each still image output a plurality of times from the image processing means, and partial data of the scaled image at each output time Each is generated, and each generated partial data is stored in a predetermined area to form one scaled image. Therefore, the data rate after scaling processing is kept constant without providing a frame memory for changing the data rate. Can keep.
図1において、電子内視鏡装置2は、電子内視鏡10、プロセッサ装置11、光源装置12などから構成される。電子内視鏡10は、体腔内に挿入される可撓性の挿入部14と、挿入部14の基端部分に連設された操作部15と、プロセッサ装置11及び光源装置12に接続されるユニバーサルコード16とを備えている。
In FIG. 1, the
挿入部14の先端には、CCD型固体撮像素子40(以下、単にCCD40と言う)(図3参照)を内蔵した先端部17が連設されている。先端部17の後方には、複数の湾曲駒を連結した湾曲部18が設けられている。湾曲部18は、操作部15に設けられたアングルノブ19が操作されて、挿入部14内に挿設されたワイヤが押し引きされることにより、上下左右方向に湾曲動作する。これにより、先端部17が体腔内の所望の方向に向けられる。
A
ユニバーサルコード16の基端は、コネクタ20に連結されている。コネクタ20は、複合タイプのものであり、コネクタ20にはプロセッサ装置11が接続される他、光源装置12が接続される。
The base end of the
プロセッサ装置11は、CCD40から出力される画像信号を受信し、受信した画像信号に各種信号処理を施す。プロセッサ装置11で処理が施された画像信号は、プロセッサ装置11にケーブル接続されたモニタ21に観察像として表示される。また、プロセッサ装置11は、光源装置12と電気的に接続され、電子内視鏡装置2の動作を統括的に制御する。
The
電子内視鏡10の操作部15には、注射針や高周波メスなどが先端に配された各種処置具が挿通される鉗子口22、光源装置12に内蔵された送気送水装置(図示せず)から供給される空気や洗浄水による送気送水を行うための送気送水ボタン23、モニタ21に静止画像を表示させるためのフリーズボタン24、静止画像を部分的に拡大表示するためのズームボタン25などが設けられている。
The
プロセッサ装置11の前面には、静止画像にコントラスト強調、輪郭強調、色彩等の強調処理を施すための画像強調実行ボタン、強調処理の条件を設定するための処理条件設定ボタン、光源装置12からの照明光の光量を調整するための光量調整ボタンなどを備えたフロントパネル26が設けられている。
On the front surface of the
図2において、先端部17の端面17aには、観察窓30、照明窓31、鉗子出口32、及び送気送水用ノズル33が設けられている。観察窓30は、先端部17の片側中央に配置されている。照明窓31は、観察窓30に関して対称な位置に2個配され、体腔内の被観察部位に光源装置12からライトガイド63(図3参照)を介して導かれた照明光を照射する。鉗子出口32は、挿入部14内に配設された鉗子チャンネル(図示せず)に接続され、鉗子口22に連通しており、鉗子口22から挿入された処置具の先端が露出される。送気送水用ノズル33は、送気送水ボタン23の操作に応じて送気送水装置から供給される洗浄水や空気を、観察窓30に向けて噴射する。
In FIG. 2, an
図3において、電子内視鏡10の先端部17には、CCD40が内蔵されており、CCD40は、観察窓30に対向して設けられた対物レンズ41の結像位置に配設されている。CCD40は、複数の受光素子(フォトダイオード)が2次元配列されたインターライン転送方式のCCDイメージセンサである。また、CCD40は、カラー撮像方式として単板同時方式が採用されたものであり、受光面には、複数の色セグメントからなるカラーフィルタ(例えば、ベイヤー配列の原色カラーフィルタ)が配置されている。
In FIG. 3, a
電子内視鏡10には、CCD40の他に、アナログ信号処理回路(AFE)42、タイミングジェネレータ(TG)43、CPU44が設けられている。AFE42は、相関二重サンプリング(CDS)回路、プログラマブルゲインアンプ(PGA)、及びA/D変換器により構成されている。CDS回路は、CCD40から出力される画像信号に対して相関二重サンプリング処理を施し、CCD40で生じるリセット雑音及びアンプ雑音の除去を行う。PGAは、CDS回路によりノイズ除去が行われた画像信号を、CPU44から指定された所定の増幅率で増幅する。A/D変換器は、PGAにより増幅された画像信号を、所定のビット数のデジタル信号に変換する。
In addition to the
TG43は、CPU44からの制御に基づき、CCD40の駆動パルス(垂直/水平走査パルス、リセットパルス等)とAFE42用の同期パルスとを発生する。CCD40は、TG43から入力される駆動パルスにより、順次読み出し(プログレッシブスキャン)方式で駆動され、行ごとに順に読み出しを行い、1フレーム分の画像信号(フレームデータ)を周期的に出力する。AFE42から出力されるフレームデータには、同期パルスが付随されて、プロセッサ装置11に入力される。
The
前述のフリーズボタン24及びズームボタン25は、CPU44に接続されている。CPU44は、フリーズボタン24が操作された際には、フリーズ信号FRをプロセッサ装置11内のCPU45に入力する。また、CPU44は、ズームボタン25が操作された際には、電子ズーム倍率を指定する電子ズーム操作信号Zをプロセッサ装置11内のCPU45に入力する。
The
プロセッサ装置11において、電子内視鏡10のAFE42からフレームデータが入力される外部端子46は、第1スイッチ回路47及び第2スイッチ回路48に接続されている。第1スイッチ回路47は、2入力1出力のスイッチ素子であり、一方の入力端子に外部端子46が接続され、他方の入力端子にフレームメモリ49の出力端子が接続されている。第1スイッチ回路47の出力端子は、画像処理回路50の入力端子に接続されている。
In the
第2スイッチ回路48は、1入力1出力のオン/オフスイッチ素子であり、外部端子46とフレームメモリ49との間に接続されている。フレームメモリ49は、第2スイッチ回路48を介して入力されるフレームデータを一時的に記憶するメモリ素子である。第1スイッチ回路47は、画像処理回路50へのフレームデータの入力元を、外部端子46またはフレームメモリ49のいずれかに択一的に切り替える。
The
第2スイッチ回路48は、CPU45の制御に基づき、1フレーム期間の間だけオン状態となり、外部端子46から入力されたフレームデータをフレームメモリ49に入力させる。第1スイッチ回路47は、CPU45の制御に基づき、画像処理回路50へのフレームデータの入力元を切り替える。CPU45は、電子内視鏡10からフリーズ信号FRが入力されたことに応じて、第2スイッチ回路48をオン状態とし、フレームデータをフレームメモリ49に入力し、静止画像として記憶させる。なお、第2スイッチ回路48がオン状態となっている場合には、第1スイッチ回路47の入力は、外部端子46側とされており、外部端子46から入力されるフレームデータは、フレームメモリ49とともに、並行して画像処理回路50にも入力される。
The
また、CPU45は、電子内視鏡10からフリーズ信号FRが入力された後、電子ズーム操作信号Zが入力されたことに応じて、第1スイッチ回路47をフレームメモリ49側に切り替え、フレームメモリ49からフレームデータを複数回連続して読み出して(出力させて)、画像処理回路50に入力させる。連続して読み出された各フレームデータは、後述する変倍処理に用いられる。さらに、CPU45は、電子内視鏡10からフリーズ信号FRが入力された後、フロントパネル26の画像強調実行ボタンが操作されたことに応じて、第1スイッチ回路47をフレームメモリ49側に切り替え、フレームメモリ49からフレームデータを読み出し、画像処理回路50に入力させる。
In addition, after the freeze signal FR is input from the
画像処理回路50は、入力されたフレームデータに対して、色補間、ホワイトバランス調整、ガンマ補正、画像強調などの画像処理を行うものであり、画像処理用パラメータを保持するパラメータレジスタ51が接続されている。画像処理用パラメータは、CPU45によって書き替え可能となっており、動画処理時には動画用パラメータ、静止画処理時には静止画用パラメータとされる。また、画像処理用パラメータは、前述の画像強調実行ボタンの操作に応じて画像強調を行う際には、通常の静止画用パラメータから画像強調用パラメータに書き替えられる。この画像強調用パラメータの内容(画像強調条件)は、フロントパネル26の処理条件設定ボタンの操作により設定される。画像処理回路50は、入力されたフレームデータに対して、パラメータレジスタ51に記憶された画像処理用パラメータに基づいた画像処理を行う。
The
画像処理回路50の出力端子には、1入力2出力の第3スイッチ回路52が接続されている。画像処理回路50から出力されたフレームデータは、第3スイッチ回路52に入力される。第3スイッチ回路52の出力端子の一方には動画用メモリ53が接続されており、他方には変倍回路54を介して静止画用メモリ55が接続されている。第3スイッチ回路52は、CPU45の制御に基づき、画像処理回路50からのフレームデータの出力先を切り替える。CPU45は、画像処理回路50から出力されるフレームデータを静止画像として扱う場合(フリーズ信号FRに応じて画像処理回路50に入力されたフレームデータ、或いは、フレームメモリ49から読み出されたフレームデータである場合)には、第3スイッチ回路52の出力先を変倍回路54側として、フレームデータを変倍回路54に入力する。その他の場合には、CPU45は、画像処理回路50から出力されるフレームデータを動画像として扱い、第3スイッチ回路52の出力先を動画用メモリ53側として、動画用メモリ53に入力する。
A
詳しくは後述するが、変倍回路54は、電子ズーム操作信号Zにより指定される電子ズーム倍率に応じてフレームメモリ49から複数回読み出され、第1スイッチ回路47、画像処理回路50、第3スイッチ回路52を介して入力される各フレームデータに基づき、変倍処理を分割して行い、静止画データの中央部を拡大した変倍画像データを生成する。この変倍画像データは、変倍回路54への入力時と同一のデータレートで変倍回路54から静止画用メモリ55に出力される。なお、変倍回路54は、電子ズーム操作が行われていない場合には、変倍処理を行わずに、入力されたフレームデータをそのまま静止画データとして静止画用メモリ55に出力させる。
As will be described in detail later, the scaling
表示制御回路56は、モニタ21への表示形態に応じて、動画用メモリ53に記憶された動画データ、静止画用メモリ55に記憶された静止画データ(電子ズーム時には変倍画像データ)、画面の周囲をマスクするマスクデータ、日付や患者情報といったキャラクタ情報などを混合し、モニタ21への表示画像を生成する。また、表示制御回路56は、CPU45を介して入力されるフリーズ信号FRに基づいて、親画面マスク70(図4(A)参照)を用いた表示と、親子画面マスク71(図4(B)参照)を用いた表示との間で切り替えを行う。
The
具体的には、表示制御回路56は、フリーズ信号FRが入力される以前は、図4(A)に示す親画面マスク70を用い、動画用メモリ53の動画データに基づいて、動画像の表示を親画面72内に行う。フリーズ信号FRが入力されると、図4(B)に示す親子画面マスク71を用い、静止画用メモリ55の静止画データに基づいて、静止画像の表示を親画面72内に行うとともに、動画用メモリ53の動画データに基づいて、動画像の表示を子画面73内に行う。表示制御回路56は、動画像を子画面73に表示する際、子画面73の大きさに応じて動画データを縮小処理(間引き処理や画素データ平均処理など)する。さらに、表示制御回路56は、フリーズ信号FRの入力に応じて図4(B)の親子画面表示を行った後、所定時間が経過するか、または操作者の指示により、図4(A)の親画面表示に復帰する。
Specifically, before the freeze signal FR is input, the
D/A変換器57は、表示制御回路56により生成された表示画像をアナログ信号に変換してモニタ21に出力する。このようにしてモニタ21には、CCD40により撮像された観察像が表示される。
The D /
光源装置12には、CPU58、光源59、光源ドライバ60、絞り機構61、集光レンズ62などが設けられている。CPU58は、プロセッサ装置11のCPU45と通信し、光源ドライバ60及び絞り機構61の制御を行う。光源59は、キセノンランプやハロゲンランプなどからなり、光源ドライバ60により駆動制御される。絞り機構61は、光源59の光射出側に配置され、集光レンズ62に入射される光量を増減させる。集光レンズ62は、絞り機構61を通過した光を集光して、光源装置12に接続された電子内視鏡10のライトガイド63の入射端に導く。ライトガイド63は、電子内視鏡10の基端から先端部17まで挿通され、出射端が前述の各照明窓31に接続されている。
The
図5において、変倍回路54は、第1のラインバッファ80、第2のラインバッファ81、読み出し制御回路82、水平変倍回路83、垂直変倍回路84、及び書き込み制御回路85、書き込みスイッチ回路86、及び読み出しスイッチ回路87により構成されている。画像処理回路50から第3スイッチ回路52を経由して書き込みスイッチ回路86に入力されるフレームデータは、書き込みスイッチ回路86を経由して第1のラインバッファ80または第2のラインバッファ81に入力される。書き込みスイッチ回路86は、1水平ラインごとに出力先が切り替わり、第1のラインバッファ80または第2のラインバッファ81に書き込み先を替える。第1及び第2のラインバッファ80,81は、FIFOメモリ等から構成されている。
In FIG. 5, the
フレームデータは、図6に示すように、例えば、640×480の画素サイズであり、矢印で示すように上から順に左から右へ画素データの走査が行われ、1行分の画素データ(1水平ラインデータ)ごとに第1のラインバッファ80または第2のラインバッファ81に入力される。この場合には、1水平ラインデータは、図7(A)に示すように、640画素の画素データからなり、第1のラインバッファ80または第2のラインバッファ81へ1水平期間をかけて入力が行われる。
As shown in FIG. 6, the frame data has a pixel size of, for example, 640 × 480, and the pixel data is scanned from the left to the right in order from the top as indicated by the arrows, and one row of pixel data (1 (Horizontal line data) is input to the
図6に示すズーム領域は、電子ズーム倍率と、フレームデータ内において任意に設定されるズーム位置とに基づいて決定された領域であり、電子ズーム倍率をMとすると、ズーム領域の行方向及び列方向の画素数は、それぞれフレームデータの行方向及び列方向の画素数の1/M倍となる。ズーム倍率が2倍の場合には、ズーム領域は、320×240の画素サイズとなる。なお、ズーム位置は、変倍処理を開始する水平ラインの位置と、第1及び第2のラインバッファ80,81のアドレス位置とを変更することで任意に設定することができる。 The zoom area shown in FIG. 6 is an area determined based on the electronic zoom magnification and a zoom position arbitrarily set in the frame data. When the electronic zoom magnification is M, the row direction and the column of the zoom area are shown. The number of pixels in the direction is 1 / M times the number of pixels in the row direction and the column direction of the frame data, respectively. When the zoom magnification is 2, the zoom area has a pixel size of 320 × 240. The zoom position can be arbitrarily set by changing the position of the horizontal line where the scaling process is started and the address positions of the first and second line buffers 80 and 81.
読み出しスイッチ回路87は、第1及び第2のラインバッファ80,81のうち、書き込みスイッチ回路86が選択しているラインバッファとは逆のラインバッファを選択する。具体的には、書き込みスイッチ回路86が第1のラインバッファ80を選択しているときは、読み出しスイッチ回路87は第2のラインバッファ81を選択する。逆に、書き込みスイッチ回路86が第2のラインバッファ81を選択しているときは、読み出しスイッチ回路87は第1のラインバッファ80を選択する。このようにすることで、変倍回路54に入力される画像データのデータレートと、後述する変倍回路54内のラインバッファ内のズーム領域データの読み出しのデータレートとの差を吸収している。
The
読み出し制御回路82は、第1のラインバッファ80または第2のラインバッファ81からのズーム領域データの読み出しを制御する。具体的には、読み出し制御回路82は、第1のラインバッファ80または第2のラインバッファ81から読み出す画素データの読み出し領域とデータレートとを、電子ズーム倍率及びそのズーム領域に応じて変更するものである。読み出し領域は、ズーム領域に相当する第1のラインバッファ80および第2のラインバッファ81のメモリアドレスの範囲である。読み出し制御回路82は、第1のラインバッファ80または第2のラインバッファ81への入力時のデータレートをRi、第1のラインバッファ80または第2のラインバッファ81からの出力時のデータレートをRo、電子ズーム倍率をMとすると、Ro=Ri/Mの関係式を満たすように制御を行う。
The
読み出し制御回路82により第1のラインバッファ80または第2のラインバッファ81から読み出されたズーム領域データは、画素データごとに順次に水平変倍回路83に入力される。例えば、電子ズーム倍率が2倍の場合には、図7(B)に示すように、第1のラインバッファ80または第2のラインバッファ81に記憶された1水平ラインデータの中からズーム領域に相当するデータを、読み出し制御回路82により、入力時の1/2倍のデータレートで読み出す。
The zoom area data read from the
水平変倍回路83は、第1のラインバッファ80または第2のラインバッファ81から出力されたズーム領域データの水平変倍処理を行う。具体的には、水平変倍回路83は、画素データに基づいて線形補間を行い、CPU45から指定される電子ズーム倍率に応じた数だけ補間データを生成することにより、1水平ライン分の画素データを生成する。
The
図11において、水平変倍回路83は、二点補間方式の変倍回路であり、水平変倍メモリ90、第1の水平変倍重み付け回路91、第2の水平変倍重み付け回路92、水平変倍加算回路93で構成されている。
In FIG. 11, a
電子ズーム倍率が2倍の場合の水平変倍回路83内の信号の流れを、図12及び図13に順に示す。図12(A)において、水平変倍回路83に画素データD1が入力されると、画素データD1は、水平変倍メモリ90に記憶される。次に、図12(B)において、水平変倍回路83に画素データD2が入力されると、画素データD2は、第2の水平変倍重み付け回路92に入力される。このとき、第2の水平変倍重み付け回路92では、後述する補正係数αにより重み付けが“0”とされ、画素データD2は、水平変倍加算回路93へは入力されない。これと同時に、水平変倍メモリ90に記憶された画素データD1が読み出され、第1の水平変倍重み付け回路91に入力される。このとき、第1の水平変倍重み付け回路91では、補正係数αにより重み付けが“1”とされ、水平変倍加算回路93に入力される。水平変倍加算回路93は、第1の水平変倍重み付け回路91を経由して入力された画素データD1を出力する。
The flow of signals in the
次に、図12(C)において、補正係数αの値が変更される。画素データD1は、水平変倍メモリ90から読み出され、第1の水平変倍重み付け回路91により、重み付けが“0.5”とされて水平変倍加算回路93に入力される。このとき、画素データD2は、第2の水平変倍重み付け回路92により、重み付けが“0.5”とされて水平変倍加算回路93に入力される。水平変倍加算回路93は、重み付けされた画素データD1およびD2を加算し、補間データH1を出力する。
Next, in FIG. 12C, the value of the correction coefficient α is changed. The pixel data D1 is read from the
次に、図13(A)において、補正係数αの値が変更され、図12(B)の場合と同じ値となる。画素データD2が水平変倍メモリ90に記憶されるとともに、画素データD3が水平変倍回路83に入力される。画素データD2は、水平変倍メモリ90から第1の水平変倍重み付け回路91を経由し、重み付け“1”で水平変倍加算回路93に入力される。このとき、画素データD3は、第2の水平変倍重み付け回路92にて、重み付けが“0”とされ、水平変倍加算回路93には入力されない。水平変倍加算回路93は、第1の水平変倍重み付け回路91を経由して入力された画素データD2を出力する。
Next, in FIG. 13A, the value of the correction coefficient α is changed to the same value as in FIG. The pixel data D2 is stored in the
次に、図13(B)において、補正係数αの値が変更され、図12(C)の場合と同じ値になる。画素データD2は、第1の水平変倍重み付け回路91により、重み付けが“0.5”とされて水平変倍加算回路93に入力される。画素データD3は、第2の水平変倍重み付け回路92により、重み付けが“0.5”とされて水平変倍加算回路93に入力される。水平変倍加算回路93は、重み付けされた画素データD2およびD3を加算し、補間データH2を出力する。このように、電子ズームの倍率が2倍の場合には、水平変倍回路83に入力される画素データと水平変倍回路83の出力との関係は、図10(A)に示すようになる。
Next, in FIG. 13B, the value of the correction coefficient α is changed to the same value as in FIG. The pixel data D <b> 2 is input to the horizontal
電子ズームの倍率が3倍の場合の水平変倍回路83内の信号の流れを、図14及び図15に順に示す。図14(A)〜(C)の信号の流れは、図12(A)〜(C)の信号の流れと同じであるため、説明を省略する。図14(C)に示す補間処理の後に、図15(A)に示す補間処理が行なわれる。図14(C)の場合と図15(A)の場合とは、第1の水平変倍重み付け回路91と第2の水平変倍重み付け回路92とが行なう信号への重み付けのみが異なっており、図14(C)の場合には、水平変倍加算回路93からは補間データH1aが出力され、図15(A)の場合には、水平変倍加算回路93からは補間データH1bが出力される。電子ズームが3倍の場合には、水平変倍回路83に入力される画素データと水平変倍回路83の出力との関係は、図10(B)に示すようになる。
The flow of signals in the
二点補間方式の場合、画素データをDi(=D1,D2,・・・)とすると、水平変倍加算回路93から出力されるデータDhは、次式で表される。
Dh=α×Di+(1−α)×Di+1 αは補間係数
ここで、第1の水平変倍重み付け回路91による重み付け係数は“α”、第2の水平変倍重み付け回路92による重み付け係数は“1−α”である。補間係数αは、CPU45から指定される。CPU45は、電子ズームの倍率と、変倍処理後の画素データ位置に応じて補間係数αを変更する。例えば、上記のように電子ズーム倍率が2倍の場合には、CPU45は、奇数行の画素処理時にはα=1、偶数行の画素処理時にはα=0.5とする。電子ズーム倍率が2倍の例である図12及び図13の場合、水平変倍加算回路93から出力される各データDhは次のようになる。図12(C)及び図13(B)は偶数行の画素処理の場合であるためα=0.5であり、データDhはそれぞれ、
Dh=0.5×D1+0.5×D2=H1
Dh=0.5×D2+0.5×D3=H2
となる。一方、図12(B)及び図13(A)は奇数行の画素処理時の場合であり、データDhはそれぞれ、
Dh=1×D1+0×D2=D1
Dh=1×D3+0×D4=D3
となる。
In the case of the two-point interpolation method, if the pixel data is D i (= D1, D2,...), The data Dh output from the horizontal
Dh = α × D i + (1−α) × D i + 1 α is an interpolation coefficient, where the weighting coefficient by the first horizontal
Dh = 0.5 × D1 + 0.5 × D2 = H1
Dh = 0.5 × D2 + 0.5 × D3 = H2
It becomes. On the other hand, FIGS. 12 (B) and 13 (A) show the case of pixel processing on odd rows, and the data Dh is respectively
Dh = 1 × D1 + 0 × D2 = D1
Dh = 1 × D3 + 0 × D4 = D3
It becomes.
また、電子ズーム倍率が3倍の場合には、CPU45は、画素データ処理時にはα=1、第1回目の補間処理時にはα=0.66、第2回目の補間処理時にはα=0.33とする。電子ズーム倍率が3倍の例である図14及び図15の場合、水平変倍加算回路93から出力される各データDhは次のようになる。図14(C)は、第1回目の補間処理時であるためα=0.66であり、
Dh=0.66×D1+0.34×D2=H1a
となる。図15(A)は、第2回目の補間処理時であるためα=0.33であり、
Dh=0.33×D1+0.67×D2=H1b
となる。さらに、図14(B)及び図15(B)は、画素データ処理時であるためα=1であり、それぞれ、
Dh=1×D1+0×D2=D1
Dh=1×D2+0×D3=D2
となる。
When the electronic zoom magnification is 3, the
Dh = 0.66 × D1 + 0.34 × D2 = H1a
It becomes. In FIG. 15A, α = 0.33 because it is during the second interpolation process.
Dh = 0.33 × D1 + 0.67 × D2 = H1b
It becomes. Further, FIG. 14B and FIG. 15B are α = 1 because the pixel data is being processed,
Dh = 1 × D1 + 0 × D2 = D1
Dh = 1 × D2 + 0 × D3 = D2
It becomes.
以上のように構成された水平変倍回路83は、ズーム領域の画素データが入力されるたびに順次に補間データを生成し、入力画素データ数の電子ズーム倍率倍(M倍)の画素データを出力するため、出力時のデータレートは入力時のM倍となる。例えば、電子ズーム倍率が2倍の場合には、図7(C)に示すように、入力時の2倍のデータレートで水平変倍回路83から出力される。したがって、水平変倍回路83からの出力データのデータレートは、第1のラインバッファ80または第2のラインバッファ81への入力データのデータレートと同一となる。
The
水平変倍回路83から出力された水平変倍後の1水平ラインデータは、画素データごとに、垂直変倍回路84に入力される。垂直変倍回路84は、水平変倍回路83と同様に、例えば二点補間方式の変倍回路であり、図16に示すように、垂直変倍ラインメモリ96、第1の垂直変倍重み付け回路97、第2の垂直変倍重み付け回路98、垂直変倍加算回路99により構成されている。垂直変倍ラインメモリ96は、1行分の画像データを記憶するFIFOメモリからなる。
One horizontal line data after horizontal scaling output from the
電子ズーム倍率が2倍の場合の垂直変倍回路84内の信号の流れを図17及び図18に順に示す。図17(A)において、垂直変倍回路84に、水平変倍後の水平ラインデータL1が入力されると、水平ラインデータL1は垂直変倍ラインメモリ96に記憶される。次に、図17(B)において、垂直変倍回路84に水平ラインデータL2が入力されると、水平ラインデータL2は、第2の垂直変倍重み付け回路98に入力される。このとき、第2の垂直変倍重み付け回路98では、後述する補正係数βにより重み付けが“0”とされ、水平ラインデータL2は、垂直変倍加算回路99には入力されない。これと同時に、垂直変倍ラインメモリ96に記憶された水平ラインデータL1が読み出され、第1の垂直変倍重み付け回路97に入力される。このとき、第1の垂直変倍重み付け回路97では、補正係数βにより重み付けが“1”とされ、垂直変倍加算回路99に入力される。垂直変倍加算回路99は、第1の垂直変倍重み付け回路97を経由して入力された水平ラインデータL1を出力する。
The flow of signals in the
次に、図17(C)において、補正係数βの値が変更される。水平ラインデータL1は、垂直変倍ラインメモリ96から読み出され、第1の垂直変倍重み付け回路97により、重み付けが“0.5”とされて垂直変倍加算回路99に入力される。このとき、水平ラインデータL2は、第2の垂直変倍重み付け回路98により、重み付けが“0.5”とされて垂直変倍加算回路99に入力される。垂直変倍加算回路99は、重み付けされた水平ラインデータL1およびL2を加算し、補間データ(L1,L2)を出力する。
Next, in FIG. 17C, the value of the correction coefficient β is changed. The horizontal line data L1 is read from the vertical
次に、図18において、補正係数βの値が変更され、図17(B)の場合と同じ値となる。水平ラインデータL2が垂直変倍ラインメモリ96に記憶されるとともに、水平ラインデータL3が垂直変倍回路84に入力される。図18の場合の処理は、図17(B)の場合と同様であるため、説明を省略する。
Next, in FIG. 18, the value of the correction coefficient β is changed to the same value as in FIG. The horizontal line data L2 is stored in the vertical
垂直変倍回路84内の第1の垂直変倍重み付け回路97と第2の垂直変倍重み付け回路98との重み付け回路の動作は、基本的に水平変倍回路83内の第1の水平変倍重み付け回路91と第2の水平変倍重み付け回路92と同等である。しかし、垂直変倍回路84はラインデータの補間データの作成は行なうが、水平変倍回路83のようなデータレートの変更(データ数の増加処理)は行なわない。ライン数の増加処理は、書き込み制御回路85により、複数回に分けて静止画用メモリ55に書き込むことで行なっている。
The operation of the weighting circuits of the first vertical
水平変倍回路83と同様に二点補間方式の場合、水平ラインデータをLi(=L1,L2,・・・)とすると、垂直変倍加算回路99から出力される水平ラインデータLhは、次式で表される。
Lh=β×Li+(1−β)×Li+1 βは補間係数
ここで、第1の垂直変倍重み付け回路97による重み付け係数は“β”、第2の垂直変倍重み付け回路98による重み付け係数は“1−β”である。補間係数βは、CPU45から指定される。CPU45は、電子ズームの倍率とフレームメモリ49からのフレームデータの読み出し回数に応じて補間係数βを変更する。例えば、上記のように電子ズーム倍率が2倍の場合には、CPU45は、フレームメモリ49からのフレームデータの読み出し回数が第1回目の処理時にはβ=1、フレームデータの読み出し回数が第2回目の間処理時にはβ=0.5とする。電子ズーム倍率が2倍の例である図17及び図18の場合、垂直変倍加算回路99から出力される各データLhは次のようになる。図17(B)及び図18は、フレームデータの読み出し回数が第1回目の処理時であるためβ=1であり、データLhはそれぞれ、
Lh=1×L1+0×L2=L1
Lh=1×L2+0×L3=L2
となる。一方、図17(C)は、フレームデータの読み出し回数が第2回目の処理時であるためβ=0.5であり、データLhは
Lh=0.5×L1+0.5×L2=補間データ(L1,L2)
となる。
Similarly to the
Lh = β × L i + (1−β) × L i + 1 β is an interpolation coefficient, where the weighting coefficient by the first vertical
Lh = 1 × L1 + 0 × L2 = L1
Lh = 1 × L2 + 0 × L3 = L2
It becomes. On the other hand, in FIG. 17C, β = 0.5 because the number of times frame data is read is the second time, and the data Lh is Lh = 0.5 × L1 + 0.5 × L2 = interpolated data ( L1, L2)
It becomes.
また、電子ズーム倍率が3倍の場合には、CPU45は、フレームメモリ49からのフレームデータの読み出し回数が第1回目の処理時にはβ=1、フレームデータの読み出し回数が第2回目の間処理時にはβ=0.66、フレームデータの読み出し回数が第3回目の間処理時にはβ=0.33とする。フレームデータの読み出し回数が第1回目の処理時の垂直変倍加算回路99の出力は、順に、
Lh=1×L1+0×L2=L1
Lh=1×L2+0×L3=L2
Lh=1×L3+0×L4=L3
となる。フレームデータの読み出し回数が第2回目の処理時の垂直変倍加算回路99の出力は、順に、
Lh=0.66×L1+0.34×L2=補間データ(L1,L2)
Lh=0.66×L2+0.34×L3=補間データ(L2,L3)
Lh=0.66×L3+0.34×L4=補間データ(L3,L4)
となる。そして、フレームデータの読み出し回数が第3回目の処理時の垂直変倍加算回路99の出力は、順に、
Lh=0.33×L1+0.67×L2=補間データ(L1,L2)
Lh=0.33×L2+0.67×L3=補間データ(L2,L3)
Lh=0.33×L3+0.67×L4=補間データ(L3,L4)
となる。
When the electronic zoom magnification is 3 times, the
Lh = 1 × L1 + 0 × L2 = L1
Lh = 1 × L2 + 0 × L3 = L2
Lh = 1 × L3 + 0 × L4 = L3
It becomes. The output of the vertical
Lh = 0.66 × L1 + 0.34 × L2 = interpolation data (L1, L2)
Lh = 0.66 × L2 + 0.34 × L3 = interpolation data (L2, L3)
Lh = 0.66 × L3 + 0.34 × L4 = interpolation data (L3, L4)
It becomes. The output of the vertical
Lh = 0.33 × L1 + 0.67 × L2 = interpolation data (L1, L2)
Lh = 0.33 × L2 + 0.67 × L3 = interpolation data (L2, L3)
Lh = 0.33 × L3 + 0.67 × L4 = interpolation data (L3, L4)
It becomes.
変倍処理時にフレームメモリ49から読み出されるフレームデータの読み出し回数は、電子ズーム倍率に応じて変更され、電子ズーム倍率が3倍の場合には少なくとも3回、電子ズーム倍率が4倍の場合には少なくとも4回、・・・となる。
The number of times frame data is read from the
書き込み制御回路85は、CPU45の制御に基づき、静止画用メモリ55の記憶領域を、上記フレームデータの読み出し回数に応じた数の領域に区分し、垂直変倍回路84から出力された水平ラインデータを、読み出し回数に対応した所定の領域に書き込む。例えば、電子ズーム倍率が2倍の場合には、書き込み制御回路85は、図8及び図19に示すように、静止画用メモリ55の記憶領域55aを、奇数ライン領域55b及び偶数ライン領域55cの2つの領域に区分し、第1回目のフレームデータの読み出しに対応して垂直変倍回路84から出力される水平ラインデータを奇数ライン領域55bに書き込み、第2回目のフレームデータの読み出しに対応して垂直変倍回路84から出力される水平ラインデータを偶数ライン領域55cに書き込む。記憶領域55aは、1フレーム分の領域であり、そのうちの奇数行が奇数ライン領域55b、偶数行が偶数ライン領域55cに対応する。以上の処理により、記憶領域55aには、変倍処理後の画素データが、変倍回路54への入力時と同一のデータレートで書き込まれる。
The
電子ズーム倍率が3倍の場合には、フレームメモリ49からフレームデータが3回以上読み出される。書き込み制御回路85は、図20に示すようにフレームメモリ49からの読み出しが第1回目の時の垂直変倍回路84の出力を第1番目の処理ライン55dに書き込む。次に、フレームメモリ49からの読み出しが第2回目の時の垂直変倍回路84の出力を、第2番目の処理ライン55eに書き込む。そして、フレームメモリ49からの読み出しが第3回目の時の垂直変倍回路84の出力を、第3番目の処理ライン55fに書き込む。
When the electronic zoom magnification is 3, the frame data is read from the
次に、上記のように構成された電子内視鏡装置2の作用について、図9に示すタイミングチャートを参照しながら説明を行う。電子内視鏡装置2を用いて体腔内を観察する際には、電子内視鏡10、プロセッサ装置11、光源装置12、及びモニタ21の電源をオンにして、電子内視鏡10の挿入部14を体腔内に挿入し、光源装置12からの照明光で体腔内を照明しながら、CCD40により撮像される体腔内の観察像をモニタ21で観察する。このとき、CCD40は、撮像動作を1フレーム期間ごとに繰り返し行い、フレームデータを周期的に出力する。
Next, the operation of the
CCD40から出力されたフレームデータは、AFE42を介して外部端子46からプロセッサ装置11に入力される。外部端子46から入力されたフレームデータは、第1スイッチ回路47を介して、画像処理回路50に入力される(図9の第1、第2フレーム期間)。画像処理回路50に入力されたフレームデータは、画像処理が行われ、第3スイッチ回路52を介して動画用メモリ53に書き込まれる。このとき、モニタ21には、親画面マスク70を用いた、親画面72への動画像表示が行われる。
The frame data output from the
フリーズボタン24の操作が行われ、フリーズ信号FRがCPU45に入力されると(図9の第2フレーム期間)、第2スイッチ回路48がオン状態とされ、外部端子46から入力されたフレームデータがフレームメモリ49に静止画像として記憶される(図9の第3フレーム期間)。このとき、フレームメモリ49に記憶されるフレームデータは、画像処理回路50にも並行して入力され、画像処理が行われた後、第3スイッチ回路52を介して変倍回路54に入力される。この第3フレーム期間では、変倍回路54は変倍動作を行わず、電子ズーム倍率が1倍のフレームデータが静止画用メモリ55に記憶される。モニタ21には、親子画面マスク71を用い、親画面72への静止画像表示とともに、子画面73への動画像表示が行われる。
When the
この状態でズームボタン25の操作が行われ、電子ズーム操作信号ZがCPU45に入力されると(図9の第11フレーム期間)、第1スイッチ回路47の入力先がフレームメモリ49側に切り替えられ、電子ズーム倍率に応じた回数だけフレームメモリ49に記憶されたフレームデータが読み出されて、画像処理回路50に入力される(図9の第12、第13フレーム期間)。図9は、電子ズーム倍率が2倍の場合を例示しており、この場合には、フレームメモリ49に記憶されたフレームデータ(第3フレーム期間のフレームデータ)が連続して少なくとも2回読み出される。このとき、外部端子46から入力されたフレームデータは画像処理回路50に入力されず、フレームメモリ49から読み出されたフレームデータにより、いわゆるサイクルスチールが行われる。また、サイクルスチール時は、動画と静止画の識別を容易にするため、画像に先立ち識別フラグをつけても良い。
When the
サイクルスチールにより画像処理回路50に入力されたフレームデータは、画像処理が行われた後、第3スイッチ回路52を介して変倍回路54に入力される。変倍回路54では、まず、フレームデータが1水平ラインずつ第1のラインバッファ80と第2のラインバッファ81とに交互に入力され、第1のラインバッファ80または第2のラインバッファ81に記憶された1水平ラインデータのうちのズーム領域データが、読み出し制御回路82により1/2倍のデータレートに変更されて読み出される。1/2倍のデータレートで読み出されたズーム領域データは、水平変倍回路83に順次に入力される。水平変倍回路83では、入力されたズーム領域データが補間処理により2倍のデータ量に引き伸ばされ、その結果、1水平ライン分の画素データが生成される。
The frame data input to the
水平変倍回路83から出力された水平変倍後の1水平ラインデータは、垂直変倍回路84に入力される。垂直変倍回路84内には、垂直変倍ラインメモリ96があり、入力された水平変倍後の1水平ラインデータを記憶する。垂直変倍ラインメモリ96に1水平ラインデータが記憶された後、水平変倍回路83により水平変倍された次の1水平ラインデータが垂直変倍回路84に入力される。垂直変倍ラインメモリ96に記憶されたデータは、第1の垂直変倍重み付け回路97を経由して垂直変倍加算回路99に入力される。一方、水平変倍回路83から出力された水平変倍後の1水平ラインデータは、第2の垂直変倍重み付け回路98を経由して垂直変倍加算回路99に入力され、垂直変倍加算回路99により加算される。
One horizontal line data after horizontal scaling output from the
垂直変倍回路84は、データレートを変えないように、入力された2つの水平ラインの画素データから1つの補間データを、前述の関係式により算出する。第12フレーム期間では、補間係数βが1とされて補間処理が行われ、垂直変倍回路84からの出力データは、書き込み制御回路85により、静止画用メモリ55の記憶領域55a中の奇数ライン領域55bに書き込まれる。この場合、β=1であるため、実質的には補間処理は行われず、垂直変倍回路84への入力データがそのまま奇数ライン領域55bに書き込まれる。続く第13フレーム期間では、補間係数βが0.5とされて補間処理が行われ、垂直変倍回路84からの出力データは、書き込み制御回路85により、記憶領域55a中の偶数ライン領域55cに書き込まれる。この場合、β=0.5であるため、列方向に隣接する画素データ間における補間データが生成されて、偶数ライン領域55cに書き込まれる。
The
このように、垂直変倍処理は、同一のフレームデータに基づき、第12及び第13フレーム期間の2回に分割して行われ、各フレーム期間に生成された変倍画像の部分データが静止画用メモリ55の奇数ライン領域55b及び偶数ライン領域55cにそれぞれ書き込まれる。静止画用メモリ55には、各部分データが合成された1枚の変倍画像が記憶される。第14フレーム期間以降は、この変倍画像が親画面72に静止画表示される。
As described above, the vertical scaling process is performed in two steps of the twelfth and thirteenth frame periods based on the same frame data, and the partial data of the scaled image generated in each frame period is a still image. The data is written in the
この後、フロントパネル26の画像強調実行ボタンが操作された場合には、フレームメモリ49に記憶されたフレームデータが再度読み出され、第1スイッチ回路47を介して画像処理回路50に入力される。このとき、パラメータレジスタ51内の画像処理用パラメータが画像強調用パラメータに書き替えられ、画像処理回路50により画像強調が行われる。フレームメモリ49からは同様にフレームデータが複数回読み出され、画像処理回路50により画像強調が行われた後、第3スイッチ回路52を介して変倍回路54に入力される。変倍回路54では、上記の変倍処理が行われ、画像強調が施された変倍画像が静止画用メモリ55に記憶される。そして、上記変倍画像に代えて、画像強調が施された変倍画像が親画面72に静止画表示される。勿論、ズーム操作を行う前に画像強調ボタンを操作することも可能となっており、ズーム操作の前に画像強調ボタンが操作された場合には、画像強調が施されたフレームデータが変倍されずに静止画用メモリ55に記憶される。
Thereafter, when the image enhancement execution button on the
以上、電子ズーム倍率が2倍の場合を例示して説明を行っているが、電子ズーム倍率を他の倍率に設定することも可能である。電子ズーム倍率がN倍(N:整数)とされた場合には、フレームメモリ49から同一のフレームデータ(静止画像)が少なくともN回出力され、変倍回路54では、該出力回数(N回)に分けて変倍処理が行われ、各出力回ごとに変倍画像の部分データが生成される。静止画用メモリ55の記憶領域55aは、水平ラインを単位としてN個の領域(上記の例では、奇数ライン領域55bと偶数ライン領域55c)に区分され、各領域に上記の部分データが書き込まれることで、1つの変倍画像が合成される。
The case where the electronic zoom magnification is 2 has been described above as an example, but it is also possible to set the electronic zoom magnification to another magnification. When the electronic zoom magnification is N times (N: integer), the same frame data (still image) is output from the
次に、本発明の別の実施形態を図21に示す。図21において、本実施形態の変倍回路100は、水平変倍回路83と垂直変倍回路84の間に、水平出力スイッチ回路101、第3ラインバッファ102、第4ラインバッファ103、垂直入力スイッチ回路104が設けられている点のみが上記実施形態の変倍回路54と異なる。
Next, another embodiment of the present invention is shown in FIG. In FIG. 21, the zoom circuit 100 of this embodiment includes a horizontal
変倍回路100にフレームデータが入力されると、書き込みスイッチ回路86により、第1のラインバッファ80または第2のラインバッファ81に交互に1水平ラインデータが入力される。読み出しスイッチ回路87は、書き込みスイッチ回路86が選択しているラインバッファとは逆側のラインバッファを選択し、第1のラインバッファ80または第2のラインバッファ81に記憶された1水平ラインデータのうちのズーム領域データが、読み出し制御回路82により読み出される。このとき、ラインバッファからは、入力時のデータレートと同じデータレートで読み出しが行われ、読み出された1水平ラインデータは水平変倍回路83に入力される。電子ズーム倍率が2倍の場合には、水平変倍回路83から出力されるデータ量は、水平変倍回路83に入力されたデータ量の2倍となり、ズーム領域の読み出し期間に水平変倍後のデータが出力されるため、2倍のデータレートとなる。
When frame data is input to the scaling circuit 100, one horizontal line data is alternately input to the
水平出力スイッチ回路101は、1水平ラインごとに第3のラインバッファ102または第4のラインバッファ103を交互に選択し、水平変倍回路83から出力される1水平ラインデータを第3のラインバッファ102または第4のラインバッファ103に入力する。垂直入力スイッチ回路104は、水平出力スイッチ回路100が選択しているラインバッファとは逆側のラインバッファを選択する。第3のラインバッファ102または第4のラインバッファ103に記憶されたデータは、変倍回路100に入力された画像データと同じデータレートで読み出され、垂直変倍回路84に入力される。このように、書き込みと読み出しのラインバッファを分離することで、データレートの差を吸収している。他の動作は、図5により説明した動作と同じであるので説明を省略する。
The horizontal
以上説明したように、本発明のプロセッサ装置は、静止画データの再処理用として画像処理回路50の前段に設けられたフレームメモリ49を利用し、電子ズーム倍率に応じて、フレームメモリ49に記憶された同一のフレームデータを変倍回路54(または変倍回路100)に複数回入力し、入力された回数に分けて変倍処理を行うことにより、静止画用メモリ55へ出力する画素データのデータレートを、電子ズーム倍率に依らず一定としている。このため、従来のように、変倍回路54(または変倍回路100)の前段にデータレート変更用のフレームメモリを設ける必要がなく、消費電力の低下、発熱の低下、回路規模の拡大防止、装置の小型化や、コストの削減を図ることができる。
As described above, the processor device of the present invention uses the
また、本発明では、常に静止画の全画像を画像処理回路50で画像処理を行なってから変倍回路54,100に入力しているため、カーネルサイズの大きなローパスフィルタを画像処理回路50に用いて電子ズーム倍率を変化させても、画質に影響を与えないといったメリットも合わせ持つ。
In the present invention, since all still images are always processed by the
なお、上記実施形態では、水平変倍回路83の前段に第1のラインバッファ80および第2のラインバッファ81を設け、読み出し制御回路82によりデータレートの変更を行っているが、本発明はこれに限定されるものではなく、第1のラインバッファ80、第2のラインバッファ81、及び読み出し制御回路82を設けずに、画像処理回路50から第3スイッチ回路52を介して変倍回路54(または変倍回路100)に入力されたフレームデータを、画素データごとに水平変倍回路83に直接入力するように構成しても良い。この場合には、水平変倍回路83においても、垂直変倍回路84と同様に、複数回に分けた変倍処理が必要となる。例えば、電子ズーム倍率が2倍の場合には、水平変倍回路83と垂直変倍回路84とのそれぞれに対して、同一のフレームデータを2回入力する必要があり、フレームメモリ49から合計4回以上の読み出しが必要となる。
In the above embodiment, the
また、上記実施形態では常に静止画の全画像を画像処理回路50で画像処理を行なってから、変倍回路54(または変倍回路100)に入力しているため、変倍回路54(または変倍回路100)を複数用いることで異なる電子ズーム倍率の画像を得ることも可能である。
In the above embodiment, since all still images are always processed by the
また、上記実施形態では、書き込み制御回路85は、電子ズーム倍率に応じて、静止画用メモリ55の記憶領域55aを、水平ラインを単位として区分しているが、本発明はこれに限定されるものではなく、さらに水平ラインを分割するように記憶領域55aを区分しても良い。
In the above embodiment, the
また、上記実施形態では説明を簡単にするため電子ズーム倍率を整数にしているが、本発明は、電子ズームの倍率が整数でない場合にも適用可能である。電子ズーム倍率が1未満の場合には、フレームメモリ49からの読み出し回数は1回。電子ズーム倍率が1倍以上2倍未満の場合には、フレームメモリ49からの読み出し回数は2回。電子ズーム倍率が2倍以上3倍未満の場合には、フレームメモリ49からの読み出し回数は3回。以上のようにフレームメモリ49からの読み出し回数を変更することで、任意のズーム倍率の処理が可能である。
Further, in the above embodiment, the electronic zoom magnification is an integer for simplicity of explanation, but the present invention can also be applied when the electronic zoom magnification is not an integer. When the electronic zoom magnification is less than 1, the number of times of reading from the
また、上記実施形態では、図6に示すように、ズーム領域を画面の中央部に設定しているが、本発明はこれに限定されるものではなく、図22に示すように、ズーム領域を画面右下に設定しても良い。この場合の水平変倍処理は、図23に示すようになる。なお、ズーム位置は、変倍処理を開始する水平ラインの位置と、第1及び第2のラインバッファ80,81のアドレス位置とを変更することで任意に設定することができる。 In the above embodiment, as shown in FIG. 6, the zoom area is set at the center of the screen. However, the present invention is not limited to this, and as shown in FIG. It may be set at the bottom right of the screen. The horizontal scaling process in this case is as shown in FIG. The zoom position can be arbitrarily set by changing the position of the horizontal line where the scaling process is started and the address positions of the first and second line buffers 80 and 81.
また、上記実施形態では、二点補間方式で水平変倍処理及び垂直変倍処理を行う例を示したが、本発明はこれに限定されるものではなく、多点補間方式で水平変倍処理及び垂直変倍処理を行っても良い。 In the above embodiment, an example in which the horizontal scaling process and the vertical scaling process are performed by the two-point interpolation method is shown, but the present invention is not limited to this, and the horizontal scaling process is performed by the multipoint interpolation method. Alternatively, the vertical scaling process may be performed.
また、上記実施形態では、撮像手段としてCCD型固体撮像素子40を用いた例を示しているが、本発発明はこれに限定されるものではなく、撮像手段としてCMOS型固体撮像素子等を用いても良い。
In the above embodiment, an example in which the CCD solid-
さらに、上記実施形態では、医療用内視鏡装置を例に挙げて本発明を説明したが、本発明はこれに限定されるものではなく、工業用内視鏡装置、デジタルスチルカメラ、ビデオカメラシステム、車載用ビデオカメラ、監視カメラ、カメラ機能付き携帯電話機にも適用可能である。 Furthermore, in the above embodiment, the present invention has been described by taking a medical endoscope apparatus as an example. However, the present invention is not limited to this, and an industrial endoscope apparatus, a digital still camera, and a video camera are described. The present invention is also applicable to systems, in-vehicle video cameras, surveillance cameras, and mobile phones with camera functions.
2 電子内視鏡装置
10 電子内視鏡
11 プロセッサ装置
24 フリーズボタン
25 ズームボタン
40 CCD型固体撮像素子(撮像手段)
45 CPU(制御手段)
46 外部端子
47 第1スイッチ回路
48 第2スイッチ回路
49 フレームメモリ(画像記憶手段)
50 画像処理回路(画像処理手段)
51 パラメータレジスタ
52 第3スイッチ回路
53 動画用メモリ
54 変倍回路(変倍処理手段)
55 静止画メモリ(変倍画像記憶手段)
55a 記憶領域
55b 奇数ライン領域
55c 偶数ライン領域
80 第1のラインバッファ
81 第2のラインバッファ
82 読み出し制御回路
83 水平変倍回路
84 垂直変倍回路
85 書き込み制御回路
86 書き込みスイッチ回路
87 読み出しスイッチ回路
90 水平変倍メモリ
91 第1の水平変倍重み付け回路
92 第2の水平変倍重み付け回路
93 水平変倍加算回路
96 垂直変倍ラインメモリ
97 第1の垂直変倍重み付け回路
98 第2の垂直変倍重み付け回路
99 垂直変倍加算回路
100 変倍回路(変倍処理手段)
101 水平出力スイッチ回路
102 第3ラインバッファ
103 第4ラインバッファ
104 垂直入力スイッチ回路
2
45 CPU (control means)
46
50 Image processing circuit (image processing means)
51
55 Still image memory (magnified image storage means)
101 horizontal
Claims (6)
前記電子内視鏡から入力される電子ズーム操作信号に応じて、前記画像記憶手段から同一の静止画像を、電子ズーム倍率に応じた回数以上出力させる制御手段と、
前記電子内視鏡から入力される画像信号を取り込んで画像処理を行うとともに、前記画像記憶手段から静止画像が出力された際には、該静止画像を取り込んで画像処理を行う画像処理手段と、
前記画像記憶手段から複数回出力される各静止画像に基づき、前記出力回数に分けて変倍処理を行い、前記出力回ごとに変倍画像の部分データを生成する変倍処理手段と、
前記変倍処理手段により生成される各部分データを所定の領域に記憶して1つの変倍画像とする変倍画像記憶手段と、
を備えたことを特徴とする電子内視鏡用プロセッサ装置。 Image storage means for storing an image signal input from the electronic endoscope as a still image in response to a freeze signal input from the electronic endoscope;
In response to an electronic zoom operation signal input from the electronic endoscope, a control unit that outputs the same still image from the image storage unit a number of times corresponding to the electronic zoom magnification,
An image processing unit that captures an image signal input from the electronic endoscope and performs image processing; and when a still image is output from the image storage unit, an image processing unit that captures the still image and performs image processing;
Based on each still image that is output a plurality of times from the image storage means, performing a scaling process by dividing the number of outputs, and a scaling process means for generating partial data of the scaled image for each output time;
Magnified image storage means for storing each partial data generated by the magnifying processing means in a predetermined area and making it one magnifying image;
A processor device for an electronic endoscope, comprising:
前記操作部から入力される電子ズーム操作信号に応じて、前記画像記憶手段から同一の静止画像を、電子ズーム倍率に応じた回数以上出力させる制御手段と、
前記撮像手段から入力される画像信号を取り込んで画像処理を行うとともに、前記画像記憶手段から静止画像が出力された際には、該静止画像を取り込んで画像処理を行う画像処理手段と、
前記画像記憶手段から複数回出力される各静止画像に基づき、前記出力回数に分けて変倍処理を行い、前記出力回ごとに変倍画像の部分データを生成する変倍処理手段と、
前記変倍処理手段により生成される各部分データを所定の領域に記憶して1つの変倍画像とする変倍画像記憶手段と、
を備えたことを特徴とする画像処理システム。 Image storage means for storing an image signal input from the imaging means as a still image in response to a freeze signal input from the operation unit;
Control means for outputting the same still image from the image storage means more than the number of times according to the electronic zoom magnification in response to the electronic zoom operation signal input from the operation unit;
An image processing unit that captures an image signal input from the imaging unit and performs image processing; and when a still image is output from the image storage unit, an image processing unit that captures the still image and performs image processing;
Based on each still image that is output a plurality of times from the image storage means, performing a scaling process by dividing the number of outputs, and a scaling process means for generating partial data of the scaled image for each output time;
Magnified image storage means for storing each partial data generated by the magnifying processing means in a predetermined area and making it one magnifying image;
An image processing system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008182399A JP2010017452A (en) | 2008-07-14 | 2008-07-14 | Processor for electronic endoscope and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008182399A JP2010017452A (en) | 2008-07-14 | 2008-07-14 | Processor for electronic endoscope and image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010017452A true JP2010017452A (en) | 2010-01-28 |
Family
ID=41702916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008182399A Pending JP2010017452A (en) | 2008-07-14 | 2008-07-14 | Processor for electronic endoscope and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010017452A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013000495A (en) * | 2011-06-21 | 2013-01-07 | Hoya Corp | Electronic endoscope apparatus |
JP2018148973A (en) * | 2017-03-10 | 2018-09-27 | 株式会社Jvcケンウッド | Surgery system, surgical instrument, trocar, and determination method |
CN115209024A (en) * | 2022-07-18 | 2022-10-18 | 湖南华南光电(集团)有限责任公司 | FPGA (field programmable Gate array) electronic zoom preposed DDR (double data Rate) based camera system |
-
2008
- 2008-07-14 JP JP2008182399A patent/JP2010017452A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013000495A (en) * | 2011-06-21 | 2013-01-07 | Hoya Corp | Electronic endoscope apparatus |
JP2018148973A (en) * | 2017-03-10 | 2018-09-27 | 株式会社Jvcケンウッド | Surgery system, surgical instrument, trocar, and determination method |
CN115209024A (en) * | 2022-07-18 | 2022-10-18 | 湖南华南光电(集团)有限责任公司 | FPGA (field programmable Gate array) electronic zoom preposed DDR (double data Rate) based camera system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8189041B2 (en) | Endoscope signal processing apparatus | |
US8231522B2 (en) | Electronic endoscope system | |
WO2003077560A1 (en) | Pickup system | |
JPH01280439A (en) | Electronic endoscope device | |
JP2004321244A (en) | Electronic endoscope system | |
JP2008068021A (en) | Electronic endoscope apparatus | |
JPWO2012033200A1 (en) | Imaging device | |
JP5308884B2 (en) | Endoscopic processor device and method of operating the same | |
JP2009219573A (en) | Image processor for endoscope and image processing method for endoscope | |
JPWO2017104197A1 (en) | Video processor | |
JP2010017452A (en) | Processor for electronic endoscope and image processing system | |
JP6489644B2 (en) | Imaging system | |
JP5137634B2 (en) | Medical image processing device | |
JP2005021392A (en) | Endoscope system | |
JP2010051372A (en) | Processor of endoscope, and method of masking endoscopic image | |
JP5959331B2 (en) | Endoscope device | |
JP5289371B2 (en) | Endoscope device and processor device in endoscope system | |
JP4709784B2 (en) | Endoscope signal processing device | |
JPH10276973A (en) | Electronic endoscope device | |
US20160174822A1 (en) | Multiple Viewing Element Endoscope System Having Multiple Sensor Motion Synchronization | |
JP2010004980A (en) | Processor for electronic endoscope | |
JPH01280438A (en) | Endoscope device | |
JP6412361B2 (en) | Endoscopic imaging device | |
JPWO2016080351A1 (en) | IMAGING DEVICE, IMAGE PROCESSING DEVICE, AND OPERATION METHOD OF IMAGING DEVICE | |
JP3288412B2 (en) | Endoscope system |