JP2003324751A - Information input apparatus - Google Patents
Information input apparatusInfo
- Publication number
- JP2003324751A JP2003324751A JP2002131133A JP2002131133A JP2003324751A JP 2003324751 A JP2003324751 A JP 2003324751A JP 2002131133 A JP2002131133 A JP 2002131133A JP 2002131133 A JP2002131133 A JP 2002131133A JP 2003324751 A JP2003324751 A JP 2003324751A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- signal
- reflected light
- information input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035945 sensitivity Effects 0.000 claims description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 108010002082 endometriosis protein-1 Proteins 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】 本発明は、３次元空間内で
の情報入力を行うための情報入力装置に関する。TECHNICAL FIELD The present invention relates to an information input device for inputting information in a three-dimensional space.
【０００２】[0002]
【従来の技術】 画像から物体の形状や動きを検出した
り、その物体の３次元形状や距離などの情報の取得が要
求される。従来、画像から物体の形状や動きを検出する
ためには高度な画像解析技術を用いて、検出する必要が
あった。またこれらの画像解析を実行するには、高性能
の計算機が必要であり、民生用途にはなかなか適用され
ない一因となっている。またこれら画像解析による検出
は、環境の条件に大きく影響を受け易い。例えば複雑な
背景下で物体を切り出すときや、動きのある背景下で物
体のみを抽出するのは非常に難しい技術であった。2. Description of the Related Art It is required to detect the shape and movement of an object from an image and to acquire information such as the three-dimensional shape and distance of the object. Conventionally, in order to detect the shape and movement of an object from an image, it has been necessary to detect it by using an advanced image analysis technique. In addition, a high-performance computer is required to execute these image analysis, which is one of the reasons why it is not easily applied to consumer use. Further, the detection by these image analysis is easily influenced by the environmental conditions. For example, when cutting out an object in a complicated background, or extracting only an object in a moving background was a very difficult technique.
【０００３】放送業界などでは、クロマキー技術を用い
て人物だけを切り出して別に作成した背景などに張り付
けた映像を生成している。これは予め単色の背景（ブル
ーバック）の前に人物を配し撮像し、背景の色を映像か
ら取り除くことで、人物のみを切り出す手法を用いてい
る。In the broadcasting industry and the like, a chroma key technique is used to cut out only a person and generate an image pasted on a background or the like created separately. In this method, a person is placed in front of a monochromatic background (blue background) in advance, an image is taken, and the background color is removed from the image to cut out only the person.
【０００４】一方、レンジファインという距離画像を検
出する技術がある。これは、スポット光或いはスリット
光を対象物体に照射し、その反射光の受光位置から三角
測量の原理で求める。２次元的な距離情報を求めるため
に、スポット光或いはスリット光を機械的に走査し、非
常に高精度な距離画像を生成することができる。On the other hand, there is a technique called range fine for detecting a range image. This is obtained by irradiating a target object with spot light or slit light and from the light receiving position of the reflected light by the principle of triangulation. In order to obtain two-dimensional distance information, spot light or slit light can be mechanically scanned to generate a highly accurate distance image.
【０００５】また、ステレオカメラに代表するように、
２台以上のカメラを用いた画像から２枚の画像中の対応
点の幾何学的な位置関係から、３角測量原理によって距
離画像を得る方法もある。Further, as represented by a stereo camera,
There is also a method of obtaining a distance image from an image using two or more cameras, from the geometrical positional relationship of corresponding points in the two images, based on the triangulation principle.
【０００６】[0006]
【発明が解決しようとする課題】 しかし、上述したク
ロマキー技術では背景から切り出された対象物体のみの
画像を得たり、３次元形状と対応する自然画像を同時に
取得することは困難であった。However, with the above-mentioned chroma key technology, it was difficult to obtain an image of only the target object cut out from the background or to simultaneously obtain a natural image corresponding to a three-dimensional shape.
【０００７】また、レンジファインダやステレオカメラ
を用いた手法では、装置が非常に高価になったり、実時
間で処理ができないなどの問題があった。Further, the method using the range finder and the stereo camera has problems that the apparatus becomes very expensive and the processing cannot be performed in real time.
【０００８】そこで、本発明は比較的低価格な装置を用
いて自然画像と距離画像を同時に取得でき、実時間処理
が可能な情報入力装置を提供することを目的とする。Therefore, an object of the present invention is to provide an information input device capable of simultaneously acquiring a natural image and a range image by using a relatively low-priced device and capable of real-time processing.
【０００９】[0009]
【課題を解決するための手段】 上記課題を解決するた
めに本発明は、時間的に一定あるいは時間的に変化する
パルス信号や変調信号を発生させるためのタイミング生
成手段と、タイミング信号生成手段によって生成された
タイミング信号に基づいて、強度変化する光を発するた
めの発光手段と、発光手段から発された光に対する反射
光画像を前記タイミング信号に基づいて取得する第１の
受光手段と、発光手段から光が発されない時の物体の画
像を自然画像として取得する第２の受光手段と、反射光
画像と自然画像との信号の差分をとり、発光手段から発
された光の物体による反射光を取得する反射光取得手段
とを具備することを特徴とする情報入力装置を提供す
る。Means for Solving the Problems In order to solve the above problems, the present invention provides a timing generation unit for generating a pulse signal or a modulation signal that is constant in time or changes in time, and a timing signal generation unit. Light emitting means for emitting light whose intensity changes based on the generated timing signal, first light receiving means for acquiring a reflected light image for the light emitted from the light emitting means based on the timing signal, and light emitting means From the second light receiving means for acquiring an image of the object as a natural image when no light is emitted from the object, and the difference between the signals of the reflected light image and the natural image, the reflected light from the object of the light emitted from the light emitting means is obtained. An information input device comprising: a reflected light acquisition unit for acquiring.
【００１０】上記解決手段によって、自然画像と反射光
の情報を同時に取得することができ、反射光から撮像対
象物体までの距離情報を得ることができるので、実時間
で３次元処理が可能となる比較的安価な情報入力装置が
得られる。By the above-mentioned solving means, the natural image and the information on the reflected light can be acquired at the same time, and the distance information from the reflected light to the object to be imaged can be obtained, so that the three-dimensional processing can be performed in real time. A relatively inexpensive information input device can be obtained.
【００１１】[0011]
【発明の実施の形態】 以下に本発明の実施形態につい
て図を用いて説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１２】図１は３次元画像を得るための情報入力装
置の構成の一例を示したものである。発光制御部９で制
御された光源８は撮像対象物体６を照らすように設置さ
れている。撮像対象物体６からの映像は撮像レンズ３、
波長制限フィルタ２を介して、制御信号生成部１１によ
って制御されたイメージセンサ１に入力される。FIG. 1 shows an example of the configuration of an information input device for obtaining a three-dimensional image. The light source 8 controlled by the light emission control unit 9 is installed so as to illuminate the object 6 to be imaged. The image from the object 6 to be imaged is the image pickup lens 3,
It is input to the image sensor 1 controlled by the control signal generation unit 11 via the wavelength limiting filter 2.
【００１３】イメージセンサ１に入力された撮像対象物
体６の映像情報は、画素信号分離部１２に入力されＲ
（赤色）信号、Ｇ（緑色）信号、Ｂ（青色）信号に分離
される。分離されたＲ信号、Ｇ信号、Ｂ信号はそれぞれ
Ｒ信号処理部１３、Ｇ信号処理部１４、Ｂ信号処理部１
５に入力される。各信号処理部ではガンマ処理やブラン
キング処理等を行い、また利得制御部１６によって各信
号の利得制御を行う。The image information of the object 6 to be imaged, which is input to the image sensor 1, is input to the pixel signal separation unit 12 and R
It is separated into a (red) signal, a G (green) signal, and a B (blue) signal. The separated R signal, G signal, and B signal are respectively the R signal processing unit 13, the G signal processing unit 14, and the B signal processing unit 1.
Input to 5. Each signal processing unit performs gamma processing, blanking processing, and the like, and the gain control unit 16 controls the gain of each signal.
【００１４】信号処理された各信号は画像処理部１７に
入力され、画像処理部１７内の差分回路１７ａによって
反射光画像５から自然画像４を差分し撮像対象物体６の
反射光を得、この画像処理部１７から連続した自然画像
及び反射光の信号情報が自然画像／反射光出力端１８よ
り出力される。また、発光制御部９、制御信号生成部１
１、利得制御部１６及び画像処理部１７はシステム制御
部１０によって制御されている。Each signal subjected to the signal processing is input to the image processing unit 17, and the difference circuit 17a in the image processing unit 17 subtracts the natural image 4 from the reflected light image 5 to obtain the reflected light of the object 6 to be imaged. The continuous natural image and the signal information of the reflected light are output from the image processing unit 17 from the natural image / reflected light output end 18. Further, the light emission control unit 9 and the control signal generation unit 1
1, the gain controller 16 and the image processor 17 are controlled by the system controller 10.
【００１５】発光制御部９はシステム制御部１０内のタ
イミング生成回路１０ａによって決められた発光パター
ンで光源８が発光するように制御する。具体的には、２
フレーム毎に１回のパルス発光するように制御をする。
なお、発光パターンは時間的に一定である必要はなく、
時間に応じて変化するようなパルス信号や変調信号によ
って制御されてもよい。また、光源８はＬＥＤ（Ｌｉｇ
ｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）のように長期に
安定して動作し、高速に応答するものが好適であり、本
実施例では図２に示す特性からなる光、すなわち近赤外
線を発光するＬＥＤを用いて説明する。The light emission control unit 9 controls the light source 8 to emit light in the light emission pattern determined by the timing generation circuit 10a in the system control unit 10. Specifically, 2
Control is performed so that pulse emission is performed once for each frame.
The light emission pattern does not have to be constant over time,
It may be controlled by a pulse signal or a modulation signal that changes with time. The light source 8 is an LED (Lig
It is preferable to use an LED that emits light having the characteristics shown in FIG. 2, that is, an LED that emits near-infrared light, such as an ht Emitting Diode) that stably operates for a long period of time and responds at high speed. .
【００１６】光源８によって照らされた撮像対象物体６
をＣＭＯＳイメージセンサ１によって撮像すると、光源
８から発光した光７は撮像対象物体６に反射して反射光
画像５が、撮像レンズ３、波長制限フィルタ２を通過し
て得られる。この反射光画像５は、蛍光灯や太陽光で照
らされて撮像される画像である自然画像だけでなく、光
源８によって照らされ撮像対象物体６に反射した反射光
も併せた画像情報である。Imaging target object 6 illuminated by a light source 8
When the image is captured by the CMOS image sensor 1, the light 7 emitted from the light source 8 is reflected by the object 6 to be imaged, and the reflected light image 5 is obtained by passing through the imaging lens 3 and the wavelength limiting filter 2. The reflected light image 5 is image information including not only a natural image which is an image captured by being illuminated by a fluorescent lamp or sunlight but also reflected light which is illuminated by the light source 8 and reflected by the imaging target object 6.
【００１７】次に、光源８は照らさずに撮像対象物体６
の自然画像４のみを撮像レンズ３、波長制限フィルタ２
を通過してＣＭＯＳイメージセンサ１によって撮像す
る。Next, the light source 8 is not illuminated and the object 6 to be imaged is not illuminated.
Only the natural image 4 of the image pickup lens 3 and the wavelength limiting filter 2
And the image is picked up by the CMOS image sensor 1.
【００１８】これら２回の撮像はぞれぞれ画素信号分離
部１２でＲ信号、Ｇ信号、Ｂ信号に分離され、各信号処
理部１３，１４，１５でガンマ処理等の信号処理がなさ
れる。処理された反射光画像５と自然画像４の信号は画
像処理部１７で各信号毎の差分信号を得ることができ
る。Each of these two image pickups is separated into an R signal, a G signal and a B signal by a pixel signal separating section 12, and signal processing such as gamma processing is performed in each of the signal processing sections 13, 14 and 15. . The signals of the processed reflected light image 5 and the processed natural image 4 can be obtained by the image processing unit 17 as a differential signal for each signal.
【００１９】反射光画像５は光源８の撮像対象物体６に
対する反射光と物体の自然画像とを併せた画像であり、
この反射光画像５から自然画像を取り除くと光源８の撮
像対象物体６に対する反射光を得ることができる。した
がって、この差分信号は撮像対象物体６から反射した反
射光のみの信号を表わしている。信号強度と撮像対象物
体６からＣＭＯＳイメージセンサ１までの距離は、信号
強度が距離の２乗に反比例する関係が成り立つことか
ら、反射光の信号強度がわかると距離情報を求めること
ができる。The reflected light image 5 is an image obtained by combining the reflected light of the light source 8 with respect to the object 6 to be imaged and a natural image of the object,
By removing the natural image from the reflected light image 5, the reflected light of the light source 8 with respect to the object 6 to be imaged can be obtained. Therefore, this differential signal represents a signal of only the reflected light reflected from the object 6 to be imaged. Since the signal intensity and the distance from the imaging target object 6 to the CMOS image sensor 1 have a relationship in which the signal intensity is inversely proportional to the square of the distance, the distance information can be obtained if the signal intensity of the reflected light is known.
【００２０】また、撮像対象物体６の自然画像は光源６
を発光させないで撮像した２回目の撮像のみを選択すれ
ばよい。また、反射光画像５と自然画像４を信号処理す
ることによっても自然画像４を取り出すことができる。The natural image of the object 6 to be imaged is the light source 6
It suffices to select only the second image picked up without emitting light. Further, the natural image 4 can also be extracted by subjecting the reflected light image 5 and the natural image 4 to signal processing.
【００２１】したがって、本発明によって物体の自然画
像と反射光を１つのイメージセンサで同時に取得するこ
とができる。反射光画像５と自然画像４を信号処理する
ことによって、自然画像４であるＲＧＢの三原色情報を
得、更には距離情報も得ることができる。この２つの画
像情報を信号処理することによって実時間で３次元画像
を作ることができる。Therefore, according to the present invention, a natural image of an object and reflected light can be simultaneously acquired by one image sensor. By performing signal processing on the reflected light image 5 and the natural image 4, it is possible to obtain the RGB three primary color information which is the natural image 4 and also the distance information. By performing signal processing on these two image information, a three-dimensional image can be created in real time.
【００２２】なお、本実施形態ではＣＭＯＳイメージセ
ンサを用いたが、ＣＭＯＳイメージセンサは低消費電力
で信号処理回路を容易に同一チップ上に形成できるの
で、小型化、軽量化の情報入力装置を実現することがで
き、大変有効である。もちろん、ＣＣＤセンサ等の他の
センサであっても本発明の情報入力装置を実現できるこ
とは可能である。Although the CMOS image sensor is used in the present embodiment, the CMOS image sensor has a low power consumption and the signal processing circuit can be easily formed on the same chip. Therefore, a compact and lightweight information input device is realized. It is possible and very effective. Of course, it is possible to realize the information input device of the present invention with other sensors such as CCD sensors.
【００２３】また、ＣＭＯＳイメージセンサで良く用い
られるカラーフィルタの配列を図３に示す。赤成分及び
近赤外成分を通過させる「Ｒ」、緑成分及び近赤外成分
を通過させる「Ｇｒ」又は「Ｇｂ」、青成分及び近赤外成分
を通過させる「Ｂ」が配列されている。FIG. 3 shows an array of color filters often used in a CMOS image sensor. "R" that allows the red component and the near infrared component to pass, "Gr" or "Gb" that allows the green component and the near infrared component to pass, and "B" that allows the blue component and the near infrared component to pass. .
【００２４】このカラーフィルタの特性を図４に示す。
図４から明らかなように可視光範囲では△印で表わすＲ
フィルタは約６５０ｎｍ、○印で表わすＧｒフィルタ又
はＧｂフィルタは可視光範囲では約５４０ｎｍ、●印で
表わすＢフィルタは可視光範囲では約４４０ｎｍにそれ
ぞれ感度のピークがあり、近赤外光範囲では総てのカラ
ーフィルタにおいて同程度の感度を有しているのがわか
る。このようなカラーフィルタを用いることによって、
可視光領域の情報である自然画像と、近赤外光領域であ
る反射光とを同時に取得することができる。The characteristics of this color filter are shown in FIG.
As is apparent from FIG. 4, R represented by a triangle in the visible light range
The filter has a sensitivity peak of about 650 nm, the Gr filter or Gb filter represented by a circle has a sensitivity peak at about 540 nm in the visible light range, and the B filter represented by a ● has a peak of sensitivity at about 440 nm in the visible light range. It can be seen that all color filters have the same sensitivity. By using such a color filter,
It is possible to simultaneously acquire a natural image that is information in the visible light region and reflected light that is a near infrared light region.
【００２５】また、波長制限フィルタ２の特性を図５に
示す。横軸は波長、縦軸は光の透過率を示しており、本
実施形態においては可視光領域の透過率を高くし、光源
である近赤外光領域である反射光の透過率をできるだけ
抑えている。近赤外光領域での透過率は半値幅５０ｎｍ
程度とすることにより、Ｒ、Ｇ、Ｂ信号に含まれる近赤
外光の影響を１０分の１以下にすることができる。この
ように近赤外光領域の信号量が少なくなるので、例えば
Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素の近赤外領域の信号を加算
することによって大きな信号量を得ることができる。The characteristics of the wavelength limiting filter 2 are shown in FIG. The horizontal axis represents wavelength and the vertical axis represents light transmittance. In the present embodiment, the transmittance in the visible light region is increased, and the transmittance of reflected light in the near infrared light region, which is the light source, is suppressed as much as possible. ing. The transmittance in the near infrared region is a half width of 50 nm.
By setting the degree to be about, the influence of near-infrared light included in the R, G, and B signals can be reduced to 1/10 or less. Since the signal amount in the near-infrared light region is small in this way, a large signal amount can be obtained by adding signals in the near-infrared region of four pixels of R, Gr, Gb, and B, for example.
【００２６】次に図１に示す情報入力装置において３次
元画像を得る信号処理を具体的に図６を用いて説明す
る。図６（ａ）はフレーム単位、図６（ｂ）はフレーム
ブランキング単位を示している。ＣＭＯＳイメージセン
サ１は図６（ｂ）に示すフレームブランキング単位に同
期して動作する。Next, signal processing for obtaining a three-dimensional image in the information input device shown in FIG. 1 will be specifically described with reference to FIG. FIG. 6A shows a frame unit, and FIG. 6B shows a frame blanking unit. The CMOS image sensor 1 operates in synchronization with the frame blanking unit shown in FIG.
【００２７】図６（ｃ）は光源８の発光ｃ１を表わし、
２フレームに１回の発光ｃ１を行うように発光制御部９
で制御されている。図６（ａ）におけるａフレームで光
源８を発光させ、ｂフレームでは発光させずに撮像対象
物体６を撮像する。FIG. 6C shows the light emission c1 of the light source 8,
The light emission control unit 9 is configured to emit the light emission c1 once every two frames.
Is controlled by. The light source 8 is made to emit light in the a frame in FIG. 6A, and the image pickup target object 6 is imaged in the b frame without making it emit light.
【００２８】図６（ｄ）（ｅ）（ｆ）は画素信号分離部
１２によって信号分離されたＲ信号ｄ１、Ｇ信号ｅ１、
Ｂ信号ｆ１を表わしている。図６（ｄ）（ｅ）（ｆ）よ
り、ｂフレーム時のＲ、Ｇ、Ｂ信号にはそれぞれ斜線で
示す分の信号ｄ２，ｅ２，ｆ２が加算されているのがわ
かる。これは、ＣＭＯＳイメージセンサ１から得られる
信号は光入力のタイミングに対して１フレーム分遅れて
出力されるので、ａフレームが自然画像、ｂフレームが
反射光画像の出力信号を示しており、斜線で表わす信号
成分ｄ２，ｅ２，ｆ２が反射光となる。6D, 6E, and 6F, the R signal d1, the G signal e1, and the G signal e1 separated by the pixel signal separation unit 12 are shown.
This represents the B signal f1. From FIGS. 6D, 6E, and 6F, it can be seen that the signals d2, e2, and f2 corresponding to the hatched lines are added to the R, G, and B signals at the time of b frame. This is because the signal obtained from the CMOS image sensor 1 is output with a delay of one frame with respect to the optical input timing, so that the a frame shows the output signal of the natural image and the b frame shows the output signal of the reflected light image. The signal components d2, e2, and f2 represented by are reflected light.
【００２９】図６（ｇ）（ｈ）は画像処理部１７におい
て信号処理した自然画像ｇ１、反射光ｈ１の出力信号を
示している。図６（ｄ）（ｅ）（ｆ）において、ｂ１フ
レームにおける出力信号（例えば、ｄ１＋ｄ２）からａ
２フレームにおける出力信号（例えば、ｄ１）の差分を
取る（例えば、（ｄ１＋ｄ２）−ｄ１）と自然画像の出
力信号（例えば、ｄ１）は相殺され反射光の出力信号
（例えば、ｄ２）が得られる。この反射光の出力信号を
例えばフレームメモリーを用いてフレーム補完をすれば
図６（ｈ）に示す反射光の連続波形ｈ１が得られる。ｂ
フレームを削除して自然画像のみのａフレームのみを取
り出し、フレームメモリーを用いてフレーム補完するこ
とによって図６（ｇ）に示す自然画像の連続波形ｇ１が
得られる。FIGS. 6 (g) and 6 (h) show output signals of the natural image g1 and the reflected light h1 which have been subjected to signal processing in the image processing section 17. In FIGS. 6D, 6E, and 6F, the output signal (for example, d1 + d2) from the b1 frame to a
The difference between the output signals (for example, d1) in two frames (for example, (d1 + d2) -d1) and the output signal for the natural image (for example, d1) are canceled to obtain the output signal for reflected light (for example, d2). . If the output signal of the reflected light is subjected to frame complement using, for example, a frame memory, a continuous waveform h1 of the reflected light shown in FIG. 6 (h) can be obtained. b
A continuous waveform g1 of the natural image shown in FIG. 6 (g) is obtained by deleting the frame, extracting only the a frame of the natural image, and complementing the frame using the frame memory.
【００３０】図６（ｉ）は図６（ｇ）（ｈ）において処
理した自然画像ｇ１と反射光ｈ１の連続波形を合成処理
した３次元画像信号ｉ１である。FIG. 6 (i) is a three-dimensional image signal i1 obtained by synthesizing the continuous waveforms of the natural image g1 and the reflected light h1 processed in FIGS. 6 (g) and 6 (h).
【００３１】また、上述した実施形態のように反射光画
像と自然画像との差分は画素信号分離部１２で各信号成
分に分離後、画像処理部１７にて差分を取るのではな
く、図７に示すように信号を分離する前に反射光画像と
自然画像とを差分回路で差分を取ることによって反射光
を検出し、自然画像と反射光を同時に得ることもでき
る。Further, the difference between the reflected light image and the natural image as in the above-described embodiment is not separated by the image processing unit 17 after being separated into each signal component by the pixel signal separating unit 12, but the difference is shown in FIG. It is also possible to detect the reflected light by obtaining the difference between the reflected light image and the natural image by a difference circuit before separating the signals as shown in FIG.
【００３２】本実施形態においては、光源に近赤外光を
用いたがこれに限定されず可視光等の他の光源であって
も光源に対応したカラーフィルタを使用することによっ
て当然に本発明の実施可能である。In this embodiment, near-infrared light is used as the light source, but the present invention is not limited to this, and naturally, by using a color filter corresponding to the light source, the present invention can be applied to other light sources such as visible light. Can be implemented.
【００３３】また、本実施形態においては、反射光を測
定するために反射光画像と自然画像を共に１画像の差分
を取ったが、２以上の画像の差分を取ることもできる。Further, in the present embodiment, the difference between one image of the reflected light image and that of the natural image is taken to measure the reflected light, but it is also possible to take the difference between two or more images.
【００３４】また、反射光画像と自然画像の撮像の順番
は実施形態に限定されないことはいうまでもない。Needless to say, the order of capturing the reflected light image and the natural image is not limited to that in the embodiment.
【００３５】[0035]
【発明の効果】 以上詳述したように本発明は、低価格
な装置を用いて自然画像と距離画像を同時に取得でき、
実時間処理が可能な情報入力装置を提供することができ
る。As described in detail above, according to the present invention, it is possible to simultaneously acquire a natural image and a range image using a low-cost device,
An information input device capable of real-time processing can be provided.
【図１】 本発明の３次元画像を取得するための一例を
示す構成図である。FIG. 1 is a configuration diagram showing an example for acquiring a three-dimensional image of the present invention.
【図２】 本発明の実施形態で用いた光源のスペクトル
を表わした図である。FIG. 2 is a diagram showing a spectrum of a light source used in the embodiment of the present invention.
【図３】 本発明の実施形態で用いたイメージセンサの
カラーフィルタの構成例である。FIG. 3 is a configuration example of a color filter of the image sensor used in the embodiment of the present invention.
【図４】 図３に示すカラーフィルタとイメージセンサ
のフォトダイオードを組み合わせて得られる特性を表わ
す図である。FIG. 4 is a diagram showing characteristics obtained by combining the color filter shown in FIG. 3 and a photodiode of an image sensor.
【図５】 本発明の実施形態で用いた波長制限フィルタ
の特性を表わした図である。FIG. 5 is a diagram showing characteristics of the wavelength limiting filter used in the embodiment of the present invention.
【図６】 本発明の実施形態における信号処理を表わし
た図である。FIG. 6 is a diagram showing signal processing in the embodiment of the present invention.
【図７】 本発明の３次元画像を取得するための一例を
示す構成図である。FIG. 7 is a configuration diagram showing an example for acquiring a three-dimensional image of the present invention.
１…ＣＭＯＳイメージセンサ、２…波長制限フィルタ、
３…レンズ、４…自然画像、５…反射光画像、６…撮像
対象物体、７…光源の光、８…光源、９…発光制御部、
１０…システム制御部、１０ａ…タイミング信号生成
部、１１…制御信号生成部、１２…画素信号分離部、１
３…Ｒ信号処理部、１４…Ｇ信号処理部、１５…Ｂ信号
処理部、１６…利得制御部、１７…画像処理部、１７
ａ、１９…差分回路、１８…自然画像／反射光出力端1 ... CMOS image sensor, 2 ... Wavelength limiting filter,
3 ... Lens, 4 ... Natural image, 5 ... Reflected light image, 6 ... Imaging target object, 7 ... Light from light source, 8 ... Light source, 9 ... Emission control unit,
10 ... System control unit, 10a ... Timing signal generation unit, 11 ... Control signal generation unit, 12 ... Pixel signal separation unit, 1
3 ... R signal processing unit, 14 ... G signal processing unit, 15 ... B signal processing unit, 16 ... Gain control unit, 17 ... Image processing unit, 17
a, 19 ... Difference circuit, 18 ... Natural image / reflected light output end
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｚ (72)発明者 遠藤 幸雄 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 江川 佳孝 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 田中 長孝 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 石渡 宏明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 後藤 浩成 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 真鍋 宗平 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 三浦 浩樹 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 山口 鉄也 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝マイクロエレクトロニクスセン ター内 (72)発明者 沼崎 俊一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 2F065 AA06 AA53 DD06 FF42 GG07 GG10 JJ03 JJ26 LL22 QQ24 QQ25 QQ32 5B057 AA20 BA02 BA15 DB03 DB06 DB09 DC30 DC32 5B068 AA05 AA21 EE01 EE06 5C022 AA00 AB15 AC42 AC55 AC69 5C065 AA01 AA06 BB30 BB41 BB48 CC01 DD15 EE03 GG13 GG22 GG30 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) H04N 5/225 H04N 5/225 Z (72) Inventor Yukio Endo 1 Komukai Toshiba-cho, Kawasaki-shi, Kanagawa Address Company Toshiba Microelectronics Center (72) Inventor Yoshitaka Egawa 1 Komukai Toshiba-cho, Sachi-ku, Kawasaki-shi, Kanagawa Prefecture Incorporated Toshiba Microelectronics Center (72) Inventor Nagataka Tanaka Kawasaki, Kanagawa Komukai-shi, Toshiba Town, No. 1 Company, Toshiba Microelectronics Center, Inc. (72) Inventor, Hiroaki Ishiwata, Komukai-shi, Kawasaki City, Kanagawa Prefecture, Komukai Toshiba Town, No. 1, Company, Incorporated, Toshiba Microelectronics Center (72) Inventor Hironari Goto 1 Komukai Toshiba-cho, Saiwai-ku, Kawasaki-shi, Kanagawa Stock company East Microelectronics Center (72) Inventor Sohei Manabe 1 Komukai Toshiba Town, Saiwai-ku, Kawasaki City, Kanagawa Prefecture Toshiba Corporation Microelectronics Center (72) Inventor Hiroki Miura Komukai-Toshiba Town, Kawasaki-shi, Kanagawa Prefecture No. 1 Incorporated company Toshiba Microelectronics Center (72) Inventor Tetsuya Yamaguchi No. 1 Komukai Toshiba-cho, Kouki-ku, Kawasaki City, Kanagawa Prefecture Incorporated Toshiba Microelectronics Center (72) Inventor Shunichi Numazaki Kawasaki, Kanagawa Prefecture Komukai-Toshiba-cho No. 1 F-term in Toshiba Research and Development Center, Inc. (Reference) 2F065 AA06 AA53 DD06 FF42 GG07 GG10 JJ03 JJ26 LL22 QQ24 QQ25 QQ32 5B057 AA20 BA02 BA15 DB03 DB06 DB09 DC30 DC32 5B068 AAEE AA05 A06 AA05 AA05 AA05 AA05 A06 AA05 AA06 AB15 AC42 AC55 AC69 5C065 AA01 AA06 BB30 BB41 BB48 CC01 DD15 EE03 GG13 GG22 GG30
Claims (6)
パルス信号や変調信号を発生させるためのタイミング生
成手段と、 このタイミング信号生成手段によって生成されたタイミ
ング信号に基づいて、強度変化する光を発するための発
光手段と、 この発光手段から発された光に対する反射光画像を前記
タイミング信号に基づいて取得する第１の受光手段と、 前記発光手段から光が発されない時の物体の画像を自然
画像として取得する第２の受光手段と、 前記反射光画像と前記自然画像との信号の差分をとり、
前記発光手段から発された光の物体による反射光を取得
する反射光取得手段とを具備することを特徴とする情報
入力装置。1. A timing generation means for generating a pulse signal or a modulation signal which is constant or time-varying, and a light whose intensity changes based on the timing signal generated by the timing signal generation means. A light emitting means for emitting light, a first light receiving means for acquiring a reflected light image for the light emitted from the light emitting means based on the timing signal, and an image of an object when no light is emitted from the light emitting means. A second light receiving means for acquiring as an image, and taking a difference between signals of the reflected light image and the natural image,
An information input device, comprising: reflected light acquisition means for acquiring reflected light of light emitted from the light emitting means.
然画像をフレーム補完することにより連続した自然画像
を取得することを特徴とする請求項１記載の情報入力装
置。2. The information input device according to claim 1, wherein a continuous natural image is acquired by frame complementing the natural image acquired by the second light receiving means.
Ｂ信号に分離する信号分離手段と、 前記反射光画像と前記自然画像との信号の差分は、この
信号分離手段によって分離された各分離信号毎に差分を
とることを特徴とする請求項１記載の情報入力装置。3. The reflected light image and the natural image are RG
The signal separating means for separating the B signal and the signal difference between the reflected light image and the natural image is a difference for each of the separated signals separated by the signal separating means. Information input device.
手段は、１つの画素で複数の波長感度情報を持つ画素を
２次元状に配列したフィルタを有し、このフィルタが持
つ感度の１つが前記発光手段によって発する光に対する
感度であることを特徴とする請求項１記載の情報入力装
置。4. The first light receiving means and the second light receiving means have a filter in which pixels having a plurality of wavelength sensitivity information are two-dimensionally arranged in one pixel, and the sensitivity of the filters is increased. The information input device according to claim 1, wherein one is sensitivity to light emitted by the light emitting means.
段とを交互に繰り返すことを特徴とする請求項１記載の
情報入力装置。5. The information input device according to claim 1, wherein the first light receiving unit and the second light receiving unit are alternately repeated.
の受光手段及び前記第２の受光手段における２フレーム
であることを特徴とする請求項１記載の情報入力装置。6. The cycle of the timing signal is the first signal
2. The information input device according to claim 1, wherein the light receiving unit and the second light receiving unit are two frames.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002131133A JP2003324751A (en) | 2002-05-07 | 2002-05-07 | Information input apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002131133A JP2003324751A (en) | 2002-05-07 | 2002-05-07 | Information input apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003324751A true JP2003324751A (en) | 2003-11-14 |
Family
ID=29543893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002131133A Pending JP2003324751A (en) | 2002-05-07 | 2002-05-07 | Information input apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003324751A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006277666A (en) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | Display screen position analysis device and program |
| JP2006323652A (en) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | Crime prevention sensor |
| JP2006323651A (en) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | Crime prevention sensor |
| JP2008219370A (en) * | 2007-03-02 | 2008-09-18 | Canon Inc | Imaging apparatus |
| JP2010504522A (en) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | Method and system for 3D model acquisition |
| JP2010035168A (en) * | 2008-07-25 | 2010-02-12 | Samsung Electronics Co Ltd | Imaging apparatus and method |
| JP2011101006A (en) * | 2009-11-04 | 2011-05-19 | Samsung Electronics Co Ltd | Video sensor, and method of manufacturing the same |
| JP2013214260A (en) * | 2012-04-04 | 2013-10-17 | Seiko Epson Corp | Image input device, image input system and control method of image input device |
| JP2015087494A (en) * | 2013-10-30 | 2015-05-07 | キヤノン株式会社 | Imaging device |
| WO2016088644A1 (en) * | 2014-12-04 | 2016-06-09 | Jsr株式会社 | Solid-state imaging device |
| WO2016088645A1 (en) * | 2014-12-04 | 2016-06-09 | Jsr株式会社 | Solid-state imaging device |
| JP2017506740A (en) * | 2014-01-29 | 2017-03-09 | エルジー イノテック カンパニー リミテッド | Depth information extraction apparatus and method |
| WO2018135208A1 (en) * | 2017-01-18 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging system |
| CN109084677A (en) * | 2018-08-31 | 2018-12-25 | 扬州大学 | A kind of magnetic levitation ball rotor rotation section detecting method based on RGB color sensor |
| JP2022033118A (en) * | 2016-05-27 | 2022-02-28 | パナソニックＩｐマネジメント株式会社 | Imaging system |
| WO2022186074A1 (en) * | 2021-03-05 | 2022-09-09 | キヤノン株式会社 | Measuring device, storage medium, manufacturing system, and article manufacturing method |
-
2002
- 2002-05-07 JP JP2002131133A patent/JP2003324751A/en active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006277666A (en) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | Display screen position analysis device and program |
| JP4575829B2 (en) * | 2005-03-30 | 2010-11-04 | 財団法人エヌエイチケイエンジニアリングサービス | Display screen position analysis device and display screen position analysis program |
| JP2006323652A (en) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | Crime prevention sensor |
| JP2006323651A (en) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | Crime prevention sensor |
| JP2010504522A (en) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | Method and system for 3D model acquisition |
| US8284194B2 (en) | 2006-09-21 | 2012-10-09 | Thomson Licensing | Method and system for three-dimensional model acquisition |
| JP2008219370A (en) * | 2007-03-02 | 2008-09-18 | Canon Inc | Imaging apparatus |
| JP2010035168A (en) * | 2008-07-25 | 2010-02-12 | Samsung Electronics Co Ltd | Imaging apparatus and method |
| KR101467509B1 (en) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | Image sensor and operating method for image sensor |
| JP2011101006A (en) * | 2009-11-04 | 2011-05-19 | Samsung Electronics Co Ltd | Video sensor, and method of manufacturing the same |
| JP2013214260A (en) * | 2012-04-04 | 2013-10-17 | Seiko Epson Corp | Image input device, image input system and control method of image input device |
| US9906705B2 (en) | 2013-10-30 | 2018-02-27 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JP2015087494A (en) * | 2013-10-30 | 2015-05-07 | キヤノン株式会社 | Imaging device |
| US10690484B2 (en) | 2014-01-29 | 2020-06-23 | Lg Innotek Co., Ltd. | Depth information extracting device and method |
| JP2017506740A (en) * | 2014-01-29 | 2017-03-09 | エルジー イノテック カンパニー リミテッド | Depth information extraction apparatus and method |
| CN107004683A (en) * | 2014-12-04 | 2017-08-01 | Jsr株式会社 | Solid camera head |
| JPWO2016088645A1 (en) * | 2014-12-04 | 2017-11-02 | Jsr株式会社 | Solid-state imaging device |
| JPWO2016088644A1 (en) * | 2014-12-04 | 2017-11-02 | Jsr株式会社 | Solid-state imaging device |
| WO2016088645A1 (en) * | 2014-12-04 | 2016-06-09 | Jsr株式会社 | Solid-state imaging device |
| WO2016088644A1 (en) * | 2014-12-04 | 2016-06-09 | Jsr株式会社 | Solid-state imaging device |
| JP2022033118A (en) * | 2016-05-27 | 2022-02-28 | パナソニックＩｐマネジメント株式会社 | Imaging system |
| JP7281681B2 (en) | 2016-05-27 | 2023-05-26 | パナソニックＩｐマネジメント株式会社 | Imaging system |
| WO2018135208A1 (en) * | 2017-01-18 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging system |
| CN109084677A (en) * | 2018-08-31 | 2018-12-25 | 扬州大学 | A kind of magnetic levitation ball rotor rotation section detecting method based on RGB color sensor |
| CN109084677B (en) * | 2018-08-31 | 2020-12-08 | 扬州大学 | Magnetic levitation ball rotor rotation interval detection method based on RGB color sensor |
| WO2022186074A1 (en) * | 2021-03-05 | 2022-09-09 | キヤノン株式会社 | Measuring device, storage medium, manufacturing system, and article manufacturing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220070436A1 (en) | Time-of-flight camera system | |
| JP2003324751A (en) | Information input apparatus | |
| JP5545016B2 (en) | Imaging device | |
| US9413984B2 (en) | Luminance source selection in a multi-lens camera | |
| JP5992116B2 (en) | Image generation device | |
| KR101824290B1 (en) | High resolution multispectral image capture | |
| US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
| US20170230638A1 (en) | Depth Measurement Techniques for a Multi-Aperture Imaging System | |
| JP2011239259A (en) | Image processing device, image processing method, and program | |
| JP2003307407A (en) | Method and apparatus for scannerless color sequential depth mapping system | |
| JP2023026503A (en) | System for characterizing surroundings of vehicle | |
| JP2001215110A (en) | Color scanner less distance visualizing system | |
| WO2016137239A1 (en) | Generating an improved depth map usinga multi-aperture imaging system | |
| KR20140027815A (en) | 3d image acquisition apparatus and method of obtaining color and depth images simultaneously | |
| JP2010127739A (en) | Spectral sensitivity characteristic measurement apparatus and spectral sensitivity characteristic measurement method | |
| KR20200023928A (en) | Image processing apparatus and image processing method | |
| US9998636B2 (en) | Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images | |
| JPH11211668A (en) | Method and apparatus for detection of defect | |
| JP2021048464A (en) | Imaging device, imaging system, and imaging method | |
| CN111272101A (en) | Four-dimensional hyperspectral depth imaging system | |
| US20150271406A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
| JP4516590B2 (en) | Image capturing apparatus and distance measuring method | |
| JP5108013B2 (en) | Color imaging device, imaging device using the same, and filter | |
| JP4150506B2 (en) | Image capturing apparatus and distance measuring method | |
| CN211205210U (en) | Four-dimensional hyperspectral depth imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |