JP6120722B2 - Observation device and method of operating observation device - Google Patents
Observation device and method of operating observation device Download PDFInfo
- Publication number
- JP6120722B2 JP6120722B2 JP2013168264A JP2013168264A JP6120722B2 JP 6120722 B2 JP6120722 B2 JP 6120722B2 JP 2013168264 A JP2013168264 A JP 2013168264A JP 2013168264 A JP2013168264 A JP 2013168264A JP 6120722 B2 JP6120722 B2 JP 6120722B2
- Authority
- JP
- Japan
- Prior art keywords
- failure determination
- failure
- light
- observation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、内視鏡などの観察装置及び観察装置の作動方法に関する。
The present invention relates to an observation apparatus such as an endoscope and a method for operating the observation apparatus .
現在、内視鏡などの観察装置において、光源から射出された光を光ファイバなどの導光部材によって導光し、導光部材の射出側端部に設けられた波長変換部材によって所望の照射パターンや色へ変換して照射する発光装置が、照明装置として利用されている。このような発光装置では、導光部材が、機械的強度の低い部材であるため、何らかの原因で切断(断線)することがあり、この切断面から光が漏れだすことがある。特に光源から照射される光がレーザ光である場合には、漏れレーザ光が人体等に危険を及ぼす虞がある。そのため、このような導光部材の断線を検知するための機構が必要となる。 Currently, in an observation apparatus such as an endoscope, light emitted from a light source is guided by a light guide member such as an optical fiber, and a desired irradiation pattern is provided by a wavelength conversion member provided at an emission side end of the light guide member. A light-emitting device that emits light after converting it into a color is used as a lighting device. In such a light emitting device, since the light guide member is a member having low mechanical strength, the light guide member may be cut (disconnected) for some reason, and light may leak from the cut surface. In particular, when the light emitted from the light source is laser light, there is a risk that the leaked laser light may pose a danger to the human body or the like. Therefore, a mechanism for detecting such disconnection of the light guide member is required.
例えば、特許文献1の発光装置は、波長変換部材によって波長変換された光のうち、光源側への戻り光を受光素子で検出し、この戻り光が検出できる状態では導光部材は正常であるとするが、この戻り光が検出されなくなった場合には、導光部材の断線であるとして検知する構成を有している。
For example, in the light emitting device disclosed in
上記の発光装置を照明装置として内視鏡などの観察装置に利用した場合には、上記特許文献1のような構成では、導光部材の断線を検知するための受光素子などの部材を用いる必要があり、観察装置の小型化が困難となる。
When the above light emitting device is used as an illumination device for an observation device such as an endoscope, in the configuration as in
したがって、本発明の目的は、装置を大型化することなく、導光部材の断線などの照明装置の故障を検知することができる観察装置及び観察装置の作動方法を提供することである。
Therefore, an object of the present invention is to provide an observation apparatus and an operation method of the observation apparatus that can detect a failure of an illumination apparatus such as a disconnection of a light guide member without increasing the size of the apparatus.
上記目的を達成するために、本発明の観察装置の一態様は、1次光を射出する光源と、上記光源から射出された上記1次光を導光する導光部材と、上記導光部材によって導光された上記1次光を受光して、上記1次光とは異なる光学特性の2次光に変換して射出する少なくとも1つの光変換部材と、を有し、上記光変換部材から射出される光を照明光として観察対象部へ照射する照明装置と、上記観察対象部を撮像し、複数の画素により構成される観察対象画像を繰り返し取得する画像取得部と、上記観察対象画像内に上記照明装置の故障判定に用いる故障判定領域を設定する故障判定領域設定部と、上記故障判定領域における画素値の状態を示す代表値を抽出する代表値抽出部と、上記代表値の変化に基づいて上記照明装置の故障判定を行う故障判定部と、を備える。 In order to achieve the above object, an aspect of the observation apparatus of the present invention includes a light source that emits primary light, a light guide member that guides the primary light emitted from the light source, and the light guide member. And receiving at least one light conversion member that receives the primary light guided by the light source, converts the light into secondary light having an optical characteristic different from that of the primary light, and emits the secondary light. An illumination device that irradiates the observation target portion with emitted light as illumination light, an image acquisition unit that captures the observation target portion and repeatedly acquires an observation target image composed of a plurality of pixels, and the inside of the observation target image A failure determination region setting unit for setting a failure determination region used for failure determination of the lighting device, a representative value extraction unit for extracting a representative value indicating a state of a pixel value in the failure determination region, and a change in the representative value Based on the above, Comprising a failure determination unit.
また、本発明の観察装置の作動方法の一態様は、1次光を射出する光源と、前記光源から射出された前記1次光を導光する導光部材と、前記導光部材によって導光された前記1次光を受光して、前記1次光とは異なる光学特性の2次光に変換して射出する少なくとも1つの光変換部材と、を有し、前記光変換部材から射出される光を照明光として観察対象部へ照射する照明装置を備えた観察装置の作動方法であって、前記観察装置は、前記観察対象部を撮像し、複数の画素により構成される観察対象画像を繰り返し取得し、前記観察装置は、前記観察対象画像内に前記照明装置の故障判定に用いる故障判定領域を設定し、前記観察装置は、前記故障判定領域における画素値の状態を示す代表値を抽出し、前記観察装置は、前記代表値の変化に基づいて前記照明装置の故障判定を行う。
Further, according to one aspect of the operation method of the observation apparatus of the present invention, a light source that emits primary light, a light guide member that guides the primary light emitted from the light source, and light guide by the light guide member. And receiving at least one light converting member that receives the primary light and converts it into secondary light having an optical characteristic different from that of the primary light, and emits the light from the light converting member. An operation method of an observation apparatus including an illuminating device that irradiates an observation target portion with light as illumination light, wherein the observation device images the observation target portion and repeats an observation target image including a plurality of pixels. acquired, the observation apparatus sets the failure determination area used for failure determination of the illumination device to the observation target image, the observation apparatus extracts a representative value indicating the state of pixel values in the failure determination area , the observation apparatus, the change of the representative value It intends line failure determination of the illumination device Zui.
本発明の観察装置及び観察装置の作動方法は、画像取得部が取得した画像を利用することで、装置を大型化することなく導光部材の断線などの照明装置の故障を検知することができる。 The observation device and the operation method of the observation device of the present invention can detect a failure of the illumination device such as disconnection of the light guide member without using the image acquired by the image acquisition unit without increasing the size of the device. .
以下、図を参照して実施の形態について説明する。
[第1実施形態]
本実施形態に係る観察装置1は、図1に示すように、対象物OJの内部である外光が入らないような観察対象部OEを観察するためのものであり、照明装置2と、画像取得部3と、画像表示部4と、故障判定領域設定部5と、代表値抽出部6と、故障判定部7と、を有する。照明装置2は、対象物OJの内部の観察対象部OEに向かって照明光を照射する。画像取得部3は、観察対象部OEからの反射光を受光し、観察対象部OEの画像(観察対象画像)を取得する。画像取得部3で取得された観察対象画像は、例えばCRT又は液晶ディスプレイなどである画像表示部4に入力されて、表示される。また、上記観察対象画像は、故障判定領域設定部5にも入力される。故障判定領域設定部5は、上記観察対象画像内に上記照明装置2の故障判定に用いる故障判定領域を設定し、その設定した故障判定領域の画素値を故障判定領域情報として代表値抽出部6に入力する。代表値抽出部6は、上記故障判定領域情報から故障判定領域における画素値の状態を示す代表値を抽出し、その抽出した代表値を故障判定部7に入力する。故障判定部7は、上記代表値の変化に基づいて照明装置2の故障判定を行い、故障と判定した場合には、そのことを示す故障判定信号を照明装置2に入力することで照明装置2の動作を制御するとともに、故障判定信号を画像表示部4にも入力して故障の発生をユーザに通知する。
Hereinafter, embodiments will be described with reference to the drawings.
[First Embodiment]
As shown in FIG. 1, the
以下、各部の詳細について説明する。
照明装置2は、1次光を射出する光源21と、入射された1次光をそれとは異なる光学特性の2次光に変換して射出する光変換部材22と、光源21を制御する光源制御部23と、光源21から射出された1次光を光変換部材22に導光する導光部材と、を有する。導光部材は、光ファイバ24a,24b,24cと、光カプラ25と、光コネクタ26a,26b,26cと、を含む。
Details of each part will be described below.
The
光源21は、例えば、1次光としてレーザ光を射出するレーザダイオード(LD)である。具体的には、中心波長445nm、半値幅nmオーダの青色LDである。
The
光源制御部23は、この光源21に電気的に接続され、光源21のON/OFF、駆動電流、駆動電圧及び駆動方式を制御するためのLD制御信号を光源21に入力する。ここで、駆動方式は、例えば、パルス駆動及び連続駆動(CW)などである。また、光源21は、入力された駆動電流の値に対応する光量でレーザ光を発生するので、光源制御部23からレーザ光量を示すLD光量情報を代表値抽出部6へ入力することができる。代表値抽出部6は、詳細は後述するが、故障判定領域における画素値の状態を示す代表値を抽出する際に、このLD光量情報も使用する。また、光源制御部23は、故障判定部7からの故障判定信号を受け取った場合には光源21を停止するよう制御する。
The light
光変換部材22は、少なくとも1つあれば良いが、本実施形態における照明装置2では、2つの光変換部材22を用いている。そのため、光源21と2つの光変換部材22とは、導光部材としての、光ファイバ24a,24b,24cと、光カプラ25と、光コネクタ26a,26b,26cと、を介して光学的に接続されている。即ち、光カプラ25は、分岐比が例えば1:1の1入力ポート×2出力ポートの光分岐カプラであり、その入力ポートと光ファイバ24aの一端とが光コネクタ26aにより接続され、2つの出力ポートの一方と光ファイバ24bの一端とが光コネクタ26bによって、出力ポートの他方と光ファイバ24cの一端とが光コネクタ26cによって、それぞれ接続されている。そして、光ファイバ24aの他端が光源21と接続され、光ファイバ24bの他端が2つの光変換部材22の一方と接続され、光ファイバ24cの他端が光変換部材22のもう一方と接続されている。なお、光源21と光ファイバ24aとの間には、図示はしていないが、光源21の光を収束させて光ファイバ24aに結合するための結合レンズが設けられる。
Although at least one
光ファイバ24a,24b,24cは、例えばコア径50μm、開口数FNA=0.2のマルチモードの単線ファイバである。また、光コネクタ26a,26b,26cは、光ファイバ24a,24b,24cと光カプラ25の各ポートとを、互いの光軸を一致させて結合するものであり、例えば、FCコネクタ/アダプタである。
The
このような構成とすることで、比較的サイズの大きい光源21は対象物OJの外部に配置し、対象物OJ内へ挿入される挿入部には、比較的細い光ファイバ24b,24cと比較的サイズが小さい光変換部材22を設ければ良くなり、挿入部の細径化が図れる。よって、観察対象部OEが対象物OJ内部の細く奥まった箇所であったとしても、照明することが可能となる。
By adopting such a configuration, the
光変換部材22は、そのような挿入部の先端部に配置される。なお、以下の説明では、この先端部と反対側を基端側と称するものとする。2つの光変換部材22は、同様の構成を備え、略同特性である。具体的には、光変換部材22は、図2に示すように、ホルダ221と、光透過部材222と、蛍光体223と、反射部材224と、を有している。
The
ホルダ221は、内部に、先端側に向かって径が大きくなるように形成された円錐台形状の孔を有する。このホルダ221の孔において、基端側の径の小さい側を入射口と称し、先端側の径の大きい側を射出口と称する。光ファイバ24b,24cの上記他端が、このホルダ221の入射口に接続される。したがって、光ファイバ24b,24cを介して導光されたレーザ光は、上記他端である射出端から射出されて、ホルダ221の入射口側からホルダ内部の孔内に入射する。
The
ホルダ221の孔内には、光透過部材222と蛍光体223とが設けられ、それらとの界面である孔の内面には、反射部材224が設けられている。ここで、光透過部材222は入射口側に設けられ、蛍光体223は射出口側に設けられる。光透過部材222は、光透過率が高い材料、例えば、シリコーン樹脂又はガラスなどで形成される。そのため、光ファイバ24b,24cを導光されたレーザ光は、この光透過部材222を透過し、蛍光体223へ入射する。蛍光体223は、例えば、Ce(セリウム)賦活の粉末YAG(Yttrium Aluminum Garnet)蛍光体である。蛍光体223は、封止材、例えば、シリコーン樹脂又はガラスなどに分散して混入される。蛍光体223は、照明光として所望の励起光吸収率及び波長変換効率特性に変換するために、所定の量で封止材に混入される。蛍光体223は、1次光を受光して2次光に変換する。例えば、蛍光体223は、青色レーザ光を受光して黄色蛍光に変換する。したがって、ホルダ221の射出口からは、蛍光体223で変換された蛍光が射出される。反射部材224は、例えば、銀又はアルミの箔であり、ホルダ221内部の光(例えば、レーザ光及び蛍光)を射出口の方向へ反射する。すなわち、蛍光体223で変換された蛍光は、全方位に射出されるため、この反射部材224により、蛍光を射出口の方向へ反射するものである。
A
なお、前述したように、2つの光変換部材22は導光部材によって光源21に接続されている。したがって、2つの光変換部材22からの2次光(この例では蛍光)の射出の有無は、光源21の点灯/消灯と同期する。すなわち、2つの光変換部材22は光源21が点灯したときに2次光を射出し、光源21が消灯したときには2次光の射出を停止する。また、光変換部材22に入射されたレーザ光は、その全てが蛍光体223に入射されるわけではなく、その一部は射出口から射出される。照明装置2が観察対象部OEに照射する照明光は、レーザ光と蛍光とからなる。
As described above, the two
画像取得部3は、照明装置2から観察対象部OEに照射された照明光の反射光を受光し、観察対象部OEの画像(観察対象画像)を取得するために、図1に示すように、撮像部31と、画像処理部32と、を有する。撮像部31は、撮像デバイスであり、例えば、CCDイメージャやCMOSイメージャなどである。本実施形態では、撮像部31は、CCDイメージャとして記述する。画像取得部3が取得した画像をフレームともいい、画像取得部3はフレームを繰り返し取得し映像化する。画像取得部3が画像であるフレームを取得する速さ(画像取得間隔)をフレームレートという。フレームレートは、例えば、一般的な画像取得において30fps程度である。
As shown in FIG. 1, the image acquisition unit 3 receives reflected light of illumination light emitted from the
図3は、公知のCCDイメージャの分光感度特性を示す図であり、波長が大きい側を長波長側と称し、波長が短い方を短波長側と称する。また、同図では、波長λに対する青色画素の受光感度特性をb(λ)、緑色画素の受光感度特性をg(λ)、赤色画素の受光感度特性をr(λ)として示している。 FIG. 3 is a diagram showing the spectral sensitivity characteristics of a known CCD imager. The longer wavelength side is referred to as the long wavelength side, and the shorter wavelength side is referred to as the short wavelength side. In the same figure, the light reception sensitivity characteristic of the blue pixel with respect to the wavelength λ is represented as b (λ), the light reception sensitivity characteristic of the green pixel is represented as g (λ), and the light reception sensitivity characteristic of the red pixel is represented as r (λ).
撮像部31は、青色画素と、緑色画素と、赤色画素と、を備え、各色の領域内に感度ピークを有する。例えば、公知のCCDイメージャにおいて、青色画素は、青色領域内の波長460nm(λb)に感度ピークを有する。同様に、緑色画素は、緑色領域内の波長540nm(λg)に感度ピークを有し、赤色画素は、赤色領域うちの波長630nm(λr)に感度ピークを有する。 The imaging unit 31 includes a blue pixel, a green pixel, and a red pixel, and has a sensitivity peak in each color region. For example, in a known CCD imager, a blue pixel has a sensitivity peak at a wavelength of 460 nm (λb) in the blue region. Similarly, the green pixel has a sensitivity peak at a wavelength of 540 nm (λg) in the green region, and the red pixel has a sensitivity peak at a wavelength of 630 nm (λr) in the red region.
公知のCCDイメージャでは、同図に示されるように、青色画素の感度領域は、長波長側で波長540nmまで存在する。赤色画素の感度領域は、短波長側で波長540nmまで存在する。したがって、青色画素及び緑色画素と緑色画素及び赤色画素とは、隣接する波長領域で感度が重なる波長領域を有している。各画素の明るさを表す値を画素値といい、撮像部31では、各色の画素値は0〜255の値をとる。 In the known CCD imager, as shown in the figure, the sensitivity region of the blue pixel exists up to the wavelength of 540 nm on the long wavelength side. The sensitivity region of the red pixel exists up to a wavelength of 540 nm on the short wavelength side. Therefore, the blue pixel, the green pixel, the green pixel, and the red pixel have a wavelength region in which the sensitivity overlaps in the adjacent wavelength region. A value representing the brightness of each pixel is referred to as a pixel value. In the imaging unit 31, the pixel value of each color takes a value from 0 to 255.
画像処理部32は、撮像部31で受光した青色画素、緑色画素、赤色画素の画素信号に対して所定の画像処理を行い、画像を生成する機能を有する。
The
なお、対象物OJ内に挿入される挿入部には、その先端部に、この画像取得部3の内、少なくとも撮像部31が配置されていれば良い。なお、撮像部31は、通常、先端部にその先端方向を撮像するように配置されるが、挿入部先端の側面方向を撮像するように配置することもできる。この場合には、照明光が挿入部先端の側面方向を照明できるように、光変換部材22の射出口が挿入部先端の側面方向を向くよう光変換部材22を配置すれば良い。
It should be noted that at least the imaging unit 31 of the image acquisition unit 3 may be disposed at the distal end of the insertion unit inserted into the object OJ. In addition, although the imaging part 31 is normally arrange | positioned so that the front-end | tip direction may be imaged at a front-end | tip part, it can also be arrange | positioned so that the side surface direction of an insertion part front-end | tip may be imaged. In this case, the
故障判定領域設定部5は、図1に示すように、後述する注目領域を記憶するための領域記憶部51を有している。この故障判定領域設定部5は、上述したように、観察対象画像内に照明装置2の故障判定に用いる故障判定領域を設定するものであり、この故障判定領域を設定するために、領域記憶部51に記憶した注目領域を使用する。
As shown in FIG. 1, the failure determination
具体的には、故障判定領域設定部5は、画像取得部3から観察対象画像を受け取る。観察対象画像は、上述したように、青色画素、緑色画素及び赤色画素の画素値の情報を含む。故障判定領域設定部5は、この観察対象画像を複数の領域に分割し、各々の領域における所定の色の画素、例えば青色画素値のコントラストを用いて合焦評価値を計算し、計算した合焦評価値から合焦判定を行う。そして、合焦と判定された合焦領域を注目領域として、その画素値情報と共に領域記憶部51に記憶する。
Specifically, the failure determination
本実施形態では、この合焦判定の処理において、コントラスト法が使用される。コントラストは、画像上の明暗を表す指標である。一般的に、合焦度とコントラストとは相関がある。コントラスト法は、合焦位置において画像のコントラストが最大になることを利用する。コントラストの大小は、画素値の空間周波数における高周波成分により評価される。例えば、バンドパスフィルタによって画素値の高周波成分が抽出される。合焦評価値は、このように抽出された高周波成分の絶対値を積分したものである。したがって、合焦評価値は、合焦してコントラストが最大となったときに最大となる。 In the present embodiment, a contrast method is used in this focus determination process. The contrast is an index representing light and dark on the image. Generally, the degree of focus and the contrast are correlated. The contrast method uses the fact that the contrast of the image is maximized at the in-focus position. The magnitude of the contrast is evaluated by a high frequency component at the spatial frequency of the pixel value. For example, a high-frequency component of the pixel value is extracted by a band pass filter. The focus evaluation value is obtained by integrating the absolute values of the high frequency components extracted in this way. Therefore, the in-focus evaluation value becomes the maximum when the in-focus state becomes the maximum after the in-focus state.
例えば、対象物OJが人体であるとすると、照明装置2の光変換部材22から照射される照明光において、青色の光は、対象物OJの体腔内表面に存在する血管中にあるヘモグロビンに吸収され易い。そのため、観察対象部OEに血管が存在するときに、コントラストの算出に青色画素値を用いることによって対象物OJの体腔内表面の血管部分とそれ以外の部分とのコントラストが強調される。
For example, when the object OJ is a human body, blue light is absorbed by hemoglobin in blood vessels existing on the body cavity surface of the object OJ in the illumination light emitted from the
図4は、観察対象画像33に関する合焦判定の模式図である。観察対象画像33中の黒色部分34は、例えば、体腔内に存在する管腔部である。管腔部は、底部までの距離が遠いため、撮像するのに十分な反射光の光量を取得できない部分である。
FIG. 4 is a schematic diagram of focus determination regarding the
故障判定領域設定部5は、画像取得部3から図中左側に示すような観察対象画像33を受け取る。次に、図中の真ん中に示すように、故障判定領域設定部5は、この観察対象画像33を複数の分割領域35に分割する。そして、図中右側に示すように、それら複数の分割領域35のうち、所定の距離に観察対象部OEが存在する領域を注目領域36とし、それをその画素値情報と共に領域記憶部51に記憶する。ここで、所定の距離は、故障時における画素値の状態を示す後述する代表値の変化を検出するために充分な反射光量が得られる距離である。
The failure determination
すなわち、故障判定領域設定部5は、複数の分割領域35のうち、所定の合焦閾値以上の合焦評価値を持つ(コントラストの高い)領域を注目領域36とする。ここで、所定の合焦閾値は、反射光が強く代表値の変化の検出の難しい近距離及び反射光が弱く代表値の変化の検出が難しい遠距離に被写体がある状態の合焦評価値より大きい値である。したがって、本実施形態の注目領域36は、故障時における代表値の変化を検出するために十分な反射光を得られない、例えば、管腔部があるような領域を除いた領域である。
That is, the failure determination
なお、観察対象画像33の全領域にて注目領域が検出されないときには、故障判定領域設定部5は、領域記憶部51に記憶された前回の撮像時の観察対象画像(前フレーム)の注目領域36に対応する画素領域を現時点の撮像時の観察対象画像(現フレーム)の注目領域36として設定する。そして、この設定した注目領域36とその画素値情報とを、現時点の撮像時の観察対象画像(現フレーム)の注目領域36及びその画素値情報として領域記憶部51に記憶する。
When the attention area is not detected in the entire area of the
本実施形態では、故障判定領域設定部5は、この領域記憶部51に記憶した注目領域36を故障判定領域として設定し、該故障判定領域の画素値情報を故障判定領域情報として代表値抽出部6へ出力する。
In the present embodiment, the failure determination
代表値抽出部6は、故障判定領域設定部5から受け取った故障判定領域情報と光源制御部23から受け取った観察対象画像取得時の光量を示すLD光量情報とから、画素値の状態を示す代表値を抽出する。なお、光源制御部23からのLD光量情報の代わりに、光源制御部23が光源21を制御するためのLD制御信号を代表値抽出部6へ与え、代表値抽出部6にて観察対象画像取得時のレーザ光量を抽出するようにしても良い。具体的には、例えば、予め、光源制御部23から光源21へLD制御信号として送られる駆動電流及び駆動電圧と、観察対象画像取得時におけるレーザ光量と、の関係をテーブル化しておく。そして、代表値抽出部6は、観察対象画像が取得されたときのレーザ光量を、光源制御部23から送られるLD制御信号中の駆動電流及び駆動電圧の情報をこのテーブルに対応させることで、取得する。
The representative
また、代表値抽出部6は、例えば、故障判定領域設定部5から受け取った故障判定領域情報つまり故障判定領域の画素値情報から、まず、故障判定領域における赤色画素値の平均値を抽出する。赤色光は、青色光及び緑色光と比較して、血管による吸収の影響を受け難いことが知られている。したがって、代表値に赤色画素値のみを用いることで、例えば、故障判定間隔内の観察装置1(の挿入部)の移動によって故障判定領域にある血管量が変化した場合に、代表値の変化が小さくなる。
For example, the representative
そして、代表値抽出部6は“「観察対象画像取得時のレーザ光量」に対する「故障判定領域における赤色画素値の平均値」の比”を算出し、この比を代表値として抽出する。代表値抽出部6が代表値を抽出する間隔は、後述する故障判定部7の故障判定を実施する間隔に対応する。代表値抽出部6は、抽出された代表値を故障判定部7へ出力する。
Then, the representative
故障判定部7は、図1に示すように、代表値抽出部6から受け取った代表値を記憶するための代表値記憶部71を有し、この代表値記憶部71に記憶された前フレーム(時刻tn−1)の代表値を基に設定された故障判定基準と、代表値抽出部6から受け取った現フレーム(時刻tn)の代表値と、を比較することで、故障判定を行う。故障判定基準の詳細については後述する。故障判定部7は、このような故障判定を、故障判定間隔で繰り返し実施する。この故障判定間隔は、tn−tn−1であり、フレームレートに対応している。
As shown in FIG. 1, the
以下、図5を参照して、故障判定部7での故障判定方法について説明する。現フレームの代表値が故障判定基準よりも大きい場合には、故障判定部7は、照明装置2が故障をしていないと判定する(図8のt1〜t5)。このような場合には、故障判定部7は、代表値抽出部6から受け取った現フレーム(時刻tn)における代表値を、次フレームでの故障判定処理に使用するために、代表値記憶部71へ記憶する。時刻tnの代表値を代表値記憶部71へ格納した後、故障判定部7は引き続き次フレーム(時刻tn+1)の代表値に対して故障判定を行う。これに対して、現フレームの代表値が故障判定基準よりも小さい場合には、故障判定部7は、照明装置2が故障していると判定する(図8のt6)。このように故障していると判定したときには、故障判定部7は、光源21を停止するための故障判定信号を光源制御部23へ出力する。なお、特に図示はしていないが、故障判定部7は、ラッチ回路をさらに有しており、光源制御部23への故障判定信号の出力を維持できるようになっている。また、上記故障判定信号は画像表示部4へも出力される。したがって、ユーザは、画像表示部4に表示された画像によって、照明装置2の故障を確認できる。
Hereinafter, a failure determination method in the
時刻tnにおける故障判定基準は、時刻tn−1における代表値に、所定の判定基準定数αを掛け合わせた値として設定される。判定基準定数αは、“照明装置が正常に動作している状態の故障判定間隔内における代表値の変化率”と“故障時における代表値の変化率”とから決定される。例えば、図5では、α=0.8である。ここで、“照明装置が正常に動作している状態の故障判定間隔内における代表値の変化率”とは、例えば、予め本観察装置1の使用時に想定される一般的な観察対象部OE(被写体)に対して試験観察を実施して、照明装置2が正常に動作している状態で、時刻tnにおける観察対象画像の代表値が時刻tn−1における観察対象画像の代表値に対して、最大でどの程度変化し得るかを評価し、最も代表値が変化したときの変化率のことであり、以下、これを正常時最大変化率βと称する。正常時に動作している状態での代表値の変化の要因としては、ユーザが観察範囲若しくは観察距離の変更のために観察装置1を移動させる場合や、対象物OJ自身が動く場合などが挙げられる。上記試験観察には、このような観察装置1の移動も含める。
Failure criteria at time t n is the representative value at time t n-1, is set as the value obtained by multiplying a predetermined criterion constant alpha. The determination reference constant α is determined from “a change rate of a representative value within a failure determination interval in a state where the lighting apparatus is operating normally” and “a change rate of a representative value at the time of failure”. For example, in FIG. 5, α = 0.8. Here, “the rate of change of the representative value within the failure determination interval when the illumination device is operating normally” is, for example, a general observation target portion OE (preliminarily assumed when the
判定基準定数αは、上記正常時最大変化率βに対して、α<1−│β│のように決定される。このようして決定した判定基準定数αを基に設定した故障判定基準を用いると、照明装置2が正常に動作している状態では、代表値は故障判定基準より小さくなることがない。したがって、照明装置2が正常な状態のときに、故障判定部7が故障として判定するような誤った判定結果を出力することを防ぐことができる。
The determination reference constant α is determined as α <1- | β | with respect to the normal maximum change rate β. When the failure determination criterion set based on the determination criterion constant α determined in this way is used, the representative value does not become smaller than the failure determination criterion when the
フレームレートに対応する故障判定間隔、例えば、1/30秒では、観察対象画像に対する観察範囲及び観察距離は大きく変化しない。そのため、照明装置2が正常に動作していれば、時刻tnにおける故障判定領域は、時刻tn−1における故障判定領域に対して大きく変化しない。また、この場合には、時刻tnにおける代表値も時刻tn−1における代表値に対して大きく変化しない。この結果、正常時最大変化率βは1より充分小さくなる。
At the failure determination interval corresponding to the frame rate, for example, 1/30 second, the observation range and the observation distance for the observation target image do not change significantly. Therefore, if the
一方、“故障時における代表値の変化率”は、主に故障モードによって決まる。本実施形態において想定している故障モードは、観察中の照明装置2の故障である。この観察中の照明装置2の故障の一例は、例えば、光コネクタ26aの外れや光ファイバ24aの断線によって照明光がまったく射出されないというものがある。また、光コネクタ26b又は26cの外れや光ファイバ24b又は24cの断線によって、2つの光変換部材22の内の一方又は両方から照明光が射出されなくなるような故障もある。
On the other hand, the “change rate of the representative value at the time of failure” is mainly determined by the failure mode. The failure mode assumed in this embodiment is a failure of the
前述のように本実施形態では、2つの光変換部材22は略同特性であり且つ光カプラ25は分光比1:1に形成されているので、2つの光変換部材22の一方から照明光が射出されなくなる故障の場合は、故障判定領域における画素値の平均値は約半分に低下することになる。一方、照明光がまったく射出されなくなる故障では、故障判定領域における画素値はほぼゼロとなる。
As described above, in the present embodiment, the two
また、前述のように光ファイバ24a,24b,24cは単線の光ファイバであり、それが断線した場合には、瞬間的に照明光量の低下が生じる。この結果、フレームレートに対応した故障判定間隔中に代表値の変化が生じる。
Further, as described above, the
上記“故障時における代表値の変化率”とは、このような想定している故障モードのうち、故障した場合に代表値の変化が最も小さい故障時における代表値の変化率のことであり、以下、これを故障時最小変化率γと称する。 The above-mentioned “rate of change of representative value at the time of failure” refers to the rate of change of the representative value at the time of failure where the change in the representative value is the smallest among the assumed failure modes. Hereinafter, this is referred to as a failure minimum change rate γ.
従って、判定基準定数αは、故障時最小変化率γに対して、α>1−│γ│のように決定される。 Therefore, the determination reference constant α is determined as α> 1− | γ | with respect to the minimum change rate γ at the time of failure.
このように決定された判定基準定数αを基に故障判定基準を設定し、この故障判定基準を故障判定に用いることによって、想定している故障モードのうち、どの故障が起きても確実に故障と判定されることができる。 By setting a failure criterion based on the determination criterion constant α determined in this way, and using this failure criterion for failure determination, any failure among the assumed failure modes will occur reliably. Can be determined.
なお、2つの光変換部材22から照射される照明光の特性及び光量が異なるときには、どちらの照明光が射出されなくなった場合でも故障判定できるように、重み付けをして故障判定基準を設定することが必要である。この重み付けされた故障時最小変化率γを用いて故障判定基準αが決定される。あるいは、想定した故障モードでの代表値の変化を予め評価をして、故障時最小変化率γを決定するようにしても良い。なお、このような2つの光変換部材22から射出される照明光の特性及び光量が異なる場合の例としては、例えば、2つの光変換部材22の特性が異なる場合、光カプラ25の分岐比がアンバランスである場合、2つの光変換部材22から射出される照明光量に違いがある場合、などが挙げられる。
When the characteristics and amount of illumination light emitted from the two
以上から、正常時最大変化率βと故障時最小変化率γとを用いて1−│γ│<α<1−│β│のように決定された判定基準定数αを基に設定した故障判定基準を用いると、誤った判定をすることが防止される。すなわち、故障判定部7は、想定される故障モードに対して確実に故障と判定できる。また、一般的に動画を取得する観察装置にて用いるフレームレートは30fps程度であるので、フレームレートに応じた故障判定間隔、例えば1/30秒では、観察対象画像に対する観察範囲/観察距離は大きく変化しない。したがって、正常時最大変化率βが故障時最小変化率γより小さくなる事は無い。
From the above, failure determination set based on the determination reference constant α determined as 1− | γ | <α <1− | β | using the maximum normal change rate β and the minimum change rate γ during failure. Using the criteria prevents wrong decisions. That is, the
次に本実施形態に係る観察装置1の動作について、図6のフローチャートに従って説明する。
本実施形態に係る観察装置1では、まず、ステップS1において、画像取得部3の撮像部31により、観察対象画像を所定のフレームレートで取得する。フレームレートは例えば30fpsである。撮像部31は、撮像した画像の青色、緑色及び赤色の画素信号を画像処理部32へ出力する。画像処理部32は、撮像部31から入力された各色の画素信号に対して画像処理を行う。画像処理部32は、画像処理後の画素信号を観察対象画像として画像表示部4及び故障判定領域設定部5へ出力する。画像表示部4は、この観察対象画像を表示する。
Next, operation | movement of the
In the
次に、ステップS2において、故障判定領域設定部5により、コントラスト法によって計算された合焦評価値から合焦の判定を行う。すなわち、まず、故障判定領域設定部5は、観察対象画像を複数の領域に分割処理する。次に、故障判定領域設定部5は、分割処理した各領域における青色画素値のコントラストを用いてコントラスト法により合焦評価値を計算する。故障判定領域設定部5は、この計算された合焦評価値により、合焦しているか否かを判定する。
Next, in step S2, the failure determination
次に、ステップS3において、故障判定領域設定部5により、観察対象画像内に合焦領域が存在するか否かを判定する。合焦領域が存在するときには、ステップS4に処理が進められる。合焦領域が存在しないときには、ステップS5に処理が進められる。ステップ4及びステップ5の処理において、故障判定領域設定部5は、画像取得部3のフレームレートに対応するタイミングで注目領域36を設定することとなる。
Next, in step S <b> 3, the failure determination
即ち、ステップS4において、故障判定領域設定部5により、合焦領域を注目領域36として設定し、この注目領域36をその画素値情報と共に領域記憶部51へ記憶する。すなわち、分割処理された複数の領域のうち、故障判定領域設定部5は、所定の合焦閾値以上の合焦評価値を持つ(コントラストの高い)領域である合焦領域を注目領域36に設定し、それをその画素値情報と共に領域記憶部51へ記憶する。
That is, in step S4, the failure determination
また、ステップS5においては、故障判定領域設定部5により、1フレーム前の故障判定時に領域記憶部51に記憶された観察対象画像の注目領域36を、現フレームの故障判定の注目領域36として設定する。すなわち、分割した複数の領域が合焦閾値以上の合焦評価値を持たない場合には、領域記憶部51に記憶されている前フレームで取得した観察対象画像における注目領域36を現フレームの注目領域36として設定するものである。
In step S5, the failure determination
上記ステップS4又はステップS5の後、ステップS6において、故障判定領域設定部5により、上記設定された注目領域を故障判定領域として設定する。注目領域36が故障判定領域として設定されるので、故障判定間隔はフレームレートに同期される。また、故障判定領域は注目領域36であるので、故障時における代表値の変化を検出するために十分な反射光を得られない領域を除いた領域である。故障判定領域設定部5は、設定した故障判定領域の画素値情報を故障判定領域情報として代表値抽出部6へ出力する。
After step S4 or step S5, in step S6, the failure determination
次に、ステップS7において、代表値抽出部6により、“「観察対象画像取得時のレーザ光量」に対する「故障判定領域における赤色画素値の平均値」の比”を代表値として抽出する。すなわち、代表値抽出部6は、故障判定領域設定部5から受信した故障判定領域情報から、故障判定領域における赤色画素値の平均値を計算する。また、代表値抽出部6は、観察対象画像取得時のレーザ光量を光源制御部23から観察対象画像取得時のLD光量情報として受け取る。そして、LD光量情報から取得したレーザ光量と故障判定領域における赤色画素値の平均値との比を算出する。代表値抽出部6は、この算出した比を代表値として抽出する。代表値抽出部6は、この抽出した代表値を故障判定部7へ出力する。
Next, in step S7, the representative
次に、ステップS8において、故障判定部7により、故障判定基準を設定する。すなわち、故障判定部7は、代表値記憶部71に保存された前フレームの代表値を基に故障判定基準を設定する。
Next, in step S8, the failure determination standard is set by the
そして、ステップS9において、故障判定部7により、故障判定処理として、上記ステップS7で抽出された代表値が上記ステップS8で設定した故障判定基準よりも小さいか否かを判定する。ステップS7で抽出した代表値が故障判定基準以上であれば、ステップS10に処理が進められる。また、代表値が故障判定基準よりも小さければ、ステップS11に処理が進められる。
In step S9, the
すなわち、この故障判定処理では、故障判定部7は、代表値記憶部71から1フレーム前の観察対象画像の故障判定領域における代表値を取得する。次に、1フレーム前の観察対象画像の故障判定領域における代表値“レーザ光量に対する赤色画素値の平均値の比”に対して判定基準定数α(0<α<1)を掛け合わせた値を故障判定基準として設定する。そして、この代表値記憶部71から取得した代表値を基に設定した故障判定基準と、現フレームの観察対象画像の故障判定領域における代表値とを比較する。
That is, in this failure determination process, the
現フレームの観察対象画像の故障判定領域における代表値が設定した故障判定基準以上の場合には、故障判定部7は、照明装置2が故障でない、つまり、正常に動作していると判定する。この場合には、ステップS10において、故障判定部7により、現フレームの代表値を代表値記憶部71へ格納する。そして、上記ステップS1に処理が進められ、次のフレームに対する動作が行われる。
If the representative value in the failure determination area of the observation target image of the current frame is equal to or greater than the set failure determination criterion, the
これに対して、現フレームの観察対象画像の故障判定領域における代表値が設定した故障判定基準より小さい場合には、故障判定部7は、照明装置2を故障として判定する。この場合には、ステップS11において、故障判定部7より光源制御部23及び画像表示部4に故障判定信号を出力する。
On the other hand, when the representative value in the failure determination area of the observation target image of the current frame is smaller than the set failure determination criterion, the
そして、ステップS12において、光源制御部23により、故障判定信号に応じて光源21を停止して、本ルーチンを終了する。なお、光源制御部23は、故障判定信号に応じて光源21を停止する代わりに、レーザ光量を安全な光量まで減光するための信号を光源21に出力するものとしても良い。ここで、安全な光量とは、例えば、レーザクラス1以下の光量である。また、故障判定信号は画像表示部4へも出力されるので、画像表示部4においてユーザに対して照明装置2の故障を通知することもできる。
In step S12, the light
次に、本実施形態の効果について説明する。
本実施形態によれば、画像取得部3で取得された時点の光源21からのレーザ光量に対する故障判定領域の画素値の変化を基に故障を判定するので、画像取得部3が取得した観察対象画像33の画像処理等で対応可能である。したがって、光学部材又は検出器を新たに追加することなく、照明装置2の故障判定ができる。
Next, the effect of this embodiment will be described.
According to the present embodiment, since the failure is determined based on the change in the pixel value of the failure determination region with respect to the laser light quantity from the
故障判定領域設定部5が故障判定領域として設定する領域をコントラストの高い注目領域36とすることによって、管腔部のような画素値の変化の検出が困難で誤判定が起き易い領域を除いて、故障判定を行うことが可能である。
By setting the region to be set as the failure determination region by the failure determination
また、故障判定領域設定部5の合焦評価値の計算において、コントラストの算出に青色の光の反射光すなわち青色画素値が使用されることによって、特に対象物OJが人体などの生体である場合に、体腔内表面の血管部分とそれ以外の部分とのコントラストが強調されるので、コントラスト法による合焦判定の精度が向上し、その結果、故障判定の精度が向上する。
Further, in the calculation of the focus evaluation value of the failure determination
同様に、代表値抽出部6において代表値を抽出する際、赤色画素値のみを用いることで、特に対象物OJが人体などの生体であるとき、故障判定領域における血管量の変化した場合の代表値の変化が小さくなるため、正常時の画素値変化と故障時の画素値変化の差が大きくなるので、故障判定がし易くなる。
Similarly, when the representative value is extracted by the representative
また、代表値抽出部6において、代表値として故障判定領域における平均値のような故障判定領域全体の画素値を反映できる値を用いることで、2つの光変換部材22のうち一方から光が射出されなくなるような、故障判定領域の画素値が全体的に低下する故障も検出し易くなる。
Further, in the representative
さらに、代表値抽出部6において、代表値として観察対象画像取得時のレーザ光量に対する画素値の比をとることで、観察対象画像の画素値が一定以上になるようにレーザ光量を制御(調光)することによる故障判定領域の画素値の変化に対して、故障であると誤検出することがなくなる。
Further, the representative
また、正常時最大変化率βと故障時最小変化率γとを用いて決定された判定基準定数αを基に故障判定基準を設定することによって、誤判定をすることなく、想定した故障モードの故障が確実に判定される。 In addition, by setting a failure determination criterion based on the determination criterion constant α determined using the normal maximum change rate β and the failure minimum change rate γ, it is possible to determine the expected failure mode without erroneous determination. Failure is reliably determined.
なお、光源21は、青色LDの代わりに、他の所望の波長の光を発するLD又はLEDを使用しても良い。LEDを使用する場合には、単線の光ファイバの代わりに、バンドルのファイバを使用した方が結合効率的に好ましい。また、光変換部材22は、蛍光体223の代わりに、レーザ光の配光特性のみを変換する拡散部材を使用しても良い。
The
また、本実施形態では、合焦評価値の計算に青色画素値を用いているが、青色画素値の代わりに緑色画素値を用いても良いし、青色画素値と緑色画素値の両方の画素値を用いても良い。あるいは、特に体腔内以外の血管が存在しない観察対象を観察する場合には、赤色、青色、緑色のいずれの又はすべての画素値を用いても良い。 In this embodiment, the blue pixel value is used to calculate the focus evaluation value. However, the green pixel value may be used instead of the blue pixel value, or both the blue pixel value and the green pixel value may be used. A value may be used. Alternatively, in particular, when observing an observation target having no blood vessels other than the body cavity, any or all of the pixel values of red, blue, and green may be used.
また、本実施形態では、故障判定間隔は画像取得間隔と一致させているが、故障判定間隔は、正常時最大変化率βが故障時最小変化率γより小さくならない範囲ならば、画像取得間隔よりも長くても良い。その場合には、正常時最大変化率βがより大きくなるので、必要に応じて判定基準定数αを小さくする。 In the present embodiment, the failure determination interval is made to coincide with the image acquisition interval. However, if the failure determination interval is within a range where the normal maximum change rate β is not smaller than the failure minimum change rate γ, the failure determination interval is greater than the image acquisition interval. Can be long. In that case, the normal maximum change rate β becomes larger, so the determination reference constant α is made smaller as necessary.
また、照明装置2が正常に動作している状態において、代表値の時間変化があまり大きくないような対象物OJに対しては、故障判定基準をすべての故障判定領域に対して同一としても良い。
Further, the failure determination criterion may be the same for all failure determination regions for an object OJ whose representative value does not change significantly with time when the
なお、代表値は、“「観察対象画像取得時のレーザ光量」に対する「故障判定領域における赤色画素値の平均値」の比”の代わりに、単に“故障判定領域における赤色画素値の平均値”としても良い。このとき、代表値抽出部6ではなく故障判定部7において、代表値である“故障判定領域における赤色画素値の平均値”と“観察対象画像が取得されたときのレーザ光量”との比が算出される。算出された比は、さらに故障判定部7において故障判定基準と比較される。この代表値と観察対象画像が取得されたときのレーザ光量との比が故障判定基準よりも大きいときには、この代表値と観察対象画像が取得されたときのレーザ光量との比は、代表値記憶部71へ記憶される。
The representative value is simply “the average value of the red pixel values in the failure determination region” instead of “the ratio of“ the average value of the red pixel values in the failure determination region ”to the“ laser light amount at the time of obtaining the observation target image ””. In this case, the representative value “average value of red pixel values in the failure determination region” and “laser light amount when the observation target image is acquired” are used in the
また、故障判定部7で故障判定されるとき、“故障判定領域における赤色画素値の平均値”と“レーザ光量”との比が算出されなくても良い。特に、光量調整機能が無い照明装置2を有する観察装置1では、照明装置2が正常な状態であるときの光量が一定である。したがって、単に“故障判定領域における赤色画素値の平均値”を代表値としても、故障判定部7における故障判定で光量の値は一定であるので、光量の変化を考慮する必要がない。すなわち、単に“故障判定領域における赤色画素値の平均値”を代表値としても、故障判定の誤検出が発生しない。
Further, when the
なお、本実施形態において、画像表示部4は観察装置1の一部として記載したが、観察装置1の外部に設けられていても良い。
In the present embodiment, the image display unit 4 is described as a part of the
[変形例]
次に、本実施形態の変形例について説明する。
照明装置2が正常に動作している状態では、故障判定領域における赤色画素値の画像上の分布の重心は、例えば、一方の光変換部材22から観察対象部OEに照射される照明光と、もう一方の光変換部材22から観察対象部OEに照射される照明光とが重なる部分の中心付近に存在する。これは、観察対象画像33においては、図7中の左側に示すように、故障判定領域(注目領域36)内の赤色画素値の分布の重心37が、2つの光変換部材22の一方(光変換部材1)からの照明光の反射光381と、2つの光変換部材22の他方(光変換部材2)からの照明光の反射光382とが重なる部分の中心付近に存在するということである。
[Modification]
Next, a modification of this embodiment will be described.
In the state in which the
これに対して、例えば、2つの光変換部材22の一方から照明光が射出されなくなる故障では、赤色画素値の画像上の分布の重心は、故障していないもう一方の光変換部材22から照射される照明光の中心付近に移動する。すなわち、図7中の右側に示すように、観察対象画像33においては、故障判定領域(注目領域36)内の赤色画素値の分布の重心37が、光変換部材1からの照明光の反射光381の中心付近に移動する。
On the other hand, for example, in a failure in which illumination light is not emitted from one of the two
本変形例は、このような、故障時における“故障判定領域における赤色画素値の画像上の分布の重心の移動量”を基に、故障検出を実施するものである。ここで、赤画素値を用いる理由は、第1実施形態で説明した理由と同じである。 In this modification, failure detection is performed on the basis of the “movement amount of the center of gravity of the distribution of red pixel values in the failure determination area” at the time of failure. Here, the reason for using the red pixel value is the same as the reason described in the first embodiment.
故障判定領域における赤色画素値の画像上の分布の重心
代表値抽出部6は、時刻tn−1における故障判定領域内の赤色画素値の画像上の分布の重心
故障判定部7は、上記代表値が故障判定基準T1を上回った場合に故障と判定する。この故障判定基準T1は、照明装置2が正常に動作している状態の故障判定間隔内における代表値の変化量β1と、故障時における代表値の変化量γ1と、から決定されるものであり、β1<T1<γ1のように設定される。β1及びγ1の設定方法は、第1実施形態のβ及びγの設定方法と同様である。
以上のように、故障判定領域の赤色画素値の画像上の分布の重心の移動量を基に故障判定を実施することでも、故障を検出することができる。 As described above, the failure can also be detected by performing the failure determination based on the movement amount of the center of gravity of the distribution of the red pixel values in the failure determination area on the image.
[第2実施形態]
本第2実施形態に係る観察装置1は、上記第1実施形態に係る観察装置1と同様の構成を有するが、故障判定する故障モード及び故障判定の処理が異なる。以下、第1実施形態と異なる部分を説明する。 光変換部材22に設けられる蛍光体223が外力などによって脱離したり、蛍光体223を保持するホルダ221ごと脱離したりするような故障では、レーザ光が波長変換されずに観察対象部OEに照射される。例えば、第1実施形態に示した光変換部材22では、YAG蛍光体が脱離することによって、青色LDが観察対象部OEに直接射出される。このような故障においては、射出される照明光の色の変化によって、反射光の色も変化する。したがって、色変化に対応する故障判定の処理が必要である。
[Second Embodiment]
The
本第2実施形態では、反射光の色を特長付ける値として、故障判定領域における画素値の色度座標上の分布の中心を使用する。ここで、色度座標とは、xyY表色系におけるx,yのことをいう。xyY表色系は、RGB表色系から所定の変換により求められる。また、故障判定部7における故障判定は、故障判定領域の色度座標上の分布の中心の移動量を基に実施される。故障判定のフローは、図6に示す第1実施形態のフローと同一である。
In the second embodiment, the center of the distribution on the chromaticity coordinate of the pixel value in the failure determination area is used as a value characterizing the color of the reflected light. Here, the chromaticity coordinates mean x and y in the xyY color system. The xyY color system is obtained from the RGB color system by a predetermined conversion. Moreover, the failure determination in the
本実施形態に係る観察装置1では、故障判定領域設定部5は、観察対象画像33内において赤画素値が所定の閾値以上である画素領域を注目領域36として設定する。ここで、例えば、予めサンプルの被写体に対して観察が実施され、故障時における代表値の変化を検出するために最低限必要な赤画素値が、上記所定の閾値として設定される。
In the
代表値抽出部6において、代表値は“「直前に取得した観察対象画像内の故障判定領域における画素値の色度座標上の分布の中心」と「現時点で取得した観察対象画像内の故障判定領域における画素値の色度座標上の分布の中心」との距離”として抽出される。
In the representative
ここで、故障判定領域における画素値の色度座標上の分布の中心
そして、代表値抽出部6は、時刻tn−1における観察対象画像33の故障判定領域内の画素値の色度座標上の分布の中心
故障判定部7は、上記代表値が故障判定基準T2を上回った場合に故障と判定する。ここで、故障判定基準T2は、照明装置が正常に動作している状態の故障判定間隔内における代表値の変化量β2と、故障時における代表値の変化量γ2とから決定されるもので、β2<T2<γ2のように設定される。β2及びγ2の設定方法は、上記第1実施形態のβ及びγの設定方法と同様である。
本第2実施形態によれば、故障判定領域における反射光の色を特長付ける値として、画素値の色度座標上の分布の中心が用いられる。画素値の色度座標上の分布の中心の移動量によって故障判定を行うことによって、光変換部材22に設けられた蛍光体223が外力の負荷などにより脱離したり、蛍光体223を保持するホルダ221ごと脱離したりするような故障の検出が可能である。
According to the second embodiment, the center of the distribution of the pixel values on the chromaticity coordinates is used as a value characterizing the color of the reflected light in the failure determination area. A holder for holding the
なお、本実施形態では、反射光の色を特徴付ける値として、xyY表色系におけるx,y座標上の分布の中心を用いたが、例えばLuv表色系におけるu,v座標などの別の座標系を用いても良い。また、分布の中心の移動量以外にも、分布の中心の絶対値の変化などの別の指標を用いても良い。 In this embodiment, the center of the distribution on the x and y coordinates in the xyY color system is used as a value characterizing the color of the reflected light. However, other coordinates such as the u and v coordinates in the Luv color system are used. A system may be used. In addition to the amount of movement at the center of the distribution, another index such as a change in the absolute value at the center of the distribution may be used.
[第3実施形態]
本第3実施形態に係る観察装置1は、第1実施形態の観察装置1の構成に加えて、第2実施形態で説明した機能を備える代表値抽出部と故障判定部とをさらに備えるものである。すなわち、本第3実施形態に係る観察装置1は、図8に示すように、複数の代表値抽出部6a,6bと故障判定部7a,7bとを備え、代表値抽出部6a及び故障判定部7aは第1実施形態における代表値抽出部6及び故障判定部7と同様のものであり、代表値抽出部6b及び故障判定部7bは第2実施形態における代表値抽出部6及び故障判定部7と同様のものである。また、本第3実施形態に係る観察装置1は、それら複数の故障判定部7a,7bでなされた複数の故障判定の結果の情報を基に故障の危険レベルに応じた信号を光源制御部23及び画像表示部4へ出力する故障対応判断部8をさらに有する。
[Third Embodiment]
In addition to the configuration of the
以下、本実施形態に係る観察装置1の、上記第1及び第2の実施形態とは異なる部分について詳しく説明する。
Hereinafter, portions of the
本実施形態では、故障判定領域設定部5は、代表値抽出部6a,6bの各々に接続されている。この故障判定領域設定部5は、第1実施形態と同様に画像取得部3で取得された観察対象画像33に対して青色画素値から計算したコントラストを基に注目領域36を設定する。上記第1及び第2実施形態では、故障判定領域設定部5は、この設定した注目領域36を故障判定領域として出力したが、本第3実施形態では、それだけではなく更に直前に取得した観察対象画像の複数の注目領域36も使用し、それらにおいて重複した領域を故障判定領域として設定する。これを図9及び図10を参照して説明する。
In the present embodiment, the failure determination
故障判定領域設定部5は、上記第1実施形態と同様に、取得した観察対象画像33に対して注目領域36を設定し、領域記憶部51に記憶していく。そして、故障判定領域設定部5は、観察対象画像を連続して複数、本実施形態では図9に示すように3フレーム、取得する期間を、故障判定領域設定期間として、この故障判定領域設定期間に記憶された3つの注目領域36において重複した領域を故障判定領域として設定する。例えば、図9に示すように、故障判定領域設定部5は、時刻tnにおいて、取得された観察対象画像33に注目領域36を設定し、領域記憶部51に記憶する。この時点では、既に同様にして時刻tn−2及び時刻tn−1において、取得された観察対象画像33について注目領域36をそれぞれ設定し、領域記憶部51に記憶されている
ここで、観察装置1の移動や対象物OJ自身が動くことにより、例えば、図10に示すように、時刻tn−2に取得した観察対象画像33の注目領域36n−2と、時刻tn−1に取得した観察対象画像33の注目領域36n−1と、時刻tnに取得した観察対象画像33の注目領域36nと、の3つの注目領域は、一致しない。そこで、本実施形態では、時刻tnにおける故障判定に用いる故障判定領域39として、それら3つの注目領域36n−2,36n−1,36nにおいて重複した領域を用いる。故障判定領域設定部5は、このようにして設定した時刻tnにおける故障判定領域39の画素値情報を故障判定領域情報として代表値抽出部6a,6bへ出力する。なお、故障判定間隔は、第1実施形態と同様、フレームレートに対応した間隔であり、tn−tn−1で表される。
The failure determination
代表値抽出部6aは、第1実施形態の代表値抽出部6のように、故障判定領域情報から“故障判定領域における赤色画素値の平均値の、レーザ光量に対する比”を第1の代表値(代表値A)として抽出し、故障判定部7aに送る。また、代表値抽出部6bは、第2実施形態の代表値抽出部6のように、“「直前に取得した観察対象画像内の故障判定領域における画素値の色度座標上の分布の中心」と「今回取得した観察対象画像内の故障判定領域における画素値の色度座標上の分布の中心」との距離”を第2の代表値(代表値B)として抽出し、故障判定部7bに送る。ここで、例えば、“今回取得した観察対象画像内の故障判定領域”が3つの注目領域36n−2,36n−1,36nにおいて重複した領域とすれば、“直前に取得した観察対象画像内の故障判定領域”とは、3つの注目領域36n−3,36n−2,36n−1において重複した領域を言う。
Like the representative
故障判定部7a,7bの各々は、異なる代表値の時間変化に基づいて危険レベルの異なる故障判定を実施する。すなわち、故障判定部7aは、代表値抽出部6aから受け取った代表値(代表値A)を記憶する代表値記憶部71aを有し、第1実施形態の故障判定の処理と同様に、故障判定領域における反射光の輝度低下を基に故障判定を実施する。故障判定部7aが検出する故障は、例えば、光コネクタ26b,26cの外れや光ファイバ24b,24cの断線のような故障である。故障判定部7aは、故障と判定した場合には故障対応判断部8へ故障判定信号(故障判定信号A)を出力する。一方、故障判定部7bは、代表値抽出部6bから受け取った代表値(代表値B)を記憶する代表値記憶部71bを有し、第2実施形態と同様の故障判定で、故障判定領域における反射光の色変化を基に故障判定を実施する。故障判定部7bが検出する故障は、例えば、蛍光体223の脱離や蛍光体223を保持するホルダ221脱離のような故障である。故障判定部7bは、故障と判定した場合には故障対応判断部8へ故障判定信号(故障判定信号B)を出力する。
Each of the
故障対応判断部8は、複数の故障判定部7a,7bのいずれかの故障判定の結果を基にして、故障の危険レベルに応じて、レーザ光量を安全な光量に設定する対応と、ユーザに対する故障通知による対応と、を判断する。
The failure
すなわち、故障判定部7aから故障判定信号が出力された場合には、故障対応判断部8は、はじめに、画像表示部4に照明装置2の故障とレーザ光を安全な光量に設定する旨とをユーザに通知させるための信号を、画像表示部4に出力する。その後に、故障対応判断部8は、光源制御部23より光源21からのレーザ光の光量を安全な光量に設定させるための信号を、光源制御部23に出力する。故障判定部7aが検出する光コネクタ26b,26cの外れや光ファイバ24b,24cの断線のような故障では、レーザ光が光ファイバ24b,24cの外部へ漏れる可能性があるが、一般的に光ファイバ24b,24cの周りには筐体が存在しているために、瞬時にレーザ光が外部へ漏れて人体等へ放射される可能性は低い。よって、故障レベルとしては低い。
In other words, when a failure determination signal is output from the failure determination unit 7a, the failure
これに対して、故障判定部7bから故障判定信号が出力された場合には、故障対応判断部8は、瞬時に、光源制御部23より光源21からのレーザ光の光量を安全な光量に設定させるための信号を、光源制御部23に出力する。そしてその後に、故障対応判断部8は、照明装置2に故障が生じたためにレーザ光を安全な光量に設定したことを画像表示部4に表示させるための信号を、画像表示部4に出力することによって、ユーザに対して故障通知を行う。つまり、故障判定部7bが検出する蛍光体223の脱離や蛍光体223を保持するホルダ221の脱離のような故障では、照明光の射出面からレーザ光が直接射出され、瞬時にレーザ光が人体等へ放射され得る。したがって、故障判定部7aで検出する故障よりも故障判定部7bで検出する故障の方が、致命的な故障の可能性は高いと思われ、故障レベルとしては高い。よって、何よりもまず、レーザ光を安全な光量に設定することを優先するものである。
On the other hand, when a failure determination signal is output from the
以上のように、本実施形態によれば、故障判定領域設定部5において、故障判定領域39は直前に取得した複数の観察対象画像における複数の注目領域において重複した領域として設定されるため、故障判定領域が1つの観察対象画像から設定されるよりも適切に設定されることができる。この結果、故障判定部7a及び/又は7bにおける故障判定の誤判定が防止される。
As described above, according to the present embodiment, the failure determination
また、本実施形態によれば、複数の故障判定部7a,7bでなされた複数の故障判定の結果の情報に基づいて、故障の危険レベルに応じてレーザ光を安全な光量に設定する及びユーザに対する故障通知を行うなど、検出したそれぞれの故障に対して適切な対応を取ることができる。
Further, according to the present embodiment, the laser light is set to a safe light amount according to the danger level of the failure based on the information on the result of the plurality of failure determinations made by the plurality of
OJ…対象物、 OE…観察対象部、 1…観察装置、 2…照明装置、 3…画像取得部、 4…画像表示部、 5…故障判定領域設定部、 6,6a,6b…代表値抽出部、 7,7a,7b…故障判定部、 8…故障対応判断部、 21…光源、 22…光変換部材、 23…光源制御部、 24a,24b,24c…光ファイバ、 25…光カプラ、 26a,26b,26c…光コネクタ、 31…撮像部、 32…画像処理部、 33…観察対象画像、 34…黒色部分、 35…分割領域、 36,36n…注目領域、 37…赤色画素値の分布の重心、 39…故障判定領域、 51…領域記憶部、 71,71a,71b…代表値記憶部、 221…ホルダ、 222…光透過部材、 223…蛍光体、 224…反射部材、 381,382…反射光。
OJ ... object, OE ... observation target part, 1 ... observation device, 2 ... illumination device, 3 ... image acquisition part, 4 ... image display part, 5 ... failure determination area setting part, 6, 6a, 6b ...
Claims (25)
前記観察対象部を撮像し、複数の画素により構成される観察対象画像を繰り返し取得する画像取得部と、
前記観察対象画像内に前記照明装置の故障判定に用いる故障判定領域を設定する故障判定領域設定部と、
前記故障判定領域における画素値の状態を示す代表値を抽出する代表値抽出部と、
前記代表値の変化に基づいて前記照明装置の故障判定を行う故障判定部と、
を具備する観察装置。 A light source that emits primary light; a light guide member that guides the primary light emitted from the light source; and the primary light guided by the light guide member to receive the primary light. An illumination device that irradiates the observation target part with illumination light as light emitted from the light conversion member;
An image acquisition unit that images the observation target unit and repeatedly acquires an observation target image including a plurality of pixels;
A failure determination region setting unit for setting a failure determination region used for failure determination of the lighting device in the observation target image;
A representative value extracting unit that extracts a representative value indicating a state of a pixel value in the failure determination region;
A failure determination unit that determines a failure of the lighting device based on the change in the representative value;
An observation apparatus comprising:
前記故障判定領域設定部は、前記観察対象画像の前記緑色画素の画素値と前記青色画素の画素値のいずれか1つの画素値を基にコントラストを算出し、コントラストが高い領域を前記注目領域とする請求項5に記載の観察装置。 The image acquisition unit includes an imaging unit having a red pixel, a green pixel, and a blue pixel,
The failure determination area setting unit calculates a contrast based on a pixel value of one of the green pixel value and the blue pixel value of the observation target image, and sets a high contrast area as the attention area. The observation apparatus according to claim 5.
前記故障判定領域設定部は、前記観察対象画像において前記赤色画素の画素値が所定の画素値以上の画素の領域を前記注目領域とする請求項7に記載の観察装置。 The image acquisition unit includes an imaging unit having a red pixel, a green pixel, and a blue pixel,
The observation apparatus according to claim 7, wherein the failure determination area setting unit sets an area of a pixel in which a pixel value of the red pixel is equal to or larger than a predetermined pixel value in the observation target image as the attention area.
前記故障判定間隔内における、前記観察装置と前記観察対象部との距離の変化及び撮像範囲の変化による、前記照明装置の正常動作時の前記代表値の変化と、前記照明装置の故障時の前記代表値の変化と、を基にして、前記正常動作時の前記代表値の変化においては故障と判定せず、前記故障時の前記代表値の変化においては故障と判定するように、前記故障判定基準を設定する請求項10に記載の観察装置。 The failure determination unit repeatedly performs a failure determination of the lighting device at a predetermined failure determination interval,
Within the failure determination interval, a change in the representative value during a normal operation of the illumination device due to a change in the distance between the observation device and the observation target portion and a change in the imaging range, and the failure in the illumination device Based on the change in the representative value, the failure determination is performed so that a failure is not determined in the change in the representative value during the normal operation and a failure is determined in the change in the representative value during the failure. The observation apparatus according to claim 10, wherein a reference is set.
前記故障判定部は、前記代表値が、前記故障判定基準よりも小さい場合に故障と判定する請求項12に記載の観察装置。 The representative value extraction unit sets the ratio of the predetermined pixel value in the failure determination region to the light amount of the primary light at the time of obtaining the observation target image as the representative value,
The observation device according to claim 12, wherein the failure determination unit determines that a failure occurs when the representative value is smaller than the failure determination criterion.
前記所定の画素値は、前記赤色画素の画素値である請求項13又は14に記載の観察装置。 The image acquisition unit includes an imaging unit having a red pixel, a green pixel, and a blue pixel,
The observation device according to claim 13 or 14, wherein the predetermined pixel value is a pixel value of the red pixel.
前記代表値抽出部は、前記故障判定領域における、前記観察対象部からの前記照明光の反射光の色の変化を示す値を前記代表値とする請求項12に記載の観察装置。 The image acquisition unit includes an imaging unit having a red pixel, a green pixel, and a blue pixel,
The observation apparatus according to claim 12, wherein the representative value extraction unit uses, as the representative value, a value indicating a change in color of reflected light of the illumination light from the observation target unit in the failure determination region.
前記故障判定部は、故障として判定した場合、前記光源制御部へ故障判定信号を出力し、
前記光源制御部は、前記故障判定信号を受けると、前記1次光の光量を安全な光量に設定するように、前記光源を制御する請求項1に記載の観察装置。 A light source controller for controlling the light source;
When the failure determination unit determines as a failure, it outputs a failure determination signal to the light source control unit,
The observation apparatus according to claim 1, wherein the light source control unit controls the light source so as to set the light amount of the primary light to a safe light amount when receiving the failure determination signal.
前記故障判定部は、故障として判定した場合、前記画像表示部へ故障判定信号を出力し、
前記画像表示部は、前記故障判定信号を受けると、ユーザに対して故障を通知する請求項1に記載の観察装置。 An image display unit for displaying the observation target image and the result of the failure determination;
When the failure determination unit determines that a failure has occurred, the failure determination unit outputs a failure determination signal to the image display unit,
The observation apparatus according to claim 1, wherein the image display unit notifies the user of a failure when receiving the failure determination signal.
前記故障対応判断部は、前記故障判定領域から夫々異なる代表値を抽出し、夫々異なる前記代表値の変化に基づいてなされた複数の故障判定の結果を基に故障の危険レベルに応じた信号の出力を行う請求項1に記載の観察装置。 It further comprises a failure response determination unit that determines the response at the time of failure,
The failure correspondence determination unit extracts different representative values from the failure determination area, and outputs a signal corresponding to a failure risk level based on a plurality of failure determination results made based on changes in the different representative values. The observation apparatus according to claim 1 which outputs.
前記導光部材は、前記1次光を分岐して前記複数の光変換部材へ導光し、
前記複数の光変換部材から射出される照明光は、前記光源が点灯又は消灯したときに、全て同期して照明光の点灯又は消灯を行う請求項1に記載の観察装置。 The illumination device further includes at least one light conversion member other than the light conversion member,
The light guide member branches the primary light and guides it to the plurality of light conversion members,
The observation apparatus according to claim 1, wherein illumination light emitted from the plurality of light conversion members is turned on or off in synchronization with each other when the light source is turned on or off.
前記観察装置は、前記観察対象部を撮像し、複数の画素により構成される観察対象画像を繰り返し取得し、
前記観察装置は、前記観察対象画像内に前記照明装置の故障判定に用いる故障判定領域を設定し、
前記観察装置は、前記故障判定領域における画素値の状態を示す代表値を抽出し、
前記観察装置は、前記代表値の変化に基づいて前記照明装置の故障判定を行う、
観察装置の作動方法。 A light source that emits primary light; a light guide member that guides the primary light emitted from the light source; and the primary light guided by the light guide member to receive the primary light. An illumination device that irradiates the observation target portion with illumination light as light emitted from the light conversion member. Operating method of the observation device ,
The observation device imaging the observation target portion, repeatedly acquires the observation target image composed of a plurality of pixels,
The observation device sets a failure determination region used for failure determination of the illumination device in the observation target image,
The observation apparatus extracts a representative value indicating the state of pixel values in the failure determination area,
The observation apparatus, cormorants line failure determination of the illumination device based on a change of the representative value,
How to operate the observation device .
前記観察装置が行う前記照明装置の故障判定において、前記観察装置は、夫々異なる前記複数の代表値の変化に基づいて夫々危険レベルの異なる複数の故障判定を実施し、
前記観察装置は、前記複数の故障判定の結果の情報を基に故障の危険レベルに応じて、前記1次光の光量を安全な光量に設定または、ユーザに対する故障通知を行う請求項21又は22に記載の観察装置の作動方法。 In the extraction of the representative value performed by the observation device , the observation device extracts a plurality of different representative values from the failure determination area,
In the failure determination of the illumination device performed by the observation device, the observation device performs a plurality of failure determinations with different risk levels based on changes in the plurality of representative values that are different from each other,
The observation apparatus according to security level of the fault on the basis of the information of the plurality of failure of the determination result, the setting of the light intensity of the primary light to a safe amount or intends line failure notification to the user according to claim 21 or 23. A method of operating the observation apparatus according to 22.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013168264A JP6120722B2 (en) | 2013-08-13 | 2013-08-13 | Observation device and method of operating observation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013168264A JP6120722B2 (en) | 2013-08-13 | 2013-08-13 | Observation device and method of operating observation device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015036066A JP2015036066A (en) | 2015-02-23 |
JP2015036066A5 JP2015036066A5 (en) | 2016-06-16 |
JP6120722B2 true JP6120722B2 (en) | 2017-04-26 |
Family
ID=52686783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013168264A Active JP6120722B2 (en) | 2013-08-13 | 2013-08-13 | Observation device and method of operating observation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6120722B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2977153A1 (en) * | 2015-03-25 | 2016-09-29 | East Carolina University | A laser safety adaptor for use in laser based imaging systems and related devices |
JP6736550B2 (en) * | 2015-05-25 | 2020-08-05 | オリンパス株式会社 | Endoscope system and control method for endoscope system |
EP3446619B1 (en) * | 2016-04-21 | 2023-09-20 | FUJIFILM Corporation | Endoscope system and processor device |
JP6993082B2 (en) | 2016-12-13 | 2022-01-13 | Necプラットフォームズ株式会社 | Judgment device |
JP6968046B2 (en) * | 2018-08-31 | 2021-11-17 | 株式会社モリタ製作所 | 3D measurement system, 3D measurement device, and control program |
EP3974888A4 (en) * | 2019-06-26 | 2022-07-13 | Sony Olympus Medical Solutions Inc. | Medical lighting device |
CN111722074B (en) * | 2020-06-03 | 2023-06-20 | 四川蓝景光电技术有限责任公司 | LED identification label fault positioning method, device and system |
CN111860217A (en) * | 2020-06-30 | 2020-10-30 | 深圳优地科技有限公司 | Fault detection method and device, electronic equipment and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4379474B2 (en) * | 2004-10-01 | 2009-12-09 | 日亜化学工業株式会社 | Light emitting device |
JP2008212348A (en) * | 2007-03-02 | 2008-09-18 | Olympus Corp | Endoscope apparatus |
JP5014885B2 (en) * | 2007-06-13 | 2012-08-29 | オリンパス株式会社 | Illumination device and endoscope device |
JP2009000344A (en) * | 2007-06-22 | 2009-01-08 | Olympus Corp | Endoscope apparatus |
JP5864870B2 (en) * | 2011-03-01 | 2016-02-17 | オリンパス株式会社 | Light source system |
JP2012217781A (en) * | 2011-04-14 | 2012-11-12 | Fujifilm Corp | Endoscope apparatus |
-
2013
- 2013-08-13 JP JP2013168264A patent/JP6120722B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015036066A (en) | 2015-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6120722B2 (en) | Observation device and method of operating observation device | |
JP5133595B2 (en) | Illumination light detection optical system, and optical apparatus and endoscope apparatus including the same | |
EP2967299B1 (en) | Endoscopic light source and imaging system | |
EP2526854A1 (en) | Endoscope system and method for assisting in diagnostic endoscopy | |
EP2912990B1 (en) | Endoscope system and endoscope system processor device | |
US7746560B2 (en) | Illumination optical system that uses a solid-state lighting element which generates white light, and an optical device equipped therewith | |
US8639011B2 (en) | Fluoroscopy apparatus | |
US20150042774A1 (en) | Image Pickup Device and Image Pickup Method | |
EP1705477A2 (en) | Fluorescence detecting system | |
JP4298151B2 (en) | Fluorescent image display method and apparatus | |
EP2695568A1 (en) | Observation device in which insertion section tip-end position detection using external light is possible | |
US10805512B2 (en) | Dual path endoscope | |
EP3586718B1 (en) | Endoscope system and processor device | |
JP2014171511A (en) | Subject observation system and method thereof | |
EP3263007A1 (en) | Endoscope system | |
US10631721B2 (en) | Living body observation system | |
EP3520671A1 (en) | Processor device, endoscope system, and method for operation of processor device | |
US9345385B2 (en) | Subject observation apparatus and subject observation method | |
US20190008393A1 (en) | Photoacoustic measurement apparatus | |
KR20200021708A (en) | Endoscope apparatus capable of visualizing both visible light and near-infrared light | |
JP2012135387A (en) | Endoscope apparatus | |
US20240298395A1 (en) | Light source device and subject observation system | |
JPWO2020065912A1 (en) | Spectroscopy device | |
US20230284890A1 (en) | Medical light source device and medical observation system | |
CN210077603U (en) | Endoscope parameter acquisition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170328 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6120722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |