JP6617428B2 - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP6617428B2 JP6617428B2 JP2015070439A JP2015070439A JP6617428B2 JP 6617428 B2 JP6617428 B2 JP 6617428B2 JP 2015070439 A JP2015070439 A JP 2015070439A JP 2015070439 A JP2015070439 A JP 2015070439A JP 6617428 B2 JP6617428 B2 JP 6617428B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- unit
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 365
- 238000012545 processing Methods 0.000 claims description 88
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 38
- 238000001514 detection method Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000004048 modification Effects 0.000 description 25
- 238000012986 modification Methods 0.000 description 25
- 238000009825 accumulation Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000010411 cooking Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 235000006961 Fumaria officinalis Nutrition 0.000 description 1
- 244000044980 Fumaria officinalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 239000012071 phase Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- BPJYAXCTOHRFDQ-UHFFFAOYSA-L tetracopper;2,4,6-trioxido-1,3,5,2,4,6-trioxatriarsinane;diacetate Chemical compound [Cu+2].[Cu+2].[Cu+2].[Cu+2].CC([O-])=O.CC([O-])=O.[O-][As]1O[As]([O-])O[As]([O-])O1.[O-][As]1O[As]([O-])O[As]([O-])O1 BPJYAXCTOHRFDQ-UHFFFAOYSA-L 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Theoretical Computer Science (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
図1は、一実施の形態による電子機器(例えば、カメラ1)の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、液晶モニタ36と、操作部材37と、不揮発性メモリ38と、記録部39と、発光装置40とを有する。
なお、AF方式は、コントラスト検出方式でも、位相差検出方式でも構わない。
上述したカメラ1に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願し公開された国際公開WO13/164915号に記載されているものである。図2は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記録するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
本実施形態では、撮像素子100(撮像チップ113)における複数のブロックごとに撮像条件を設定可能に構成する。制御部35は、領域区分け部35bによって区分けされた領域を上記ブロックに対応させて、領域ごとに設定した撮像条件で撮像を行わせる。
このように、ユーザーは、撮像条件の変更による効果を本撮像の前に、画像処理されたライブビュー画像で確認することができる。このような領域ごとの撮像条件設定について、以下に詳しく説明する。
なお、ある領域に対して操作された撮像条件の変更による効果を確認するために画像処理を行い液晶モニタ36へ表示する方法に限らず、ある領域に対して操作された撮像条件の変更をその領域に対応する撮像素子へ反映し、設定(変更)された撮像条件のライブビュー画像を液晶モニタ36へ表示する方法を用いてもよい。
制御部35は、ライブビュー画像に基づき、以下のようにライブビュー画像として取得した画像を複数の領域に区分けする。先ず、物体検出部35aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図6の例では、物体検出部35aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。
(1)撮像シーンモードに応じた特定の被写体が検出された領域
特定の被写体は、設定されたカメラ1の撮像シーンモードによって異なる。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されている場合に、設定部35cは、人物61aを含む第1領域61に対して、自動車62aを含む領域を第2領域62と、バッグ63aを含む領域を第3領域63と、山64aを含む領域を第4領域64と、雲65aを含む領域を第5領域65と、雲66aを含む領域を第6領域66よりも撮像条件を優先的に変更する領域として設定する。ポートレートモードの場合は、人物61aを含む第1領域61の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、フォーカスが合っている被写体要素(すなわち、フォーカスポイントに対応する被写体要素)を含む領域に対して、フォーカスが合っていない被写体要素を含む領域よりも撮像条件を優先的に変更する領域として決定する。
なお、フォーカスが合っている被写体要素が存在しない場合には、フォーカスのずれ量が最も小さい被写体要素(すなわち、被写体要素の位置からフォーカスが合う位置までが最も近い被写体要素)を含む領域を、撮像条件を優先的に変更する領域として決定するようにしてもよい。
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、明るさが最も暗い被写体要素、または最も明るい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。黒つぶれのような暗すぎる被写体要素や、白とびのような明るすぎる被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、上述した緑色画素Gb、Gr、または青色画素B、または赤色画素Rの色成分の比率が、他の色成分の比率に比べて高い被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。例えば空の青、海の青、山の緑、夕焼けの赤のような被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
設定部35cは、カメラ1に至近の被写体要素を含む領域に対して、撮像条件を遠方の被写体要素よりも優先的に変更する領域として決定する。例えば、制御部35は、カメラ1から区分けされた被写体要素までの距離情報を取得し、カメラ1に至近の被写体要素を含む領域を決定する。また、制御部35は、距離情報を得られない場合は、画面を占める割合が最大の被写体要素を含む領域をカメラ1に至近の被写体要素として決定するようにしてもよい。
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、フォーカスが合っている被写体要素を含む領域以外の領域のうち最もフォーカスのずれ量が小さい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として設定する。一般に、フォーカスのずれ量が小さいほど被写体要素の輪郭の尖鋭度が高くなるので、輪郭の尖鋭度が高い被写体要素はフォーカスのずれ量が小さいといえる。設定部35cは、輪郭の尖鋭度が高い被写体要素を含む領域を、撮像条件を輪郭の尖鋭度が低い領域よりも優先的に変更する領域として設定する。
例えば、図6において、AF演算部により第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている人物61aの位置から最も近い位置にあるバッグ63a)を含む第3領域63を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、バッグ63aを含む第3領域63の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
例えば、図6において、AF演算部により人物61aと自動車62aとの間にフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている位置から最も近い位置にある自動車62a)を含む第2領域62を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、自動車62aを含む第2領域62の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
設定部35cは、カメラ1から被写体要素までの距離の差に基づいて序列を設定する。例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。この場合、設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、カメラ1からの距離が、カメラ1から人物61aまでの距離に近い(距離差が小さい)被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲65aと、雲66aとのうち、人物61aとの間で輝度差が最も大きい被写体要素を含む領域を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。例えば、人物61aとの間で山64aの輝度差が最大である場合、設定部35cは、山64aを含む第4領域64を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aとの間で輝度差が大きな被写体要素を含む領域は、撮像条件が設定(変更)される可能性が高いという考え方に基づく。
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、他の被写体要素に比べて大きな被写体要素を含む領域、換言すると画面内の占有面積が大きい領域ほど、撮像条件を優先的に変更する領域として設定する。
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、画面の中央に近い被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
制御部35は、領域区分け部35bによって画面が複数の領域に区分けされると、図7に例示するような設定画面を液晶モニタ36に表示させる。図7において、ライブビュー画像60aが表示され、ライブビュー画像60aに重ねてアイコン71およびアイコン72が表示されている。ライブビュー画像60aは、上述した基準条件を適用して取得した基準画像である。
以後の説明では、カメラ1はタッチ操作を前提として説明を行うが、操作部材37を構成するボタン等の操作により、撮像条件の設定項目を選ぶようにしてもよい。
図7に例示した設定画面の場合において、撮像条件の設定項目として輝度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の輝度を、基準画像の輝度よりも高くする(または低くする)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の輝度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
図7に例示した設定画面の場合において、撮像条件の設定項目として彩度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の彩度を、基準画像の彩度よりも上げる(または下げる)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の彩度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
図8は、ライブビュー画像60aとは別のライブビュー画像60bを表示する液晶モニタ36の設定画面を例示する図である。例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い花が検出されている場合において、設定部35cは、赤い花を含む領域に対する序列を1位にする。これにより、第1領域61bの輪郭が、撮像条件の設定(変更)の対象領域として強調して表示される。上述したように、クローズアップモードの場合は、花を含む領域の撮像条件を他の領域よりも優先的に設定(変更)する可能性が高いという考え方に基づく。
図8におけるアイコン71およびアイコン72については、図7に例示した設定画面の場合と同様であるので、説明を省略する。
画像処理部33は、撮像制御部35eによって上述した輝度についての多段階の撮像条件が設定された場合において、上記基準条件を適用して取得された基準画像のうちの第1領域61の中の画像の輝度が多段階に異なる複数(上記8段階の場合は8枚)の画像を生成する。本実施形態では、このように生成された複数の画像を候補画像と呼ぶ。画像処理部33によって生成された複数の候補画像は、ワークメモリ34に一時的に記録される。
ユーザーは、複数の候補画像のうち任意の候補画像を選択する。例えば、図9〜図12に例示した画面上でユーザーが複数の候補画像のうち任意の候補画像が表示されている位置を指80でダブルタップ操作すると、制御部35は、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件を以下のように決定し、図7に例示したような設定画面を液晶モニタ36に表示する状態へ戻る。
図14は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部35は、図14に示す処理を実行するプログラムを起動させる。ステップS10において、制御部35は、液晶モニタ36にライブビュー表示を開始させて、ステップS20へ進む。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部35(AF演算部35f)は、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部35(AF演算部35f)は、後にAF動作が指示された時点でAF動作を行う。
なお、ステップS110におけるユーザー操作に応じた液晶モニタ36の表示遷移や撮像条件の設定については、上述したとおりである。
(1)カメラ1は、撮像面の複数の領域の撮像条件を設定可能に構成された撮像素子100により被写体像を撮像する撮像部32と、領域ごとに撮像条件を変更する際のパラメータを、撮像されたライブビュー画像から検出された被写体要素に基づいて決定する制御部35とを備える。これにより、カメラ1が、領域ごとに撮像条件を変更するためのパラメータを自動的に決めてくれるので、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
上述した説明では、図9、図13に例示したように、表示制御部35gが液晶モニタ36の表示面に複数の候補画像を並べて表示させる例を説明した。この代わりに、液晶モニタ36の表示面に基準画像を表示させておき、基準画像のうちの撮像条件の設定(変更)の対象となる領域(上記例では第1領域61)内の画像のみを、他の候補画像における対応する領域の画像と置換して表示させるようにしてもよい。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
図17および図18は、変形例2による表示画面を例示する図である。変形例2において、表示制御部35gは、ワークメモリ34に上述した複数の候補画像が格納された場合に、図17に示すように、液晶モニタ36の表示面の左側に基準条件の基準画像(基準画像60−1とする)を表示させるとともに、表示面の右側に候補画像60−2を表示させる。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
上述した実施形態では、基準条件の決定の一例として、「プログラムオート」モード、「シャッター速度優先オート」モード、「絞り優先オート」モード、および「マニュアル」モードのうち一つを選択し、選択した露出モードに応じた所定の露出演算を行うことによって適正露出を決定するとともに、標準的な画質となるようにあらかじめ用意された画像処理条件に決定し、決定したこれらの露出条件および画像処理条件を基準条件とする例を説明した。これに代えて、以下のように基準条件を決めてもよい。
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって適正露出の決め方を変え、それを基準条件(露出条件)とする。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されており、かつ、物体検出部35aにより被写体要素として人物が検出されている場合において、制御部35は、人物を含む領域に対して人物の輝度が適正となるように露出条件を決定し、基準条件とする。
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって、標準的な画質とは別に用意された画像処理条件を基準条件(画像処理条件)とする。
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250や、タブレット端末などのモバイル機器によって構成してもよい。
上述した実施の形態では、撮像部32と制御部35とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部35とを分離して設け、制御部35から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、撮像部32を備えた撮像装置1001を、制御部35を備えた制御装置1002から制御する例を説明する。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向のデータ通信を行う構成にしてもよい。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型撮像素子を備える電子機器によって構成することができる。
なお、表示装置1002の制御部35に物体検出部35aと、領域区分け部35bと、設定部35cと、撮像条件設定部35dと、撮像制御部35eと、AF演算部35fと、表示制御部35gとを設ける例を説明したが、物体検出部35a、領域区分け部35b、設定部35c、撮像条件設定部35d、撮像制御部35e、AF演算部35f、および表示制御部35gの一部について、撮像装置1001に設けるようにしてもよい。
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図20に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
1B…撮像システム
32…撮像部
35…制御部
35a…物体検出部
35b…領域区分け部
35c…設定部
35d…撮像条件設定部
35e…撮像制御部
35g…表示制御部
36…液晶モニタ
40…発光装置
100…撮像素子
1001…撮像装置
1002…表示装置
Claims (10)
- 被写体を撮像する複数の撮像領域を有する撮像素子と、
前記複数の撮像領域のうち第1撮像領域で撮像される被写体の画像を複数表示する表示部と、
前記表示部に表示された前記複数の画像から選択された画像を用いて、前記第1撮像領域を、複数の前記撮像領域のうち第2撮像領域の撮像条件とは異なる撮像条件になるように前記撮像素子を制御する制御部と、
を備える電子機器。 - 請求項1に記載の電子機器において、
前記制御部は、前記第1撮像領域で撮像された被写体と前記撮像素子に設定されている撮像モードとに基づいて前記撮像条件を決定する電子機器。 - 請求項1または請求項2に記載の電子機器において、
前記制御部で決定された前記撮像条件を変更した候補画像を生成する画像処理部を備える電子機器。 - 請求項3に記載の電子機器において、
前記画像処理部は、前記撮像条件を段階的に変更した複数の前記候補画像を生成する電子機器。 - 請求項3または請求項4に記載の電子機器において、
前記画像処理部は、前記撮像領域ごとに前記撮像条件を変更する前の前記画像を基準画像として生成するとともに、前記撮像領域ごとに前記撮像条件を変更した後の前記候補画像を生成する電子機器。 - 請求項5に記載の電子機器において、
前記撮像条件は、輝度または彩度の少なくともどちらか一方であり、
前記画像処理部は、前記輝度または前記彩度を段階的に変更した複数の前記候補画像を生成する電子機器。 - 請求項6に記載の電子機器において、
前記画像処理部は、前記基準画像と、前記基準画像に対して前記輝度が異なる画像を生成する電子機器。 - 請求項6または請求項7に記載の電子機器において、
前記画像処理部は、前記基準画像と、前記基準画像に対して前記彩度が異なる画像を生成する電子機器。 - 請求項1から請求項8のいずれか一項に記載の電子機器において、
前記撮像領域は、光を電荷に変換する光電変換部が配置される電子機器。 - 請求項9に記載の電子機器において、
前記撮像領域は、前記光電変換部が第1方向と前記第1方向と交差する第2方向とにおいて複数配置される電子機器。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015070439A JP6617428B2 (ja) | 2015-03-30 | 2015-03-30 | 電子機器 |
US15/563,783 US10567638B2 (en) | 2015-03-30 | 2016-03-30 | Electronic device and computer program product for setting image capturing conditions for multiple regions in image capturing sensor |
PCT/JP2016/060496 WO2016159143A1 (ja) | 2015-03-30 | 2016-03-30 | 電子機器、およびコンピュータプログラム製品 |
CN202110315620.4A CN112954181B (zh) | 2015-03-30 | 2016-03-30 | 电子设备 |
EP16773024.1A EP3280129B1 (en) | 2015-03-30 | 2016-03-30 | Electronic device |
CN201680015824.3A CN107409177B (zh) | 2015-03-30 | 2016-03-30 | 一种电子设备 |
US16/732,655 US11800074B2 (en) | 2015-03-30 | 2020-01-02 | Electronic device and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015070439A JP6617428B2 (ja) | 2015-03-30 | 2015-03-30 | 電子機器 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019206201A Division JP6780762B2 (ja) | 2019-11-14 | 2019-11-14 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192606A JP2016192606A (ja) | 2016-11-10 |
JP6617428B2 true JP6617428B2 (ja) | 2019-12-11 |
Family
ID=57005148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015070439A Active JP6617428B2 (ja) | 2015-03-30 | 2015-03-30 | 電子機器 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10567638B2 (ja) |
EP (1) | EP3280129B1 (ja) |
JP (1) | JP6617428B2 (ja) |
CN (2) | CN112954181B (ja) |
WO (1) | WO2016159143A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106664439B (zh) * | 2014-07-30 | 2020-04-03 | Sk普兰尼特有限公司 | 云流服务器 |
US20170054897A1 (en) * | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of automatically focusing on region of interest by an electronic device |
JP6684168B2 (ja) * | 2016-06-28 | 2020-04-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018160830A (ja) * | 2017-03-23 | 2018-10-11 | 株式会社ニコン | 撮像装置 |
JP2020098943A (ja) * | 2017-03-31 | 2020-06-25 | 株式会社ニコン | 電子機器 |
JP2020096211A (ja) * | 2017-03-31 | 2020-06-18 | 株式会社ニコン | 電子機器 |
EP3611914A4 (en) | 2017-06-09 | 2020-03-25 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR PHOTOGRAPHY OF IMAGES |
US20190052803A1 (en) | 2017-08-09 | 2019-02-14 | Canon Kabushiki Kaisha | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium |
JP7297406B2 (ja) | 2017-12-18 | 2023-06-26 | キヤノン株式会社 | 制御装置、撮像装置、制御方法およびプログラム |
CN109951627B (zh) * | 2017-12-20 | 2021-09-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112204383A (zh) * | 2018-05-30 | 2021-01-08 | 株式会社尼康 | 信息处理装置、信息处理方法、信息处理程序以及显微镜 |
US11170035B2 (en) * | 2019-03-29 | 2021-11-09 | Snap Inc. | Context based media curation |
JP2021184525A (ja) * | 2020-05-21 | 2021-12-02 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2023014831A (ja) * | 2021-07-19 | 2023-01-31 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
CN113909637B (zh) * | 2021-09-30 | 2024-02-02 | 北京博清科技有限公司 | 焊接设备的控制方法、控制装置以及焊接系统 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6539177B2 (en) * | 2001-07-17 | 2003-03-25 | Eastman Kodak Company | Warning message camera and method |
JP4382314B2 (ja) * | 2001-09-27 | 2009-12-09 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
JP3754943B2 (ja) * | 2002-08-19 | 2006-03-15 | キヤノン株式会社 | 画像処理方法、装置、記憶媒体及びプログラム |
JP4349232B2 (ja) | 2004-07-30 | 2009-10-21 | ソニー株式会社 | 半導体モジュール及びmos型固体撮像装置 |
JP4288612B2 (ja) | 2005-09-14 | 2009-07-01 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2008092515A (ja) * | 2006-10-05 | 2008-04-17 | Nikon Corp | 電子カメラ、画像処理装置およびプログラム |
JP5272206B2 (ja) * | 2008-04-22 | 2013-08-28 | 株式会社ザクティ | 画像処理装置及び画像処理方法並びに撮像装置 |
KR101595254B1 (ko) * | 2009-02-20 | 2016-02-18 | 삼성전자주식회사 | 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치 |
CN101877764B (zh) * | 2009-04-29 | 2012-05-30 | 鸿富锦精密工业(深圳)有限公司 | 拍摄系统及使用该拍摄系统进行辅助构图的方法 |
JP5493456B2 (ja) * | 2009-05-01 | 2014-05-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN101860668A (zh) * | 2010-01-15 | 2010-10-13 | 英华达(上海)科技有限公司 | 数码相机及其操作方法 |
US8625021B2 (en) * | 2010-08-30 | 2014-01-07 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of imaging properties |
US8823829B2 (en) | 2010-09-16 | 2014-09-02 | Canon Kabushiki Kaisha | Image capture with adjustment of imaging properties at transitions between regions |
JP5664141B2 (ja) * | 2010-11-08 | 2015-02-04 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
EP2846538B1 (en) * | 2012-05-02 | 2021-06-23 | Nikon Corporation | Imaging device |
JP2014120844A (ja) * | 2012-12-14 | 2014-06-30 | Ricoh Co Ltd | 画像処理装置および撮像装置 |
US9407814B2 (en) * | 2012-12-21 | 2016-08-02 | Nvidia Corporation | Approach for camera control |
US9894262B2 (en) * | 2013-01-08 | 2018-02-13 | Sony Corporation | Display control apparatus to enable a user to check a captured image after image processing |
KR102045957B1 (ko) * | 2013-01-18 | 2019-11-18 | 삼성전자 주식회사 | 휴대단말의 촬영 방법 및 장치 |
US10088989B2 (en) * | 2014-11-18 | 2018-10-02 | Duelight Llc | System and method for computing operations based on a first and second user input |
US11290652B2 (en) | 2013-05-31 | 2022-03-29 | Nikon Corporation | Electronic apparatus and control program |
JP6372488B2 (ja) * | 2013-07-04 | 2018-08-15 | 株式会社ニコン | 電子機器 |
US9305949B2 (en) * | 2013-11-01 | 2016-04-05 | Omnivision Technologies, Inc. | Big-small pixel scheme for image sensors |
KR102121531B1 (ko) * | 2013-12-10 | 2020-06-10 | 삼성전자주식회사 | 초점검출 가능한 이미지 센서 제어장치 및 방법. |
-
2015
- 2015-03-30 JP JP2015070439A patent/JP6617428B2/ja active Active
-
2016
- 2016-03-30 WO PCT/JP2016/060496 patent/WO2016159143A1/ja active Application Filing
- 2016-03-30 CN CN202110315620.4A patent/CN112954181B/zh active Active
- 2016-03-30 US US15/563,783 patent/US10567638B2/en active Active
- 2016-03-30 EP EP16773024.1A patent/EP3280129B1/en active Active
- 2016-03-30 CN CN201680015824.3A patent/CN107409177B/zh active Active
-
2020
- 2020-01-02 US US16/732,655 patent/US11800074B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107409177A (zh) | 2017-11-28 |
CN112954181B (zh) | 2023-05-05 |
EP3280129A1 (en) | 2018-02-07 |
US11800074B2 (en) | 2023-10-24 |
WO2016159143A1 (ja) | 2016-10-06 |
US20200162662A1 (en) | 2020-05-21 |
US10567638B2 (en) | 2020-02-18 |
US20180097988A1 (en) | 2018-04-05 |
CN107409177B (zh) | 2021-03-30 |
JP2016192606A (ja) | 2016-11-10 |
EP3280129A4 (en) | 2018-10-03 |
EP3280129B1 (en) | 2022-01-19 |
CN112954181A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6617428B2 (ja) | 電子機器 | |
US20230283910A1 (en) | Image-capturing device and image processing device | |
CN108141531B (zh) | 摄像装置 | |
JP2023036625A (ja) | 撮像装置 | |
JP6516014B2 (ja) | 撮像装置および画像処理装置 | |
WO2017170716A1 (ja) | 撮像装置、画像処理装置、および電子機器 | |
JP2022115944A (ja) | 撮像装置 | |
JP6973599B2 (ja) | 電子機器 | |
JP6780762B2 (ja) | 電子機器 | |
WO2017170717A1 (ja) | 撮像装置、焦点調節装置、および電子機器 | |
JP2018056944A (ja) | 撮像装置および撮像素子 | |
JP6516016B2 (ja) | 撮像装置および画像処理装置 | |
JP6551533B2 (ja) | 撮像装置および画像処理装置 | |
JP2018056945A (ja) | 撮像装置および撮像素子 | |
JP6516015B2 (ja) | 撮像装置および画像処理装置 | |
WO2017170718A1 (ja) | 撮像装置、被写体検出装置、および電子機器 | |
WO2017170719A1 (ja) | 撮像装置、および電子機器 | |
JP2020095072A (ja) | 電子機器 | |
JP2018056943A (ja) | 撮像装置および撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6617428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |