Nothing Special   »   [go: up one dir, main page]

JP6617428B2 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP6617428B2
JP6617428B2 JP2015070439A JP2015070439A JP6617428B2 JP 6617428 B2 JP6617428 B2 JP 6617428B2 JP 2015070439 A JP2015070439 A JP 2015070439A JP 2015070439 A JP2015070439 A JP 2015070439A JP 6617428 B2 JP6617428 B2 JP 6617428B2
Authority
JP
Japan
Prior art keywords
imaging
image
unit
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015070439A
Other languages
English (en)
Other versions
JP2016192606A (ja
Inventor
聡志 土谷
聡志 土谷
友希 淺野
友希 淺野
吉川 修平
修平 吉川
愛子 並河
愛子 並河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015070439A priority Critical patent/JP6617428B2/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to EP16773024.1A priority patent/EP3280129B1/en
Priority to US15/563,783 priority patent/US10567638B2/en
Priority to PCT/JP2016/060496 priority patent/WO2016159143A1/ja
Priority to CN202110315620.4A priority patent/CN112954181B/zh
Priority to CN201680015824.3A priority patent/CN107409177B/zh
Publication of JP2016192606A publication Critical patent/JP2016192606A/ja
Application granted granted Critical
Publication of JP6617428B2 publication Critical patent/JP6617428B2/ja
Priority to US16/732,655 priority patent/US11800074B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1464Back illuminated imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、電子機器に関する。
画面の領域ごとに撮像条件を設定可能なイメージセンサを搭載した撮像装置が知られている(特許文献1参照)。
特開2006−49361号公報
従来技術では、領域ごとの撮像条件を設定しにくいという問題があった。
発明の一態様による電子機器は、被写体を撮像する複数の撮像領域を有する撮像素子と、前記複数の撮像領域のうち第1撮像領域で撮像される被写体の画像を複数表示する表示部と、前記表示部に表示された前記複数の画像から選択された画像を用いて、前記第1撮像領域を、複数の前記撮像領域のうち第2撮像領域の撮像条件とは異なる撮像条件になるように前記撮像素子を制御する制御部とを備える。
一実施の形態によるカメラの構成を例示するブロック図である。 積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 図4の回路に対応する撮像素子の機能的構成を示すブロック図である。 カメラの撮像素子に結像される被写体の像を模式的に示す図である。 撮像条件の設定画面を例示する図である。 撮像条件の設定画面を例示する図である。 候補画像を並べて表示する表示画面を例示する図である。 候補画像を並べて表示する表示画面を例示する図である。 候補画像を並べて表示する表示画面を例示する図である。 候補画像を並べて表示する表示画面を例示する図である。 候補画像を並べて表示する表示画面を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 変形例1による表示画面を例示する図である。 変形例1による表示画面を例示する図である。 変形例2による表示画面を例示する図である。 変形例2による表示画面を例示する図である。 変形例5による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。
<カメラの説明>
図1は、一実施の形態による電子機器(例えば、カメラ1)の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、液晶モニタ36と、操作部材37と、不揮発性メモリ38と、記録部39と、発光装置40とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子100および駆動部32aを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子100における撮像面の全域において同じ条件で撮像したり、撮像素子100における撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32aは、撮像素子100に蓄積制御を行わせるために必要な駆動信号を生成する。撮像部32に対する電荷蓄積時間などの撮像指示は、制御部35から駆動部32aへ送信される。
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理には、例えば、輪郭強調処理、ガンマ補正、ホワイトバランス調整、表示輝度調整、彩度調整等が含まれる。画像処理部33は、後述するように、画像の全域に対して同じパラメータ等を適用して画像処理をしたり、画像の領域ごとに異なるパラメータ等を適用して画像処理をしたりすることができる。
ワークメモリ34は、画像処理前や後の画像データなどが一時的に記録されるメモリである。制御部35は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、撮像部32で取得された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子100の電荷蓄積時間(露光時間)、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32aへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。さらにまた、発光装置40の発光を許可する設定が行われている場合には、適正露出に必要な発光装置40の発光量を決定して発光装置40へ指示する。
制御部35には、物体検出部35aと、領域区分け部35bと、設定部35cと、撮像条件設定部35dと、撮像制御部35eと、AF演算部35fと、表示制御部35gとが含まれる。これらは、制御部35が不揮発性メモリ38に格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
物体検出部35aは、公知の物体認識処理を行うことにより、撮像部32によって取得された画像から、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。
領域区分け部35bは、撮像部32による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割(区分け)する。設定部35cは、領域区分け部35bによって区分けされた複数の領域に序列をつける。序列の付け方については後述する。
撮像条件設定部35dは、領域区分け部35bによって区分けされた複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
撮像制御部35eは、撮像条件設定部35dによって上記領域ごとに設定された撮像条件を適用して撮像部32(撮像素子100)および画像処理部33を制御する。これにより、撮像部32に対しては、領域区分け部35bによって区分けされた複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、領域区分け部35bによって区分けされた複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。
AF演算部35fは、撮像画面の所定の位置(フォーカスポイントと呼ぶ)で、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)演算を行う。AF演算部35fは、AF演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を送る。
なお、AF方式は、コントラスト検出方式でも、位相差検出方式でも構わない。
表示制御部35gは、液晶モニタ36に表示させる画像の表示を制御する。表示制御部35gは、例えば、液晶モニタ36の表示面に一つの画像を表示させたり、液晶モニタ36の表示面に複数の画像を並べて表示させたりする。また、表示制御部35gは、ユーザーの操作に応じて、液晶モニタ36の表示面に表示中の画像をスクロール表示させる。
液晶モニタ36は、画像処理部33によって画像処理された画像や、記録部39によって読み出された画像を再生表示する。液晶モニタ36は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
操作部材37は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材37は、各操作に対応する操作信号を制御部35へ送出する。操作部材37には、液晶モニタ36の表示面に設けられたタッチ操作部材も含まれる。
不揮発性メモリ38は、制御部35が実行するプログラム等を記録する。記録部39は、制御部35からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部39は、制御部35からの指示に応じて記録媒体に記録されている画像データを読み出す。
発光装置40は被写体を照明する撮影補助光源である。発光装置40は、例えば発光許可設定されている場合において、制御部35からの発光指示に応じて制御部35から指示された光量で発光する。
<積層型撮像素子の説明>
上述したカメラ1に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願し公開された国際公開WO13/164915号に記載されているものである。図2は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記録するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面(撮像面)と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
図3は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。図3の例では、隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロックにつき単位領域131を少なくとも一つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ113のX軸方向)の間引きのみでなく、列方向(撮像チップ113のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図4は、単位領域131における回路を説明する図である。図4の例では、隣接する3画素×3画素の9画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域131の二次元的な位置を符号A〜Iにより示す。
単位領域131に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dから画素Iに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
単位領域131に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
さらに、単位領域131に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
なお、電源配線304は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ113側に設けられてもよいし、信号処理チップ111側に設けられてもよい。
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Iに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Iの画素信号を共通の出力配線308を介して出力することができる。
ここで、単位領域131に含まれる画素Aから画素Iについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCDEFGHI」の順序で画素信号が出力される。
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ113において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休ませることにより、撮像チップ113の所定のブロックでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ113の異なるブロックで逐次撮像を行わせて、画素信号を出力させることもできる。
図5は、図4に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する9個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図5では一つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線308にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
<領域ごとの撮像条件設定>
本実施形態では、撮像素子100(撮像チップ113)における複数のブロックごとに撮像条件を設定可能に構成する。制御部35は、領域区分け部35bによって区分けされた領域を上記ブロックに対応させて、領域ごとに設定した撮像条件で撮像を行わせる。
ユーザーは、例えば、液晶モニタ36の表示面に表示されるライブビュー画像を確認しながら、所望の領域に対して撮像条件を設定する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。
ユーザーが、ある領域に対して撮像条件を設定(変更)すると、制御部35は、ライブビュー画像のうちのその領域に対して画像処理部33によって画像処理を行わせる。ここで行う画像処理は、撮像条件の変更による効果を確認するための画像処理である。例えば、輝度を高める変更がなされた場合は、液晶モニタ36へ表示する表示輝度を高める画像処理を行う。また、例えば発光装置40を発光させる変更がなされた場合は、所定の被写体要素(例えば人物)について、液晶モニタ36へ表示する表示輝度を高める画像処理を行う。さらにまた、例えば、彩度を高める変更がなされた場合は、液晶モニタ36へ表示する所定の被写体要素(例えば花)について、彩度を高める画像処理を行う。
このように、ユーザーは、撮像条件の変更による効果を本撮像の前に、画像処理されたライブビュー画像で確認することができる。このような領域ごとの撮像条件設定について、以下に詳しく説明する。
なお、ある領域に対して操作された撮像条件の変更による効果を確認するために画像処理を行い液晶モニタ36へ表示する方法に限らず、ある領域に対して操作された撮像条件の変更をその領域に対応する撮像素子へ反映し、設定(変更)された撮像条件のライブビュー画像を液晶モニタ36へ表示する方法を用いてもよい。
図6は、カメラ1の撮像素子100に結像される被写体の像を模式的に示す図である。カメラ1は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。
制御部35は、初めに、撮像チップ113の全域(すなわち撮像面の全域)に同じ撮像条件を設定する。撮像条件のうち露出条件は、被写体輝度の測光値に応じて適正露出となるように算出した露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。撮像条件のうち画像処理条件は、標準的な画質となるようにあらかじめ用意された画像処理条件に決定する。以降、このように決定した撮像条件を基準条件と呼ぶ。また、基準条件を適用して取得した画像を基準画像と呼ぶ。
基準条件を決定する一例を説明する。制御部35は、操作部材37を構成する露出モード切替スイッチからの操作信号に応じて、「プログラムオート」モード、「シャッター速度優先オート」モード、「絞り優先オート」モード、および「マニュアル」モードのうち一つを選択する。そして、制御部35は、選択した露出モードに応じた所定の露出演算を行うことによって上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)を算出する。
具体的には、「プログラムオート」モードの場合、制御部35は、例えば画面内の平均的な輝度が適正となるように絞り値、シャッター速度(電荷蓄積時間)、ゲイン等を決定する。「シャッター速度優先オート」モードの場合、制御部35は、ユーザーが設定するシャッター速度(電荷蓄積時間)を用いて、例えば画面内の平均的な輝度が適正となるように絞り値、ゲイン等を決定する。「絞り優先オート」モードの場合、制御部35は、ユーザーが設定する絞り値を用いて、例えば画面内の平均的な輝度が適正となるようにシャッター速度(電荷蓄積時間)、ゲイン等を決定する。「マニュアル」モードの場合、制御部35は、ユーザーが設定する絞り値およびシャッター速度(電荷蓄積時間)に基づいて、適正露出との偏差を演算する。
図6において、撮像チップ113の撮像面に、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65a、66aとを含む像が結像されている。人物61aは、バッグ63aを両手で抱えている。人物61aの右後方に、自動車62aが止まっている。
<領域の区分け>
制御部35は、ライブビュー画像に基づき、以下のようにライブビュー画像として取得した画像を複数の領域に区分けする。先ず、物体検出部35aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図6の例では、物体検出部35aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。
次に、領域区分け部35bによって、ライブビュー画像として取得した画像を上記検出手段に基づき、被写体要素を含む領域に区分けする。本例では、人物61aを含む領域を第1領域61とし、自動車62aを含む領域を第2領域62とし、バッグ63aを含む領域を第3領域63とし、山64aを含む領域を第4領域64とし、雲65aを含む領域を第5領域65とし、雲66aを含む領域を第6領域66として説明する。
設定部35cによって、領域区分け部35bが区分けした複数の領域に対して序列をつける。設定部35cは、領域区分け部35bによって区分けされた領域のうち、次の(1)から(4)の領域を検出した場合、撮像条件を領域区分け部35bによって区分けされた他の領域よりも優先的に変更する領域として設定する。
(1)撮像シーンモードに応じた特定の被写体が検出された領域
特定の被写体は、設定されたカメラ1の撮像シーンモードによって異なる。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されている場合に、設定部35cは、人物61aを含む第1領域61に対して、自動車62aを含む領域を第2領域62と、バッグ63aを含む領域を第3領域63と、山64aを含む領域を第4領域64と、雲65aを含む領域を第5領域65と、雲66aを含む領域を第6領域66よりも撮像条件を優先的に変更する領域として設定する。ポートレートモードの場合は、人物61aを含む第1領域61の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として花が検出されている場合において、設定部35cは、花を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。クローズアップモードの場合は、花を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定が風景モードに設定されており、かつ、物体検出部35aにより被写体要素として山が検出されている場合において、設定部35cは、山を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。風景モードの場合は、山を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定がビーチモードに設定されており、かつ、物体検出部35aにより被写体要素として海が検出されている場合において、設定部35cは、海を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。ビーチモードの場合は、海を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定が夕焼けモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い空が検出されている場合において、設定部35cは、赤い空を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。夕焼けモードの場合は、赤い空を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定が料理モードに設定されており、かつ、物体検出部35aにより被写体要素として皿に盛られた料理が検出されている場合において、設定部35cは、皿および料理を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。料理モードの場合は、皿に盛られた料理を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
上記カメラ1の撮像シーンモードの設定は、ユーザーが操作部材37を操作することで設定されてもよいし、ライブビュー画像の画面から検出された被写体要素に基づいて制御部37により設定されるようにしてもよい。
(2)フォーカスが合っている被写体要素を含む領域
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、フォーカスが合っている被写体要素(すなわち、フォーカスポイントに対応する被写体要素)を含む領域に対して、フォーカスが合っていない被写体要素を含む領域よりも撮像条件を優先的に変更する領域として決定する。
なお、フォーカスが合っている被写体要素が存在しない場合には、フォーカスのずれ量が最も小さい被写体要素(すなわち、被写体要素の位置からフォーカスが合う位置までが最も近い被写体要素)を含む領域を、撮像条件を優先的に変更する領域として決定するようにしてもよい。
(3)最小輝度または最大輝度である被写体要素を含む領域
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、明るさが最も暗い被写体要素、または最も明るい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。黒つぶれのような暗すぎる被写体要素や、白とびのような明るすぎる被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
(4)特定の色成分の比率が高い被写体要素を含む領域
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、上述した緑色画素Gb、Gr、または青色画素B、または赤色画素Rの色成分の比率が、他の色成分の比率に比べて高い被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。例えば空の青、海の青、山の緑、夕焼けの赤のような被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
(5)カメラ1に対して最も近い被写体要素を含む領域
設定部35cは、カメラ1に至近の被写体要素を含む領域に対して、撮像条件を遠方の被写体要素よりも優先的に変更する領域として決定する。例えば、制御部35は、カメラ1から区分けされた被写体要素までの距離情報を取得し、カメラ1に至近の被写体要素を含む領域を決定する。また、制御部35は、距離情報を得られない場合は、画面を占める割合が最大の被写体要素を含む領域をカメラ1に至近の被写体要素として決定するようにしてもよい。
設定部35cは、領域区分け部35bによって区分けされた領域のうち、次の(6)から(10)の領域を検出した場合、上述した(1)から(5)の領域よりも序列を低くして、撮像条件を変更する領域として決定する。
(6)フォーカスのずれ量が最も小さい被写体要素を含む領域
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、フォーカスが合っている被写体要素を含む領域以外の領域のうち最もフォーカスのずれ量が小さい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として設定する。一般に、フォーカスのずれ量が小さいほど被写体要素の輪郭の尖鋭度が高くなるので、輪郭の尖鋭度が高い被写体要素はフォーカスのずれ量が小さいといえる。設定部35cは、輪郭の尖鋭度が高い被写体要素を含む領域を、撮像条件を輪郭の尖鋭度が低い領域よりも優先的に変更する領域として設定する。
(例1)
例えば、図6において、AF演算部により第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている人物61aの位置から最も近い位置にあるバッグ63a)を含む第3領域63を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、バッグ63aを含む第3領域63の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(例2)
例えば、図6において、AF演算部により人物61aと自動車62aとの間にフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている位置から最も近い位置にある自動車62a)を含む第2領域62を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、自動車62aを含む第2領域62の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(7)距離差が小さい被写体要素を含む領域
設定部35cは、カメラ1から被写体要素までの距離の差に基づいて序列を設定する。例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。この場合、設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、カメラ1からの距離が、カメラ1から人物61aまでの距離に近い(距離差が小さい)被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
(8)輝度差が大きい被写体要素を含む領域
例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲65aと、雲66aとのうち、人物61aとの間で輝度差が最も大きい被写体要素を含む領域を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。例えば、人物61aとの間で山64aの輝度差が最大である場合、設定部35cは、山64aを含む第4領域64を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aとの間で輝度差が大きな被写体要素を含む領域は、撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(9)大きい被写体要素を含む領域
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、他の被写体要素に比べて大きな被写体要素を含む領域、換言すると画面内の占有面積が大きい領域ほど、撮像条件を優先的に変更する領域として設定する。
(10)画面の中央に近い被写体要素を含む領域
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、画面の中央に近い被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
本実施形態では、ユーザーが操作部材37を操作することによって、上記(6)から(10)のいずれか一つがあらかじめ選択されるようにしてもよい。また、上記(6)から(10)のうち複数を組み合わせるようにしてもよい。
以上の手順により、設定部35cが第2領域63〜第6領域66に対して序列をつける。例えば、大きな被写体要素である自動車62aを含む第2領域62を2位とし、バッグ63aを含む第3領域63を3位とし、山64aを含む第4領域64を4位とし、雲65aを含む第5領域65を5位とし、雲66aを含む第6領域66を6位とする。
設定部35cは、上記(6)〜(10)による処理を経てもなお序列がつけられない領域については、同等の序列を有するものとして扱う。
<領域に対する撮像条件の設定>
制御部35は、領域区分け部35bによって画面が複数の領域に区分けされると、図7に例示するような設定画面を液晶モニタ36に表示させる。図7において、ライブビュー画像60aが表示され、ライブビュー画像60aに重ねてアイコン71およびアイコン72が表示されている。ライブビュー画像60aは、上述した基準条件を適用して取得した基準画像である。
アイコン71は、撮像条件の設定項目の一例として「輝度」を選択するための操作アイコンである。アイコン72は、撮像条件の設定項目の一例として「彩度」を選択するための操作アイコンである。撮像条件の設定項目を選択するための操作アイコンは、図7に例示した他にも適宜加えて構わない。また、撮像条件の設定項目は、撮影者が選択して決定してもよいが、検出された被写体像からカメラ1の制御部35により判断し決定されてもよい。
図7において、第1領域〜第6領域のうち輪郭を強調して表示(太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等)する領域は、撮像条件の設定(変更)の対象とする領域を示す。図7の例では、第1領域61の輪郭を強調したライブビュー画像60aが表示されているので、第1領域61が、撮像条件の設定(変更)の対象である。第1領域61の輪郭を強調したことにより、ユーザーに対して、撮像条件の設定(変更)の対象となっている領域を分かりやすく示すことができる。図7の設定画面において、最初に撮像条件の設定(変更)の対象にするのは、設定部35cによって付与された序列が1位の領域である。
例えば、タッチ操作が可能なカメラ1においては、ユーザーによってアイコン71がタップ操作されると、制御部35は、強調して表示されている領域(第1領域61)を対象に設定(変更)する撮像条件の設定項目として、輝度を選ぶ。
以後の説明では、カメラ1はタッチ操作を前提として説明を行うが、操作部材37を構成するボタン等の操作により、撮像条件の設定項目を選ぶようにしてもよい。
<輝度を変更する場合>
図7に例示した設定画面の場合において、撮像条件の設定項目として輝度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の輝度を、基準画像の輝度よりも高くする(または低くする)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の輝度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
第1領域61の輝度を高くする場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば電荷蓄積時間を上記基準条件の電荷蓄積時間に比べて長くしたり、ゲインを上記基準条件のゲインに比べて高くしたりすることにより、輝度を高くするための撮像条件を決定する。
また、第1領域61の輝度を低くする場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば電荷蓄積時間を上記基準条件の電荷蓄積時間に比べて短くしたり、ゲインを上記基準条件のゲインに比べて低くしたりすることにより、輝度を低くするための撮像条件を決定する。
撮像条件設定部35dは、輝度を高く、または低くする撮像条件を決定する場合において、基準条件で得られている輝度に比べて輝度が徐々に異なるように多段階(例えば8段階)の撮像条件を決定する。ただし、輝度を高くする場合の上限は、ライブビュー画像の第1領域61の中の高輝度領域が飽和しない(いわゆる白飛びしない)値とする。また、輝度を低くする場合の下限は、ライブビュー画像の第1領域61の中の低輝度領域が暗すぎない(いわゆる黒潰れしない)値とする。
撮像条件設定部35dは、第1領域61について輝度を上下させるための多段階の撮像条件を上述したように決定し、輝度について決定した多段階の撮像条件を、画像処理部33に設定する。画像処理部33に設定する理由は、ライブビュー画像に対して画像処理を施すことによって、後述する多段階の候補画像を得るためである。
<彩度を変更する場合>
図7に例示した設定画面の場合において、撮像条件の設定項目として彩度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の彩度を、基準画像の彩度よりも上げる(または下げる)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の彩度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
第1領域61の彩度を上げる場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば緑色画素Gb、Gr、または青色画素B、または赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高めることにより、特定の色を鮮やかにするための撮像条件を決定する。
また、第1領域61の彩度を下げる場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分の信号の値を相対的に低くすることにより、特定の色の鮮やかさを抑えるための撮像条件を決定する。
撮像条件設定部35dは、彩度を上げたり下げたりする撮像条件を決定する場合において、基準条件で得られる彩度に比べて彩度が徐々に異なるように多段階(例えば8段階)の撮像条件を決定する。ただし、彩度を上げる場合の上限は、ライブビュー画像の第1領域61の中の高彩度(突出する色成分)の信号が飽和しない値とする。また、彩度を下げる場合の下限は、ライブビュー画像の第1領域61の中の色が無彩色になるまで鮮やかさを抑えない値とする。
撮像条件設定部35dは、第1領域61について彩度を上下させるための多段階の撮像条件を上述したように決定し、彩度について決定した多段階の撮像条件を、画像処理部33に設定する。画像処理部33に設定する理由は、ライブビュー画像に対して画像処理を施すことによって、後述する多段階の候補画像を得るためである。
例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されている場合において、撮像条件設定部35dは、人物61aを含む第1領域61に対して、人物の彩度を下げるように、第1領域61に対応する撮像条件を決定する。また、撮像条件設定部35dは、背景である山64aを含む領域を第4領域64に対して、山の彩度を上げる(例えば緑色画素Gr,Gbから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように、第4領域64に対応する撮像条件を決定する。ポートレートモードの場合は、背景を鮮やかにして人物61aを引き立たせる可能性が高いという考え方に基づく。
例えば、カメラ1の撮像シーンモード設定が料理モードに設定されており、かつ、物体検出部35aにより被写体要素として皿に盛られた料理が検出されている場合において、撮像条件設定部35dは、皿および料理を含む領域に対して、彩度を上げるように撮像条件を決定する。
例えば、カメラ1の撮像シーンモード設定が紅葉モードに設定されており、かつ、物体検出部35aにより被写体要素として赤い紅葉が検出されている場合において、撮像条件設定部35dは、赤い紅葉を含む領域に対して、彩度を上げる(例えば赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。カメラ1の撮像シーンモード設定が夕焼けモードの場合も同様である。
例えば、カメラ1の撮像シーンモード設定がビーチモードに設定されており、かつ、物体検出部35aにより被写体要素として海が検出されている場合において、撮像条件設定部35dは、海、空を含む領域に対して、それぞれ彩度を上げる(例えば青色画素Bから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。
<他のライブビュー画像の場合>
図8は、ライブビュー画像60aとは別のライブビュー画像60bを表示する液晶モニタ36の設定画面を例示する図である。例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い花が検出されている場合において、設定部35cは、赤い花を含む領域に対する序列を1位にする。これにより、第1領域61bの輪郭が、撮像条件の設定(変更)の対象領域として強調して表示される。上述したように、クローズアップモードの場合は、花を含む領域の撮像条件を他の領域よりも優先的に設定(変更)する可能性が高いという考え方に基づく。
図8におけるアイコン71およびアイコン72については、図7に例示した設定画面の場合と同様であるので、説明を省略する。
図8に例示した設定画面の場合において、撮像条件の設定項目として彩度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61bに対して、彩度を上げる(例えば赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高めることにより、赤い花の色を鮮やかにするための撮像条件を決定する。
以上例示したように、撮像条件設定部35dは、領域区分け部35bによって区分けされた領域における被写体要素の色ごとに緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分の信号の値を変更することによって、彩度を変化させた撮像条件を決定する。
<候補画像の表示>
画像処理部33は、撮像制御部35eによって上述した輝度についての多段階の撮像条件が設定された場合において、上記基準条件を適用して取得された基準画像のうちの第1領域61の中の画像の輝度が多段階に異なる複数(上記8段階の場合は8枚)の画像を生成する。本実施形態では、このように生成された複数の画像を候補画像と呼ぶ。画像処理部33によって生成された複数の候補画像は、ワークメモリ34に一時的に記録される。
また、画像処理部33は、撮像条件設定部35dによって上述した彩度についての多段階の撮像条件が設定された場合において、上記基準画像のうちの第1領域61bの中の画像の彩度が多段階に異なる複数(上記8段階の場合は8枚)の画像を生成する。これらの複数の画像も候補画像と呼ぶ。画像処理部33によって生成された複数の候補画像は、ワークメモリ34に一時的に記録される。
表示制御部35gは、上述した複数の候補画像がワークメモリ34に記録された場合に、図9に示すように、液晶モニタ36の表示面に候補画像を並べて表示させる。図9〜図12は、それぞれ候補画像を並べて表示する液晶モニタ36の画面を例示する図である。
表示制御部35gは、上述した輝度を多段階に異ならせた候補画像がワークメモリ34に記録された場合には、液晶モニタ36の表示面に、これら輝度についての候補画像を並べて表示させる。また、表示制御部35gは、上述した彩度を多段階に異ならせた候補画像がワークメモリ34に記録された場合には、液晶モニタ36の表示面に、これら彩度についての候補画像を並べて表示させる。
図9において、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)が表示されている。候補画像60−2は、候補画像60−1に比べて輝度(または彩度)が一段階高い。候補画像60−3は、候補画像60−2に比べて輝度(または彩度)が一段階高い。候補画像60−4は、候補画像60−3に比べて輝度(または彩度)が一段階高い。
候補画像60−1の左側位置には左アイコン73が表示されており、候補画像60−4の右位置には右アイコン74が表示されている。例えば、図9の表示画面上でユーザーが指80で右アイコン74をタップ操作した場合、表示制御部35gは、図10に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−2〜候補画像60−5)を表示させる。図10によれば、図9において表示されていた候補画像60−1が表示されなくなり、図9において表示されていなかった候補画像60−5が新しく表示される。候補画像60−5は、候補画像60−4に比べて輝度(または彩度)が一段階高い。
図示を省略するが、例えば、図10の表示画面上でユーザーが指80で左アイコン73をタップ操作した場合、表示制御部35gは、図9に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)を表示させる。すなわち、図10において表示されていた候補画像60−5が表示されなくなり、図10において表示されていなかった候補画像60−1が新しく表示される。
図11は、8つの候補画像のうち4つの候補画像(候補画像60−3〜候補画像60−6)を表示させる液晶モニタ36の画面を例示する図である。候補画像60−6は、候補画像60−5に比べて輝度が一段階高い。
例えば、図11の表示画面上でユーザーが指80で表示画面内を上から下へ矢印方向の向きへスライド操作した場合、表示制御部35gは、図12に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)を表示させる。図12によれば、図11において表示されていた候補画像60−4および候補画像60−5が表示されなくなり、図11において表示されていなかった候補画像60−1および候補画像60−2が新しく表示される。
このように、ユーザーは、複数の候補画像を確認することができる。また、ユーザーは、左アイコン73または右アイコン74のタップ操作、あるいは指80によるスライド操作を行うことにより、液晶モニタ36に表示されていない他の候補画像を表示させて確認することができる。
図13は、彩度が多段階に異なる候補画像を並べて表示する液晶モニタ36の画面を例示する図である。図13において、8つの候補画像のうち4つの候補画像(候補画像160−1〜候補画像160−4)が表示されている。候補画像160−2は、候補画像160−1に比べて彩度が一段階高い。候補画像160−3は、候補画像160−2に比べて彩度が一段階高い。候補画像160−4は、候補画像160−3に比べて彩度が一段階高い。左アイコン73および右アイコン74については、図9、図10に例示した場合と同様であるので、説明を省略する。
<選択操作>
ユーザーは、複数の候補画像のうち任意の候補画像を選択する。例えば、図9〜図12に例示した画面上でユーザーが複数の候補画像のうち任意の候補画像が表示されている位置を指80でダブルタップ操作すると、制御部35は、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件を以下のように決定し、図7に例示したような設定画面を液晶モニタ36に表示する状態へ戻る。
すなわち、制御部35(撮像制御部35e)は、ダブルタップ操作された候補画像の第1領域61に適用されている撮像条件を、撮像部32または画像処理部33に設定する。撮像部32に設定する理由は、次の撮像時において、輝度の変更を撮像素子100の露出条件の変更によって実現させるためである。また、画像処理部33に設定する理由は、次の撮像時において、彩度の変更を画像処理部33の画像処理条件の変更によって実現させるためである。
具体的には、輝度についての複数の候補画像の一つがダブルタップ操作された場合には、撮像条件設定部35dは、ダブルタップされた候補画像に対応する輝度を得るための露出条件を第1領域61に対して適用する撮像条件(露出条件)として決定し、撮像制御部35eは、その条件を撮像部32に設定する。
また、図13に例示した画面上で彩度についての複数の候補画像の一つがダブルタップ操作された場合には、撮像条件設定部35dは、ダブルタップされた候補画像に対応する彩度を得るための画像処理条件を第1領域161に対して適用する撮像条件(画像処理条件)として決定し、撮像制御部35eは、その条件を画像処理部33に設定する。
ユーザーは、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる。また、ユーザーは、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる。
さらに、ユーザーは、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して複数の候補画像のうち任意の候補画像を選択する操作を行うことができる。制御部35は、例えば図7に例示する設定画面を液晶モニタ36に表示させている状態で、ユーザーが指で第1領域61以外の領域をタップ操作した場合、第1領域61に代えて、タップ操作された領域を強調して表示させる。撮像条件設定部35dは、強調して表示された領域を、撮像条件を設定(変更)する対象とする。以降の設定操作は、上述した第1領域61の場合と同様である。
なお、ユーザーが第1領域61以外の領域をタップ操作することなしに、制御部35が、設定部35cによって付与された序列が2位以下の領域を順番に、撮像条件の設定(変更)の対象となる領域として切り替えるようにしてもよい。
本実施形態では、撮像条件の設定(変更)の対象となる領域(上記例では第1領域61)の輪郭を強調表示する例を説明したが、輪郭強調の代わりに、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種等の表示態様は、適宜変更して構わない。また、制御部35は、対象領域の近傍において矢印などで撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部35は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低めて表示させたりしてもよい。
以上説明した領域に対する撮像条件が設定された後に、操作部材37を構成する不図示のレリーズボタン、または撮像開始を指示する表示が操作されると、制御部35は、上記区分けされた領域の各々に対して設定された撮像条件で撮像を行い、画像処理した画像データを生成し、不図示のメモリカードなどで構成される記録媒体に記録させる。
<フローチャートの説明>
図14は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部35は、図14に示す処理を実行するプログラムを起動させる。ステップS10において、制御部35は、液晶モニタ36にライブビュー表示を開始させて、ステップS20へ進む。
具体的には、制御部35が撮像部32へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次液晶モニタ36に表示させる。上述したように、この時点では撮像チップ113の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部35(AF演算部35f)は、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部35(AF演算部35f)は、後にAF動作が指示された時点でAF動作を行う。
ステップS20において、制御部35(物体検出部35a)は、ライブビュー画像から被写体要素を検出してステップS30へ進む。ステップS30において、制御部35(領域区分け部35b)は、ライブビュー画像の画面を、被写体要素を含む領域に区分けしてステップS40へ進む。
ステップS40において、制御部35は、カメラ1の設定状態または被写体の状態に基づいて上述した基準条件を決める。すなわち、画面の全域に同じ撮像条件を設定してステップS50へ進む。
ステップS50において、制御部35は、基準条件を適用したライブビュー画像(基準画像)を取得してステップS60へ進む。ステップS60において、制御部35は、領域区分け部35bによって区分けされた領域のうち、撮像条件の設定(変更)の対象とする領域を選ぶ。制御部35は、例えば、設定部35cによって付与された序列が1位の領域から順番に選ぶ。
ステップS70において、制御部35は、候補画像を表示させるための操作が行われたか否かを判定する。制御部35は、上述したように、ユーザーによって図7(または図8)のアイコン71または72がタップ操作された場合にステップS70を肯定判定してステップS80へ進み、アイコン71も72もタップ操作されない場合には、ステップS70を否定判定してステップS120へ進む。
ステップS80において、制御部35は、設定(変更)する撮像条件を決める。すなわち、制御部35は、ユーザーによってタップ操作されたアイコン71または72に対応する設定項目に決定し、ステップS90へ進む。
ステップS90において、制御部35(撮像条件設定部35d)は、ステップS80で決定した設定項目に対して複数の候補画像を取得してステップS100へ進む。ステップS100において、制御部35は、液晶モニタ36の表示面に複数の候補画像を表示させてステップS110へ進む。
ステップS110において、制御部35は、ユーザーにより上記選択操作(例えばダブルタップ)が行われた場合に、撮像条件の設定(変更)の対象となる領域に対し、ダブルタップされた候補画像に対応する撮像条件を決定し、その条件を撮像部32または画像処理部33に設定してステップS120へ進む。
なお、ステップS110におけるユーザー操作に応じた液晶モニタ36の表示遷移や撮像条件の設定については、上述したとおりである。
ステップS120において、制御部35は、撮像指示の有無を判定する。制御部35は、操作部材37を構成する不図示のレリーズボタン、または撮像を指示する表示が操作された場合、ステップS120を肯定判定してステップS130へ進む。制御部35は、撮像指示が行われない場合には、ステップS120を否定判定してステップS70へ戻る。
ステップS130において、制御部35は、所定の本撮像処理を行う。すなわち、撮像制御部35eが上記領域ごとに設定された撮像条件で撮像するように撮像部32を制御するとともに、撮像して得られた画像データに対して画像処理部33によって所定の画像処理を施す。そして、記録部39によって画像データを不図示の記録媒体に記録する。
ステップS140において、制御部35は、終了操作が行われたか否かを判断する。制御部35は、終了操作が行われた場合にステップS140を肯定判定して図14による処理を終了する。制御部35は、終了操作が行われない場合には、ステップS140を否定判定してステップS20へ戻る。ステップS20へ戻った場合、制御部35は、上述した処理を繰り返す。
上述した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、撮像面の複数の領域の撮像条件を設定可能に構成された撮像素子100により被写体像を撮像する撮像部32と、領域ごとに撮像条件を変更する際のパラメータを、撮像されたライブビュー画像から検出された被写体要素に基づいて決定する制御部35とを備える。これにより、カメラ1が、領域ごとに撮像条件を変更するためのパラメータを自動的に決めてくれるので、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
(2)制御部35は、パラメータを、被写体要素と、設定されている撮像モードとに基づいて決定する。これにより、被写体要素の種類(例えば、人物、山、花など)や、撮像モード(例えば、ポートレートモード、風景モードなど)に応じて適切なパラメータが自動的に決定されるので、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
(3)カメラ1は、撮像されたライブビュー画像に対し、複数の領域のうちの少なくとも一つの領域で、制御部35により決定されたパラメータを用いて撮像条件を変更した候補画像を生成する画像処理部33を備える。これにより、ユーザーは、領域に対して撮像条件を変更した場合の効果を、本撮像する前に、ライブビュー画像に画像処理が施された候補画像によって確認することが可能になる。
(4)制御部35は、パラメータを複数決定し、画像処理部33は、撮像されたライブビュー画像に対し、制御部35により決定された互いに異なる複数のパラメータを用いて撮像条件を段階的に変更した複数の候補画像を生成する。これにより、ユーザーは、撮像条件を変更した場合の効果について、撮像条件が段階的に異なる複数の候補画像で比べることが可能になる。
(5)撮像条件は、輝度または彩度であり、画像処理部33は、輝度または彩度を段階的に変更した複数の候補画像を生成する。これにより、ユーザーは、輝度(または彩度)を変更した場合の効果について、輝度(または彩度)が段階的に異なる複数の候補画像で比べることが可能になる。
(6)画像処理部33は、撮像されたライブビュー画像を撮像条件を変更する前の基準画像として生成するとともに、撮像条件を変更した後の候補画像を生成する。これにより、ユーザーは、領域に対して撮像条件を変更した場合の効果について、撮像条件を変更する前と比べることが可能になる。
(7)画像処理部33は、基準画像と、基準画像に対して輝度が高い画像、および/または基準画像に対して輝度が低い画像とを生成する。これにより、ユーザーは、領域に対して輝度を変更した場合の効果について、輝度を変更する前と比べることが可能になる。
(8)画像処理部33は、基準画像と、基準画像に対して彩度が高い画像、および/または基準画像に対して彩度が低い画像とを生成する。これにより、ユーザーは、領域に対して彩度を変更した場合の効果について、彩度を変更する前と比べることが可能になる。
(9)画像処理部33によって生成された画像を表示する液晶モニタ36を備えるようにしたので、ユーザーは、領域に対して撮像条件を変更した場合の効果について、視覚的に比べることが可能になる。
(10)液晶モニタ36に表示されている候補画像を選ぶ操作がなされた場合に、候補画像が生成された領域に対応する撮像部32の撮像面の領域に対し、候補画像の生成に用いられたパラメータに対応する撮像条件を設定する制御部35を備える。これにより、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
(11)複数の領域のうち、画像処理部33によって撮像条件を変更して生成された画像を表示する領域を、他の領域と異なる態様で液晶モニタ36に表示させる表示制御部35gを備える。これにより、ユーザーに対して、設定(変更)の対象である領域をわかりやすく示すことができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した説明では、図9、図13に例示したように、表示制御部35gが液晶モニタ36の表示面に複数の候補画像を並べて表示させる例を説明した。この代わりに、液晶モニタ36の表示面に基準画像を表示させておき、基準画像のうちの撮像条件の設定(変更)の対象となる領域(上記例では第1領域61)内の画像のみを、他の候補画像における対応する領域の画像と置換して表示させるようにしてもよい。
図15および図16は、変形例1による表示画面を例示する図である。変形例1において、表示制御部35gは、ワークメモリ34に上述した複数の候補画像が格納された場合に、図15に示すように、液晶モニタ36の表示面に基準条件の基準画像(基準画像60−1とする)を表示させる。このとき、第1領域61内の画像は、基準画像61−1である。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
図15において、第1領域61の左側位置に左アイコン73が表示されており、第1領域61の右側位置に右アイコン74が表示されている。例えば、図15の表示画面上でユーザーが指80で右アイコン74をタップ操作した場合、表示制御部35gは、図16に例示するように、第1領域61内の画像のみを候補画像61−2に置換した合成画像を表示させる。第1領域61以外の背景は、基準画像60−1のままである。
候補画像61−2は、候補画像61−1より輝度(または彩度)が一段階高い画像である。このように、表示制御部35gは、ワークメモリ34に一時的に格納された8つの候補画像の中から、右アイコン74のタップ操作に応じて必要な候補画像60−2を読み出し、読み出した候補画像60−2のうちの第1領域61内の候補画像61−2のみを抽出し、図16に例示した合成表示に用いる。
図示を省略するが、例えば、図16の表示画面上でユーザーが指80で左アイコン73をタップ操作した場合、表示制御部35gは、図15に例示するように、第1領域61内の画像を基準画像61−1に置換した合成画像を表示する。第1領域61以外の背景は、基準画像60−1のままである。
変形例1によれば、ユーザーは、撮像条件の設定(変更)の対象となる第1領域61について、候補画像を確認することができる。また、ユーザーは、左アイコン73または右アイコン74のタップ操作を行うことにより、第1領域61内に他の候補画像を表示させて確認することができる。
変形例1において、ユーザーが、任意の候補画像が表示されている状態で画面内のいずれかの位置を指80でダブルタップ操作すると、制御部35(撮像条件設定部35d)は、その時点で第1領域61に表示されている候補画像61−n(nは1〜8の自然数)に適用されている撮像条件を、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件として決定し、図7に例示した設定画面を液晶モニタ36に表示する状態へ戻る。
なお、ユーザーが、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点、および、ユーザーが、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点は、上述した実施形態と同様である。
さらに、ユーザーが、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して撮像条件の設定(変更)を行うことができる点も、上述した実施形態と同様である。
(変形例2)
図17および図18は、変形例2による表示画面を例示する図である。変形例2において、表示制御部35gは、ワークメモリ34に上述した複数の候補画像が格納された場合に、図17に示すように、液晶モニタ36の表示面の左側に基準条件の基準画像(基準画像60−1とする)を表示させるとともに、表示面の右側に候補画像60−2を表示させる。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
図17において、右側の候補画像60−2の上側位置に上アイコン75が表示されており、候補画像60−2の下側位置に下アイコン76が表示されている。例えば、図17の表示画面上でユーザーが指80で下アイコン76をタップ操作した場合、表示制御部35gは、図18に例示するように、右側の候補画像60−2に代えて候補画像60−3を表示させる。左側の基準画像60−1の表示はそのままである。
候補画像60−3は、候補画像60−2より輝度(または彩度)が一段階高い画像である。このように、表示制御部35gは、ワークメモリ34に一時的に格納された8つの候補画像の中から、下アイコン76のタップ操作に応じて必要な候補画像60−3を読み出し、図18に例示した表示に用いる。
図示を省略するが、例えば、図18の表示画面上でユーザーが指80で上アイコン75をタップ操作した場合、表示制御部35gは、図17に例示するように、右側の候補画像60−3に代えて候補画像60−2を表示させる。左側の基準画像60−1の表示はそのままである。
変形例2によれば、ユーザーは、基準画像とともに候補画像を確認することができる。また、ユーザーは、上アイコン75または下アイコン76のタップ操作を行うことにより、液晶モニタ36に表示されていない他の候補画像を表示させて確認することができる。
変形例2において、ユーザーが、任意の候補画像が表示されている状態で画面内のいずれかの位置を指80でダブルタップ操作すると、制御部35(撮像条件設定部35d)は、その時点で表示面の右側に表示されている候補画像60−n(nは1〜8の自然数)に適用されている撮像条件を、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件として決定し、図7に例示した設定画面を液晶モニタ36に表示する状態へ戻る。
なお、ユーザーが、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点、および、ユーザーが、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点は、上述した実施形態と同様である。
さらに、ユーザーが、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して撮像条件の設定(変更)を行うことができる点も、上述した実施形態と同様である。
(変形例3)
上述した実施形態では、基準条件の決定の一例として、「プログラムオート」モード、「シャッター速度優先オート」モード、「絞り優先オート」モード、および「マニュアル」モードのうち一つを選択し、選択した露出モードに応じた所定の露出演算を行うことによって適正露出を決定するとともに、標準的な画質となるようにあらかじめ用意された画像処理条件に決定し、決定したこれらの露出条件および画像処理条件を基準条件とする例を説明した。これに代えて、以下のように基準条件を決めてもよい。
<輝度に関して基準条件を決める例>
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって適正露出の決め方を変え、それを基準条件(露出条件)とする。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されており、かつ、物体検出部35aにより被写体要素として人物が検出されている場合において、制御部35は、人物を含む領域に対して人物の輝度が適正となるように露出条件を決定し、基準条件とする。
例えば、カメラ1の撮像シーンモード設定が夜景ポートレートモードに設定されており、かつ、物体検出部35aにより被写体要素として人物が検出されている場合において、制御部35は、人物を含む領域に対しては人物の輝度を明るくするとともに、背景である夜景を含む領域に対しては夜景の輝度を加味して適正となるように露出条件を決定し、基準条件とする。さらに、発光装置40を発光させる場合には、人物および背景の双方の輝度のバランスをとるように適正露出を決定し、必要な発光装置40の発光量を算出する。
例えば、カメラ1の撮像シーンモード設定が風景モードに設定されており、かつ、撮影距離が所定距離より遠い(ほぼ無限遠)である場合において、制御部35は、被写体要素の色成分(緑色画素Gb、Gr、青色画素B、赤色画素R)の比率と、被写体要素の輝度とに基づいて、被写体要素(例えば、山)を含む領域に対して山の輝度が適正となるように露出条件を決定し、基準条件とする。
<彩度に関して基準条件を決める例>
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって、標準的な画質とは別に用意された画像処理条件を基準条件(画像処理条件)とする。
例えば、制御部35は、領域区分け部35bによって区分けされた領域において、緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分を有する場合には、その領域に対して、画作りをしていない素の画像(フラット)を得る条件を決定し、このように決定した条件を基準条件とする。
例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い花が検出されている場合において、設定部35cは、赤い花を含む領域に対して、露出を下げて赤成分の飽和を下げた条件を決定し、このように決定した条件を基準条件とする。
(変形例4)
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250や、タブレット端末などのモバイル機器によって構成してもよい。
(変形例5)
上述した実施の形態では、撮像部32と制御部35とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部35とを分離して設け、制御部35から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、撮像部32を備えた撮像装置1001を、制御部35を備えた制御装置1002から制御する例を説明する。
図19は、変形例5に係る撮像システム1Bの構成を例示するブロック図である。図19において、撮像システム1Bは、撮像装置1001と、表示装置1002とによって構成される。撮像装置1001は、上記実施の形態で説明した撮像光学系31と撮像部32とに加えて、第1通信部1003を備える。また、表示装置1002は、上記実施の形態で説明した画像処理部33、ワークメモリ34、制御部35、液晶モニタ36、操作部材37、不揮発性メモリ38、記録部39、および発光装置40に加えて、第2通信部1004を備える。
第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向のデータ通信を行う構成にしてもよい。
撮像システム1Bは、制御部35が、第2通信部1004および第1通信部1003を介したデータ通信を行うことにより、撮像部32に対する制御を行う。例えば、撮像装置1001と表示装置1002との間で所定の制御データを送受信することにより、表示装置1002は、上述したように画像に基づいて、画面を複数の領域に区分けしたり、区分けされた領域に序列をつけたり、区分けした領域ごとに異なる撮像条件を設定したり、各々の領域で撮像された撮像信号を読み出したりする。
変形例5によれば、撮像装置1001側で取得され、表示装置1002へ送信されたライブビュー画像が表示装置1002の液晶モニタ36に表示されるので、ユーザーは、撮像装置1001から離れた位置にある表示装置1002から、遠隔操作を行うことができる。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型撮像素子を備える電子機器によって構成することができる。
なお、表示装置1002の制御部35に物体検出部35aと、領域区分け部35bと、設定部35cと、撮像条件設定部35dと、撮像制御部35eと、AF演算部35fと、表示制御部35gとを設ける例を説明したが、物体検出部35a、領域区分け部35b、設定部35c、撮像条件設定部35d、撮像制御部35e、AF演算部35f、および表示制御部35gの一部について、撮像装置1001に設けるようにしてもよい。
(変形例6)
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図20に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD−ROMなどの記録媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
1…カメラ
1B…撮像システム
32…撮像部
35…制御部
35a…物体検出部
35b…領域区分け部
35c…設定部
35d…撮像条件設定部
35e…撮像制御部
35g…表示制御部
36…液晶モニタ
40…発光装置
100…撮像素子
1001…撮像装置
1002…表示装置

Claims (10)

  1. 被写体を撮像する複数の撮像領域を有する撮像素子と、
    前記複数の撮像領域のうち第1撮像領域で撮像される被写体の画像を複数表示する表示部と、
    前記表示部に表示された前記複数の画像から選択された画像を用いて、前記第1撮像領域を、複数の前記撮像領域のうち第2撮像領域の撮像条件とは異なる撮像条件になるように前記撮像素子を制御する制御部と、
    を備える電子機器。
  2. 請求項1に記載の電子機器において、
    前記制御部は、前記第1撮像領域で撮像された被写体と前記撮像素子に設定されている撮像モードとに基づいて前記撮像条件を決定する電子機器。
  3. 請求項1または請求項2に記載の電子機器において、
    記制御部で決定された前記撮像条件を変更した候補画像を生成する画像処理部を備える電子機器。
  4. 請求項3に記載の電子機器において、
    前記画像処理部は、前記撮像条件を段階的に変更した複数の前記候補画像を生成する電子機器。
  5. 請求項3または請求項4に記載の電子機器において、
    前記画像処理部は、前記撮像領域ごとに前記撮像条件を変更する前の前記画像を基準画像として生成するとともに、前記撮像領域ごとに前記撮像条件を変更した後の前記候補画像を生成する電子機器。
  6. 請求項5に記載の電子機器において、
    前記撮像条件は、輝度または彩度の少なくともどちらか一方であり、
    前記画像処理部は、前記輝度または前記彩度を段階的に変更した複数の前記候補画像を生成する電子機器。
  7. 請求項6に記載の電子機器において、
    前記画像処理部は、前記基準画像と、前記基準画像に対して前記輝度が異なる画像を生成する電子機器。
  8. 請求項6または請求項7に記載の電子機器において、
    前記画像処理部は、前記基準画像と、前記基準画像に対して前記彩度が異なる画像を生成する電子機器。
  9. 請求項1から請求項8のいずれか一項に記載の電子機器において、
    前記撮像領域は、光を電荷に変換する光電変換部が配置される電子機器。
  10. 請求項9に記載の電子機器において、
    前記撮像領域は、前記光電変換部が第1方向と前記第1方向と交差する第2方向とにおいて複数配置される電子機器。
JP2015070439A 2015-03-30 2015-03-30 電子機器 Active JP6617428B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015070439A JP6617428B2 (ja) 2015-03-30 2015-03-30 電子機器
US15/563,783 US10567638B2 (en) 2015-03-30 2016-03-30 Electronic device and computer program product for setting image capturing conditions for multiple regions in image capturing sensor
PCT/JP2016/060496 WO2016159143A1 (ja) 2015-03-30 2016-03-30 電子機器、およびコンピュータプログラム製品
CN202110315620.4A CN112954181B (zh) 2015-03-30 2016-03-30 电子设备
EP16773024.1A EP3280129B1 (en) 2015-03-30 2016-03-30 Electronic device
CN201680015824.3A CN107409177B (zh) 2015-03-30 2016-03-30 一种电子设备
US16/732,655 US11800074B2 (en) 2015-03-30 2020-01-02 Electronic device and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015070439A JP6617428B2 (ja) 2015-03-30 2015-03-30 電子機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019206201A Division JP6780762B2 (ja) 2019-11-14 2019-11-14 電子機器

Publications (2)

Publication Number Publication Date
JP2016192606A JP2016192606A (ja) 2016-11-10
JP6617428B2 true JP6617428B2 (ja) 2019-12-11

Family

ID=57005148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070439A Active JP6617428B2 (ja) 2015-03-30 2015-03-30 電子機器

Country Status (5)

Country Link
US (2) US10567638B2 (ja)
EP (1) EP3280129B1 (ja)
JP (1) JP6617428B2 (ja)
CN (2) CN112954181B (ja)
WO (1) WO2016159143A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664439B (zh) * 2014-07-30 2020-04-03 Sk普兰尼特有限公司 云流服务器
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
JP6684168B2 (ja) * 2016-06-28 2020-04-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018160830A (ja) * 2017-03-23 2018-10-11 株式会社ニコン 撮像装置
JP2020098943A (ja) * 2017-03-31 2020-06-25 株式会社ニコン 電子機器
JP2020096211A (ja) * 2017-03-31 2020-06-18 株式会社ニコン 電子機器
EP3611914A4 (en) 2017-06-09 2020-03-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR PHOTOGRAPHY OF IMAGES
US20190052803A1 (en) 2017-08-09 2019-02-14 Canon Kabushiki Kaisha Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP7297406B2 (ja) 2017-12-18 2023-06-26 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
CN109951627B (zh) * 2017-12-20 2021-09-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112204383A (zh) * 2018-05-30 2021-01-08 株式会社尼康 信息处理装置、信息处理方法、信息处理程序以及显微镜
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation
JP2021184525A (ja) * 2020-05-21 2021-12-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2023014831A (ja) * 2021-07-19 2023-01-31 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN113909637B (zh) * 2021-09-30 2024-02-02 北京博清科技有限公司 焊接设备的控制方法、控制装置以及焊接系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539177B2 (en) * 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
JP4382314B2 (ja) * 2001-09-27 2009-12-09 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP3754943B2 (ja) * 2002-08-19 2006-03-15 キヤノン株式会社 画像処理方法、装置、記憶媒体及びプログラム
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
JP4288612B2 (ja) 2005-09-14 2009-07-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2008092515A (ja) * 2006-10-05 2008-04-17 Nikon Corp 電子カメラ、画像処理装置およびプログラム
JP5272206B2 (ja) * 2008-04-22 2013-08-28 株式会社ザクティ 画像処理装置及び画像処理方法並びに撮像装置
KR101595254B1 (ko) * 2009-02-20 2016-02-18 삼성전자주식회사 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치
CN101877764B (zh) * 2009-04-29 2012-05-30 鸿富锦精密工业(深圳)有限公司 拍摄系统及使用该拍摄系统进行辅助构图的方法
JP5493456B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN101860668A (zh) * 2010-01-15 2010-10-13 英华达(上海)科技有限公司 数码相机及其操作方法
US8625021B2 (en) * 2010-08-30 2014-01-07 Canon Kabushiki Kaisha Image capture with region-based adjustment of imaging properties
US8823829B2 (en) 2010-09-16 2014-09-02 Canon Kabushiki Kaisha Image capture with adjustment of imaging properties at transitions between regions
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
EP2846538B1 (en) * 2012-05-02 2021-06-23 Nikon Corporation Imaging device
JP2014120844A (ja) * 2012-12-14 2014-06-30 Ricoh Co Ltd 画像処理装置および撮像装置
US9407814B2 (en) * 2012-12-21 2016-08-02 Nvidia Corporation Approach for camera control
US9894262B2 (en) * 2013-01-08 2018-02-13 Sony Corporation Display control apparatus to enable a user to check a captured image after image processing
KR102045957B1 (ko) * 2013-01-18 2019-11-18 삼성전자 주식회사 휴대단말의 촬영 방법 및 장치
US10088989B2 (en) * 2014-11-18 2018-10-02 Duelight Llc System and method for computing operations based on a first and second user input
US11290652B2 (en) 2013-05-31 2022-03-29 Nikon Corporation Electronic apparatus and control program
JP6372488B2 (ja) * 2013-07-04 2018-08-15 株式会社ニコン 電子機器
US9305949B2 (en) * 2013-11-01 2016-04-05 Omnivision Technologies, Inc. Big-small pixel scheme for image sensors
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.

Also Published As

Publication number Publication date
CN107409177A (zh) 2017-11-28
CN112954181B (zh) 2023-05-05
EP3280129A1 (en) 2018-02-07
US11800074B2 (en) 2023-10-24
WO2016159143A1 (ja) 2016-10-06
US20200162662A1 (en) 2020-05-21
US10567638B2 (en) 2020-02-18
US20180097988A1 (en) 2018-04-05
CN107409177B (zh) 2021-03-30
JP2016192606A (ja) 2016-11-10
EP3280129A4 (en) 2018-10-03
EP3280129B1 (en) 2022-01-19
CN112954181A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
JP6617428B2 (ja) 電子機器
US20230283910A1 (en) Image-capturing device and image processing device
CN108141531B (zh) 摄像装置
JP2023036625A (ja) 撮像装置
JP6516014B2 (ja) 撮像装置および画像処理装置
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
JP2022115944A (ja) 撮像装置
JP6973599B2 (ja) 電子機器
JP6780762B2 (ja) 電子機器
WO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
JP2018056944A (ja) 撮像装置および撮像素子
JP6516016B2 (ja) 撮像装置および画像処理装置
JP6551533B2 (ja) 撮像装置および画像処理装置
JP2018056945A (ja) 撮像装置および撮像素子
JP6516015B2 (ja) 撮像装置および画像処理装置
WO2017170718A1 (ja) 撮像装置、被写体検出装置、および電子機器
WO2017170719A1 (ja) 撮像装置、および電子機器
JP2020095072A (ja) 電子機器
JP2018056943A (ja) 撮像装置および撮像素子

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R150 Certificate of patent or registration of utility model

Ref document number: 6617428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250