JP2007037088A - ドアホン装置 - Google Patents

Abstract

【課題】本発明は、来訪者があったとき、応答する前にこの来訪者を特定するとともに関連情報を表示できるドアホン装置を提供することを目的とする。
【解決手段】本発明のドアホン装置は、カメラが設けられたドアホン子機で撮影された画像を表示する表示部７と、人物の画像と人物の履歴情報とを記憶するデータベース部３８と、ドアホン子機で撮影された画像と記憶部に記憶された画像とを照合する画像認証部３７と、画像認証部３７がドアホン子機で撮影された画像とデータベース部３８に記憶された画像とを照合して同一人物と判断したとき、同一人物と判断された画像に対応する履歴情報及びドアホン子機で撮影された画像を表示部７に表示させる表示制御部３５と、を具備したことを主要な特徴とする。
【選択図】図４

Description

この発明は、応答する前にこの来訪者を特定するとともに関連情報を表示できるドアホン装置に関する。

従来のドアホン装置１０１は、図１１、図１３に示すようにドアホン端末１０２と宅内に配置された応答端末１０３との２つの装置から構成されている。図１１は従来のドアホン装置の概略構成図、図１３は従来のドアホン装置の概略配置図である。このドアホン端末１０２には、来訪者を撮影してその画像を表す画像信号を出力するカメラ１２１と、来訪者によって操作される呼び出しスイッチ１２２と、宅内からの音声を来訪者に知らせるためのスピーカ１２３と、来訪者の声を宅内に伝達するためのマイク１２４が設けられている。

カメラ１２１は応答端末１０３内の画像表示部１３１に接続され、カメラ１２１からの画像信号は画像表示部１３１によって処理され、そのモニタに来訪者の顔が表示される。また、応答端末１０３には、呼び出しスイッチ１２２の操作に応答して呼び出し信号を発生する呼び出し音信号発生部１３２が設けられ、アンプ１３３によって増幅されてスピーカ１３４から呼び出し音が出力される。さらに、応答端末１０３には、呼び出し音に応答して通話を行うために、ドアホン端末１０２のスピーカ１２３及びマイク１２４とアンプ１３５を介して接続された送受話器１３６が設けられ、呼び出し音に応答して応対者が送受話器１３６を取り上げると、ドアホン端末１０２と応答端末１０３との間に通話回路が形成されるとともに、カメラ１２１及び画像表示部１３１が作動状態になるようになっている。

しかし、この従来のドアホン装置１０１においては、呼び出しがあったとき、宅内の応対者は送受話器１３６を取り上げて実際に通話し、カメラ１２１と画像表示部１３１を作動させる等の操作を行わない限り、呼び出しスイッチ１２２を操作したのが誰なのかを確認することができなかった。

そこで、図１２に示すように、ドアホン端末１０２の呼び出しスイッチ１２２を操作する可能性のある人物に関する画像データを蓄積した人物データベース１４２と、呼び出しスイッチ１２２を操作した人物の画像データを取り込んで、これと人物データベース１４２に蓄積された画像データとを照合する画像認識部を備えた人物認証ドアホン装置が提案された（特許文献１参照）。図１２は従来の人物認証ドアホン装置の概略構成図である。図１２のドアホン装置の配置も図１３と同様である。

このドアホン装置１０１によれば、呼び出しスイッチ１２２が操作された場合、制御部１４３はカメラ１２１、画像表示部１３１、画像認識部１４１、人物データベース１４２を作動させ、画像認識部１４１はカメラ１２１から送られてきた操作者の画像データと人物データベース１４２に蓄積されている各データとを照合する。両画像データを照合した結果、人物データベース１４２にこの人物の画像データが蓄積されていたときには、この人物の対応に適した応対者の特有な呼び出し音を呼び出し音データベース１４４から読み出し、スピーカ１３４から出力する。また、このときこの人物の画像データが蓄積されていなかったときには、呼出音の発生の有無に関する設定により、例えば一般呼び出し音を発生したりする。

人物の画像データは人物確認の結果によって登録するか否かが決定される。登録してお
く必要があるときには、この画像データを人物データベース１４２に、また人物に最も適した応対者の呼び出し音のデータを呼び出し音データベース１４４に登録する。また、人物データベースの画像の更新処理を行うこともできるものである。

しかし、以上説明した図１２の（特許文献１）のドアホン装置１０１は、呼び出し音データベース１４４等のメモリ容量などで人物推定できる人数に制約が出てくるし、呼び出し方法を変更するときにはドアホン端末１０２を設計し直さなければならなかった。このため、応答端末１０３の人物認証後、人物認証結果情報を別のインターフェースを介してメモリ容量の大きい外部接続端末装置、例えばコードレス電話親機に送信して、人物認証の報知処理を行い、選択された呼び出し装置、例えばコードレス電話子機に所定の呼び出し音情報を送信する技術が提案された。呼び出し音等の情報は外部接続端末装置のメモリに記憶されるものである（特許文献２参照）。

なお、人物認証を行う手段に関しては近年急速に技術が進んでいる。例えば、ビデオ画像を使って照合を行う顔認識技術（例えば特許文献３）や、音声によって人物を照合する音声照合技術（例えば特許文献４）が提案されている。特許文献３は、画像から得たガボール特徴とグラフマッチングを用いて照合を行うものである。このグラフマッチングとは、特徴抽出が可能な点（目、口、鼻等の点）同士を線で結んだものをグラフと呼ぶが、そのグラフのマッチングによって人物判別するものであり、ガボール特徴は画像から特徴点の周波数成分や方向を取り出したもので、個人の特徴を抽出することになるものである。さらに特許文献４は、音声信号から音声区間を検出し、音響パラメータを使って複数のブロックに分割し、ブロックごとに話者固有の特徴量を生成して登録しておき、照合時には特徴量同士を比較して照合するものである。
特許第３２５０７９７号公報 特開２０００−２８７１９６号公報 特表２００２−５１１６１７号公報 特開平２−２３６５９９号公報

以上説明したように、（特許文献１）の人物認証ドアホン装置は、呼び出しスイッチ１２２を操作した人物の画像データを取り込んで、これと人物データベース１４２に蓄積された画像データとを照合するため、操作者が誰であるか直ちに分り、この操作者に最も適した応対者が応対することができるものであった。

しかし、呼び出しスイッチ１２２を操作した人物を対応するのに適した者に対して、来訪者があったことを単に報知するに止まり、せっかくの人物認証も十分役に立っているとはいえないものであった。しかも、メモリ容量などで人物推定できる人数に制約があり、実用性の面で問題が残るものであった。

この点、（特許文献２）のドアホン装置は、インターフェースを介して外部接続端末装置に人物認証の報知処理プログラムや呼び出し音情報を格納しておくことができ、実用性の面では上記の従来の技術を向上させたが、まだ人物認証したことが十分役立っているとはいえないものであった。基本的には上記従来の技術と同様、操作者に最も適した応対者に報知するだけのものであった。

ところで、最近、地域社会の人々の絆が薄くなり、従来のように安全は当たり前とはいえず、各家族で自衛が必要になってきている。ドアホン装置が単なる呼び出し装置というに止まらず、トラブルに巻き込まれるのを未然に防止する手段として機能できれば、また、来訪者に実際に面会する前にこの来訪者の情報を予め入手する手段として利用できれば
、予め人物認証することが役立つことになる。また、家族全員にとって訪問を拒絶した方が望ましい人物もあり、このような人物であると認証された場合には、家族に対応拒否の警告をすることができる手段も必要である。さらに、認証情報や関連情報は常に変化を伴う場合が多く、情報更新がなされなければ人物認証の精度も低下するし、過去の履歴が面会するか否かの判断の大きな材料になる。

そこで本発明は、来訪者があったとき、応答する前にこの来訪者を特定するとともに関連情報を表示できるドアホン装置を提供することを目的とする。

上記従来の課題を解決するために本発明は、上記の目的を達成するために、カメラが設けられたドアホン子機で撮影された画像を表示する表示部と、人物の画像と人物の履歴情報とを記憶する記憶部と、ドアホン子機で撮影された画像と記憶部に記憶された画像とを照合する画像照合部と、画像照合部がドアホン子機で撮影された画像と記憶部に記憶された画像とを照合して同一人物と判断したとき、同一人物と判断された画像に対応する履歴情報及びドアホン子機で撮影された画像を表示部に表示させる制御部と、を具備したことを主要な特徴とする。

本発明によれば、来訪者があったとき、来訪者のカメラによる画像情報によって、あるいはマイクによる音声情報、画像情報及び音声情報によって、応答前にこの来訪者を特定するとともに、併せてこの来訪者に関連情報を表示できる。

上記課題を解決するために本発明の第１の発明においては、カメラが設けられたドアホン子機で撮影された画像を表示する表示部と、人物の画像と人物の履歴情報とを記憶する記憶部と、ドアホン子機で撮影された画像と記憶部に記憶された画像とを照合する画像照合部と、画像照合部がドアホン子機で撮影された画像と記憶部に記憶された画像とを照合して同一人物と判断したとき、同一人物と判断された画像に対応する履歴情報及びドアホン子機で撮影された画像を表示部に表示させる制御部と、を備える。この構成により、来訪者があったとき、来訪者のカメラによる画像情報によって、応答前にこの来訪者を特定するとともに、併せてこの来訪者に関連情報を表示できるので、応答者が迅速に対応できる。

本発明の第２の発明においては、画像照合部がドアホン子機で撮影された画像と記憶部に記憶された画像とを照合して同一人物と判断する画像がなかったとき、制御部は、来訪した履歴がない旨の情報を表示部に表示させる。この構成により、画像で今まで来訪したことのない人物と直ちに分かる。

本発明の第３の発明においては、来訪日時を計時する時計部を備え、画像照合部がドアホン子機で撮影された画像と記憶部に記憶された画像とを照合して同一人物と判断したとき、制御部は同一人物と判断された画像に対応する来訪日時を含む履歴情報をドアホン子機で撮影された画像と共に表示部に表示させ、時計部で計時した来訪日時を履歴情報として記憶させる制御を行う。この構成により、来訪日時を自動的に更新して表示することができ、応答者は来訪履歴を基に容易に対応できる。

本発明の第４の発明においては、来訪日時を、表示部にドアホン子機で撮影された画像を表示したときに記憶する。この構成により、画像情報で来訪者の特定が可能になった時点に履歴を残すことができる。

本発明の第５の発明においては、記憶部は、来訪に応答したか否かの応答履歴を記憶し、画像照合部がドアホン子機で撮影された画像と記憶部に記憶された画像とを照合して同一人物と判断したとき、制御部は同一人物と判断された画像に対応する応答履歴を含む履歴情報をドアホン子機で撮影された画像と共に表示部に表示する制御を行う。この構成により、自分以外の者の応答も含めて、応答者はこの人物に対する応答の履歴を知ることができる。

本発明の第６の発明においては、記憶部は、ドアホン子機で撮影された画像から得られる特徴パラメータを記憶し、画像照合部は、ドアホン子機で撮影された画像から得られる特徴パラメータと記憶部に記憶された特徴パラメータとを用いて照合する。この構成により、人物の照合が的確且つ短時間に行える。

本発明の第７の発明においては、マイクが設けられたドアホン子機で入力した音声に対応する人物の履歴情報を表示する表示部と、人物の音声と人物の履歴情報とを記憶する記憶部と、ドアホン子機で入力された音声と記憶部に記憶された音声とを照合する話者照合部と、話者照合部がドアホン子機で入力された音声と記憶部に記憶された音声とを照合して同一人物と判断したとき、同一人物と判断された音声に対応する履歴情報を表示部に表示させる制御部と、を備える。この構成により、来訪者があったとき、来訪者のカメラによる音声情報によって、応答前にこの来訪者を特定するとともに、併せてこの来訪者に関連情報を表示できるので、応答者が迅速に対応できる。

本発明の第８の発明においては、話者照合部がドアホン子機で入力された音声と記憶部に記憶された音声とを照合して同一人物と判断する音声がなかったとき、制御部は、来訪した履歴がない旨の情報を表示部に表示させる。この構成により、音声で今まで来訪したことのない人物と直ちに分かる。

本発明の第９の発明においては、来訪日時を計時する時計部を備え、話者照合部がドアホン子機で入力された音声と記憶部に記憶された音声とを照合して同一人物と判断したとき、制御部は同一人物と判断された音声に対応する来訪日時を含む履歴情報を表示部に表示させ、時計部で計時した来訪日時を履歴情報として記憶させる制御を行う。この構成により、来訪日時を自動的に更新して表示することができ、応答者は来訪履歴を基に対応できる。

本発明の第１０の発明においては、来訪日時を、表示部にドアホン子機で入力された音声の音声に対応する人物の履歴情報を表示したとき記憶する。この構成により、音声情報で来訪者の特定が可能になった時点に履歴を残すことができる。

本発明の第１１の発明においては、記憶部は、来訪に応答したか否かの応答履歴を記憶し、話者照合部がドアホン子機で入力された音声と記憶部に記憶された音声とを照合して同一人物と判断したとき、制御部は同一人物と判断された音声に対応する応答履歴を含む履歴情報を表示部に表示する制御を行う。この構成により、自分以外の者の応答も含めて、応答者はこの人物に対する応答の履歴を知ることができる。

本発明の第１２の発明においては、記憶部は、ドアホン子機で入力された音声から得られる特徴パラメータを記憶し、話者照合部は、ドアホン子機で入力された音声から得られる特徴パラメータと記憶部に記憶された特徴パラメータとを用いて照合する。この構成により、人物の照合が的確且つ短時間に行える。

（実施例１）
本発明の実施例１におけるドアホン装置は画像により人物認証を行うものである。図１は本発明の実施例１におけるドアホン装置のドアホン子機の斜視図、図２（ａ）は本発明の実施例１におけるドアホン装置のドアホン親機の斜視図、図２（ｂ）は本発明の実施例１におけるドアホン装置のドアホン親機の表示部の正面図、図３は本発明の実施例１におけるドアホン装置のドアホン子機のブロック構成図、図４は本発明の実施例１におけるドアホン装置のドアホン親機のブロック構成図である。

図１において、１は実施例１のドアホン装置のドアホン子機、２はドアホン子機１本体正面に設けられたＣＣＤ等のカメラ、３は後述するドアホン親機６から入力された音声を出力するためのドアホン子機１本体に設けられたスピーカ、４はドアホン子機１に音声を入力するためのマイク、５は来訪者がドアホン親機６の呼び出し行う操作ボタンである。１２はドアホン子機１前に人物等が接近あるいは側を通過するときその体温等の温度でこれを検出する感知センサである。

図２（ａ）において、６はドアホン子機１のカメラ２が撮影した来訪者の顔等の映像を受信するとともに、ドアホン子機１のマイク４から入力された音声を受信して、人物認証を行うことができるドアホン親機である。実施例１のドアホン親機６は、来訪者の顔等の画像から人物認証を行うものである。また、７はドアホン親機６の正面に設けられたＬＣＤ等の表示部である。この表示部７の表示画面の一例を図２（ｂ）に示す。この図２（ｂ）ではこの表示部７に表示された表示画面は幾つかに分割され、このうち、７ａはドアホン子機１から送信された人物の映像の画面領域、７ｂは表示部７に表示されたこの人物に関する対応拒否の設定がなされている旨を警告する警告領域、７ｃは表示部７に表示された人物の過去の訪問履歴領域である。この訪問履歴領域７ｃには過去の対応の有無情報も表示されている。また、図２（ａ）において、８はスピーカ、９は表示部７の表示を見て応答すると判断したとき押すための応答スイッチ、１０はマイク、１１は個人名や企業名、電話番号、アドレスを入力するための入力キーボードである。なお、７ｃ₁は訪問履歴領域７ｃの各履歴に関係付けられて自動的に付与された対応の有無情報である。

続いて、図３に基づいて実施例１のドアホン子機１の構成について説明する。図３において、２ａは撮像部２０のズーム等の制御を行う撮像制御部、５ａは操作ボタン５が押されたときこれを検出する操作処理部である。操作ボタン５のＯＮによりプルアップ電圧が急激に電圧降下することを利用する。また、１２は焦電センサ等の上述の感知センサ、１２ａは感知センサ１２から入力された信号を検出するセンサ検知部である。なお、検出した感知センサ１２から入力された信号をセンサ検知部１２ａが検出することにより電圧降下させることもできる。そして、２０はカメラ２を構成するＣＣＤ等の撮像部、２１は撮像部２０から出力された信号を処理して映像信号を出力する撮像処理部、２３は撮像処理部２１から出力された映像信号の周波数変調を行って８．５ＭＨｚ〜１０ＭＨｚのＦＭ信号を出力する映像信号変調部である。

２４はドアホン子機制御部であり、２５はプログラムやデータを記憶したメモリ部である。ドアホン子機主制御部２４はハードウェア的には中央演算処理装置（以下、ＣＰＵ）から構成され、メモリ部２５やその他のメモリからプログラムを読み込んでソフトウェア的に機能実現手段として各機能を実行する。２６，２７はそれぞれスピーカ３とマイク４の出力を増幅するアンプ、２８はビデオ信号と音声信号のドアホン親機６に対する第１信号線である。

なお、実施例１の場合、第１信号線２８は２−ワイヤで構成され、一方に直流＋２２Ｖが印加され、他方は接地されている。また、実施例１では操作処理部５ａや後述するドアホン操作検知部３６を使って第１信号線２８によって映像信号と音声信号を伝送するが、このほかの方法として、ドアホン子機１とドアホン親機６にそれぞれ通信制御部を設け、
ネットワークケーブル等で結んで所定のプロトコルで通信を行う有線ＬＡＮまたは無線ＬＡＮを構成するのもよい。詳細な説明は省略する。

さて、マイク４から入力された通常５００Ｈｚ〜２ｋＨｚの人間の音声はアンプ２７で増幅され、そのまま映像信号変調部２３からの８．５ＭＨｚ〜１０ＭＨｚのＦＭ信号と重畳され、さらにこれに直流電圧＋２２Ｖが重畳されて第１信号線２８を介してドアホン親機６に伝送される。すなわち、待機時にはドアホン親機６からドアホン子機１に＋５Ｖが給電されているが、この状態で操作ボタン５を押すと、操作処理部５ａの作用で第１信号線２８に急激な電圧降下を起こし、＋２２Ｖが給電され、ドアホン親機６において操作ボタン５が押下されたことが検知されてその後＋２２Ｖが重畳された音声信号と上記ＦＭ信号が伝送され、ドアホン親機６は表示部７に映像を表示する。なお、ドアホン親機６の動作中に操作ボタン５を押した場合はＦＭ信号等に影響しない帯域に検知信号が重畳されて伝送される。ドアホン親機６は人物認証を開始し、その結果によって関連情報、例えば警告領域７ｂに面会拒否の表示や、訪問履歴領域７ｃに訪問履歴を表示することになる。

続いて、図４に基づいてドアホン親機６の構成について説明する。２８は第１信号線、２９は第２信号線である。２８ａは第１信号線２８を介して重畳して伝送された２つの信号、すなわち映像信号変調部２３で周波数変調されたＦＭ信号とこれに重畳された音声信号を分離する信号分離部である。そして、３０はこのＦＭ信号を復調させるためのＦＭ信号復調部、３１は復調されたアナログのビデオ信号を画像処理や画像認証行うためにデジタル信号に変換するＡ／Ｄ変換部である。

また、３２はＡ／Ｄ変換部３１で変換されたデジタルビデオ信号を画像処理し、所定の画像を生成する画像処理生成部である。実施例１においては、図２（ｂ）の表示部７に表示された表示画面は分割され、映像とその他の関連情報が分割されて表示されるので、画像処理生成部３２がこの処理を行う。３３はこの表示部７に表示される表示画面のテンプレート等のデータを格納した画像メモリ部である。画像処理生成部３２は、カメラ２で撮影している映像部分のサイズを調整若しくは切り出してテンプレートの画面領域７ａに貼り付け、また、対応拒否の設定を示すテキスト情報及びシンボルは警告領域７ｂに、さらに訪問履歴に関するテキスト情報を訪問履歴領域７ｃに表示して、１画面分のデータとして生成する。

３４は画像処理したデジタルのビデオ信号をアナログ信号に変換するＤ／Ａ変換部である。３５はこのビデオ信号を表示部７に表示するための表示制御部であり、カメラ２で撮影した映像はＬＣＤ等の表示部７に表示される。３６はドアホン子機１の操作ボタン５が押下されたとき、ドアホン親機６側でこれを検知するドアホン操作検知部であり、検出信号は後述の主制御部３９に入力され、これをトリガとしてドアホン親機６の各動作が開始される。

実施例１のドアホン親機６においては、まず、訪問した人物の顔等の映像を表示部７に表示するとともに、この人物の画像認証（画像による照合）を行うものである。なお、ここでいう照合は画像を比較して同一人物か否かを推定するという意味であるが、以下実施例１上は、照合後に宅内への侵入を許可するという意味を込めて認証という。このため次の構成を有している。３７は、Ａ／Ｄ変換部３１から出力されたビデオ信号を基に１画面分の画像を取り出して個人別に蓄積されている多数の取得済み画像情報と比較し、人物推定を行う画像認証部（実施例１の画像照合部）である。そして、３８は画像認証部３７で行う認証のために過去の来訪者や家族等で個人別に蓄積した取得済み画像のデータと、その個人情報を蓄積したデータベース部（実施例１の記憶部）である。データベース部３８に格納されている取得済み画像は、氏名とともに、撮影したカメラのズーム等のカメラ条件、明るさ等の環境条件、また画像のサイズや付属物、例えば眼鏡の有無等の対象情報が
、画像と関係付けられて格納されている。

画像認証部３７は、これらの条件と現在の画像の条件を比較してマッチングさせ、眼や鼻、口の位置や形状、骨格等の所定の位置の特徴抽出が可能な点を抽出して、両者の特徴空間上での距離を測って、所定の範囲内であれば同一人であると推定する。例えば、照合方法としてガボール特徴とグラフマッチングを用い、距離を測って類似性の推定を行うアルゴリズムを利用するのもよい（特許文献３参照）。この場合、特徴抽出が可能な点（目、口、鼻等の点）同士を線で結んだグラフのマッチングによって人物の判別を行うから、これらの特徴点は予め取得済み画像から取得してデータ保存しておく。また、個人の特徴を抽出するため、ガボール特徴として画像から特徴点の周波数成分や方向を取り出しておいて保存しておく。画像認証部３７は映像から画像を取り出し、グラフとガボール特徴のデータを取得し、保存してある取得済み画像の特徴点のデータとのマッチングを行い、これを比較するだけで同一人物か否かの推定ができる。このため多人数との比較が直ちに行える。なお、後述するように、データベース部３８に格納されている取得済み画像は、入力キーボード１１の中の更新キーを押下することで、簡単に更新することができる。また、画像認証の特徴点を比較して認証する方法は、人間の静脈や、眼を利用したりする多くの方法があり、これらを利用するのもよい。

次に、３９はドアホン親機６の主制御部である。主制御部３９はハードウェア的にはＣＰＵから構成され、後述する記憶部４７やその他のメモリからプログラムを読み込んでソフトウェア的に機能実現手段として各機能を実行する。実施例１の機能実現手段の各機能については後述する。

４０は第１信号線２８と接続された音声処理部、４３，４４はスピーカ８とマイク１０のそれぞれのアンプである。音声処理部４０は音声のとぎれ等を検出し、ドアホン親機６とドアホン子機１との間の通話の切り替えなど音声通信の制御を行う。また、４５は入力キーボード１１の操作ボタンを使って入力する入力部、４６は応答スイッチ９を押してドアホン子機１との間で通信を開始する応答スイッチ部である。そして、４７は主制御部３９のためのプログラムやデータを記憶した記憶部であり、４８は履歴を残すための時計部である。

そこで、本発明の実施例１の主制御部３９に搭載された機能実現手段について説明する。図５（ａ）は本発明の実施例１におけるドアホン装置のドアホン親機の履歴制御のブロック図、図５（ｂ）は本発明の実施例１におけるデータベース部の構成図、図６は本発明の実施例１におけるデータベース部の個人情報部構成図である。

図５（ａ）に示すように、主制御部３９内には履歴情報を処理するため、次の機能実現手段が設けられている。３９ａは来訪者があったときに時計部４８の時刻とともに自動的に画像認証した人物の関連情報を記録する履歴情報記録手段、３９ｂはこの訪問履歴の各回にドアホン親機６から応答したか否かを記録する応答履歴記録手段である。来訪者の中には、絶対対応を拒否したい人物もあり、３９ｃはこのような場合に対応拒否を設定するための応答禁止設定手段である。この設定は、入力キーボード１１の中の対応拒否キーを押下することで、簡単に設定することができる。対応拒否は個人差があり、個人的、一時的にこの拒否を解除したいときは、上記対応拒否キーを長押しなどをすることで、簡単に解除することができる。しかし、これらの履歴はすべて応答履歴記録手段３９ｂによって履歴として記録される。なお、対応拒否キーを押下した人物、これを一時的に解除した宅内の人物の記録も残され、警告領域７ｂに表示することもできる。

３９ｄはデータベース部３８に格納されている画像データを、最新の画像に更新したいときに実行する画像データ更新手段である。既に述べたように、入力キーボード１１の中
の更新キーを押下することで更新することができる。また、更新キーを長押しなどすることにより、自動設定機能にすることができ、この場合訪問があれば自動的に画像を更新させることができる。さらに、誤って入力されている訪問履歴や個人情報を修正のためのキーを使ってデータ修正手段（図示しない）により修正、変更ができる。

図５（ｂ）には、データベース部３８の内部構成が示されている。３８ａは画像データ部であって、画像データとその画像の特徴パラメータとが、その氏名等の個人情報と関係付けられて格納されている。３８ｂはその氏名等の人物の個人情報を記録した個人情報部であって、３８ｂ₁は訪問履歴を記録した履歴情報部、３８ｂ₂は対応拒否キーを押下したとき拒否フラグを設定するための履歴情報部３８ｂ₁の拒否部である。また、３８ｃは実際に応答するのでなく、所定のメッセージを利用して応答するために設けられた応答メッセージ部である。応答メッセージ部３８ｃ内には、「唯今留守にしております」等の家族で共通のメッセージのほかに、個人別のメッセージ、例えば「学校のクラブで会おう」といったメッセージが格納されている。応答スイッチ部４６をおさないで、入力キーボード１１の中から自動応答のキーを選んで、希望するメッセージを送出する。

図６はこの個人情報部３８ｂの詳細を示すものである。図６において、３８ｂ₁₁は来訪者の氏名である。この氏名３８ｂ₁₁が取得済み画像データと関係付けられている。３８ｂ₁₂は来訪者の所属する企業名、３８ｂ₁₃は連絡先の電話番号、３８ｂ₁₄はメールアドレスである。これらは入力キーボード１１の中の文字入力キーを使って文字入力する。

次に、３８ｂ₁₅はこの人物の過去に訪問したときの履歴をすべて時系列に記録した訪問履歴である。例えば、Ｈ１６，０１，０４，１４，１２，応答というのは平成１６年（２００４年）１月４日１４時１２分に来訪し、応答したことを示している。しかし、Ｈ１６，０１，２０，１５，３２，不応答と記録されているように、平成１６年１月２０日１５時３２分に来訪し、応答しなかったことが分る。これらは応答履歴記録手段３９ｂによって自動的に記録される。また、３８ｂ₁₆は入力キーボード１１の中の対応拒否キーを押下することで、拒否部３８ｂ₂内に設定した拒否フラグであり、応答禁止設定手段３９ｃによって拒否部３８ｂ₂内に設定される。これらの情報はすべて画像認証した人物の氏名と関係付けられて、図２（ｂ）に示す表示部７の訪問履歴領域７ｃ、拒否フラグは警告領域７ｂにテンプレートを使って表示される。なお、実施例１においては、入力キーボード１１を使って入力したが、表示部７をタッチパネルやＧＵＩ表示にすることもできる。例えば、対応拒否キーを押下するのに代えて、図２（ｂ）の警告領域７ｂの拒否マークのボタンを入力可能にアクティブな表示にしておいて、これにタッチすることでこの設定を一時解除できるようにすることもできる。

そこで、以上説明した実施例１のドアホン装置の動作について、図７のフローチャートを基に説明する。図７は本発明の実施例１におけるドアホン装置の画像認証によるフローチャートである。先ず、ドアホン子機において来訪者が操作ボタンを押下するか、感知センサが人物を検知すると（ｓｔｅｐ１）、ドアホン子機からドアホン親機に画像を送信し、これにより画像入力がなされる（ｓｔｅｐ２）。ドアホン親機ではこの画像を表示する（ｓｔｅｐ３）と共に、この画像を記憶する（ｓｔｅｐ４）。

その後、特徴点同士を比較することによりデータベース部内に登録されている画像情報と照合され（ｓｔｅｐ５）、データベース部内に画像情報があるか否かが判定される（ｓｔｅｐ６）。なお、画像情報は取得済み画像データと特徴点のパラメータとからなる。データベース部内に画像情報がある場合は、日時や対応状態の履歴表示がなされ（ｓｔｅｐ７）、データベース部内に画像情報がない場合は履歴表示がない旨を表示する（ｓｔｅｐ８）。

ｓｔｅｐ７で履歴表示を行った場合は再来訪の場合であり、ドアホン親機は履歴表示を行った後、今回の来訪に対して来訪日時を履歴として履歴情報部に残し（ｓｔｅｐ９）、更新キーの押下げの有無を判定する（ｓｔｅｐ１０）。ここで更新キーの押下げがあった場合はデータベース部内の画像情報、すなわち取得済み画像データと特徴点となるパラメータを更新する（ｓｔｅｐ１１）。

ｓｔｅｐ１１において画像情報の更新後、また、ｓｔｅｐ１０において更新キーの押下げがなかった場合も同様に、ドアホン親機は対応者がこの来訪者に対して実際に対応したか否かを判定する（ｓｔｅｐ１２）。対応者がこの来訪者に対して対応した場合は、応答した旨を履歴として記憶し（ｓｔｅｐ１３）、応答しなかった場合は応答しなかった旨を履歴として記憶する（ｓｔｅｐ１４）。

また、ｓｔｅｐ８で履歴表示がない旨を表示した場合は、この表示を行った後、ドアホン親機は今回の来訪に対して来訪日時を履歴として履歴情報部に残し（ｓｔｅｐ１５）、データベース部内に画像情報、すなわち取得済み画像情報と特徴点となるパラメータを追加する（ｓｔｅｐ１６）。この後、ドアホン親機は対応者がこの来訪者に対して実際に対応したか否かを判定する（ｓｔｅｐ１７）。すなわち、対応者がこの来訪者に対して対応した場合は、応答した旨を履歴として記憶し（ｓｔｅｐ１８）、応答しなかった場合は応答しなかった旨を履歴として記憶する（ｓｔｅｐ１９）。以上の動作によって、来訪者に実際に面会する前にこの来訪者の情報を自動的に入手することが可能になる。

このように本発明の実施例１のドアホン装置においては、来訪者があったときこの来訪者を画像認証で特定するとともに、氏名や企業名、電話番号等のほか、訪問履歴情報などの関連情報をドアホン親機に表示するので、この表示を見てトラブルを未然に防いだり、また、来訪者に実際に面会する前にこの来訪者の有力情報を予め入手することができたりするので、来訪者の応対が容易で迅速に行える。また、家族全員にとって応対を拒否するのが望ましい人物もあり、このような場合に家族に予め警告することができるし、認証情報は自動的に更新できる。

（実施例２）
本発明の実施例２におけるドアホン装置は音声により人物認証を行うものである。図８は本発明の実施例２におけるドアホン装置のドアホン親機のブロック構成図、図９（ａ）は本発明の実施例２におけるドアホン装置のドアホン親機の履歴制御のブロック図、図９（ｂ）は本発明の実施例２におけるデータベース部の構成図、図１０は本発明の実施例２におけるドアホン装置の音声認証によるフローチャートである。実施例２のドアホン装置と実施例１のドアホン装置は、基本的に同一の構成であり、同一符号は同一構成を示しているから、重複するため説明は省略する。

図８において、４９はドアホン子機１のマイク４から入力された音声信号を受信して音符号化し、あるいはマイク１０からの音声信号を符号化して後述の音声認証部５０にスペクトル解析等のためのデジタルデータとして渡すとともに、その後それを復号化して音声処理部４０またはスピーカ８に出力するＡ／Ｄ・Ｄ／Ａ変換部である。５０はＡ／Ｄ・Ｄ／Ａ変換部４９から出力されたデジタル音声信号からサンプリングし、特徴点を抽出して人物の認証を行う音声認証部（実施例２の話者照合部）である。照合と認証の意味は上述した実施例１と同様である。

よく知られているように人の声紋は個人ごとに異なっており、マイク４，１０から入力されて切り出された音声区間、例えば「誰々さん」「ごめんください」「誰々さんのお宅でしょうか」といった音声信号をデジタル信号に変換し、この音声区間を解析することで各個人の特徴点を抽出し、予め格納している取得済み音声データの特徴点を比較し、両者
の特徴空間上での距離を測って、所定の範囲内であれば同一人物であると推定する。このとき取得済みデータの特徴点は予めデータ保存しておく。

特徴点の抽出は例えば次のように行う（特許文献４参照）。すなわち、音声処理部４０で検出された音声のとぎれから音声信号から音声区間を検出（パワー、スペクトル変化率、ピッチなどを使って無音区間を判断）し、Ａ／Ｄ変換後の信号はバンドパスフィルタ群を使って多数のスペクトルの時系列情報を取得したり、ハミングウィンドウ等により窓掛けしてスペクトルをあらわすケプトラム係数等に変換したりしてこの音声区間の音響パラメータを取得する。音声認証部５０ではこの音響パラメータを音声信号のパワー、スペクトル変化率、ピッチ、パワーディップなどを使って複数のブロックに分割する。そしてブロックごとに話者固有の特徴量、例えばスペクトル時系列情報の場合にはブロック内の時間方向の加算平均などを生成する。こうした特徴量を予め取得済みデータから入手して登録しておき、照合時には登録された特徴量と検出された特徴量とを比較して照合する。

このように音声認証部５０は切り出された音声区間のブロックから抽出された特徴点を予め登録された特徴点と比較するだけで同一人物か否かの推定ができる。このため多人数との比較が直ちに行える。なお、実施例１の画像と同様に、データベース部３８（実施例２の記憶部）に格納されている取得済み音声データは、入力キーボード１１の中の更新キーを押下することで、簡単に更新することができる。なお、また、音声認証の特徴点を抽出、比較するために利用する方法としては、最近では高速フーリエ変換（ＦＴＴ）によるもの、線スペクトル対（ＬＳＰ）によるものなど、多くの方法があり、これらを利用するのがよい。

図９（ａ）において、３９ｅはデータベース部３８に格納されている取得済み音声データを、最新の音声データに更新したいときに実行する音声データ更新手段である。既に述べたように、入力キーボード１１の中の音声更新キーを押下することで更新することができる。また、音声更新キーを長押しなどすることにより、自動設定機能にすることができ、この場合訪問があれば自動的に音声データを更新させることができる。

図９（ｂ）において、３８ｄはデータベース部３８に設けられた取得済み音声データと、その音声データの特徴パラメータと、その氏名が関係付けられて格納されている音声データ部である。これに対応した個人情報部３８ｂの内容はまったく実施例１と同様であり、説明は省略する。

なお、実施例２においては、音声認証部５０を設け、音声データ更新手段３９ｅ、音声データ部３８ｄを設けたが、これは実施例１の画像認証部３７や、画像データ更新手段３９ｄ、画像データ部３８ａとの併設ができないものでなく、両者を同時に設けて、認証精度を向上させるのも好適である。この場合、例えば画像認証部３７による画像認証の後、音声認証部５０による音声認証を行って、特徴空間上での距離が所定の閾値内にあるときのみ同一人物と推定することになる。また、この逆もありえる。

そこで、実施例２のドアホン装置の動作について図１０のフローチャートを基に説明する。先ず、ドアホン子機において来訪者が操作ボタンを押下するか、感知センサが人物を検知すると（ｓｔｅｐ２１）、ドアホン子機からドアホン親機に音声信号を送信し、これにより音声入力がなされる（ｓｔｅｐ２２）。ドアホン親機ではこの音声信号を記憶する（ｓｔｅｐ２３）。

その後、特徴点同士を比較することによりデータベース部内に登録されている音声情報と照合され（ｓｔｅｐ２４）、データベース部内に音声情報があるか否かが判定される（ｓｔｅｐ２５）。なお、音声情報は取得済み音声データと特徴点のパラメータ(すなわち
特徴量)とからなる。データベース部内に音声情報がある場合は、日時や対応状態の履歴表示がなされ（ｓｔｅｐ２６）、データベース部内に音声情報がない場合は履歴表示がない旨を表示する（ｓｔｅｐ２７）。

ｓｔｅｐ２６で履歴表示を行った場合は再来訪の場合であり、ドアホン親機は履歴表示を行った後、今回の来訪に対して来訪日時を履歴として履歴情報部に残し（ｓｔｅｐ２８）、更新キーの押下げの有無を判定する（ｓｔｅｐ２９）。ここで更新キーの押下げがあった場合はデータベース部内の音声情報、すなわち取得済み音声情報と特徴点となるパラメータを更新する（ｓｔｅｐ３０）。

ｓｔｅｐ３０において音声情報の更新後、また、ｓｔｅｐ２９において更新キーの押下げがなかった場合も同様に、ドアホン親機は対応者がこの来訪者に対して実際に対応したか否かを判定する（ｓｔｅｐ３１）。対応者がこの来訪者に対して対応した場合は、応答した旨を履歴として記憶し（ｓｔｅｐ３２）、応答しなかった場合は応答しなかった旨を履歴として記憶する（ｓｔｅｐ３３）。

また、ｓｔｅｐ２７で履歴表示がない旨を表示した場合は、この表示を行った後、ドアホン親機は今回の来訪に対して来訪日時を履歴として履歴情報部に残し（ｓｔｅｐ３４）、データベース部内に音声情報、すなわち取得済み音声データと特徴点となるパラメータを追加する（ｓｔｅｐ３５）。この後、ドアホン親機は対応者がこの来訪者に対して実際に対応したか否かを判定する（ｓｔｅｐ３６）。すなわち、対応者がこの来訪者に対して対応した場合は、応答した旨を履歴として記憶し（ｓｔｅｐ３７）、応答しなかった場合は応答しなかった旨を履歴として記憶する（ｓｔｅｐ３８）。以上の動作によって、来訪者に実際に面会する前にこの来訪者の情報を自動的に入手することが可能になる。

このように実施例２のドアホン装置は、実施例１のドアホン装置が、画像を撮る環境条件が変化すると、データが比較的変化するし、眼鏡等の付属物で認証を妨げる可能性も否定できないが、音声はこうした環境条件に強く、しかも画像認証より比較的簡単に認証が行える。

本発明は、応答する前にこの来訪者を特定するとともに関連情報を表示できるドアホン装置に適用できる。

本発明の実施例１におけるドアホン装置のドアホン子機の斜視図 （ａ）本発明の実施例１におけるドアホン装置のドアホン親機の斜視図、（ｂ）本発明の実施例１におけるドアホン装置のドアホン親機の表示部の正面図 本発明の実施例１におけるドアホン装置のドアホン子機のブロック構成図 本発明の実施例１におけるドアホン装置のドアホン親機のブロック構成図 （ａ）本発明の実施例１におけるドアホン装置のドアホン親機の履歴制御のブロック図、（ｂ）本発明の実施例１におけるデータベース部の構成図 本発明の実施例１におけるデータベース部の個人情報部構成図 本発明の実施例１におけるドアホン装置の画像認証によるフローチャート 本発明の実施例２におけるドアホン装置のドアホン親機のブロック構成図 （ａ）本発明の実施例２におけるドアホン装置のドアホン親機の履歴制御のブロック図、（ｂ）本発明の実施例２におけるデータベース部の構成図 本発明の実施例２におけるドアホン装置の音声認証によるフローチャート 従来のドアホン装置の概略構成図 従来の人物認証ドアホン装置の概略構成図 従来のドアホン装置の概略配置図

符号の説明

１ ドアホン子機
２ カメラ
２ａ 撮像制御部
３ スピーカ
４ マイク
５ 操作ボタン
６ ドアホン親機
７ 表示部
７ａ 画面領域
７ｂ 警告領域
７ｃ 訪問履歴領域
７ｃ₁ 対応の有無情報
８ スピーカ
９ 応答スイッチ
１０ マイク
１１ 入力キーボード
１２ 感知センサ
１２ａ センサ検知部
２０ 撮像部
２１ 撮像処理部
２３ 映像信号変調部
２４ ドアホン子機制御部
２５ メモリ部
２６，２７，４３，４４ アンプ
２８ 第１信号線
２８ａ 信号分離部
２９ 第２信号線
３０ ＦＭ信号復調部
３１ Ａ／Ｄ変換部
３２ 画像処理生成部
３３ 画像メモリ部
３４ Ｄ／Ａ変換部
３５ 表示制御部
３６ ドアホン操作検知部
３７ 画像認証部
３８ データベース部
３８ａ 画像データ部
３８ｂ 個人情報部
３８ｂ₁ 履歴情報部
３８ｂ₂ 拒否部
３８ｂ₁₁ 氏名
３８ｂ₁₂ 企業名
３８ｂ₁₃ 電話番号
３８ｂ₁₄ メールアドレス
３８ｂ₁₅ 訪問履歴
３８ｂ₁₆ 拒否フラグ
３８ｃ 応答メッセージ部
３８ｄ 音声データ部
３９ 主制御部
３９ａ 履歴情報記録手段
３９ｂ 応答履歴記録手段
３９ｃ 応答禁止設定手段
３９ｄ 画像データ更新手段
３９ｅ 音声データ更新手段
４０ 音声処理部
４５ 入力部
４６ 応答スイッチ部
４７ 記憶部
４８ 時計部
４９ Ａ／Ｄ・Ｄ／Ａ変換部
５０ 音声認証部
１０１ ドアホン装置
１０２ ドアホン端末
１０３ 応答端末
１２１ カメラ
１２２ 呼び出しスイッチ
１２３ スピーカ
１２４ マイク
１３１ 画像表示部
１３２ 呼び出し音信号発生部
１３３，１３５ アンプ
１３４ スピーカ
１３６ 送受話器
１４１ 画像認識部
１４２ 人物データベース
１４３ 制御部
１４４ 呼び出し音データベース

Claims (12)

1. カメラが設けられたドアホン子機で撮影された画像を表示する表示部と、
   人物の画像と前記人物の履歴情報とを記憶する記憶部と、
   前記ドアホン子機で撮影された画像と前記記憶部に記憶された画像とを照合する画像照合部と、
   前記画像照合部が前記ドアホン子機で撮影された画像と前記記憶部に記憶された画像とを照合して同一人物と判断したとき、前記同一人物と判断された画像に対応する履歴情報及び前記ドアホン子機で撮影された画像を前記表示部に表示させる制御部と、を具備したドアホン装置。
2. 前記画像照合部が前記ドアホン子機で撮影された画像と前記記憶部に記憶された画像とを照合して同一人物と判断する画像がなかったとき、前記制御部は、来訪した履歴がない旨の情報を前記表示部に表示させる請求項１記載のドアホン装置。
3. 来訪日時を計時する時計部を備え、
   前記画像照合部が前記ドアホン子機で撮影された画像と前記記憶部に記憶された画像とを照合して同一人物と判断したとき、前記制御部は前記同一人物と判断された画像に対応する来訪日時を含む履歴情報を前記ドアホン子機で撮影された画像と共に前記表示部に表示させ、前記時計部で計時した前記来訪日時を履歴情報として記憶させる制御を行う請求項１記載のドアホン装置。
4. 前記来訪日時は、前記表示部にドアホン子機で撮影された画像を表示したときである請求項３記載のドアホン装置。
5. 前記記憶部は、来訪に応答したか否かの応答履歴を記憶し、
   前記画像照合部が前記ドアホン子機で撮影された画像と前記記憶部に記憶された画像とを照合して同一人物と判断したとき、前記制御部は前記同一人物と判断された画像に対応する前記応答履歴を含む履歴情報を前記ドアホン子機で撮影された画像と共に前記表示部に表示する制御を行う請求項１記載のドアホン装置。
6. 前記記憶部は、ドアホン子機で撮影された画像から得られる特徴パラメータを記憶し、
   前記画像照合部は、ドアホン子機で撮影された画像から得られる特徴パラメータと前記記憶部に記憶された特徴パラメータとを用いて照合する請求項１記載のドアホン装置。
7. マイクが設けられたドアホン子機で入力した音声に対応する人物の履歴情報を表示する表示部と、
   人物の音声と前記人物の履歴情報とを記憶する記憶部と、
   前記ドアホン子機で入力された音声と前記記憶部に記憶された音声とを照合する話者照合部と、
   前記話者照合部が前記ドアホン子機で入力された音声と前記記憶部に記憶された音声とを照合して同一人物と判断したとき、前記同一人物と判断された音声に対応する履歴情報を前記表示部に表示させる制御部と、を具備したドアホン装置。
8. 前記話者照合部が前記ドアホン子機で入力された音声と前記記憶部に記憶された音声とを照合して同一人物と判断する音声がなかったとき、前記制御部は、来訪した履歴がない旨の情報を前記表示部に表示させる請求項７記載のドアホン装置。
9. 来訪日時を計時する時計部を備え、
   前記話者照合部が前記ドアホン子機で入力された音声と前記記憶部に記憶された音声とを
   照合して同一人物と判断したとき、前記制御部は前記同一人物と判断された音声に対応する来訪日時を含む履歴情報を前記表示部に表示させ、前記時計部で計時した前記来訪日時を履歴情報として記憶させる制御を行う請求項７記載のドアホン装置。
10. 前記来訪日時は、前記表示部にドアホン子機で入力された音声の音声に対応する人物の履歴情報を表示したときである請求項９記載のドアホン装置。
11. 前記記憶部は、来訪に応答したか否かの応答履歴を記憶し、
    前記話者照合部が前記ドアホン子機で入力された音声と前記記憶部に記憶された音声とを照合して同一人物と判断したとき、前記制御部は前記同一人物と判断された音声に対応する前記応答履歴を含む履歴情報を前記表示部に表示する制御を行う請求項７記載のドアホン装置。
12. 前記記憶部は、ドアホン子機で入力された音声から得られる特徴パラメータを記憶し、
    前記話者照合部は、ドアホン子機で入力された音声から得られる特徴パラメータと前記記憶部に記憶された特徴パラメータとを用いて照合する請求項７記載のドアホン装置。

Images