JP6387287B2 - 不明事項解消処理システム - Google Patents

Description

本発明は、不明事項解消処理システムに関し、更には不明事項解消処理装置、不明事項解消処理方法、及び不明事項解消処理プログラムに関する。

近年、携帯電話端末及び携帯情報端末の機能を併せ持つ携帯通信機器であるスマートフォンが爆発的に普及している。このスマートフォンの普及はオーディオ機能、ビジュアル機能、ナビゲーション機能、及び近距離通信機能を含む車載通信装置（車載機または車載用ナビゲーション装置と記載することもある）に多大な影響を与え、スマートフォンと車載機とが接続されて連携動作すること、つまりスマートフォン連携が主流になっている。

例えば、スマートフォンの利用者（ユーザ）が自動車などの車両においてスマートフォンを車載機に近距離無線接続すると、スマートフォン連携アプリ（中継アプリケーションソフトウェア）が動作し、普段使い慣れたスマートフォンにおいて見つけた場所（位置情報）を車載機に送信して簡単に目的地設定できる。これにより、スマートフォンのユーザは、車載機のディスプレイに表示された目的地を目指して直ちに出発できる。

また、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェント（擬人化エージェントまたはコミュニケーションエージェント）として機能するアプリケーションソフトウェアを実装（搭載）したスマートフォンなどの携帯通信機器が普及している。

エージェント搭載のスマートフォン及びこのようなスマートフォンと連携動作する車載機においては、ユーザが疑問に思った不明事項（不明点と記載することもある）をエージェントに問い合わせる（質問する）と、これを契機にエージェントから不明事項に関する情報提供がある。ユーザはこの提供された情報に基づいて不明事項を解消可能である。

特開２００３−３３０４８７号公報 特開２０１０−００９４１３号公報 特開２０１２−１４４０６６号公報 特開２００９−２４４２０４号公報

しかし、上述した不明事項解消技術においては、ユーザは、不明事項をエージェントに積極的に質問しなければ、不明事項を明確にできない。

例えば、ユーザが車両などの移動体を運転しているときは、生じた不明事項のメモを取ること、エージェントに対してアクセスすることなどの手操作を円滑に行えない、支障が生じることを免れない。

第１の課題は、ユーザの手操作などのアクションを抑制しつつ、不明事項を解消可能にする技術を提供することにある。

第２の課題は、ユーザが不明事項を積極的に質問しなくても、不明事項を解消可能にす
る技術を提供することにある。

上記課題を解決するために、不明事項解消処理装置としての情報処理装置は、対象者を撮影した画像を認識する認識手段と；音を入力する入力手段と；前記認識手段による前記対象者の口の状態に基づいて発話状態と、前記認識手段による前記対象者の顔の状態に基づいて表情とを判定する第１判定手段と；前記第１判定手段の判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第２判定手段と；前記第２判定手段により前記不明事項が発生したときの、前記入力手段により入力された音に基づいて、前記不明事項を特定する特定手段と；前記特定手段により特定された前記不明事項を解説する情報を出力する出力手段とを備える。

上述した不明事項解消処理装置は、不明事項解消処理方法及び不明事項解消処理プログラムとして実施することもできる。

開示した不明事項解消処理装置によれば、ユーザの手操作などのアクションを抑制しつつ、不明事項を解消することができる。また、ユーザが不明事項を積極的に質問しなくても、不明事項を解消することができる。

他の課題、特徴及び利点は、図面及び特許請求の範囲とともに取り上げられる際に、以下に記載される発明を実施するための形態を読むことにより明らかになるであろう。

一実施の形態の不明事項解消処理システムの概要構成を示すブロック図。 一実施の形態の不明事項解消処理システムの特徴を説明するための図。 一実施の形態の不明事項解消処理システムにおける車載機の構成を示すブロック図。 一実施の形態の不明事項解消処理システムにおけるサーバの構成を示すブロック図。 一実施の形態の不明事項解消処理の手順を示すフローチャート。 一実施の形態の不明事項解消処理システムにおけるユーザ管理データベース及び用語データベースの構成を示す図。

以下、添付図面を参照して、さらに詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

［システム概要］
一実施の形態におけるシステムの概要を説明するための図１を参照すると、不明事項解消処理システム１は、自動車などの車両（移動体）の室内に設置された車載機（車載通信装置）２と、携帯電話端末及び携帯情報端末の機能を併せ持つスマートフォン（携帯通信機器）３と、サーバ（不明事項解消処理装置）４とを備えている。

この不明事項解消処理システム１においては、スマートフォン３と車載機２とは近距離無線接続されて連携動作し、スマートフォン３とサーバ４とは無線通信ネットワーク（図示省略）を介して接続される。

後に詳述するように、車載機２はカメラ（車室内カメラ）及びマイク（車室内マイクロホン）をそれぞれ少なくとも１つ含む。Ｗｅｂ（World Wide Web）クライアントとしての一面を有するスマートフォン３は、Ｗｅｂブラウザ（例えば、ＨＴＭＬ（Hyper Text Markup Language）ブラウザ、ＶＲＭＬ（Virtual Reality Modeling Language）ブラウザな
ど）を搭載し、エージェント機能、通信機能、情報入力機能、情報出力（可視表示・可聴表示）機能、情報指定機能、及び情報保持（記憶）機能を含む。

また、サーバ４は、車載機２及びスマートフォン３と協働して、不明事項解消処理を遂行する。つまり、図１及び図２を併せ参照すると、不明事項解消処理システム１においては、スマートフォン３の利用者（ユーザ）は、スマートフォン３と車載機２とを連携動作させるために、車両において両者を近距離無線接続する（図２中の２１）。

そして、スマートフォン３のユーザは、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェント（擬人化エージェントまたはコミュニケーションエージェント）として機能するエージェントアプリ（アプリケーションソフトウェア）をスマートフォン３において起動しておく（図２中の２２）。

エージェント搭載のスマートフォン３と連携動作する車載機２においては、カメラ及びマイクを通して取得したドライバ（運転者）の画像信号及び音声信号などをスマートフォン３に送信する。

サーバ４においては、スマートフォン３から転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内の会話を理解できていないと判定すると、不明事項（不明点）を抽出する。そして、サーバ４においては、抽出した不明点を解説する情報をスマートフォン３に送信する（図２中の２３）。

スマートフォン３においては、サーバ４から送信された不明点解説情報をエージェントを介して車載機２に転送する。

これにより、車載機２のエージェントはドライバに不明点を解説するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる（図２中の２４）。

［車載機の構成］
図３は、図１に示す不明事項解消処理システム１における車載機（車載通信装置）２のハードウェア構成の一例を示す。

車載機２は、車両の現在地や目的地までの経路の案内などを行うカーナビゲーション機能、各種オーディオ／ビジュアル（ＡＶ）コンテンツの再生機能、放送波を受信する機能、及び近距離通信機能などを有している。車載機２は、車両の運転席や助手席の乗員の手が届きやすいダッシュボードの中央付近に設置された状態で使用されるものである。この車載機２は、例えば富士通テン株式会社のＡＶＮ（Audio Visual Navigation）（登録商
標）一体機の車載用ナビゲーション装置により実現可能である。

車載機２は、具体的には、制御部１００、メモリ１０１、着脱可能記録媒体再生部１０２、ラジオ及びテレビジョンの放送受信部１０３、ディスク再生部１０４、ナビゲーション部１０６、ＶＩＣＳ（Vehicle Information and Communication System）情報受信部１０７、ＧＰＳ（Global Positioning System）情報受信部１０８、分配部１０９、音声調
整部１１０、スピーカ１１１、画像調整部１１２、画像出力部１１３、表示部１１４、リモコン送受信部１１５、リモコン（遠隔操作部）１１６、及び操作部１１７を含む。

さらに、車載機２は、少なくとも１つのカメラ（車室内カメラ）１１８、少なくとも１つのマイク（車室内マイクロホン）１１９、映像／音声入力部１２０、及び近距離通信部１２１を含み、必要に応じて無線通信部１２２を含む。

この車載機２において、制御部１００は、車載機２の各部または接続された外部機器からの信号に基づき、車載機２の各部または外部機器を統括的に制御する。制御部１００は、例えばマイクロコンピュータ（マイコン）を備え、マイコンがメモリ１０１に記憶された各種プログラムを実行することによって、各機能を実現する。

メモリ１０１は、車載機２に実装された、各種データやプログラムを記憶する記憶部である。メモリ１０１は、例えばＲＡＭ（Random Access Memory）やフラッシュメモリなどを含む。

着脱可能記録媒体再生部１０２は、接続された着脱可能記録媒体（図示省略）に記録されたデータを読み出して出力する。着脱可能記録媒体は、例えばＳＤカード、ｍｉｎｉＳＤカード、ｍｉｃｒｏＳＤカード、その他のフラッシュメモリのメモリカードである。着脱可能記録媒体再生部１０２は、読取信号の復号回路などを備え、制御部１００からの制御信号により、オン／オフ、読み込み位置などの各種動作が制御される。

放送受信部（ラジオ受信部）１０３は、アンテナにより受信された各ラジオ放送局から発信されるＡＭまたはＦＭの放送波から、特定の周波数の放送波を選択して受信することにより、放送の音声信号などを出力する。また、放送受信部（テレビ受信部）１０３は、アンテナにより受信された各テレビ放送局から発信される放送波から、セレクタにより特定の周波数の放送波を受信し、受信した音声信号、映像信号及びデータ信号などを出力する。放送受信部１０３は、同調回路、復調及び復号回路などを備え、制御部１００からの制御信号により、オン／オフ、受信周波数などの各種動作が制御される。

ディスク再生部１０４は、ＣＤ（Compact Disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）、及びブルーレイディスクなどのディスクに記録されているデータ
をピックアップにより読込み、読み込んだデータに基づく、音声信号及び映像信号などを出力する。ディスク再生部１０４は、光学ピックアップ、ピックアップディスク駆動機構、ピックアップディスク駆動機構の制御回路、読取信号の復号回路などを備える。ディスク再生部１０４は、制御部１００からの制御信号により、オン／オフ、読み込み位置などの各種動作が制御される。

ナビゲーション部１０６は、地図上に自車位置や目的地までの経路を表示したり、交差点などで音声などにより右左折などの進行方向案内を行ったり、ＶＩＣＳ情報受信部１０７から交通情報を受信して表示したり、ＧＰＳ情報受信部１０８から自車位置情報を受信して表示したりして、目的地までの経路案内を行う。ナビゲーション部１０６は、ナビゲーションのために利用される地図情報を記録するハードディスク、各種演算処理を行うＣＰＵ（Central Processing Unit）、各種処理のためにデータを記憶するＲＡＭなどのメ
モリを含む。ナビゲーション部１０６は、制御部１００からの制御信号により、オン／オフなどの各種動作が制御される。

ＶＩＣＳ情報受信部１０７は、交通情報通信システム（ＶＩＣＳ：登録商標）に係る交通情報を受信し、受信した交通情報を出力する。ＶＩＣＳ情報受信部１０７は、交通情報通信システムからのデータを受信する受信機（ＦＭ受信機、電波ビーコン受信機、光ビーコン受信機）、受信したデータを復号する復号回路などを備える。

ＧＰＳ情報受信部１０８は、ＧＰＳ衛星からのＧＰＳ信号に基づき自車位置を検出し、検出した現在位置情報を出力する。ＧＰＳ情報受信部１０８は、ＧＰＳ信号を受信する受信回路、受信したＧＰＳ信号に基づき自車位置を算出する演算部などを備える。

分配部１０９は、制御部１００の制御信号により、出力することが指定された各種ソース、つまり着脱可能記録媒体再生部１０２、放送受信部１０３、ディスク再生部１０４、ナビゲーション部１０６、及び映像／音声入力部１２０などからの音声信号及び映像信号（画像信号と記載することもある）を音声調整部１１０、画像調整部１１２、及び制御部１００に出力する。分配部１０９は、リレーまたはスイッチングトランジスタなどで構成されたスイッチ群を備える。

ここで、分配部１０９は、映像／音声入力部１２０からの音声信号及び画像信号などについては制御部１００に出力する。また、無線通信部１２２が設けられている場合、分配部１０９は、映像／音声入力部１２０からの音声信号及び画像信号などについては無線通信部１２２に出力し、無線通信部１２２からのデータ信号については制御部１００に出力する。

音声調整部１１０は、制御部１００の制御信号により、入力された音声信号に対し、音量及び音声を調整し、調整した音声信号を出力する。音声調整部１１０は、音声データを記憶するメモリと、音声データを演算処理するデジタルシグナルプロセッサなどの演算回路と、増幅または減衰回路と、共振回路などとを備える。スピーカ１１１は、音声調整部１１０からの音声信号を音声として出力する。

画像調整部１１２は、制御部１００の制御信号により、入力された画像信号に対し、輝度や色調、コントラストなどを調整し、調整した各画像信号を出力する。画像調整部１１２は、画像データを記憶するメモリ、画像データを演算処理するデジタルシグナリングプロセッサなどの演算回路を含む。

画像出力部１１３は、画像調整部１１２から入力された画像信号と、制御部１００から表示部１１４に表示させる表示画像信号とを入力して画像合成などの処理を施し、当該処理を施した画像信号に基づき表示部１１４を駆動する。画像出力部１１３は、例えば演算処理により、画像処理を行う画像用に特化された演算処理回路である画像ＡＳＩＣ、画像処理及び出力用に画像データを記憶するビデオメモリ、画像出力用ビデオメモリに記憶された画像データに基づき表示部１１４を駆動する画像駆動回路などを備える。

表示部１１４は、画像出力部１１３から入力された画像信号に基づき画像を表示する。表示部１１４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、冷陰極フラットパネルディスプレイなどである。表示部１１４は、バックライト、液晶パネル、及びタッチパネルを含む。

リモコン送受信部１１５、リモコン（遠隔操作部）１１６、及び操作部１１７については、容易に理解できるので詳細説明を省略する。

カメラ（車室内カメラ）１１８は、リアルタイムに撮影（撮像）したドライバの画像信号などを映像／音声入力部１２０に出力する。

マイク（車室内マイクロホン）１１９は、リアルタイムに収集（集音）したドライバの音声信号などを映像／音声入力部１２０に出力する。

近距離通信部１２１は、例えばＤＳＲＣ（専用狭域通信：Dedicated Short Range Comm
unication）、赤外線通信、ブルートゥース（登録商標）などの近距離の無線通信のため
の通信インタフェースである。ここでは、近距離通信部１２１はスマートフォン３と近距離無線接続される。

無線通信部１２２は、送受信アンテナ、無線周波数（ＲＦ）信号処理部、ベースバンド（ＢＢ）信号処理部及び符号化・復号化部を含む。この無線通信部１２２を設けた場合は、車載機２とサーバ４とがスマートフォン３を介さずに通信できる。逆に、この無線通信部１２２を省いた場合は、車載機２とサーバ４とが通信する場合、スマートフォン３を介する必要がある。

［サーバの構成］
図４は、図１に示す不明事項解消処理システム１におけるサーバ（不明事項解消処理装置）４のハードウェア構成の一例を示す。

サーバ４は、サーバコンピュータであり、ＣＰＵ４０１と、メモリ４０２と、各種インタフェース（Ｉ／Ｆ）４０３，４０５，４０７，４０９，４１１，４１３と、これらのインタフェースを通じてＣＰＵ１に接続される周辺装置４０４，４０６，４０８，４１０，４１２，４１４とを含む。

ここでは、周辺装置の例として、ハードディスク駆動装置４０４、入力装置４０６、表示装置４０８、通信ネットワークインタフェース（Ｉ／Ｆ）４１０、着脱可能記憶媒体駆動装置４１２、及びメモリカード・リーダ・ライタ４１４が示されている。

ＣＰＵ４０１は、メモリ４０２に展開されたアプリケーションプログラムを実行し、サーバ４の各種機能を提供する。メモリ４０２は、ＣＰＵ４０１が実行可能な形式でプログラムを保持する。また、メモリ４０２は、ＣＰＵ４０１が処理するデータを保持する。メモリ４０２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）などである。ただし、メモリ４０２として、フラッシュメモリを用いてもよい。

ハードディスク駆動装置４０４は、ハードディスクにアクセスし、ＣＰＵ４０１が処理したデータ、ＣＰＵ４０１で実行されるプログラムなどを記憶する。入力装置４０６は、キーボードなどの文字入力装置、マウスなどのポインティングデバイスなどである。表示装置４０８は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどである。

着脱可能記憶媒体駆動装置４１２は、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリカード（ＳＤメモリカード、ＵＳＢメモリカード）などの駆動装置である。

ＣＰＵ４０１で実行されるプログラムは、通常、通信ネットワークインタフェース４１０または着脱可能記憶媒体駆動装置４１２を通じて、ハードディスクに保存され、メモリ４０２に展開される。メモリカード・リーダ・ライタ４１４は、ＣＰＵ４０１の指令に従い、装着されたメモリカードとＣＰＵ４０１との間で、データを入出力する。

サーバ４は、各種データベース、つまりユーザ管理データベース４１及び用語データベース４２をハードディスク及びメモリ４０２上の少なくとも一方に有する。

後に詳述する不明事項解消処理機能を論理的に実現するには、サーバ４は、ＯＳ標準の各種ツールと連携する不明事項解消処理プログラムを備えている。

［不明事項解消処理］
図５は、サーバ４における不明事項解消処理の手順の一例を示している。ここでは、サ
ーバ４が、車載機２及びスマートフォン３と協働して、ドライバ及び同乗者による会話時の不明事項解消処理を遂行する場合について詳述するが、後に説明するような変形処理を採ることもできる。

図５及び関連図を併せ参照すると、不明事項解消処理システム１においては、不明事項解消対象者となるスマートフォン３のユーザ（つまり、ドライバ）は、スマートフォン３と車載機２とを連携動作させるために、車両において両者を近距離無線接続する（図２中の２１）。

そして、スマートフォン３のユーザは、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェントとして機能するエージェントアプリをスマートフォン３において起動しておく（図２中の２２）。また、スマートフォン３のユーザは、スマートフォン３のエージェントとのコミュニケーションを仲介するエージェントとして機能するエージェントアプリを車載機２においても起動しておく。

エージェント搭載のスマートフォン３と連携動作する車載機２においては、制御部１００は、映像／音声入力部１２０がカメラ（車室内カメラ）１１８及びマイク（車室内マイクロホン）１１９を通してリアルタイムに取得したドライバの画像信号及び音声信号などを近距離通信部１２１を介してスマートフォン３に送信する。なお、スマートフォン３に送信されるドライバの画像信号及び音声信号には、車室内で会話を行っている同乗者の画像信号及び音声信号が含まれている。ここで、カメラ１１８及びマイク１１９は、運転席の前部近傍、必要に応じて後席近傍などに配置される。

不明事項解消処理プログラムが常駐しているサーバ４においては、ＣＰＵ４０１（厳密には、ＣＰＵ４０１及び協働する他の構成要素）は、スマートフォン３からユーザＩＤ（利用者識別情報）とともに転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内での同乗者との会話を理解できていないと判定すると、不明点を抽出（特定）する。そして、サーバ４においては、ＣＰＵ４０１は、抽出した不明点を解説する情報（不明点解説情報）をスマートフォン３に送信する（図２中の２３）。なお、スマートフォン３から転送されたドライバの画像信号及び音声信号などは、画像データ及び音声データとしてユーザＩＤに対応付けて、メモリ４０２におけるユーザ管理データベース（ＤＢ）４１（図６（Ａ）参照）に格納される。

更に詳述すると、サーバ４においては、ＣＰＵ４０１は、スマートフォン３から受信したドライバの画像信号に基づいて、ドライバの発話状態（口の開閉度）を検知するために、ドライバの口が頻繁に開閉しているかを判定する（図５中のＳ５１）。肯定判定（ＹＥＳ）のときは、ドライバの不明点なしと判定して終了する（Ｓ５２）。否定判定（ＮＯ）のときは、処理Ｓ５３に進む。なお、処理Ｓ５１とともに、スマートフォン３から受信したドライバの音声信号などの常時録音、つまりユーザ管理データベース４１への格納を開始する。

処理Ｓ５１において、ドライバの発話状態を検知するためには、顔画像から口の開閉度をリアルタイムに検知する既存の顔認識技術が適用できる。

次に、ＣＰＵ４０１は、受信したドライバの画像信号に基づいて、ドライバの不機嫌度を検知するために、ドライバの顔の表情がネガティブ（不機嫌状態）かを判定する（Ｓ５３）。否定判定のときは、つまり顔の表情がポジティブ（機嫌状態）であるときは、ドライバの不明点なしと判定して終了する（Ｓ５４）。肯定判定のときは、ドライバが同乗者との会話に入れていない、つまり会話不成立状態であることから、会話の内容に不明点があると仮定する（Ｓ５５）。

処理Ｓ５３において、ドライバの顔の表情がネガティブ（不機嫌状態）かを判定するためには、顔画像から眉間の皺、視点のふらつき、瞳孔の大きさ、鼻の穴の動きなどの特徴を検知して、喜び、嫌悪、無表情などを含むいくつかの表情をリアルタイムで推定する既存の表情推定技術が適用できる。

なお、処理Ｓ５１，Ｓ５２と処理Ｓ５３，Ｓ５４とは、処理の順序が逆であってもよい。

次に、ＣＰＵ４０１は、ユーザ管理データベース４１にリアルタイムに格納していた画像データ及び音声データに基づいて、ネガティブ表情になったときの音声認識を行い、会話の内容が分からなかった箇所（不明点）を判定する（Ｓ５６）。つまり、ＣＰＵ４０１は、ユーザ管理データベース４１にリアルタイムに格納していた画像データ及び音声データに基づいて、不明点の発生が肯定判定されたときに、会話の内容が分からなかった箇所（不明点）を判定する。この判定のために、声色が併せて考慮されてもよい。厳密には、ＣＰＵ４０１は、ネガティブ表情になった直前（例えば、１５ｓｅｃ前）の会話内容を理解できなかったと判定する。

次に、ＣＰＵ４０１は、不明点対応の音声データをユーザ管理データベース４１から読み出してテキスト化したときに、意味を理解できる単語があったかを用語データベース４２（図６（Ｂ））を参照して判定する（Ｓ５７）。つまり、ＣＰＵ４０１は、不明点対応の音声データをユーザ管理データベース４１から読み出してテキスト化した単語が用語データベース４２に予め登録されているかを判定する。処理Ｓ５７で否定判定のときは、ドライバの不明点を検出できないと判定して終了する（Ｓ５８）。処理Ｓ５７で肯定判定のときは、処理Ｓ５９に進む。

また、ＣＰＵ４０１は、検知された会話内容がドライバにとって不明である可能性が高いかをユーザ管理データベース４１を参照して判定する（Ｓ５９）。例えば、ユーザ管理データベース４１には、不明事項解消処理システム１への加入時に、ユーザが申告した属性情報として年齢、性別、趣味趣向が少なくとも登録されている。また、例えば、初期設定のため、趣味のジャンル、情報機器の取り扱いに関するアンケート、簡単な能力試験等を行うことにより、ユーザと、趣味のジャンル、情報機器の分野ごとにレベル分けしておいてもよい。例えば、ドライバを読書量に応じてレベル分けし、それぞれのレベルごとに、不明となる可能性のある用語の一覧をデータベースに保持すればよい。また、例えば、ドライバの情報機器に対する知識に応じてレベル分けし、それぞれのレベルごとに、不明となる可能性のある用語の一覧をデータベースに保持すればよい。処理Ｓ５９で否定判定のときは、ドライバの不明点を検出できないと判定して終了する（Ｓ６０）。処理Ｓ５９で肯定判定のときは、検知された会話内容から不明点を抽出（特定）する（Ｓ６１）。

さらに、ＣＰＵ４０１は、ドライバから予め要求がない限り、同乗者などのドライバ以外には分からない形態でドライバに不明点の解説を行うように、不明点解説情報をスマートフォン３に送信して処理を終了する（Ｓ６２）。詳述すると、ＣＰＵ４０１は、処理Ｓ６１において、例えば不明点「カーナビ」が特定されると、用語データベース４２を参照して「カーナビ」についての解説情報を読出す。そして、ＣＰＵ４０１は、例えばテキスト形式の不明点解説情報「あなたが疑問に思った不明点・カーナビとは、・・・ことです。」を作成し、スマートフォン３に送信する。

スマートフォン３においては、ＣＰＵ（図示省略）は、サーバ４から送信された少なくとも１つのテキスト形式の不明点解説情報を受信し、スマートフォン３のエージェントを介して車載機２に順次に転送する。

車載機２においては、制御部１００の制御下で、スマートフォン３のエージェントからのテキスト形式の不明点解説情報を受信した車載機２のエージェントは、図示省略のヘッドアップディスプレイ（ＨＵＤ）を通してドライバに不明点を解説（可視表示）するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる（図２中の２４）。

また、同乗者との会話において不明点が生じた場合、ドライバに不明点の解説を行うことにより、同乗者とのコミュニケーションが円滑になる。

［変形例１］
例えば、車載機２の放送受信部１０３において番組を受信している場合、車載機２からスマートフォン３に送信される車室内の音声信号には、車室内で会話を行っているドライバ及び同乗者の音声信号の他に番組のオーディオ信号（音声信号及び音信号）が含まれている。サーバ４においては、ＣＰＵ４０１は、不明事項解消処理プログラムにより、オーディオ信号を判別して除去し、上述した一実施の形態と同様に、ドライバ及び同乗者による会話の内容を判断する。なお、車載機２がドライバ及び同乗者の音声信号からオーディオ信号を除去した後にサーバ４へ送信してもよい。

［変形例２］
例えば、ドライバが単独乗車し、車室内で会話が行われずに、車載機２の放送受信部１０３において番組を受信している場合、車載機２からスマートフォン３に送信される信号には、ドライバの画像信号の他に番組のオーディオ信号（音声信号及び音信号）が含まれている。サーバ４においては、ＣＰＵ４０１は、ドライバの画像信号とともに受信された番組のオーディオ信号（音声信号）における対応箇所を不明事項として特定し、不明事項解消処理を遂行可能である。

また、サーバ４においては、ＣＰＵ４０１は、ドライバの画像信号及び車両外部から室内に侵入する音信号（例えば、緊急車両のサイレン）に基づいて、不明事項解消処理を遂行可能である。この場合、例えば、ドライバあるいは同乗者の会話に、消防車のサイレンの示す表現が含まれている場合に、サーバ４は、どこで火事があったかを、火事とニュースとの紐付けにより、不明点として解説する。例えば、サーバは、インターネット上のニュースのウェブサイトを検索し、エージェントから取得したＧＰＳで特定される車両の現在位置から、所定の範囲内の火事に関する情報を収集し、収集した情報を音声に変換して、エージェントに引き渡せばよい。

また、サーバ４においては、ＣＰＵ４０１は、ドライバが車載機２の所定のハードスイッチを操作した場合、その時点の音声信号における対応箇所を不明点として付加的に特定してもよい。

［変形例３］
サーバ４における上述した処理Ｓ５９，Ｓ６１の不明点の抽出（特定）処理に関して、次に示す方法を付加的に適用可能である。

（１）ドライバが装着しているウェアラブル機器から取得される心拍数や発汗量などのデータに基づいて、不明点を特定する。例えば、サーバ４は、心拍数が通常値から変化した場合、あるいは発汗量が通常値より多くなった場合に、疑問点が発生したと判断すればよい。

（２）ドライバが装着しているウェアラブル機器を活用し、嘘発見器のように、動揺を
読み取って、不明点を特定する。

（３）ドライバなど個人の語彙力を推定するためのデータ（過去の発話履歴、趣味趣向、年齢、性別など）を格納しているユーザ管理データベース４１を参照して、不明点を特定する。例えば、５０代男性で野球が好きな人であれば、野球に関する会話には詳しいと予測し、逆に芸能関係には疎いと予測する。また、このユーザ管理データベース４１には、個人の苦手分野を登録しておき、サーバ４は、分野ごとの用語データベース４２を保持しておき、その分野の用語データベース４２の用語とマッチした場合は、不明点とすることも可能である。

（４）ドライバなど個人のスマートフォン３内の検索ワードと連携してユーザ管理データベース４１を作成し、ユーザ管理データベース４１を参照して不明点を特定する。この場合、サーバ４は、スマートフォン３内の検索ワードを取得し、ユーザ管理データベース４１に反映しておく。

（５）最近はやりだした言葉（流行語）は、不明点率が高いと推測できるので、サーバ４においてデータベース化しておき、このデータベース（用語データベース４２）を参照して不明点を特定する。

（６）ドライバのジェスチャー（例えば、頭を３回かくなどの身振り）により、不明点を特定する。

［変形例４］
サーバ４における上述した処理Ｓ６２の不明点の解説処理に関して、次に示す方法を付加的に適用可能である。

（１）サーバ４においては、ドライバから予め要求がない限り、同乗者などのドライバ以外には分からないように、ドライバに不明点の解説を行うように不明点解説情報を送信することを基本にしている。

したがって、サーバ４においては、画像データに基づく乗員検知を行い、ドライバが単独乗車したときに、ドライバに不明点を解説する。また、ドライバの下車時にスマートフォン３に通知するか、ドライバのパーソナルコンピュータ（ＰＣ）に電子メールで通知する。ドライバはこれらの不明点解説方法のいずれかを予め指定する必要がある。

（２）同乗者がいる場合でも、ドライバが許可すれば、リアルタイムで不明点を解説する。例えば、エージェントは、画像データから同乗者を検知した場合に、ドライバに解説の要否を問い合わせようにすればよい。

（３）不明点の解説をうんちく風に車内に説明する。これにより、ドライバにとっては不明点解説だが、他の人が聞くとうんちくになる。

（４）不明点の解説は、ユーザからの随時の要求を契機とすることも可能とする。例えば、サーバ４は、ドライバが車載機２の所定のハードスイッチを操作したときを不明点の解説の契機とすることができる。

（５）同乗者がいる場合でも、同乗者との関係（例えば、子供）により、サービス提供可能とする。

（６）同乗者がいる場合でも、ヘッドアップディスプレイ（ＨＵＤ）などのドライバだ
けが見ることのできるディスプレイにリアルタイムで不明点の解説を表示する。

（７）ドライバの不明点を抽出できなかった場合は、エージェントが所定時間以内の会話で何が分からなかったかをドライバに音声出力で質問し、ドライバが音声で回答し、回答された音声から変換されたテキストに対して、上述した一実施の形態と同様の手順（図５中のＳ６２）で不明点を解説する。

（８）不明点が出た場合は二段階で解説を行う（事前設定で切り替え可能）。
１段：速報レベルの簡易版でスピード重視（ＨＵＤを活用するなど）。
２段：ドライバの単独乗車時に詳細の解説（補足説明）。

（９）不明点のジャンルにより、解説時に内容の重みづけを行う。例えば、サーバ４は、ユーザ管理データベース４１を参照し、５０代男性で野球が好きな人であれば、野球に関する会話には詳しいと予測し、逆に芸能関係には疎いと予測できる。サーバ４は、この結果に応じて、用語データベース４２から簡易解説または詳細解説を読出して、解説内容の重みづけを行う。

［変形例５］
サーバ４における上述した処理Ｓ６２の不明点の解説処理に関して、次に示す内容補足方法を適用可能である。

不明点についての用語データベース４２を作成し、個人が苦手な分野を理解し、苦手な分野についてはコンテンツ提供時に詳細まで解説をする。これは、不明点はあるけれども、会話には出てくるということは、興味があるとサーバ４において判断する。

［変形例６］
サーバ４における上述した各処理に関して、次に示す方法を付加的に適用可能である。

（１）車載機２において不明点が解説されたときに、ユーザの反応によっては追加でコンテンツを提供する。サーバ４においては、ユーザの顔の表情（ポジティブ（機嫌状態））から、今回解説した不明点に更に興味がありそうと判断した場合、この付加サービスを提供する。

（２）ユーザ（ドライバ）は、車載機２において不明点が解説されたときに、特定の人（例えば、子供）との乗車時などには、会話のリマインド機能を利用することにより、不明点の解説を再度聞いて理解を深めることができる。サーバ４においては、ＣＰＵ４０１は、ドライバが車載機２の所定のハードスイッチを操作した場合、その時点の音声信号における対応箇所をリマインド対象として特定し、不明点の解説を再度行う。

（３）サーバ４は、上述した（２）の会話のリマインド機能において、ユーザが会話の内容（例えば、子供と話した内容）を思い出すことを可能にし、更なる会話の発展の契機を提供する。

（４）サーバ４は、上述した（２）の会話のリマインド機能において、ユーザ管理データベース４１を参照し、ユーザの年齢や趣味趣向に応じて適切な不明点の解説を提供することもできる。

（５）ユーザの趣味趣向に基づいて、分からなかった会話の内容を推定して、分からなかったことをユーザ管理データベース４１に登録する。例えば、サーバ４は、ユーザ管理データベース４１を参照し、５０代男性で野球が好きな人であれば、野球に関する会話に
は詳しいと予測し、逆に芸能関係には疎いと予測できる。サーバ４は、この予測に応じて、分からなかった会話の内容を推定して、分からなかったことをユーザ管理データベース４１に登録しておくことにより、次回の不明事項解消処理に活用する。

（６）例えば、ラジオ放送曲で知らないことが予測できれば、情報提供する。サーバ４は、例えば、楽曲が流れたときに、画像データからドライバの表情を判断し、疑問点が生じていると判断した場合に、楽曲データごとの解説情報を提供すればよい。サーバ４は、楽曲データごとの旋律を特定する旋律データと、解説情報データベースを保持しておけばよい。そして、サーバ４は、楽曲の音声と旋律データとのマッチングを行い、楽曲と特定すればよい。そして、サーバ４は、特定した楽曲の解説情報を解説情報データベースから取得し、ドライバに提供すればよい。

（７）エージェントは、不明点を解説した後、ユーザが解説された不明点を本当に知らなかったのかどうかを確認した後に、ユーザ管理データベース４１に登録する。つまり、サーバ４は、ユーザが疑問に思った不明事項と判定したが、実際は不明事項ではなかった場合、この結果をユーザ管理データベース４１に登録しておくことにより、次回の不明事項解消処理に活用する。

［変形例７］
サーバ４における上述した各処理に関して、次に示す方法を付加的に適用可能である。

ドライバは、運転席に着席し、かつ車載機２及びスマートフォン３のユーザであるので、サーバ４にユーザＩＤを登録して不明事項解消対象者になることができる。しかし、同乗者については、ドライバのように、サーバ４にユーザＩＤを直接的に登録することができない。

このため、同乗者が不明点の解説を受ける更なる不明事項解消対象者になるためには、ユーザＩＤを登録したドライバの同乗者としてサーバ４のユーザ管理データベース４１への登録を受ければよい。サーバ４は、例えば、ドライバが車載機２において予め定められた指定操作を行ったことを検出したとき、同乗者を不明事項解消対象者に含めて同様に処理し、不明点の解説を行う。

［変形例８］
上述した一実施の形態及び変形例１〜変形例７の不明事項解消処理システム１においては、サーバ４が、車載機２及びスマートフォン３と協働して、不明事項解消処理を遂行する場合について例示した。

しかし、車載機２がサーバ４と直接的に通信するための無線通信部１２２を備えているときは、スマートフォン３の介在を省略することが可能である。この場合、車載機２のユーザ（つまり、ドライバ）が不明事項解消対象者となる。

そして、車載機２のユーザは、サーバ４とのコミュニケーションを仲介するエージェントとして機能するエージェントアプリを車載機２において起動しておく。

エージェント搭載の車載機２においては、制御部１００は、映像／音声入力部１２０がカメラ（車室内カメラ）１１８及びマイク（車室内マイクロホン）１１９を通してリアルタイムに取得したドライバの画像信号及び音声信号などを近距離通信部１２１ではなく、無線通信部１２２を介してサーバ４に送信するように制御する。また、制御部１００は、サーバ４から送信された不明点解説情報を無線通信部１２２を介して受信する。

車載機２のエージェントはドライバに不明点を解説するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる。

不明事項解消処理プログラムが常駐しているサーバ４においては、ＣＰＵ４０１は、車載機２からユーザＩＤ（利用者識別情報）とともに転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内の会話を理解できていないと判定すると、不明点を抽出（特定）する。そして、サーバ４においては、抽出した不明点解説情報を車載機２に送信する。

なお、サーバ４における上述した処理Ｓ５１〜Ｓ６２を含む不明事項解消処理は、スマートフォン３の介在を除けば同一である。

［変形例９］
上述した一実施の形態及び変形例１〜変形例８の不明事項解消処理システム１においては、サーバ４が自動車などの車両（移動体）の室内に設置された車載機２と協働して、不明事項解消処理を遂行する場合について例示した。

しかし、不明事項解消処理の対象室内は移動体に限定されず、不明事項解消対象者はドライバ及び同乗者に限定されない。また、コミュニケーションを仲介するエージェントは省略してもよい。

［その他の変形例］
上述した一実施の形態及び各変形例における処理はコンピュータで実行可能なプログラムとして提供され、ＣＤ−ＲＯＭやフレキシブルディスクなどの非一時的コンピュータ可読記録媒体、さらには通信回線を経て提供可能である。

また、上述した一実施の形態及び各変形例における各処理はその任意の複数または全てを選択し組合せて実施することもできる。

［その他］
上述した一実施の形態及び変形例に関し、更に以下の付記を開示する。

（付記１）
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定する手段と；
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定する手段と；
前記不明事項解消対象者が前記発話状態になく、不機嫌状態を判定したとき、不明事項の発生を判定する手段と；
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定する手段と；
特定した前記不明事項を解説する情報を送信する手段と；
を備える不明事項解消処理装置。

（付記２）
不明事項対応の音データを第１の記憶手段から読み出してテキスト化した単語が第２の記憶手段に予め登録されているかを判定する手段を更に備える、
付記１記載の不明事項解消処理装置。

（付記３）
検知された会話内容が前記不明事項解消対象者にとって不明事項となる可能性が高いかを第１の記憶手段を参照して判定する手段を更に備える、
付記２記載の不明事項解消処理装置。

（付記４）
前記特定の室内は車両を含む移動体の室内であり、前記不明事項解消対象者は運転者及び同乗者の少なくとも一方であり、前記画像信号及び前記音声信号は運転者及び同乗者の少なくとも一方に対応する、
付記１記載の不明事項解消処理装置。

（付記５）
コンピュータが、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと；
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと；
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと；
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと；
特定した前記不明事項を解説する情報を送信するステップと；
を実行する不明事項解消処理方法。

（付記６）
コンピュータに、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと；
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと；
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと；
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと；
特定した前記不明事項を解説する情報を送信するステップと；
を実行させる不明事項解消処理プログラム。

１ 不明事項解消処理システム
２ 車載機（車載通信装置）
３ スマートフォン（携帯通信機器）
４ サーバ（不明事項解消処理装置）

Claims (4)

1. 対象者を撮影した画像を認識する認識手段と；
   音を入力する入力手段と；
   前記認識手段による前記対象者の口の状態に基づいて発話状態と、前記認識手段による前記対象者の顔の状態に基づいて表情とを判定する第１判定手段と；
   前記第１判定手段の判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第２判定手段と；
   前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第３判定手段と；
   前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第４判定手段と；
   前記第４判定手段により前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定手段と；
   前記特定手段により特定された前記不明事項を解説する情報を出力する出力手段と；
   を備えることを特徴とする情報処理装置。
2. 前記対象者は車両を含む移動体の室内に存在する運転者及び同乗者の少なくとも一方であり、前記画像及び前記音は運転者及び同乗者の少なくとも一方に対応する、
   請求項１記載の情報処理装置。
3. コンピュータが、
   対象者を撮影した画像を認識する認識ステップと；
   音を入力する入力ステップと；
   前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第１判定ステップと；
   前記第１判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第２判定ステップと；
   前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第３判定ステップと；
   前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第４判定ステップと；
   前記第４判定ステップにより前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定ステップと；
   前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと；
   を実行することを特徴とする処理方法。
4. コンピュータに、
   対象者を撮影した画像を認識する認識ステップと；
   音を入力する入力ステップと；
   前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第１判定ステップと；
   前記第１判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第２判定ステップと；
   前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第３判定ステップと；
   前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第４判定ステップと；
   前記第４判定ステップにより前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定ステップと；
   前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと；
   を実行させることを特徴とする処理プログラム。