WO2019150708A1

WO2019150708A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Info

Publication number: WO2019150708A1
Application number: PCT/JP2018/042409
Authority: WO
Inventors: 富士夫荒井; 祐介工藤; 秀憲青木; 元濱田; 佐藤　直之; 邦在鳥居
Original assignee: ソニー株式会社
Priority date: 2018-02-01
Filing date: 2018-11-16
Publication date: 2019-08-08

Abstract

様々な状況下において、高精度な発話者特定処理を実行する装置、方法を実現する。発話者の特定処理を実行する発話者特定部が、（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、（ｂ）発話者、または聞き手の動作の解析結果に基づく発話者特定処理を実行する。例えば、音声認識結果として得られる発話文字列に基づいて推定される発話者、または聞き手のうなずきタイミング推定データと、カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、その一致度に基づいて、カメラ撮影画像に含まれるうなずき実行者が、発話者であるか、聞き手であるかを判別する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識結果に基づく処理や応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

　昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声認識システムの利用が増大している。
　この音声認識システムにおいては、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
　例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して、生成した応答をスピーカーから出力する。具体的には、例えば、
　システム発話＝「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
　このようなシステム発話を出力する。

　このような音声認識を行う機器として、スマートフォン等のモバイル機器、スマートスピーカー、エージェント機器、サイネージ機器等がある。
　スマートスピーカー、エージェント機器、サイネージ機器等を利用した構成では、これらの機器の周囲に多くの人がいる場合が多い。
　音声認識機器は、機器に対する発話者（発話ユーザ）を特定し、その発話者に応じたサービスを提供することが求められる。

　発話者の特定方法を開示した従来技術として、例えば特許文献１（特開平１１－２４６９１号公報）や特許文献２（特開２００８－１４６０５４号公報）がある。
　これらは、機器に入力した声の音質（周波数特定・声紋）を解析して解析結果に基づいて、発話者を特定する方法を開示している。
　しかし、これらの方法では、類似する音質の発話者の場合、誤検出する可能性が高く、また事前に音質を登録しておく必要がある。

　また、特許文献３（特開平０８－２３５３５８号公報）は、カメラ等によって撮影された画像から、口の動きを検出して発話者を識別する方法を開示している。
　しかし、この方法では、口を動かしている人が複数人いる場合や、発話者の口が撮影できない場合は発話者を特定することが不可能となる。

特開平１１－２４６９１号公報特開２００８－１４６０５４号公報特開平０８－２３５３５８号公報

　本開示は、例えば、上記問題点に鑑みてなされたものであり、音声と画像の両方を利用して、様々な状況下で高精度な発話者特定を可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部は、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理装置
にある。

　さらに、本開示の第２の側面は、
　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、
　画像入力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得したカメラ撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末から受信する発話者の音声の音声認識処理を実行する音声認識部と、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行する画像認識部を有し、
　前記音声認識部は、
　前記発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記画像認識部は、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理システムにある。

　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部が、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理方法にある。

　さらに、本開示の第４の側面は、
　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、画像入力部を介して取得したカメラ撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末から受信する前記音声から、発話者の音声の音声認識処理を実行し、発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行し、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記プログラムは、前記発話者特定部に、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、様々な状況下において、高精度な発話者特定処理を実行する装置、方法が実現される。
　具体的には、例えば、発話者の特定処理を実行する発話者特定部が、（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、（ｂ）発話者、または聞き手の動作の解析結果に基づく発話者特定処理を実行する。例えば、音声認識結果として得られる発話文字列に基づいて推定される発話者、または聞き手のうなずきタイミング推定データと、カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、その一致度に基づいて、カメラ撮影画像に含まれるうなずき実行者が、発話者であるか、聞き手であるかを判別する。
　本構成により、様々な状況下において、高精度な発話者特定処理を実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ユーザ発話に対する応答を行う情報処理装置の具体的な処理例について説明する図である。情報処理装置の構成例と利用例について説明する図である。本開示の情報処理装置の実行する処理について説明する図である。情報処理装置の構成例について説明する図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する音声認識処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行するうなずきタイミングの解析処理について説明する図である。情報処理装置の生成するうなずきタイミングを記録したテーブルの例について説明する図である。情報処理装置の実行する画像認識処理のシーケンスについて説明するフローチャートを示す図である。本開示の発話者特定処理において必要となる情報の複数のパターンについて説明する図である。発話者特定処理をクラウド側のサーバを利用して実行する場合のシーケンスについて説明するシーケンス図である。発話者特定処理をクラウド側のサーバを利用して実行する場合のシーケンスについて説明するシーケンス図である。情報処理システムの構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．情報処理装置の実行する処理の概要について
　２．本開示の情報処理装置の実行する動作の概要について
　３．情報処理装置の構成例について
　４．発話者特定処理のシーケンスについて
　５．その他の発話者特定方法について
　６．クラウド側の装置（サーバ）を利用した構成について
　７．本開示の情報処理装置の具体的な利用例について
　８．情報処理装置、および情報処理システムの構成例について
　９．情報処理装置のハードウェア構成例について
　１０．本開示の構成のまとめ

　　［１．情報処理装置の実行する処理の概要について］
　まず、図１以下を参照して、本開示の情報処理装置の実行する処理の概要についてについて説明する。

　図１は、発話者１の発するユーザ発話を認識して応答を行う情報処理装置１０の一処理例を示す図である。
　情報処理装置１０は、発話者１のユーザ発話、例えば、
　ユーザ発話＝「大阪の明日、午後の天気を教えて」
　このユーザ発話の音声認識処理を実行する。

　さらに、情報処理装置１０は、ユーザ発話の音声認識結果に基づく処理を実行する。
　図１に示す例では、ユーザ発話＝「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して生成した応答を、スピーカー１４を介して出力する。
　図１に示す例では、情報処理装置１０は、以下のシステム応答を行っている。
　システム応答＝「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
　情報処理装置１０は、音声合成処理（ＴＴＳ：Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）を実行して上記のシステム応答を生成して出力する。

　情報処理装置１０は、装置内の記憶部から取得した知識データ、またはネットワークを介して取得した知識データを利用して応答を生成して出力する。
　図１に示す情報処理装置１０は、カメラ１１、マイク１２、表示部１３、スピーカー１４を有しており、音声入出力と画像入出力が可能な構成を有する。

　図１に示す情報処理装置１０は、例えばスマートスピーカーあるいはエージェント機器と呼ばれる。
　本開示の情報処理装置１０は、図２に示すように、エージェント機器１０ａに限らず、スマホ１０ｂやＰＣ１０ｃ等、あるいは公共の場所に設置されたサイネージ機器のような様々な装置形態とすることが可能である。

　情報処理装置１０は、発話者１の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図２に示すテレビ、エアコン等の外部機器３０の制御も実行する。
　例えばユーザ発話が「テレビのチャンネルを１に変えて」、あるいは「エアコンの設定温度を２０度にして」といった要求である場合、情報処理装置１０は、このユーザ発話の音声認識結果に基づいて、外部機器３０に対して制御信号（Ｗｉ－Ｆｉ、赤外光など）を出力して、ユーザ発話に従った制御を実行する。

　なお、情報処理装置１０は、ネットワークを介してサーバ２０と接続され、サーバ２０から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。

　　［２．本開示の情報処理装置の実行する動作の概要について］
　次に、図３を参照して、本開示の情報処理装置の実行する動作の概要について説明する。
　ユーザ発話に対する応答を行うエージェント機器やサイネージ機器等の情報処理装置は、情報処理装置に対する発話者を特定し、その発話者に応じたサービスを提供することが求められる。

　本開示の情報処理装置では、発話者を特定するために、音声データと画像データを利用する。
　例えば、図３（Ａ）に示すように、情報処理装置１０が発話者３１の口元を撮影可能なケースでは、発話者の発話音声をマイク１２を介して入力するとともに、カメラ１１によって撮影した発話者３１の口の動きに基づく読唇処理を行い、発言内容の解析を行う。
　さらに、読唇処理を用いた発話内容解析結果と、発話音声データの音声認識結果とを比較し、一致度に基づいて発話者を特定する。

　一方、図３（Ｂ）に示すように、情報処理装置１０が発話者３１の口の動きを撮影できない場合には、発話者３１のうなずきやジェスチャー、もしくは聞き手３２の相槌やうなずき等のリアクションをカメラ撮影画像から解析して、この解析結果に基づいて発話者を特定する。

　本開示の情報処理装置１０は、例えば、このような処理を実行することで、様々な状況下で発話者の高精度な特定処理を可能としたものである。

　　［３．情報処理装置の構成例について］
　次に、図４を参照して、情報処理装置の具体的な構成例について説明する。
　図４は、ユーザ発話を認識して応答を行う情報処理装置１０の一構成例を示す図である。

　図４に示すように、情報処理装置１０は、音声入力部１０１、音声認識部１０２、発話意味解析部１０３、画像入力部１０５、画像認識部１０６、発話者特定部１１１、発話者解析部１１２、発話者データ保存部１１３、記憶部（ユーザデータベース等）１１４、応答生成部１２１、システム発話音声合成部１２２、表示画像生成部１２３、出力（音声、画像）制御部１２４、音声出力部１２５、画像出力部１２６を有する。
　なお、これらの構成要素は、全てを１つの情報処理装置１０内部に構成することも可能であるが、一部の構成や機能を他の情報処理装置や外部サーバに備える構成としてもよい。

　ユーザの発話音声や、周囲音はマイクなどの音声入力部１０１に入力される。
　音声入力部（マイク）１０１は、入力したユーザ発話音声を含む音声データを、音声認識部１０２に入力する。

　音声認識部１０２は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成される文字列（テキストデータ）に変換する。
　音声認識部１０２において生成されたテキストデータは、発話意味解析部１０３に入力される。

　なお、音声認識部１０２は、さらに、音声認識結果に基づいて、発話に基づいて推定される発話者や聞き手のうなずきタイミングの生成も行う。
　この処理については後段で詳細に説明する。

　発話意味解析部１０３は、テキストに含まれるユーザの意図候補を選択して出力する。
　発話意味解析部１０３は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータから、ユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定し、発話意味の解析処理を行う。

　ユーザ発話から、意図（エンティティ）と、実体情報（エンティティ）を正確に推定、取得することができれば、情報処理装置１０は、ユーザ発話に対する正確な処理を行うことができる。

　応答生成部１２１は、発話意味解析部１０３において推定されたユーザ発話の発話意味解析結果に基づいて、ユーザに対する応答を生成する。応答は、音声、または画像の少なくともいずれかによって構成される。
　応答音声を出力する場合は、システム発話音声合成部１２２が音声合成処理（ＴＴＳ：Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）により生成した音声情報を、スピーカー等の音声出力部１２５を介して出力する。
　応答画像を出力する場合は、表示画像合成部１２３において生成した表示画像情報を、ディスプレイ等の画像出力部１２６を介して出力する。
　なお、音声、画像の出力制御は、出力（音声、画像）制御部１２４によって制御される。

　画像出力部１２６は、例えばＬＣＤ、有機ＥＬディスプレイ等のディスプレイ、あるいはプロジェクション表示を行うプロジェクタ等によって構成される。
　なお、情報処理装置１０は、外部接続機器、例えばテレビ、スマートフォン、ＰＣ、タブレット、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）機器、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）機器、その他の家電製品に画像を出力して表示することも可能である。

　画像入力部１０５は、カメラであり、発話者や聞き手の画像を入力する。
　画像認識部１０６は、画像入力部１０５の撮影画像を入力して、画像解析を行う。例えば発話者の唇の動きを解析して読唇処理を行い、その結果から発話者の発話内容に相当する文字列を生成する。
　さらに、画像から発話者や聞き手のうなずきタイミングの取得も行う。
　これらの処理の詳細については後段で説明する。

　発話者特定部１１１は、発話者の特定処理を実行する。
　発話者特定部１１１は、以下の各データを入力する。
　（１）音声認識部１０２において生成された発話者の発話に関する音声認識結果（文字列）や、発話者や聞き手のうなずきタイミング推定情報、
　（２）画像認識部１０６が取得した発話者の読唇結果に基づく推定発話内容（文字列）や、発話者や聞き手のうなずきタイミング情報、

　発話者特定部１１１は、上記の各データを入力し、これらの情報の少なくともいずれかを用いて発話者特定処理を実行する。
　この発話者特定処理の具体例については後述する。

　発話者解析部１１２は、発話者特定部１１０において特定された発話者の外的特徴（年齢、性別、体型など）を解析し、事前に記憶部１１４に登録されている発話者を含むユーザデータベースの検索を行い、発話者の検索、特定処理等を実行する。

　発話者データ保存部１１３は、発話者の情報と発言内容を記憶部（ユーザデータベース等）１１４に格納する処理を実行する。
　記憶部（ユーザデータベース等）１１４には、各ユーザ対応の年齢、性別、体型などの発話者情報からなるユーザデータベースの他、各発話者の発言内容が、各ユーザ（発話者）に対応付けて記録される。

　　［４．発話者特定処理のシーケンスについて］
　次に、本開示の情報処理装置１０が実行する発話者特定処理のシーケンスについて、図５に示すフローチャートを参照して説明する。

　なお、図５以下のフローに示す処理は、情報処理装置１０の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図５に示すフローの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、音声入力部１０１から入力された音声に対して、音声認識部１０２が音声認識処理を実行する。
　音声認識部１０２は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成される文字列（テキストデータ）に変換する。

　　（ステップＳ１０２）
　ステップＳ１０２では、音声認識部１０２が、発話者の音声認識結果である文字列を取得する。
　音声認識部１０２は音声認識結果として取得した発話内容の文字列を生成して発話者特定部１１１に出力する。

　　（ステップＳ１０３）
　ステップＳ１０３では、音声認識部１０２が、発話者の音声認識結果である文字列に基づいて発話者や聞き手のうなずきタイミングの推定データを生成する。
　この処理の詳細については、後段で説明する。

　　（ステップＳ１０４）
　ステップＳ１０４では、画像入力部１０５の撮影画像を入力した画像認識部１０６が画像を解析し、発話者と推定される人物を検索する。具体的には、唇が動いている人物を探す。

　　（ステップＳ１０５）
　ステップＳ１０５は、ステップＳ１０４における画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功したか否かの判定ステップであり、推定発話者の検索に成功した場合は、ステップＳ１１１に進む。
　推定発話者の検索に失敗した場合は、ステップＳ１２１に進む。

　　（ステップＳ１１１）
　画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功した場合は、ステップＳ１１１において、画像認識部１０６が、その推定発話者（唇を動かしている人物）の唇の動きを解析し、読唇認識処理を実行する。
　画像認識部１０６は、読唇認識処理に基づいて、発話内容の文字列を生成して発話者特定部１１１に出力する。

　　（ステップＳ１１２～Ｓ１１３）
　ステップＳ１１２の処理は、発話者特定部１１２の実行する処理である。
　発話者特定部１１２は、
　（１）音声認識部１０２が音声認識に基づいて生成した発話内容の文字列、
　（２）画像認識部１０６が読唇認識処理に基づいて生成した発話内容の文字列、
　これら２つの文字列を入力する。
　発話者特定部１１２は、これら２つの文字列の比較を行う。

　これらの２つの文字列が概ね一致した場合（ステップＳ１１３＝Ｙｅｓ）、ステップＳ１３１に進み、ステップＳ１０４において画像に基づいて検出した推定発話者（唇を動かしている人物）を発話者として特定する。
　具体的には、音声認識結果文字列と、読唇認識結果文字列との一致率が、予め規定したしきい値以上である場合は、画像に基づいて検出した推定発話者（唇を動かしている人物）を発話者として特定する。

　一方、２つの文字列が一致しなかった場合（ステップＳ１１３＝Ｎｏ）、すなわち一致率が規定しきい値未満であった場合は、ステップＳ１０４において画像に基づいて検出した推定発話者（唇を動かしている人物）を発話者でないと判定し、ステップＳ１０４に戻り、再度、推定発話者の検索を行う。

　なお、この推定発話者の検索処理においては、ステップＳ１０４において画像に基づいて検出した推定発話者を検索対象から外し、その他の人物のみを検索対象とした検索を実行する。

　　（ステップＳ１２１）
　一方、ステップＳ１０４における画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功しなかった（ステップＳ１０５＝Ｎｏ）と判定されるとステップＳ１２１に進む。

　ステップＳ１２１の処理は、画像認識部１０６の実行する処理である。
　画像入力部１０５の撮影画像を入力した画像認識部１０６が画像を解析し、うなずきを行っている人物を検索する。
　うなずいている人物を発見できた場合、画像認識部１０６は、うなずきの時系列データ、すなわち、「うなずきタイミングタイムテーブル」を生成し、発話者特定部１１１に出力する。
　「うなずきタイミングタイムテーブル」については、後段で詳細に説明する。

　　（ステップＳ１２２～Ｓ１２３）
　　ステップＳ１２２の処理は、発話者特定部１１２の実行する処理である。
　発話者特定部１１１は、以下の２つのデータの比較を行う。
　（１）ステップＳ１０３において、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した発話者や聞き手のうなずきタイミング推定データ、
　（２）ステップＳ１２１において、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」、
　発話者特定部１１２は、これら２つのうなずきタイミングの比較を行う。

　音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した発話者のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が概ね一致した場合（ステップＳ１２３＝（ａ）発話者の推定うなずきタイミングに一致）は、ステップＳ１３１に進み、ステップＳ１２１において画像に基づいて検出した「うなずきを行っている人物」を発話者として特定する。

　具体的には、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した発話者のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」に記録されたタイムスタンプの一致率が、予め規定したしきい値以上である場合は、画像に基づいて検出した「うなずきを行っている人物」を発話者として特定する。

　また、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した聞き手のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が概ね一致した場合（ステップＳ１２３＝（ｂ）聞き手の推定うなずきタイミングに一致）は、ステップＳ１２４に進む。

　具体的には、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した聞き手のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」に記録されたタイムスタンプの一致率が、予め規定したしきい値以上である場合は、ステップＳ１２４に進む。

　また、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した発話者および聞き手のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が一致しなかった場合（ステップＳ１２３＝Ｎｏ）、すなわち一致率が規定しきい値未満であった場合は、ステップＳ１２１において画像に基づいて検出したうなずき実行者が発話者でも聞き手でもないと判定し、ステップＳ１０４に戻り、再度、推定発話者の検索を行う。

　なお、この推定発話者の検索処理においては、ステップＳ１２１において画像に基づいて検出したうなずき実行者を検索対象から外し、その他の人物のみを検索対象とした検索を実行する。

　　（ステップＳ１２４）
　ステップＳ１２４は、ステップＳ１２３において、音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した聞き手のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が概ね一致した場合に実行される。

　ステップＳ１２４では、発話者特定部１１１は、画像から検出されたうなずき実行者を聞き手と判断し、この聞き手の視線や頭の向き情報を画像認識部１０６から取得し、ステップＳ１３１において、視線や頭の向きの先にいる人物を発話者として特定する。

　　（ステップＳ１３１）
　ステップＳ１３１は、発話者特定部１１１において実行する発話者特定処理である。
　発話者特定部１１１は、以下の３種類のいずれかの発話者特定処理を実行する。

　（処理１）ステップＳ１１３＝Ｙｅｓ
　音声認識部１０２が音声認識に基づいて生成した発話内容の文字列と、画像認識部１０６が読唇認識処理に基づいて生成した発話内容の文字列が概ね一致した場合（ステップＳ１１３＝Ｙｅｓ）、ステップＳ１０４において画像に基づいて検出した推定発話者（唇を動かしている人物）を発話者として特定する。

　（処理２）ステップＳ１２３＝（ａ）発話者の推定うなずきタイミングに一致
　音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した発話者のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が概ね一致した場合、ステップＳ１２１において画像に基づいて検出した「うなずきを行っている人物」を発話者として特定する。

　（処理３）ステップＳ１２３＝（ｂ）聞き手の推定うなずきタイミングに一致
　音声認識部１０２が発話者の音声認識結果である文字列に基づいて推定した聞き手のうなずきタイミング推定データと、画像認識部１０６が、画像入力部１０５の撮影画像を利用して生成した「うなずきタイミングタイムテーブル」が概ね一致した場合、
画像から検出されたうなずき実行者を聞き手と判断し、この聞き手の視線や頭の向き情報を画像認識部１０６から取得し、視線や頭の向きの先にいる人物を発話者として特定する。

　　（ステップＳ１３２）
　最後に、発話者特定部１１１は、発話者の特定処理の後、その発話者の特徴を解析する。そして発話者の解析結果と発話内容を、発話者データ保存部１１３を介して記憶部（ユーザデータベース等）１１４に保存する。

　記憶部（ユーザデータベース等）１１４に保存するデータは、例えば、画像入力部１０５の取得した画像から解析される発話者の外的特徴（年齢、性別、体型など）や、音声認識部１０２の生成した発話内容を示す文字列等である。

　次に、図５のフローチャート中のステップＳ１０１～Ｓ１０３の処理、すなわち、音声認識部１０２の実行する処理の詳細シーケンスについて、図６に示すフローチャートを参照して説明する。

　音声認識部１０２は、ステップＳ１０１～Ｓ１０３において、音声入力部１０１から入力された音声に対して、音声認識部１０２が音声認識処理を実行し、発話内容を示す文字列を生成し、さらに、発話者の音声認識結果である文字列に基づいて発話者や聞き手のうなずきタイミングの推定データを生成する。
　図６に示すフローは、これらの処理の実効手順を示すフローチャートである。
　各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、ステップＳ２０１において、音声認識部１０２は、音声入力部１０１から発話者の音声を入力する。

　　（ステップＳ２０２）
　次に、ステップＳ２０２において、音声認識部１０２は、音声入力部１０１から入力した発話者の音声を複数の単語から構成される文字列（テキストデータ）に変換する。
　この処理によって図６に示す発話文字列２５１が生成される。
　この発話文字列２５１は、発話者特定部１１１に入力される。

　　（ステップＳ２０３）
　ステップＳ２０３では、音声認識部１０２が、発話者の音声認識結果である文字列に基づいて発話者のうなずきタイミングの推定データを生成する。
　この処理によって図６に示す発話者うなずきタイミング推定タイムテーブル２５２が生成される。
　この発話者うなずきタイミング推定タイムテーブル２５２は、発話者特定部１１１に入力される。

　　（ステップＳ２０４）
　ステップＳ２０４では、音声認識部１０２が、発話者の音声認識結果である文字列に基づいて聞き手のうなずきタイミングの推定データを生成する。
　この処理によって図６に示す聞き手うなずきタイミング推定タイムテーブル２５３が生成される。
　この聞き手うなずきタイミング推定タイムテーブル２５３は、発話者特定部１１１に入力される。

　発話者うなずきタイミング推定タイムテーブル２５２、聞き手うなずきタイミング推定タイムテーブル２５３の生成処理の具体例について、図７を参照して説明する。

　図７には、音声認識部１０２が、発話音声に基づいて生成した文字列を示している。
　文字列＝こんにちは、今日も良い天気ですね。ところで、あの映画見ましたか？今人気で、どの映画館も満員みたいですよ。

　音声認識部１０２は、この文字列からなる発話音声に従って、発話者と聞き手のうなずきタイミングを推定する。
　音声認識部１０２は、音声の途切れとなる句読点が入るタイミングから、発話者と聞き手のうなずきタイミングを推定する。

　発話者は自分の発話に伴う「うなずき」を行う。例えば、発話文における句読点の直前値等において、自分の発話に伴う「うなずき」を行う。
　一方、聞き手は、多くの場合、発話者の発話に対する相槌としての「うなずき」を行う。例えば、発話文における句読点の直後にうなずくことが多い。

　音声認識部１０２は、この特性を利用し、発話者のうなずき推定タイミングを句読点の直前に設定し、聞き手のうなずき推定タイミングを句読点の直後に設定する。

　音声認識部１０２は、この推定処理によって、
　うなずきタイミングを句読点の直前に設定した発話者うなずきタイミング推定タイムテーブル２５２と、
　うなずきタイミングを句読点の直後に設定した聞き手うなずきタイミング推定タイムテーブル２５３を生成する。
　なお、タイミング推定タイムテーブルは、うなずきを行ったと推定される時間情報を「タイムスタンプ」として順次、記録したテーブルである。
　音声認識部１０２は、情報処理装置１０のクロックから、あるいはネットワークを介して時間情報を取得して、うなずきを行ったと推定される時間情報を「タイムスタンプ」として記録したタイムテーブルを生成する。

　発話者うなずきタイミング推定タイムテーブル２５２の具体例を図８に示す。
　発話者うなずきタイミング推定タイムテーブル２５２は、図８に示すように、うなずきが実行されると推定される時間情報（タイムスタンプ）を、時系列に記録したテーブルである。

　次に、画像認識部１０６の実行する処理の詳細シーケンスについて、図９に示すフローチャートを参照して説明する。
　なお、画像認識部１０６の実行する処理は、図５を参照して説明したフローチャートのステップＳ１０４～Ｓ１０５、Ｓ１１１、Ｓ１２１の～Ｓ各処理である。
　図９に示すフローチャートは、これらの処理の具体的な処理シーケンスを説明するフローチャートである。
　各ステップの処理について、順次、説明する。

　　（ステップＳ３０１）
　画像認識部１０６は、ステップＳ３０１において、画像入力部１０５の撮影画像を入力する。

　　（ステップＳ３０２）
　次に、ステップＳ３０２において、画像認識部１０６は、画像を解析し、発話者と推定される人物を検索する。具体的には、唇が動いている人物を探す。

　　（ステップＳ３０３）
　ステップＳ３０３は、ステップＳ３０２における画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功したか否かの判定ステップであり、推定発話者の検索に成功した場合は、ステップＳ３０４に進む。
　推定発話者の検索に失敗した場合は、ステップＳ３１１に進む。

　　（ステップＳ３０４）
　画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功した場合は、ステップＳ３０４において、画像認識部１０６が、その推定発話者（唇を動かしている人物）の唇の動きを解析し、読唇認識処理を実行する。
　画像認識部１０６は、読唇認識処理に基づいて、発話内容を示す字列である発話文字列３５１を生成する。
　この読唇認識処理に基づいて生成した発話文字列３５１は、発話者特定部１１１に入力される。

　　（ステップＳ３１１）
　一方、ステップＳ３０２における画像に基づく発話者と推定される人物（唇を動かしている人物）の検索が成功しなかった（ステップＳ３０３＝Ｎｏ）と判定されるとステップＳ３１１に進む。

　ステップＳ３１１において、画像認識部１０６は、画像入力部１０５の撮影画像を解析し、うなずきを行っている人物を検索する。
　うなずいている人物を発見できた場合、画像認識部１０６は、うなずきの時系列データ、すなわち、「うなずきタイミングタイムテーブル３５２」を生成し、発話者特定部１１１に出力する。

　うなずきタイミングタイムテーブル３５２は、画像中のうなずいている人物の実際のうなずきタイミングを記録したテーブルである。すなわちうなずきタイミング実データである。
　テーブル構成は、先に図８を参照して説明した構成と同様である。
　ただし、この画像認識部１０６が生成する「うなずきタイミングタイムテーブル３５２」は、画像から観測されたうなずきタイミングを記録したテーブルであり、うなずきの実行された実時間が記録される。

　これに対して、図６を参照して説明したフローに従って、音声認識部１０２の生成するうなずきタイミングタイムテーブル２５２，２５３は、発話内容を示す文字列に従ってうなずきが実行されると推定される推定時間を記録したテーブルである。
　先に図７を参照して説明した処理である。

　発話者特定に最低限必要な要素についてまとめた表を図１０に示す。
　発話者特定に最低限必要な要素の組み合わせのパターンとして３つの異なるパターンがある。
　パターン１は、発話者の読唇認識によって発話者特定を行うパターンである。
　このパターン１では、
　発話者の読唇認識が必要となる。
　うなずき認識は、発話者、聞き手とも不要となる。
　聞き手の視線認識も不要となる。

　パターン２は、発話者のうなずき認識によって発話者特定を行うパターンである。
　このパターン２では、
　発話者の読唇認識が不要となる。
　うなずき認識は、発話者のうなずき認識が必要、聞き手のうなずき認識が不要となる。
　聞き手の視線認識は不要となる。

　パターン３は、聞き手のうなずき認識と視線情報によって発話者特定を行うパターンである。
　このパターン３では、
　発話者の読唇認識が不要となる。
　うなずき認識は、発話者のうなずき認識が不要、聞き手のうなずき認識が必要となる。
　聞き手の視線認識は必要となる。

　なお、図１０の各パターン１～３において、不要となっている項目についての情報も加味することで、発話者特定の精度を向上させることも可能となる。例えば、発話者のうなずきタイミングだけでなく、聞き手のうなずきタイミングとその視線や頭の向き先情報を使うことで、発話者特定の精度を向上させることが可能となる。

　　［５．その他の発話者特定方法について］
　上述した実施例では、発話者の特定方法として、音声認識結果から得られる発話の文字列（テキスト）と、読唇認識結果から得られる発話の文字列（テキスト）を比較する方法と、音声認識結果のうなずきタイミングと画像認識結果のうなずきタイミングを比較する方法を記載したが、音声と画像の次のようなデータを使うことでも発話者を特定することが可能である。

　（１）音声から発話のリズムを取得し、画像から取得した対象者の頭や体の揺れとそのリズムが一致する場合、その対象者を発話者と特定する。
　（２）音声から文字列を取得し、発話時の母音に依存する頭部皮膚振動パターンを画像から取得。文字列の母音とその頭部皮膚振動パターンが一致するかで発話者を特定する。
　（３）話の切れ目で発話者のまばたきが生じやすい性質を利用し、音声から発話の切れ目情報を取得、画像からまばたきタイミングを取得し、一致するかで発話者を特定する。

　（４）音量の大小、音声の高低、スピードの変化と画像から得られた体の動きを比較する。音量の大小と動きの大小、音声の高低と顔の上げ下げ、音声のスピードと、体の動きの速度を比較し、似た傾向が見られる人物を発話者と特定する。
　（５）発話音声から、発話内容を認識し、その発話内容によってもたらされるであろう聞き手の感情の変化を予測する（笑い、喜び、怒り、悲しみなど）。画像認識より予測結果と同様の感情を表している人物を特定する。その人物を聞き手と特定し、視線や頭の向きの先にいる人物を発話者として特定する。

　　［６．クラウド側の装置（サーバ）を利用した構成について］
　上述した実施例では、全ての処理を図４に示す情報処理装置１０の内部で実行する処理例として説明した。

　しかし、上述した実施例の少なくとも一部の処理はクラウド側の装置（サーバ）を利用して実行する構成としてもよい。
　例えば、音声認識部１０２による音声認識処理や、うなずきタイミングの生成処理、あるいは画像認識部１０６の読唇認識処理や、うなずき検出処理、また文字列の認識結果の照合や、うなずきタイミングの照合処理等は、その一部もしくはすべてを、クラウド側の装置（サーバ）において実行する構成としてもよい。

　クラウド側の装置（サーバ）を利用した処理を行う場合の処理シーケンスについて、図１１、図１２を参照して説明する。
　図１１は、音声認識と読唇認識によって発話者を特定する処理を情報処理装置１０と、サーバ２０との通信を伴う処理によって実行する処理シーケンスである。
　図１２は、うなずきタイミングを用いて発話者を特定する処理を情報処理装置１０と、サーバ２０との通信を伴う処理によって実行する処理シーケンスである。

　まず、図１１に示すシーケンス図を参照して、音声認識と読唇認識によって発話者を特定する処理を情報処理装置１０と、サーバ２０との通信を伴う処理によって実行する場合の処理シーケンスについて説明する。
　なお、この処理シーケンスは、例えば、情報処理装置１０はＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）リクエストをサーバ２０に出力し、サーバ２０がＡＰＩレスポンスを情報処理装置２０に返すことによって、進行させることができる。
　以下では、具体的なＡＰＩ例も含めて説明する。

　　（ステップＳ４０１）
　まず、ステップＳ４０１において、情報処理装置１０は、サーバ２０に対して、取得音声に併せて音声認識要求を送信する。

　　（ステップＳ４０２）
　次に、サーバ２０は、ステップＳ４０２において、情報処理装置１０に対して、音声認識結果を送信する。

　このステップＳ４０１～Ｓ４０２の音声認識処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ａｕｄｉｏ
　このＡＰＩは、音声認識を開始し、その認識結果（テキスト文字列）を取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０が音声入力部１０１を介して入力した音声データ（ａｕｄｉｏ　ｓｔｒｅａｍ　ｄａｔａ）である。
　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の音声認識処理部において実行した音声認識処理の結果データである音声認識結果文字列（ｓｐｅｅｃｈ（ｓｔｒｉｎｇ））が含まれる。

　　（ステップＳ４０３）
　次に、ステップＳ４０３において、情報処理装置１０は、サーバ２０に対して、取得画像に併せて読唇認識要求を送信する。

　　（ステップＳ４０４）
　次に、サーバ２０は、ステップＳ４０４において、情報処理装置１０に対して、読唇認識結果を送信する。

　このステップＳ４０３～Ｓ４０４の読唇認識処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ｌｉｐ
　このＡＰＩは、読唇認識を開始し、その認識結果（テキスト文字列）と発話者識別子（ＩＤ）を取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０が画像入力部１０５を介して入力した画像データ（ｖｉｄｅｏ　ｓｔｒｅａｍ　ｄａｔａ）である。
　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の読唇認識処理部において実行した読唇認識処理の結果データである読唇認識結果文字列（ｌｉｐ（ｓｔｒｉｎｇ））と、発話者ＩＤ（ｓｐｅａｋｅｒ－ｉｄ（ｓｔｒｉｎｇ））が含まれる。

　なお、サーバ２０は、ユーザＩＤと、ユーザの特徴情報を対応付けて記録したユーザデータベースを保持しており、情報処理装置１０から受信する画像データに基づいてユーザを特定してユーザ識別子（ＩＤ）を情報帆処理装置１０に提供する。
　ただし、未登録ユーザの場合は不明であるとの結果を返す。

　　（ステップＳ４０５）
　次に、ステップＳ４０５において、情報処理装置１０は、サーバ２０に対して、音声認識結果（文字列）と読唇認識結果（文字列）との比較要求を送信する。

　　（ステップＳ４０６）
　次に、サーバ２０は、ステップＳ４０６において、情報処理装置１０に対して、音声認識結果（文字列）と読唇認識結果（文字列）との比較結果（一致率）を送信する。

　このステップＳ４０５～Ｓ４０６の音声認識結果（文字列）と読唇認識結果（文字列）との比較処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ａｕｄｉｏ／ｃｏｍｐａｒｉｓｏｎ
　このＡＰＩは、音声認識結果の文字列と読唇認識結果の文字列を比較し、一致しているかの結果を取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０がサーバ２０から受信した、
　音声認識結果文字列（ｓｐｅｅｃｈ（ｓｔｒｉｎｇ））
　読唇認識結果文字列（ｌｉｐ（ｓｔｒｉｎｇ））
　これらのデータである。
　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の文字列比較部において実行した文字列比較処理処理の結果データである文字列一致率（ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ（ｉｎｔｅｇｅｒ））が含まれる。

　　（ステップＳ４０７）
　次に、ステップＳ４０７において、情報処理装置１０は、発話者特定部１１１において、サーバ２０から受信した文字列一致率（ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ（ｉｎｔｅｇｅｒ））に基づいて、発話者特定処理を実行する。
　すなわち、
　音声認識結果文字列（ｓｐｅｅｃｈ（ｓｔｒｉｎｇ））
　読唇認識結果文字列（ｌｉｐ（ｓｔｒｉｎｇ））
　これらの文字列の一致率が、予め規定したしきい値以上である場合は、画像に基づいて検出した推定発話者（唇を動かしている人物）を発話者として特定する。

　　（ステップＳ４０８）
　次に、ステップＳ４０８において、情報処理装置１０は、サーバ２０に対して、発話者情報取得要求を送信する。

　　（ステップＳ４０９）
　次に、サーバ２０は、ステップＳ４０９において、情報処理装置１０に対して、発話者情報を送信する。

　このステップＳ４０８～Ｓ４０９の発話者情報取得処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ｓｐｅａｋｅｒｓ／｛ｓｐｅａｋｅｒ－ｉｄ｝
　このＡＰＩリクエストに必要となるデータは、情報処理装置１０が画像入力部１０５を介して入力した画像データ（ｖｉｄｅｏ　ｓｔｒｅａｍ　ｄａｔａ）と、サーバ２０から受信した発話者ＩＤ（ｓｐｅａｋｅｒ－ｉｄ（ｓｔｒｉｎｇ））である。

　サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側のユーザデータベースから取得した発話者ＩＤ対応のユーザ情報が含まれる。
　具体的には、発話者の以下の情報等によって構成される。
　性別（ｓｅｘ（ｓｔｒｉｎｇ））
　年令（ａｇｅ（ｉｎｔｅｇｅｒ））
　身長（ｈｅｉｇｈｔ（ｉｎｔｅｇｅｒ）
　身体的特徴（ｐｈｙｓｉｃａｌ　ｓｔａｔｕｓ　（ｓｔｒｉｎｇ））
　これらは、サーバ２０側のユーザデータベースに登録済みのデータである。

　　（ステップＳ４１０）
　次に、ステップＳ４１０において、情報処理装置１０は、サーバ２０に対して、発話者情報登録要求を送信する。

　　（ステップＳ４１１）
　次に、サーバ２０は、ステップＳ４１１において、情報処理装置１０に対して、発話者情報登録完了通知を送信する。

　このステップＳ４１０～Ｓ４１１の発話者情報登録処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＰＯＳＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ｓｐｅａｋｅｒｓ／｛ｓｐｅａｋｅｒ－ｉｄ｝

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０がサーバ２０から受信した発話者ＩＤ（ｓｐｅａｋｅｒ－ｉｄ（ｓｔｒｉｎｇ））と、サーバ２０から受信した音声認識結果文字列（ｓｐｅｅｃｈ（ｓｔｒｉｎｇ））と、情報処理装置１０が画像入力部１０５を介して入力した画像データ（ｖｉｄｅｏ　ｓｔｒｅａｍ　ｄａｔａ）である。

　サーバ２０からの応答であるＡＰＩレスポンスには、発話者登録ＩＤ（ｒｅｇｉｓｔｅｒｅｄ－ｓｐｅａｋｅｒ－ｉｄ（ｓｔｒｉｎｇ））が含まれる。

　なお、発話者のデータ登録では、データベース内に発話者の次の情報を保存しておくことで、次回の発話内容解析時に発話者を特定することができる。
　（ａ）顔写真
　（ｂ）声質
　また、次のデータを保存しておくことで、認識の際にその人物の癖に合わせた認識を行うことができ、認識精度を向上させることができる。
　（ｃ）口の動きの特徴
　（ｄ）発話音の特徴
　（ｅ）発話内容（発話内容の傾向）

　また、次のデータを保存しておくことで、発話者データの再解析の処理を省いたり、顔写真だけしか取れない場合でも、発話者データを取得したりすることができる。
　（ｆ）性別
　（ｇ）年齢
　（ｈ）身長
　（ｉ）身体的特徴

　例えばサーバ２０は、これら（ａ）～（ｉ）の発話者情報をデータヘースに登録する。

　次に、図１２に示すシーケンス図を参照して、うなずきタイミングを用いて発話者を特定する処理を情報処理装置１０と、サーバ２０との通信を伴う処理によって実行する場合の処理シーケンスについて説明する。
　なお、この処理シーケンスも、例えば、情報処理装置１０はＡＰＩリクエストをサーバ２０に出力し、サーバ２０がＡＰＩレスポンスを情報処理装置２０に返すことによって、進行させることができる。
　以下では、具体的なＡＰＩ例も含めて説明する。

　　（ステップＳ４２１）
　まず、ステップＳ４２１において、情報処理装置１０は、サーバ２０に対して、取得音声に併せてうなずきタイミング推定データ生成要求を送信する。

　　（ステップＳ４２２）
　次に、サーバ２０は、ステップＳ４２２において、情報処理装置１０に対して、音声ベースのうなずきタイミング推定タイムテーブルを送信する。

　このステップＳ４２１～Ｓ４２２のうなずきタイミング推定タイムテーブル生成処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ａｕｄｉｏ／ｎｏｄｓ
　このＡＰＩは、音声認識結果から得られる文字列を解析して、うなずきタイミング推定タイムテーブル（うなずきを実行したと推定される時間のタイムスタンプリスト）とうなずき者のＩＤを取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０が音声入力部１０１を介して入力した音声データ（ａｕｄｉｏ　ｓｔｒｅａｍ　ｄａｔａ）である。
　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の音声認識処理部が音声認識結果（文字列）を解析して取得した音声ベースうなずきタイミング推定タイムテーブルが含まれる。

　なお、音声ベースうなずきタイミング推定タイムテーブルには、以下の２種類のテーブルが含まれる。
　発話者うなずきタイミング推定タイムテーブル（ｓｐｅａｋｅｒ－ｎｏｄｓ（ｓｔｒｉｎｇ－ａｒｒａｙ））
　聞き手うなずきタイミング推定タイムテーブル（ｌｉｓｔｅｎｅｒ－ｎｏｄｓ（ｓｔｒｉｎｇ－ａｒｒａｙ））
　これらは、先に図７を参照して説明した処理に従ってサーバ２０の音声認識部において生成される。すなわち、音声認識結果から、最適なうなずきタイミングを割り出して生成する。

　　（ステップＳ４２３）
　まず、ステップＳ４２３において、情報処理装置１０は、サーバ２０に対して、取得画像に併せてうなずきタイミングデータ生成要求を送信する。

　　（ステップＳ４２４）
　次に、サーバ２０は、ステップＳ４２４において、情報処理装置１０に対して、画像ベースのうなずきタイミングタイムテーブルを送信する。

　このステップＳ４２３～Ｓ４２４のうなずきタイミング推定タイムテーブル生成処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ｎｏｄｓ
　このＡＰＩは、画像を解析して、うなずきタイミングタイムテーブル（うなずきを実行した時間のタイムスタンプリスト）とうなずき者のＩＤを取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０が画像入力部１０５を介して入力した画像データ（ｖｉｄｅｏ　ｓｔｒｅａｍ　ｄａｔａ）である。
　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の画像認識処理部が画像を解析して取得した画像ベースうなずきタイミングタイムテーブル（
ｎｏｄ－ｔｉｍｉｎｇｓ（ｓｔｒｉｎｇ－ａｒｒａｙ））と、うなずき者ＩＤ（ｎｏｄｄｉｎｇ－ｐｅｒｓｏｎ－ｉｄ（ｓｔｒｉｎｇ））が含まれる。

　前述したように、サーバ２０は、ユーザＩＤと、ユーザの特徴情報を対応付けて記録したユーザデータベースを保持しており、情報処理装置１０から受信する画像データに基づいてユーザを特定してユーザ識別子（ＩＤ）を情報帆処理装置１０に提供する。
　ただし、未登録ユーザの場合は不明であるとの結果を返す。

　　（ステップＳ４２５）
　次に、ステップＳ４２５において、情報処理装置１０は、サーバ２０に対して、
　ステップＳ４２２で受信した
　（ａ１）音声ベースの発話者うなずきタイミング推定タイムテーブル、
　（ａ２）音声ベースの聞き手うなずきタイミング推定タイムテーブル、
　これら２つのうなずきタイミング推定タイムテーブルの各々と、
　ステップＳ４２４で受信した
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル、
　これらのタイムテーブルの比較要求を送信する。

　　（ステップＳ４２６）
　次に、サーバ２０は、ステップＳ４２６において、情報処理装置１０に対して、音声ベースの２つのうなずきタイミング推定タイムテーブルと、画像ベースのうなずきタイミングタイムテーブルの比較結果（一致率）を送信する。

　このステップＳ４２５～Ｓ４２６のうなずきタイミングテーブルの比較処理に利用されるＡＰＩは、例えば以下のＡＰＩである。
　ＧＥＴ／ａｐｉ／ｖ１／ｒｅｃｏｇｎｉｔｉｏｎ／ｎｏｄｓ／ｃｏｍｐａｒｉｓｏｎ
　このＡＰＩは、音声ベースの２つのうなずきタイミング推定タイムテーブルと、画像ベースのうなずきタイミングタイムテーブルのうなずきタイミングを比較し、一致しているかの結果を取得するためのＡＰＩである。

　このＡＰＩリクエストに必要となるデータは、情報処理装置１０がサーバ２０から受信した以下のデータである。
　ステップＳ４２２で受信した
　（ａ１）音声ベースの発話者うなずきタイミング推定タイムテーブル（ｓｐｅａｋｅｒ－ｎｏｄ（ｓｔｒｉｎｇ－ａｒｒａｙ））、
　（ａ２）音声ベースの聞き手うなずきタイミング推定タイムテーブル（ｌｉｓｔｅｎｅｒ－ｎｏｄ（ｓｔｒｉｎｇ－ａｒｒａｙ））、
　これら２つのうなずきタイミング推定タイムテーブルと、
　ステップＳ４２４で受信した
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））、

　また、サーバ２０からの応答であるＡＰＩレスポンスには、サーバ２０側の発話者特定部において実行したうなずきタイミングタイムテーブル比較処理処理の結果データである、
　発話者うなずき一致率（％）（ｓｐｅａｋｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））、
　聞き手うなずき一致率（％）（ｌｉｓｔｅｎｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））
　これらのデータが含まれる。

　発話者うなずき一致率（％）（ｓｐｅａｋｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））は、
　（ａ１）音声ベースの発話者うなずきタイミング推定タイムテーブル（ｓｐｅａｋｅｒ－ｎｏｄ（ｓｔｒｉｎｇ－ａｒｒａｙ））と、
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））、
　これらの２つのテーブルうなずきタイミングの比較結果として得られる一致率（％）データである。

　また、聞き手うなずき一致率（％）（ｌｉｓｔｅｎｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））は、
　（ａ２）音声ベースの聞き手うなずきタイミング推定タイムテーブル（ｌｉｓｔｅｎｅｒ－ｎｏｄ（ｓｔｒｉｎｇ－ａｒｒａｙ））と、
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））、
　これらの２つのテーブルうなずきタイミングの比較結果として得られる一致率（％）データである。

　　（ステップＳ４２７）
　次に、ステップＳ４２７において、情報処理装置１０は、サーバ２０から受信した
　発話者うなずき一致率（％）（ｓｐｅａｋｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））、
　聞き手うなずき一致率（％）（ｌｉｓｔｅｎｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））
　これらのデータに基づいて、発話者特定部１１１において発話者特定処理を実行する。

　具体的には、発話者うなずき一致率（％）（ｓｐｅａｋｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））が、予め規定したしきい値以上である場合、
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））の生成対象となった画像から検出したうなずき実行者を発話者であると判定する。

　一方、聞き手うなずき一致率（％）（ｌｉｓｔｅｎｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））が、予め規定したしきい値以上である場合、
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））の生成対象となった画像から検出したうなずき実行者を聞き手であると判定する。
　この場合は、さらに、発話者を特定するために、ステップＳ４２８～Ｓ４３０の処理を実行する。

　ステップＳ４２７において、発話者が特定された場合は、ステップＳ４２８～Ｓ４３０の処理は省略可能である。
　すなわち、ステップＳ４２７において、発話者うなずき一致率（％）（ｓｐｅａｋｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））が、予め規定したしきい値以上であり、発話者が特定された場合は、ステップＳ４２８～Ｓ４３０の処理を省略してステップＳ４３１の処理を開始してもよい。

　　（ステップＳ４２８～４３０）
　ステップＳ４２８～Ｓ４３０の処理は、ステップＳ４２７において、聞き手うなずき一致率（％）（ｌｉｓｔｅｎｅｒ－ｃｏｎｃｏｒｄａｎｃｅ－ｒａｔｅ　（ｉｎｔｅｇｅｒ））が、予め規定したしきい値以上である場合に実行する。すなわち、
　（ｖ１）画像ベースのうなずきタイミングタイムテーブル（ｎｏｄ－ｔｉｍｉｎｇ　（ｓｔｒｉｎｇ－ａｒｒａｙ））の生成対象となった画像から検出したうなずき実行者を聞き手であると判定された場合の処理である。

　この場合、情報処理装置１０は、ステップＳ４２８において、サーバに対して、聞き手視線先検出要求を出力する。
　これは、画像から検出したうなずき実行者（聞き手）の視線の先の人物（発話者）の検出要求である。

　サーバ２０は、ステップＳ４２９において、情報処理装置１０に、画像から検出したうなずき実行者（聞き手）の視線の先の人物（発話者）の検出情報を送信する。これは、情報処理装置１０から受信した画像データを利用して実行する。

　情報処理装置１０は、ステップＳ４３０において、発話者特定部１１１が、サーバ２０から受信した画像から検出したうなずき実行者（聞き手）の視線の先の人物（発話者）の検出情報に基づいて、その視線先の人物を発話者であると判定する。

　　（ステップＳ４３１）
　以下のステップＳ４３１～Ｓ４３４の処理は、先に図１１を参照して説明したステップＳ４０８～Ｓ４１１の処理と同様の処理となる。
　ステップＳ４３１において、情報処理装置１０は、サーバ２０に対して、発話者情報取得要求を送信する。

　　（ステップＳ４３２）
　次に、サーバ２０は、ステップＳ４３２において、情報処理装置１０に対して、発話者情報を送信する。

　サーバ２０からの応答には、サーバ２０側のユーザデータベースから取得した発話者ＩＤ対応のユーザ情報が含まれる。
　具体的には、発話者の以下の情報等によって構成される。
　性別（ｓｅｘ（ｓｔｒｉｎｇ））
　年令（ａｇｅ（ｉｎｔｅｇｅｒ））
　身長（ｈｅｉｇｈｔ（ｉｎｔｅｇｅｒ）
　身体的特徴（ｐｈｙｓｉｃａｌ　ｓｔａｔｕｓ　（ｓｔｒｉｎｇ））
　これらは、サーバ２０側のユーザデータベースに登録済みのデータである。

　　（ステップＳ４３３）
　次に、ステップＳ４３３において、情報処理装置１０は、サーバ２０に対して、発話者情報登録要求を送信する。

　　（ステップＳ４３４）
　次に、サーバ２０は、ステップＳ４３４において、情報処理装置１０に対して、発話者情報登録完了通知を送信する。

　なお、先に図１１を参照して説明したように、発話者情報としての登録情報には、以下の各データを含めることが好ましい。
　（ａ）顔写真
　（ｂ）声質
　（ｃ）口の動きの特徴
　（ｄ）発話音の特徴
　（ｅ）発話内容（発話内容の傾向）
　（ｆ）性別
　（ｇ）年齢
　（ｈ）身長
　（ｉ）身体的特徴
　例えばサーバ２０は、これら（ａ）～（ｉ）の発話者情報をデータヘースに登録する。

　図１１、図１２を参照して説明した処理は、音声認識処理や、うなずきタイミングの生成処理、読唇認識処理や、うなずき検出処理、また文字列の認識結果の照合、うなずきタイミングの照合処理等をクラウド側の装置（サーバ）において実行する構成とした場合の処理シーケンスである。

　一連の処理シーケンス中に含まれる様々な処理を、情報処理装置１０側で実行するか、クランド（サーバ２０）側で実行するかについては、様々な設定が可能である。

　　［７．本開示の情報処理装置の具体的な利用例について］
　次に、上述した発話者特定処理を実行する本開示の情報処理装置の具体的な複数の利用例について説明する。
　以下の複数の利用例について説明する。
　（１）エージェント機器としての利用例
　（２）デジタルサイネージ、自動販売機としての利用例
　（３）車載機器としての利用例
　（４）会議室、学校での利用例
　（５）エンターテインメントにおける利用例
　（６）防犯カメラや監視カメラにおける利用例

　（１）エージェント機器としての利用例
　まず、エージェント機器としての利用例について説明する。
　エージェント機器の前に複数の人がいて、そのうちの一人がエージェント機器に対して発話をした場合、エージェント機器は発話者の唇の動きをカメラで撮影し、読唇術を使って発話内容を文字列に変換する。
　同時にマイクを使って入力された音声に対し音声認識を使って文字列に変換する。これらの文字列を比較することで、唇の動きを撮影した人物が発話者かどうかを判断することができる。

　発話者をカメラ撮影画像の中から特定することができると、エージェント機器は、発話者の特徴として、性別や年齢、身体的特徴の情報を推測することができ、発話者の要望に対して、より適切な回答を行うことができる。
　例えば、発話者が子供だと認識した場合は、子供に合わせた分かりやすい口調で回答したり、若くて体格の良い男性には、ボリュームのあるレストランを紹介したりすることが可能となる。

　また予め人物情報を顔写真と共にデータベースに登録しておくことで、発話者の顔写真から、データベースに登録された発話者の情報を参照することができ、趣味や好みなどより詳細な発話者のデータを引き出して、より発話者の期待に沿った答えをすることができる。

　また発話者の発話内容やしゃべり方の癖等の発話特徴情報を顔写真と共にデータベースに保存しておくことで以下の処理も可能となる。
　発話中に発話者が特定された後、音声認識や読唇認識エンジンに発話特徴情報を入力することで、発言者に合わせた認識を行うことができ、認識精度を向上させることができる。

　また家庭内に複数台のエージェント機器がある場合、エージェント機器の発話や、ＴＶやラジオ音声の発話に対してエージェント機器が誤動作してしまうのを防ぐためにも発話者特定は有効である。

　（２）デジタルサイネージ、自動販売機としての利用例
　次に、デジタルサイネージ、自動販売機としての利用例について説明する。
　街中にあるデジタルサイネージや自動販売機の前には、複数の人がいるケースが多く、また事前登録ができない不特定多数の人である場合が多い。

　このような状況で本開示の処理に従って発話者を特定することで、以下のような処理が可能となる。
　デジタルサイネージでは、発話者の容姿から年齢や性別を判断し、発話者に合わせた表示を行うことができる。
　また自動販売機の場合は、発話者に合わせた商品を勧めることができる。

　さらに、発話者を特定することで、表示内容や購入商品に対して興味を持った人物や意見をした人物に対して、その発言内容と容姿情報を合わせて記録できるので、市場調査のためのデータ集めに役立つ。また同様の目的のため、お店などでは防犯カメラ等と上述の発話者特定処理を併用することで、店内の商品に対する客の発話内容を発話者の特徴と共に記録することができる。

　（３）車載機器としての利用例
　次に、車載機器としての利用例について説明する。
　カーナビゲーションのような音声で操作する機器において、上述した処理に従った発話者特定処理を行う構成とすることで、子供の発話などドライバー以外の音声には反応しないように、音声操作可能者を限定するような権限管理をすることができる。

　また音声で空調コントロールをする装置の場合、発話者を特定することで、発話者周辺だけ要望に沿った空調に調整することができる。

　（４）会議室、学校での利用例
　次に、会議室、学校での利用例について説明する。
　複数の人が発話するような会議のような場面で、部屋全体を撮影するカメラとマイクを使って発話者を特定することで、発話者情報と発話内容を合わせた議事録を自動で作成することができる。

　また、例えば保育園では発話者情報と発話内容の議事録が作成できると、容易に親に子供の発話内容を報告できて、保育士の負担を減らせる。もしくはクラウド上にそのデータを置くことで親はいつでも子供の発話内容を確認することができる。学校では各生徒の発言数をカウントすることで、一部の生徒だけ発言している授業なのか、多くの生徒が発言している授業なのかの判断に利用することができる。

　（５）エンターテインメントにおける利用例
　次に、エンターテインメントにおける利用例について説明する。
　パーティやスポーツ観戦のような不特定多数の人がいる広い場所で、発話者と話している話題を大型モニターなどに映し出すことで、興味のある会話をしている人を見つけたり、スポーツ観戦の臨場感を増したりすることができる。
　またＴＶ撮影時に出演者の発話者を特定することができると、リアルタイムで出演者の発話内容を文字にして吹き出しのように表示することができる。

　（６）防犯カメラや監視カメラにおける利用例
　次に、防犯カメラや監視カメラにおける利用例について説明する。
　街中や店内にある防犯カメラや監視カメラで撮影された画像と、その周辺の音声入力を使って、犯罪行為の相談をしている人や、犯罪に関する特定のワードを発話している人を特定することが可能となる。これによって事件の発生を未然に防いだり、犯人特定に役立てたりすることができる。

　このように、本開示の発話者特定処理は、様々な分野で利用が可能である。
　本開示の処理では、事前に発話者の登録がなくても、不特定多数の人物の中から発話者が特定される。また発話者の唇の動きが撮影できないような場合でも、発話者の特定が可能となる。そして発話者が特定されることにより下記のような効果を得ることができる。
　（ａ）発話者の年齢や性別のような外的特徴情報の取得により、発話者に合わせたサービスの提供が可能となる。
　（ｂ）発話者の発話内容や癖を記録し、認識機能の学習に利用することにより、音声認識や読唇認識精度の向上が可能となる。
　（ｃ）特定の発話者のみサービスの提供を行うことにより、特定の人に管理者権限を持たせることが可能となる。
　（ｄ）発話者の特徴と発言内容をログデータとして活用することにより、市場調査のデータやエンタメ用途としての利用や共謀罪の発見に役立てることが可能となる。

　　［８．情報処理装置、および情報処理システムの構成例について］
　先に図１１、図１２を参照して説明したように、例えば、図４に示す情報処理装置１０の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやＰＣ等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。

　図１３に、本開示の処理を実行するためのシステム構成の例を示す。
　図１３（１）情報処理システム構成例１は、図４に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやＰＣ、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置４１０内に構成した例である。
　ユーザ端末に相当する情報処理装置４１０は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ４２０と通信を実行する。

　アプリ実行サーバ４２０は、例えば天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する応答を生成するための情報を提供可能なサーバ群によって構成される。

　一方、図１３（２）情報処理システム構成例２は、図４に示す情報処理装置の機能の一部をユーザの所有するスマホやＰＣ、エージェント機器等の情報処理端末である情報処理装置４１０内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ４６０において実行する構成としたシステム例である。

　例えば、図４に示す装置中の音声入力部１０１、画像入力部１０５、音声出力部１２５、画像出力部１２６のみを情報処理端末側の情報処理装置４１０側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。

　具体的には、例えば以下のようなシステム構成が構築可能である。
　ユーザ端末等の情報処理端末に、音声入出力部と画像入出力部を構成する。
　一方、データ処理サーバは、ユーザ端末から受信する音声、画像に基づいて発話者特定処理を行う。

　あるいは、先に図１１、図１２を参照して説明したシーケンスのように、サーバは、発話者特定処理に必要な情報を生成して情報処理装置に提供し、情報処理装置側で最終的な発話者特定処理を実行するといった構成としてもよい。
　例えば、このような様々な構成が可能である。

　具体的な処理態様としては、例えば以下の処理態様が可能である。
　情報処理端末は、
　音声入力部と、
　画像入力部と、
　音声入力部を介して取得した音声と、画像入力部を介して取得したカメラ撮影画像をサーバに送信する通信部を有し、
　サーバは、
　情報処理端末から受信する発話者の音声の音声認識処理を実行する音声認識部と、
　情報処理端末から受信する前記カメラ撮影画像の解析を実行する画像認識部を有し、
　音声認識部は、
　発話者の発話内容を示す文字列を生成するとともに、文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　画像認識部は、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成する構成であり、
　情報処理端末、またはサーバの少なくともいずれかにおいて、
　うなずきタイミング推定データと、うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する。
　このような情報処理システムが構成可能である。

　なお、ユーザ端末等の情報処理端末側の機能と、サーバ側の機能の機能分轄態様は、様々な異なる設定が可能であり、また、１つの機能を双方で実行する構成も可能である。

　　［９．情報処理装置のハードウェア構成例について］
　次に、図１４を参照して、情報処理装置のハードウェア構成例について説明する。
　図１４を参照して説明するハードウェアは、先に図４を参照して説明した情報処理装置のハードウェア構成例であり、また、図１３を参照して説明したデータ処理サーバ４６０を構成する情報処理装置のハードウェア構成の一例である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部は、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理装置。

　（２）　前記発話者特定部は、
　カメラ撮影画像から発話者の唇の動きを検出可能な場合、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、
　を実行する（１）に記載の情報処理装置。

　（３）　前記発話者特定部は、
　カメラ撮影画像にから発話者の唇の動きを検出不可能な場合、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　を実行する（１）または（２）に記載の情報処理装置。

　（４）　前記発話者特定部は、
　発話音声に対する音声認識結果から得られる発話文字列に基づいて推定される発話者、または聞き手のうなずきタイミング推定データと、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、
　カメラ撮影画像に含まれるうなずき実行者が、発話者であるか、聞き手であるかを判別する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記発話者特定部は、
　音声認識結果から得られる発話文字列に基づいて推定される発話者うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度が高い場合は、前記うなずき実行者が発話者であると判定し、
　音声認識結果から得られる発話文字列に基づいて推定される聞き手うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度が高い場合は、前記うなずき実行者が聞き手であると判定する（４）に記載の情報処理装置。

　（６）　前記発話者特定部は、
　前記うなずき実行者が聞き手であると判定した場合、
　前記うなずき実行者の視線方向にいる人物を発話者と判定する（５）に記載の情報処理装置。

　（７）　前記情報処理装置は、
　前記発話音声に対する音声認識処理を実行するとともに、前記発話者の唇の動きから発話を解析する読唇認識処理を実行する音声認識部を有し、
　前記発話者特定部は、
　前記音声認識処理部の生成した音声認識結果と読唇認識結果を入力して発話者特定処理を実行する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記音声認識部は、さらに、
　発話音声に対する音声認識結果から得られる発話文字列に基づいて、発話者、および聞き手のうなずきタイミング推定データを生成し、
　前記発話者特定部は、
　前記音声認識処理部の生成した発話者、および聞き手のうなずきタイミング推定データと、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、
　カメラ撮影画像に含まれるうなずき実行者が、発話者であるか聞き手であるかを判別する（７）に記載の情報処理装置。

　（９）　前記情報処理装置は、
　カメラ撮影画像から、発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析処理を実行する画像認識部を有し、
　前記発話者特定部は、
　前記画像認識処理部の生成した解析情報を入力して発話者特定処理を実行する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記画像認識部は、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したタイムテーブルを生成し、
　前記発話者特定部は、
　前記画像認識処理部の生成したうなずきタイミングタイムテーブルを利用して発話者特定処理を実行する（９）に記載の情報処理装置。

　（１１）　前記情報処理装置は、
　前記発話音声に対する音声認識処理を実行する音声認識部と、
　前記発話者、または前記聞き手の少なくともいずれかの撮影画像の解析処理を実行する画像認識部を有し、
　前記音声認識部は、
　前記発話音声に対する音声認識処理を実行して得られる文字列に基づいて、発話者のうなずきタイミングと、聞き手のうなずきタイミングを推定し、推定したうなずきタイミングデータを記録した、
　発話者うなずきタイミング推定タイムテーブルと、
　聞き手うなずきタイミング推定タイムテーブル、
　を生成し、
　前記画像認識部は、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録した、
　うなずきタイミングタイムテーブルを生成し、
　前記発話者特定部は、
　前記発話者うなずきタイミング推定タイムテーブルと、前記うなずきタイミングタイムテーブルとの一致度が高い場合は、前記うなずき実行者が発話者であると判定し、
　前記聞き手うなずきタイミング推定タイムテーブルと、前記うなずきタイミングタイムテーブルとの一致度が高い場合は、前記うなずき実行者が聞き手であると判定する（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、
　画像入力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得したカメラ撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末から受信する発話者の音声の音声認識処理を実行する音声認識部と、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行する画像認識部を有し、
　前記音声認識部は、
　前記発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記画像認識部は、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理システム。

　（１３）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部が、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理方法。

　（１４）　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、画像入力部を介して取得したカメラ撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末から受信する前記音声から、発話者の音声の音声認識処理を実行し、発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行し、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理方法。

　（１５）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記プログラムは、前記発話者特定部に、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、様々な状況下において、高精度な発話者特定処理を実行する装置、方法が実現される。
　具体的には、例えば、発話者の特定処理を実行する発話者特定部が、（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、（ｂ）発話者、または聞き手の動作の解析結果に基づく発話者特定処理を実行する。例えば、音声認識結果として得られる発話文字列に基づいて推定される発話者、または聞き手のうなずきタイミング推定データと、カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、その一致度に基づいて、カメラ撮影画像に含まれるうなずき実行者が、発話者であるか、聞き手であるかを判別する。
　本構成により、様々な状況下において、高精度な発話者特定処理を実行する装置、方法が実現される。

　　１０　情報処理装置
　　１１　カメラ
　　１２　マイク
　　１３　表示部
　　１４　スピーカー
　　２０　サーバ
　　３０　外部機器
　１０１　音声入力部
　１０２　音声認識部
　１０３　発話意味解析部
　１０５　画像入力部
　１０６　画像認識部
　１１１　発話者特定部
　１１２　発話者解析部
　１１３　発話者データ保存部
　１１４　記憶部（ユーザデータベース等）
　１２１　応答生成部
　１２２　システム発話音声合成部
　１２３　表示画像生成部
　１２４　出力（音声、画像）制御部
　１２５　音声出力部
　１２６　画像出力部
　４１０　情報処理装置
　４２０　アプリ実行サーサーバ
　４６０　データ処理サーバ
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部は、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理装置。
　前記発話者特定部は、
　カメラ撮影画像から発話者の唇の動きを検出可能な場合、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、
　を実行する請求項１に記載の情報処理装置。
　前記発話者特定部は、
　カメラ撮影画像にから発話者の唇の動きを検出不可能な場合、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　を実行する請求項１に記載の情報処理装置。
　前記発話者特定部は、
　発話音声に対する音声認識結果から得られる発話文字列に基づいて推定される発話者、または聞き手のうなずきタイミング推定データと、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、
　カメラ撮影画像に含まれるうなずき実行者が、発話者であるか、聞き手であるかを判別する請求項１に記載の情報処理装置。
　前記発話者特定部は、
　音声認識結果から得られる発話文字列に基づいて推定される発話者うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度が高い場合は、前記うなずき実行者が発話者であると判定し、
　音声認識結果から得られる発話文字列に基づいて推定される聞き手うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度が高い場合は、前記うなずき実行者が聞き手であると判定する請求項４に記載の情報処理装置。
　前記発話者特定部は、
　前記うなずき実行者が聞き手であると判定した場合、
　前記うなずき実行者の視線方向にいる人物を発話者と判定する請求項５に記載の情報処理装置。
　前記情報処理装置は、
　前記発話音声に対する音声認識処理を実行するとともに、前記発話者の唇の動きから発話を解析する読唇認識処理を実行する音声認識部を有し、
　前記発話者特定部は、
　前記音声認識処理部の生成した音声認識結果と読唇認識結果を入力して発話者特定処理を実行する請求項１に記載の情報処理装置。
　前記音声認識部は、さらに、
　発話音声に対する音声認識結果から得られる発話文字列に基づいて、発話者、および聞き手のうなずきタイミング推定データを生成し、
　前記発話者特定部は、
　前記音声認識処理部の生成した発話者、および聞き手のうなずきタイミング推定データと、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミング実データとの比較処理を実行し、
　カメラ撮影画像に含まれるうなずき実行者が、発話者であるか聞き手であるかを判別する請求項７に記載の情報処理装置。
　前記情報処理装置は、
　カメラ撮影画像から、発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析処理を実行する画像認識部を有し、
　前記発話者特定部は、
　前記画像認識処理部の生成した解析情報を入力して発話者特定処理を実行する請求項１に記載の情報処理装置。
　前記画像認識部は、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したタイムテーブルを生成し、
　前記発話者特定部は、
　前記画像認識処理部の生成したうなずきタイミングタイムテーブルを利用して発話者特定処理を実行する請求項９に記載の情報処理装置。
　前記情報処理装置は、
　前記発話音声に対する音声認識処理を実行する音声認識部と、
　前記発話者、または前記聞き手の少なくともいずれかの撮影画像の解析処理を実行する画像認識部を有し、
　前記音声認識部は、
　前記発話音声に対する音声認識処理を実行して得られる文字列に基づいて、発話者のうなずきタイミングと、聞き手のうなずきタイミングを推定し、推定したうなずきタイミングデータを記録した、
　発話者うなずきタイミング推定タイムテーブルと、
　聞き手うなずきタイミング推定タイムテーブル、
　を生成し、
　前記画像認識部は、
　カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録した、
　うなずきタイミングタイムテーブルを生成し、
　前記発話者特定部は、
　前記発話者うなずきタイミング推定タイムテーブルと、前記うなずきタイミングタイムテーブルとの一致度が高い場合は、前記うなずき実行者が発話者であると判定し、
　前記聞き手うなずきタイミング推定タイムテーブルと、前記うなずきタイミングタイムテーブルとの一致度が高い場合は、前記うなずき実行者が聞き手であると判定する請求項１に記載の情報処理装置。
　情報処理端末とサーバを有する情報処理システムであり、
　前記情報処理端末は、
　音声入力部と、
　画像入力部と、
　前記音声入力部を介して取得した音声と、前記画像入力部を介して取得したカメラ撮影画像を前記サーバに送信する通信部を有し、
　前記サーバは、
　前記情報処理端末から受信する発話者の音声の音声認識処理を実行する音声認識部と、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行する画像認識部を有し、
　前記音声認識部は、
　前記発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記画像認識部は、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理システム。
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記発話者特定部が、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行する情報処理方法。
　情報処理端末とサーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記情報処理端末は、
　音声入力部を介して取得した音声と、画像入力部を介して取得したカメラ撮影画像を前記サーバに送信し、
　前記サーバは、
　前記情報処理端末から受信する前記音声から、発話者の音声の音声認識処理を実行し、発話者の発話内容を示す文字列を生成するとともに、前記文字列に基づく発話者と聞き手のうなずきタイミング推定データを生成し、
　前記情報処理端末から受信する前記カメラ撮影画像の解析を実行し、
　前記カメラ撮影画像に含まれるうなずき実行者のうなずきタイミングを記録したうなずきタイミング実データを生成し、
　前記情報処理端末、または前記サーバの少なくともいずれかにおいて、
　前記うなずきタイミング推定データと、前記うなずきタイミング実データとの一致度に基づく発話者特定処理を実行する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　発話者の特定処理を実行する発話者特定部を有し、
　前記プログラムは、前記発話者特定部に、
　（ａ）発話音声に対する音声認識結果と、発話者の唇の動きから発話を解析する読唇認識結果との比較結果に基づく発話者特定処理、または、
　（ｂ）発話者の動作、または、前記発話者の発話を聞いている聞き手の動作の解析結果に基づく発話者特定処理、
　上記（ａ），（ｂ）の少なくともいずれかの発話者特定処理を実行させるプログラム。