JP5250066B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、ユーザと対面した状態で、案内、宣伝、勧誘、応答などを２ヶ国語以上の言語で行う情報端末が知られている。

しかしながら、複数の言語に対応可能な情報端末では、使用する言語を選択したうえで、その選択した言語で案内、宣伝、勧誘、応答を開始する。すなわち、このような情報端末において、言語の選択を音声入力で行おうとする場合には、例えば、現在設定されている英語から日本語に言語を変更する場合には、英語を発声することによって日本語に変更することになる。

ところで、このような場合、英語の話せない顧客は言語を英語から日本語に変更することができなくなる。また、顧客の発音が明瞭でない場合には、入力音声を誤認識する可能性が高くなり、言語を変更できないという問題がある。

実施形態の情報処理装置は、人物の年齢および性別からなる人物の属性を判別する判別手段と、複数の言語で設定され、前記判別手段で判別された人物の属性に合わせたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、を備える。

実施形態のプログラムは、コンピュータを、人物の年齢および性別からなる人物の属性を判別する判別手段と、複数の言語で設定され、前記判別手段で判別された人物の属性に合わせたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、として機能させる。

図１は、実施形態にかかる情報処理装置の外観を示す斜視図である。 図２は、情報提供装置の電装系の構成を示すブロック図である。 図３は、アシスト装置の構成を機能的に示すブロック図である。 図４は、人物判別部の構成を機能的に示すブロック図である。 図５は、音声ガイダンスの一例を示す模式図である。 図６は、属性にあわせた声色や言い回しの設定の一例を示す模式図である。 図７は、情報処理装置の言語切替処理を示す模式図である。 図８は、言語切替処理における機能構成を示す機能ブロック図である。 図９は、言語切替処理の流れを示すフローチャートである。 図１０は、属性にあわせた宣伝コンテンツの設定の一例を示す模式図である。

図１は、実施形態にかかる情報処理装置１の外観を示す斜視図である。この情報処理装置１は、ショッピングセンターなどで利用されるものであって、顧客と対面した状態で、案内、宣伝、勧誘、応答などを２ヶ国語以上の言語で行う情報端末（サイネージ）である。このような情報処理装置１は、顧客に対する種々の情報の提供を簡易な操作で可能にした情報提供装置２と、当該情報提供装置２に対する顧客の操作をアシスト（支援）するアシスト（支援）装置３と、を備えている。

まず、情報提供装置２について説明する。情報提供装置２は、例えばポイントサービス装置として機能する。図１に示すように、情報提供装置２は、筐体４の上面にアシスト装置３を載置している。なお、情報提供装置２の筐体４の上面には、アシスト装置３を充電するための充電ステーション（図示せず）が設けられている。

また、情報提供装置２は、筐体４に、所定の情報をカラー画像で表示可能なＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）や有機ＥＬディスプレイなどで構成された表示装置５、この表示装置５の表示面に重ねて配置されるものであって例えば抵抗膜式のタッチパネル６、非接触型無線ＩＣカードである会員カードや携帯電話との間でデータの授受を行うカードリーダライタ７、後述する割引券や景品引換券等を発行するための発行口８等を備えている。カードリーダライタ７は、非接触ＩＣカードや携帯電話と無線通信を確立し、非接触ＩＣカードや携帯電話に対して情報を読み書きする。非接触ＩＣカードや携帯電話は、一例として現金と等価な価値を有する電子マネーや会員番号を記憶保存することが可能である。図１中、カードリーダライタ７の内部に図示しないアンテナが内蔵され、このアンテナを介して非接触ＩＣカードや携帯電話との間の無線通信が確立される。

このような情報提供装置２の電装系は図２に示すように構成されている。ここで、図２は情報提供装置２の電装系の構成を示すブロック図である。

図２に示すように、情報提供装置２は、ＣＰＵ（Central Processing Unit）、制御プログラムを格納するＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されるコンピュータ構成の情報提供制御部１１と、不揮発性ＲＯＭやＨＤＤ（Hard Disk Drive）等で構成されるメモリ部１２とを保有し、バス１３を介して接続された通信部１４を介してアシスト装置３との間で相互にオンライン通信を実行し得るように構成されている。

また、情報提供制御部１１には、バス１３及びＩ／Ｏ機器制御部１５を介して、前述した表示装置５、タッチパネル６、カードリーダライタ７が接続され、さらに、プリンタ９が接続されている。このプリンタ９は筐体４に内蔵され、情報提供制御部１１の制御によって、例えば割引券や景品引換券等を印刷し発行口８から発行する。表示装置５は、情報提供制御部１１の制御によって、ユーザに対する可視的なガイダンス情報として画像やメッセージを表示する。

そして、情報提供制御部１１は、ＣＰＵがＲＯＭの制御プログラムに従って動作することにより、顧客によりカードリーダライタ７にかざされた非接触ＩＣカードや携帯電話から会員番号を取得すると、ポイント加算処理を実行する。ポイント加算処理は、一般的なポイントサービスに加え、商品の買上げに関係なく顧客が来店するだけで所定のポイントを顧客に付与する来店ポイントサービスも含む。通常、来店ポイントサービスは、来店した顧客が一日一回だけ受けられるサービスである。また、ポイント加算処理は、抽選、例えばスロットゲーム等を実行して抽選結果に応じた来店ポイントを顧客に付与することも可能である。そして、情報提供制御部１１は、ポイント加算処理の結果として一定のポイント数に達した場合には、割引券や景品引換券等を発行する。

続いて、アシスト装置３について説明する。ここで、図３はアシスト装置３の構成を機能的に示すブロック図である。図１及び図３に示すように、アシスト装置３は、主に、自身の外郭を形成する筐体２１と、駆動源となるバッテリ２２等とを備えている。ここで、アシスト装置３は、外部から電源を供給するための配線を持たず、上記バッテリ２２で動作する。つまり、アシスト装置３は、情報提供装置２の筐体４の上面に設置された充電ステーション（図示せず）の充電用の電極に対し、自身のバッテリ２２を接触させることで、自動充電を行うように構成されている。

さらに、アシスト装置３は、図１及び図３に示すように、筐体２１の外側部分に、カメラ部２３と、マイク２４と、スピーカ２５と、通信部２６と、操作部２７とを備え、筐体２１の内部に、画像処理部２８と、人物判別部２９と、音声認識部３０と、動作制御部３１と、記憶部３２と、これらのハードウェアを統括的に制御する統括制御部３３とを備える。統括制御部３３は、ＣＰＵ、制御プログラムを格納するＲＯＭ、ＲＡＭ等で構成されるコンピュータ構成となっている。

なお、アシスト装置３は、ＲＯＭにプログラムが記憶された状態にて販売や譲渡がなされても良いし、記憶媒体に記憶された状態や通信回線を介した通信により販売または譲渡されたプログラムが任意にアシスト装置３にインストールされても良い。なお、上記の記憶媒体としては、磁気ディスク、光磁気ディスク、光ディスク、あるいは半導体メモリなどのあらゆる種類のものを利用できる。

カメラ部２３は、ＣＣＤセンサなどの撮像素子を有したものであって、アシスト装置３の周囲の状況を撮像する。画像処理部２８は、カメラ部２３によって撮像された映像を画像処理してデジタル画像に変換する。

人物判別部２９は、属性判別手段として機能するものであって、画像処理部２８によって処理された画像から情報処理装置１の前に立つ人物の年齢及び性別を判別する。人物の年齢及び性別の判別手法としては、例えば特開２００５−１６５４４７号公報に開示された技術を用いることができる。概略的には、図４に示すように、人物判別部２９は、顔領域検出部５１、顔特徴抽出部５２、個人顔特徴作成部５３、顔特徴保持部５４、照合演算部５５、判別部５６、結果出力部５７を有している。なお、人物判別部２９は、統括制御部３３のＣＰＵがプログラムに従って実行することによって実現されるものであっても良い。

顔領域検出部５１は、画像処理部２８により入力された画像から人物の顔領域を検出する。顔特徴抽出部５２は、顔領域検出部５１により検出された顔領域内の顔の特徴情報を抽出する。

個人顔特徴作成部５３は、あらかじめ男女別の幅広い年齢層の人物から個人の顔の特徴情報を作成する。顔特徴保持部５４は、個人顔特徴作成部５３により作成された複数の個人顔特徴情報を、当該個人顔特徴情報を取得した人物の年齢情報および性別情報と対応させて記憶（保持）している。

照合演算部５５は、顔特徴抽出部５２により抽出された顔特徴情報と顔特徴保持部５４に保持された複数の個人顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度および当該所定値以上の類似度が得られた個人顔特徴情報に対応させて顔特徴保持部５４に保持されている年齢情報および性別情報を出力する。

判別部５６は、照合演算部５５から出力された類似度および年齢、性別情報から当該人物の年齢および性別を判別する。そして、結果出力部５７は、判別部５６の判別結果を出力する。

また、図１及び図３に示すように、アシスト装置３の筐体２１の一部に動作機構４０が形成されており、動作制御部３１は、動作機構４０の駆動を制御する。ここで、動作機構４０は、例えば羽形状の構造体であって、動作制御部３１の制御によって上下方向に羽ばたく動作を実行することが可能である。

スピーカ２５は、ユーザに対し音声によるメッセージや報知音等を出力する。通信部２６は、情報提供制御部１１との間で相互に情報のやり取りを行うために設けられている。マイク２４は、アシスト装置３の周囲の音や人物の発する声を集音する。操作部２７は、スピーカ２５より出力される情報などに基づいて、ユーザがキー操作により情報を入力するためのものである。

音声認識部３０は、マイク２４を介して入力された音声信号を入力として、集音された人物の音声と対応する文字や単語列の音声認識結果を生成する。音声認識部３０は、マイク２４を介して入力された音声信号に対して言語辞書との比較を行うことにより利用者の発話内容を認識する。なお、音声認識部３０は、日本語、英語、中国語の３カ国語にそれぞれ対応して、言語毎の辞書（日本語辞書、英語辞書および中国語辞書）を記憶する辞書メモリを備える。

記憶部３２には、情報提供装置２の操作をアシストするための情報を記憶する音声ガイダンス６０やコンテンツ７０が記憶されている。図５は、音声ガイダンス６０の一例を示す模式図である。図５に示すように、音声ガイダンス６０は、各種処理を実行するためのユーザ操作をアシストするためのものであってガイダンス番号がそれぞれ付与された一つの音声ガイダンス情報について日本語、英語、中国語の３カ国語を設定している。例えば、日本語で「こんにちは。ＩＣカードをタッチするとクーポンが出るよ！」という音声ガイダンス情報に対して、英語および中国語に翻訳した音声ガイダンス情報も設定されている。同様に、コンテンツ７０は、ユーザに対して宣伝するためのものであってコンテンツ番号がそれぞれ付与された一つの宣伝コンテンツ情報について日本語、英語、中国語の３カ国語を設定している。なお、音声ガイダンス情報や宣伝コンテンツ情報は、テキスト情報を音声信号に変換する音声合成処理を施すものであっても良いし、予め用意した音声信号を再生するものであっても良い。なお、音声合成の技術は、すでに確立しており、そのソフトウェアも市販されているので、その説明は省略する。

なお、音声合成処理にあたっては、判別部５６で判別されて結果出力部５７から出力された人物の年齢および性別（人物の属性）にあわせて、口跡（声色や言い回しなど）を変えるようにしても良い。音声合成処理によれば、声色に合わせた言い回しを容易に設定・変更できる。例えば、男性には女性の声、女性には子供の声で話しかけることでより注目度をあげ、親和性の高いものにする。図６に、人物の年齢および性別（人物の属性）にあわせた声色や言い回しの設定の一例を示す。

このように人物の年齢および性別（人物の属性）にあわせて、音声ガイダンス情報や宣伝コンテンツ情報の声色や言い回しを変えるのは、音声合成処理に限らず録音音声でもできるが、作業およびデータが膨大になる。

次に、情報処理装置１が実行する機能について説明する。前述したように、この情報処理装置１は、顧客と対面した状態で、案内、宣伝、勧誘、応答などを３ヶ国語の言語で行う情報端末（サイネージ）である。従来、複数の言語に対応可能な情報処理装置１では、使用する言語を選択したうえで、その選択した言語で案内、宣伝、勧誘、応答を開始する。すなわち、このような情報処理装置１において、言語の選択を音声入力で行おうとする場合には、例えば、現在設定されている英語から日本語に言語を変更する場合には、英語を発声することによって日本語に変更することになる。

ところで、このような場合、英語の話せない顧客は言語を英語から日本語に変更することができなくなる。また、顧客の発音が明瞭でない場合には、入力音声を誤認識する可能性が高くなり、言語を変更できないという問題がある。

そこで、情報処理装置１は、図７に示すように、一定の待ち時間を含むインターバルで言語（例えば、日本語、英語、中国語の３カ国語）を切替え、利用者が反応したときの最後の言語を使用してその後の案内、応答を行うようにしたものである。

ここで、図８は言語切替処理における機能構成を示す機能ブロック図、図９は言語切替処理の流れを示すフローチャートである。

アシスト装置３の統括制御部３３のＣＰＵで実行されるプログラムは、図８に示すような各部（情報出力手段８１、応答検出手段８２、処理言語確定手段８３、切替受付手段８４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭからプログラムを読み出して実行することにより上記各部がＲＡＭ上にロードされ、情報出力手段８１、応答検出手段８２、処理言語確定手段８３、切替受付手段８４がＲＡＭ上に生成されるようになっている。

図９のフローチャートに示すように、情報出力手段８１は、人物判別部２９が人物を判別した場合や操作部２７からユーザのキー操作を受け付けた場合などにより、音声ガイダンスの開始を判断すると（ステップＳ１のＹｅｓ）、所定のガイダンス番号（開始時は、“１”）が付与された音声ガイダンス情報を音声ガイダンス６０から取得する（ステップＳ２）。

その後、情報出力手段８１は、音声ガイダンス情報中の日本語、英語、中国語の３カ国語のガイダンスを一定のインターバル時間間隔で切り替えてスピーカ２５から出力するとともに、３カ国語の音声ガイダンスの切替えに合わせて音声認識部３０の辞書（日本語辞書、英語辞書および中国語辞書）を切り替える（ステップＳ３〜Ｓ１４）。ここで、言語を切り替える一定の待ち時間を含むインターバルは、約１０秒に設定する。このようにインターバルに一定の待ち時間を含めるのは、音声ガイダンスによる案内後の所定時間を利用者のための応答時間として確保するためである。

なお、インターバル時間は、操作部２７からユーザのインターバル時間設定ボタンのキー操作を受け付けることなどにより、変更可能である。例えば、英語はあまり話せないが語学学習的な意味合いで英語による応答したような場合には、応答のタイミング長くするようにインターバル時間を長くすることができる。

応答検出手段８２は、上述したような一定の待ち時間を含むインターバルで言語を切替えている際に、利用者が音声ガイダンスに反応して当該音声ガイダンスの言語に応じた応答を返すことによって音声認識部３０で音声が認識されたと判断した場合には（ステップＳ５のＹｅｓ、ステップＳ９のＹｅｓ、ステップＳ１３のＹｅｓ）、当該音声認識された言語を利用者が理解可能な言語であると判断する。

そして、処理言語確定手段８３は、応答のあった言語に応じた音声認識部３０の辞書（日本語辞書、英語辞書または中国語辞書）を設定し、当該言語を使用して処理（例えば、案内や応答など）を実行する（ステップＳ１５）。例えば、処理言語確定手段８３は、応答した音声ガイダンス以後のガイダンス番号が付与された音声ガイダンス情報を順次取得して出力する。

ところで、ステップＳ１５における言語を使用した処理には、宣伝も含まれる。このような宣伝においては、人物の年齢および性別（人物の属性）にあわせて、声色や言い回しを変えるとともに宣伝コンテンツを変えるのが効果的である。そこで、実施形態の情報処理装置１においては、判別部５６で判別されて結果出力部５７から出力された人物の年齢および性別（人物の属性）にあわせて宣伝コンテンツを選択し、選択した宣伝コンテンツのテキストに基づく音声を音声合成処理によって生成する。例えば、若い女性には流行ファッションの宣伝、年配の男性には定番ブランドスーツの専門店の宣伝など、需要見込みがあるものを宣伝する。図１０に、人物の年齢および性別（人物の属性）にあわせた宣伝コンテンツの設定の一例を示す。

ステップＳ１５の処理は、ガイダンスや宣伝の終了指示があるまで（ステップＳ１６のＹｅｓ）または言語切り替えの指示があるまで（ステップＳ１７のＹｅｓ）、繰り返される。統括制御部３３のＣＰＵは、ガイダンスや宣伝の終了指示があると、ステップＳ１の音声ガイダンスの開始の待ち受けに戻る。ガイダンスや宣伝の終了指示は、一定時間応答が無くなった場合でも良いし、カメラ部２３で撮像した画像から人物判別部２９で人物の判別ができなくなった場合でも良いし、操作部２７からユーザの応答終了ボタンのキー操作を受け付けた場合でも良いし、音声認識部３０がキーワード（「バイバイ」など）を認識した場合でも良い。

また、ガイダンスや宣伝の終了指示がある前に（ステップＳ１６のＮｏ）、切替受付手段８４が操作部２７からユーザの言語切り替えボタンのキー操作を受け付けた場合などには（ステップＳ１７のＹｅｓ）、情報出力手段８１は、切り替え指示の際に出力されていた音声ガイダンスに対応する音声ガイダンス情報や宣伝コンテンツに対応する宣伝コンテンツ情報を取得し（ステップＳ１８）、日本語、英語、中国語の３カ国語のガイダンスや宣伝コンテンツを一定のインターバル時間間隔で切り替えてスピーカ２５から出力するとともに、３カ国語の音声ガイダンスや宣伝コンテンツの切替えに合わせて音声認識部３０の辞書（日本語辞書、英語辞書および中国語辞書）を切り替える（ステップＳ３〜Ｓ１４）。

なお、実施形態の情報処理装置１においては、情報提供装置２の操作をアシストするためのガイダンスや宣伝コンテンツを日本語、英語、中国語の３カ国語の音声で提示するようにしたが、これに限るものではなく、情報提供装置２の操作をアシストするためのガイダンスや宣伝コンテンツを日本語、英語、中国語の３カ国語のテキストで例えば表示装置５に表示するようにしても良い。このように情報提供装置２の操作をアシストするためのガイダンスや宣伝コンテンツをテキストで表示装置５に表示するような場合には、利用者はタッチパネル６や音声応答で情報のリクエストをすることができる。また、情報提供装置２の操作をアシストするためのガイダンスや宣伝コンテンツをテキストで表示装置５に表示するような場合には、確保されたインターバル時間の間だけタッチパネル６上にボタンを表示したり、色を変えて表示したりするなどして、そのときの言語の音声認識を動作させる。

また、情報提供装置２の操作をアシストするためのガイダンスや宣伝コンテンツについて、音声での提示とテキストでの表示とを併用するようにしても良い。また、音声での提示とテキストでの表示とを併用する場合には、音声での提示とテキストでの表示との間で言語を変えるようにしても良い。例えば、日本語によってガイダンスや宣伝コンテンツを音声提示し、英語によってガイダンスや宣伝コンテンツをテキスト表示する。

また、実施形態の情報処理装置１においては、判別部５６で判別されて結果出力部５７から出力された人物の年齢および性別（人物の属性）にあわせて、音声ガイダンスや宣伝コンテンツの声色や言い回しを変えるとともに、宣伝コンテンツを選択するようにしたが、これに限るものではない。例えば、情報出力手段８１は、判別部５６で判別されて結果出力部５７から出力された人物の年齢および性別（人物の属性）にあわせてアシスト装置３の筐体２１の一部に形成された動作機構４０の動作を動作制御部３１を制御することで変えるようにしても良い。このように人物の属性に応じて動きによる演出効果を行うことで、来店者誘導と集客力の向上を図ることができる。

このように本実施形態によれば、各種処理を実行するためのユーザ操作をアシストするために、複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段８１と、各言語を切り替えながらガイダンス情報を出力している際に、ガイダンス情報に対する応答を検出する応答検出手段８２と、ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段８３と、を備えることにより、日本語、英語、中国語の３ヶ国語の音声ガイダンスから、利用者の理解可能な言語に合わせた音声ガイダンスを特別な選択操作をさせることなく選択することができる。

また、本実施形態によれば、情報処理装置１の周囲の状況を撮像した画像から当該情報処理装置１に対面する人物の属性を判別する属性判別手段２９と、各種処理を実行するためのユーザ操作をアシストするための音声によるガイダンス情報を、属性判別手段２９によって判別された人物の属性に応じて口跡を変化させて出力する情報出力手段８１と、を備えることにより、人物の年齢および性別（人物の属性）を認識して音声や動きによる演出効果を行うことで、来店者誘導と集客ＵＰが行えるので、効果的な情報提示を行うことができる。

１ 情報処理装置
２９ 属性判別手段
４０ 動作機構
８１ 情報出力手段
８２ 応答検出手段
８３ 処理言語確定手段
８４ 切替受付手段

特開２００１−８３９９１号公報

Claims (6)

1. 人物の年齢および性別からなる人物の属性を判別する判別手段と、
   複数の言語で設定され、前記判別手段で判別された人物の属性に合わせたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、
   前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、
   前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、
   を備える情報処理装置。
2. 前記応答検出手段は、前記ガイダンス情報に対する応答を、言語辞書を用いた音声認識によって検出し、
   前記処理言語確定手段は、前記応答を検出した言語に応じて前記言語辞書を切り替える、
   請求項１記載の情報処理装置。
3. 前記応答検出手段は、前記ガイダンス情報に対する応答を、ユーザ操作に応じて検出する、
   請求項１記載の情報処理装置。
4. 前記情報出力手段は、前記各言語を切り替える時間間隔を任意に設定可能である、
   請求項１記載の情報処理装置。
5. 前記処理言語確定手段による前記言語の確定後に、前記言語の切り替え指示を受け付ける切替受付手段を更に備え、
   前記情報出力手段は、前記処理言語確定手段による前記言語の確定後に、前記切替受付手段により前記言語の切り替え指示を受け付けた場合、切り替え指示の際に出力されていた前記ガイダンス情報について、一定の時間間隔で前記各言語を切り替えながら出力する、
   請求項１記載の情報処理装置。
6. コンピュータを、
   人物の年齢および性別からなる人物の属性を判別する判別手段と、
   複数の言語で設定され、前記判別手段で判別された人物の属性に合わせたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、
   前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、
   前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、
   として機能させるプログラム。

Images