JP5710464B2

JP5710464B2 - 電子機器、表示方法、およびプログラム

Info

Publication number: JP5710464B2
Application number: JP2011287007A
Authority: JP
Inventors: 祥恵横山; 筒井　秀樹; 秀樹筒井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2015-04-30
Anticipated expiration: 2031-12-27
Also published as: JP2013137584A; US20130166300A1

Description

本発明の実施形態は、webページ処理方法、ブラウザ操作方法に係わる電子機器、表示方法、およびプログラムに関する。

webサイトを表示可能なテレビが販売されている。また、音声操作でブラウジングが可能な先行技術がある。例えば画面内の操作可能な物にすべて番号付けを行い、番号で操作対象を選択させるものや、発話のコマンド体系が決まっており、それに沿った発話で操作させるものといった種類がある。しかしながら両者とも、webページのコンテンツに対して、描画位置を指定した操作やユーザが思った通りの発話によって操作を行うことはできない。

また、複数のウェブページから指定のページを優先的に表示させるための工夫をしたものもある。操作対象を絞り込む際にあらかじめページごとのインデックスを生成しておき、ユーザからの入力によってそのインデックスに検索処理を施し、最終的に操作対象を決定するというものである（例えば、特許文献１参照。）。

即ち、表示画面内の対象の描画位置を指定した発話による操作への要望があるが、かかる要望を実現するための手段は知られていない。

特開２０１０−１９８３５０号公報

本発明の実施の形態は、表示画面内の対象の描画位置を指定した発話による操作をすることができる技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば電子機器は、ユーザの音声を認識し解析する音声認識・認識結果解析部と、解析された前記音声により画面上の対象とこの対象に関する操作を決定する操作決定部と、前記操作を実行する操作部とを備えた。

実施形態の電子機器のシステム構成の一例を示すブロック図。同実施形態の要部を示す機能ブロック構成図。同実施形態の操作決定部におけるフローチャート。同実施形態の一例を示すユーザの発話内容(入力)とwebコンテンツへの操作（出力）のイメージ。

以下、実施の形態について図面を参照して説明する。

図１は、実施形態の電子機器のシステム構成を示すブロック図である。この電子機器は、例えば映像表示装置１０として実現される。また、この電子機器は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スレートＰＣ、テレビジョン受信機、映像データを保存するためのレコーダ（例えば、ハードディスクレコーダ、ＤＶＤレコーダ、セットトップボックス）、ＰＤＡ、カーナビゲーション装置、スマートフォン等として実現され得る。

映像表示装置１０は、操作信号受信部１１、制御部１２、ネットワークＩ／Ｆ部１３、Ｗｅｂ情報解析部１４、Ｗｅｂ情報統合画面生成部１５、記憶部１６、装置内情報取得部１８、キー情報取得部１９、表示画面特定部２０、表示データ出力部２１、および音声入力部２２等を備えている。

操作信号受信部１１は、リモートコントローラ４０から送信された、ユーザによって操作されたボタンに応じた操作信号を受信し、受信した操作信号に応じた信号を制御部１２に出力する。なお、リモートコントローラ４０にはＷｅｂ情報統合画面の表示を指示するための表示指示ボタンが設けられており、表示指示ボタンが操作された場合に、リモートコントローラ４０は、表示指示信号を送信する。操作信号受信部１１が表示指示受信信号を受信すると、表示指示受信信号を制御部１２に送信する。なおリモートコントローラ４０は、映像表示装置１０を音声を入力するモードにするために対話的に用いても良いし、この機能は他の手段によってもよい。

ネットワークＩ／Ｆ部１３は、インターネット上のＷｅｂサイトと通信を行って、Ｗｅｂページデータを受信する。Ｗｅｂ情報解析部１４は、ネットワークＩ／Ｆ部１３によって受信されたＷｅｂページデータを解析し、表示画面上に表示される文字や画像などオブジェクトの配置を計算する。

Ｗｅｂ情報統合画面生成部１５は、Ｗｅｂ情報解析部１４の解析結果とリモートコントローラ４０の操作に基づいた操作信号に基づいて、Ｗｅｂ情報統合画面を生成する。表示画面上に表示されるＷｅｂ情報統合画面の一例を図４に示す。図４で示すように、Ｗｅｂ情報統合画面内には、複数の文字や画像などのオブジェクトが画面に配置されている。

Ｗｅｂ情報統合画面生成部１５は、生成したＷｅｂ情報統合画面のＷｅｂ情報統合画面データ（Ｗｅｂサイトのアドレス、配置位置等）を記憶部１６に格納する。なお、記憶部１６は複数のＷｅｂ情報統合画面データを格納することが可能である。Ｗｅｂ情報統合画面データは、複数のＷｅｂページから生成されることもあれば、単一のＷｅｂページから生成されることもある。また、ＷｅｂページそのものをＷｅｂ情報統合画面と同等のものとすることも可能である。

制御部１２は、操作信号受信部１１から送信された表示指示受信信号を受信すると、放送データ受信部１７および表示画面特定部２０にＷｅｂ情報統合画面を表示させるための表示命令を送信する。

装置内情報取得部１８は、表示命令の受信に応じて、受信した放送データに重畳されているＥＰＧ（Electronic Program Guide）データから、現在受信している番組の名称（番組名）を抽出し、番組名を表示画面特定部２０に送信する。

キー情報取得部１９は、記憶部１６に格納されているＷｅｂ情報統合画面データからキー情報を取得する。キー情報取得部１９は、取得したキー情報をＷｅｂ情報統合画面データに対応づけて記憶部１６に格納する。キー情報は、例えばサイト名である。

表示データ出力部２１は、Ｗｅｂ情報統合画面データを受信すると、Ｗｅｂ情報統合画面データに基づいたＷｅｂページの受信をネットワークＩ／Ｆ部１３に命令する。Ｗｅｂ情報解析部１４は、ネットワークＩ／Ｆ部１３によって受信されたＷｅｂページデータを解析し、表示画面上に表示される文字や画像などオブジェクトの配置を計算する。Ｗｅｂ情報統合画面生成部１５は、Ｗｅｂ情報解析部１４の解析結果とＷｅｂ情報統合画面データとに基づいて、１以上のＷｅｂページまたはＷｅｂクリップが配置されたＷｅｂ情報統合画面を表示するためのデータを生成する。表示データ出力部２１は、生成されたデータに基づいてディスプレイ３０の表示画面上に表示するための表示データを生成する。

図２は、実施形態の要部を示す機能ブロック構成図である。音声認識部２１０、認識結果解析部２０１、操作決定部２００、DOM操作部２０８、DOM管理部２０９、画面出力部２２０および対話部２３０を含んで構成されている。

音声認識部２１０は、図示せぬマイクやアンプを含む音声入力部２２と制御部１２などから構成される。認識結果解析部２０１は、主に制御部１２に拠る。操作決定部２００は、操作信号受信部１１と制御部１２などから構成される。DOM操作部２０８は、主に制御部１２に拠る。DOM管理部２０９は、主に記憶部１６に拠る。画面出力部２２０は、主に表示データ出力部２１に拠る。対話部２３０は、リモコン４０と操作信号受信部１１と制御部１２、表示データ出力部２１などに拠る。

音声認識部２１０は、音声入力部２２に入力され増幅や例えば場合によりFFTなどの手法を用いて時間領域から周波数領域への変換がされた音声信号を、制御部１２で文字情報へと圧縮するものである。この文字情報を用いて認識結果解析部２０１は、文字列を出力する。操作決定部２００を中心とする各部の連携動作については、図３のフローチャートの説明において後述する。

ここで、DOM（Document Object Model）とDOMメンバについて簡単に説明しておく。DOMは、xmlやhtmlの各要素、例えば<p<や<img>といった類の要素にアクセスする仕組みといえる。このDOMを操作することによって、要素の値をダイレクトに操作できる。例えば<p>の中身のテキストを変更したり、のsrcの中身を変更して別の画像に差し替えるといったことを可能とする。まとめると文書オブジェクトモデル(DOM)とは、HTML文書およびXML文書のためのアプリケーション=プログラミング=インターフェイス(API)である。これは、文書の論理的構造や、文書へのアクセスや操作の方法を定義するものである。

DOMメンバと処理内容に関しては、後述の操作ルールDBには例えば以下のような処理ルールが複数登録されている。

（L）リンク … URLを開く
（T）テキストボックス … 引数の文字列を入力
（B）ボタン … テキストボックスに入力された文字列を引数にデータ送信
さて図３は、本提案の実施例である音声操作ブラウザにおいて、ユーザ発話の認識結果を解析した文字列cを入力とし、HTML言語で記述されたwebページ内のDOMメンバへの操作内容を出力とする操作決定部２００の処理を説明するフローチャートである。

まずステップ201では音声認識結果を形態素解析するなどして1個以上の単語を取得済みなことを前提としている。

音声認識の解析結果の文字列c(201a)について、ステップ202にて「入力欄」「絵」「リンク」などと操作対象であるDOMメンバを特定可能である文字列が含まれているか否かを判定する。たとえば「入力欄」という文字列が含まれていれば、ステップ203にて表示ページ中のDOMメンバのうち <input>要素のtype属性が”textbox”であるオブジェクトを配列Array1として取得し、ステップ205へとぶ。

またステップ204にて、文字列cに、描画位置を指定するための「上」「下」「左」「右」「中」などの語彙が含まれているか否かを判定する。含まれていれば、それを位置情報p(204a)とする。ステップ205にて、Array1の操作対象候補のうち、位置情報pに合致するものが含まれているものを取得する。

ステップ206にて、操作対象候補が１つに絞られれば、ステップ209で別途保持している操作ルールDB（DOM管理部２０９の内容の一つ）に照合し、ステップ209aで操作対象のDOMメンバとその処理内容を出力し、DOM操作部２０８の入力とする。この操作ルールDBには、操作対象のDOMメンバの要素の種類と要素ごとの操作内容が記述されており、例えば <a>要素の場合、「href属性の文字列を入力として新規ページをロードする」といった処理内容を操作ルールとして定義してある。

ステップ204、ステップ206において条件に合致しない場合は、ステップ207にて新規のユーザ発話を指示する表示を行う。

図４は、実施形態の一例を示すユーザの発話内容(入力)とwebコンテンツへの操作（出力）のイメージである。ページ表示範囲の画像のうち相対的に左に描画されているものにフォーカスし、拡大を行う。これはWeb情報解析部１４がレンダリングエンジンとして機能し、またWeb情報統合画面生成部１５がブラウザ表示部として機能することによって、実現されている。具体的には、「左の絵を大きく！」との発話による音声認識と解析後にこれらの機能が実行される（図４（ａ）の左の絵の表示状態から図４（ｂ）の左の絵の表示状態への移行）。

以上説明した実施例によれば音声を用いたブラウザ操作時に、webページに含まれるリンクやボタンやテキストボックスなどの操作対象について、ユーザ視点で見えている情報を用いることで、見たままの情報を含む自然な発話での操作(例えばwebサーフィン)を可能にする。即ち実施形態の効果として、webページのコンテンツに対して、描画位置を指定した操作やユーザが思った通りの発話によって操作を行うことができる。コンテンツ中の言語情報だけに依存せず、視覚情報である描画位置を利用して、ユーザ視点から以下のような自然な発話での操作を可能とする。

（１）既存デバイス（マウス＋キーボード）の入力によって実現しているwebサーフィンを音声入力で行うための技術であり、ユーザにとって見えている情報であるページ内での描画位置を使って操作対象を特定することにより、コマンド体系に縛られない自然な発話での操作を可能とする。

（２）1回の発話から、webサーフィン時の操作内容を限定するための複数の情報を抽出可能なため、従来デバイスでの操作に比べ操作ステップ数を大きく減らすことが可能になる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０映像表示装置
１１操作信号受信部
１２制御部
１３ネットワークＩ／Ｆ部
１４Ｗｅｂ情報解析部
１５情報統合画面生成部
１６記憶部、
１８装置内情報取得部
１９キー情報取得部
２０表示画面特定部
２１表示データ出力部
２２音声入力部
３０ディスプレイ
４０リモートコントローラ
２００操作決定部
２０１認識結果解析部
２０８ DOM操作部
２０９ DOM管理部
２１０音声認識部
２２０画面出力部
２３０対話部

Claims

ユーザの音声を認識する認識部と、
前記認識部において認識された前記音声を用いて、画面上の対象とこの対象に対する操作を決定し、当該決定した操作を実行する制御部と
を備え、
前記画面がウェブページの一部のみを表示可能であり、
前記制御部は、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記認識部において認識された音声に位置に関する情報と操作に関する情報と前記ウェブページに含まれる要素に関する情報とが含まれる場合に、当該位置に関する情報と、当該要素に関する情報と、前記ウェブページに含まれる１以上のコンテンツが前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて前記対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
電子機器。
前記操作はDOM（Document Object Model）に基づいて実行する請求項１に記載の電子機器。
更に前記画面を備えた請求項１または２に記載の電子機器。
前記制御部は、前記認識部において認識された音声に対象の種別に関する情報が含まれる場合に、当該対象の種別に関する情報に応じて対象を決定する、
請求項１から３のいずれかに記載の電子機器。
電子機器の表示方法であって、
ユーザの音声を認識する認識ステップと、
前記認識ステップにおいて認識された前記音声を用いて、画面上の対象とこの対象に対する操作を決定し、当該決定した操作を実行する制御ステップと
を含み、
前記画面がウェブページの一部のみを表示可能であり、
前記制御ステップでは、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記認識ステップにおいて認識された音声に位置に関する情報と操作に関する情報と前記ウェブページに含まれる要素に関する情報とが含まれる場合に、当該位置に関する情報と、当該要素に関する情報と、前記ウェブページに含まれる１以上のコンテンツが前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて前記対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
表示方法。
ユーザの音声を認識する認識ステップと、
前記認識ステップにおいて認識された前記音声を用いて、画面上の対象とこの対象に対する操作を決定し、当該決定した操作を実行する制御ステップと
を電子機器に実行させるプログラムであって、
前記画面がウェブページの一部のみを表示可能であり、
前記制御ステップでは、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記認識ステップにおいて認識された音声に位置に関する情報と操作に関する情報と前記ウェブページに含まれる要素に関する情報とが含まれる場合に、当該位置に関する情報と、当該要素に関する情報と、前記ウェブページに含まれる１以上のコンテンツが前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて前記対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
プログラム。