JP5790568B2 - メッセージ装飾入力システム - Google Patents

Description

本発明は、メッセージ装飾入力システムに関する。

ユーザの画像及びメッセージ中のキーワードから特殊文字（絵文字）を自動で抽出するメッセージ作成支援装置が開示されている（特許文献１参照）。このメッセージ作成支援装置において、抽出された特殊文字の中からユーザが所望の特殊文字を選択操作することで、その特殊文字がメッセージに加えられる。

特開２０１１−４３９３８号公報

特許文献１記載の装置では、抽出された特殊文字をユーザが視認した上で、特殊文字を選択する操作を行わなければ、特殊文字をメッセージ中に入力することができない。そのため、ユーザが入力画面を見たり、入力操作を行うことが困難である状況においては、特殊文字をメッセージ中に入力することができない。

本発明は以上の点に鑑みなされたものであり、メッセージ装飾を容易に入力できるメッセージ装飾入力システムを提供することを目的とする。

本発明のメッセージ装飾入力システムは、メッセージを作成するユーザの顔画像を取得する顔画像取得手段と、前記顔画像から前記ユーザの感情情報を取得し、前記感情情報に基づいて前記メッセージを修飾するメッセージ装飾を抽出するメッセージ装飾抽出手段と、前記メッセージ装飾抽出手段により抽出された前記メッセージ装飾を前記メッセージ内に入力するメッセージ装飾入力手段とを備える。

本発明のメッセージ装飾入力システムによれば、ユーザは、ユーザの顔（例えばユーザの感情が表れた顔）に応じたメッセージ装飾を、メッセージ内に容易に入力できる。

メッセージ装飾入力システム１の構成を表す説明図である。 メッセージ装飾入力システム１が実行するメイン処理を表すフローチャートである。 メッセージ装飾入力システム１が実行する感情判定処理を表すフローチャートである。 メッセージ装飾入力システム１が実行するメッセージ装飾抽出処理を表すフローチャートである。 メッセージ装飾入力システム１が実行するカテゴリ等変更処理を表すフローチャートである。 ドライバ１０１の顔におけるＡＵ（Action Unit）を表す説明図である。 データベースＢを表す説明図である。

本発明の実施形態を図面に基づいて説明する。
１．メッセージ装飾入力システム１の構成
メッセージ装飾入力システム１の構成を、図１に基づいて説明する。メッセージ装飾入力システム１は、車両に搭載される車載装置であり、メッセージ作成部１０３により作成されるメッセージに、メッセージ装飾を入力する。メッセージ作成部１０３は、ドライバ１０１のキーボード入力、タッチパネル入力、ドライバ１０１の音声の認識等により、メッセージを電子的に作成できる周知の構成（例えば、携帯端末、携帯電話等）である。

メッセージ装飾入力システム１は、カメラ（顔画像取得手段）３、特徴量抽出部（メッセージ装飾抽出手段）５、感情判定部（メッセージ装飾抽出手段）７、記憶部９、メッセージ装飾抽出部（メッセージ装飾抽出手段、カテゴリ選択手段）１１、記憶部１２、記憶部１３、メッセージ装飾入力部（メッセージ装飾入力手段）１５、インタフェース部（送信先検出手段）１７、マイク１９、音声認識部２１、カテゴリ等変更部２３、及び顔表情作成部（メッセージ装飾抽出手段）２５を備える。

カメラ３は、車両のステアリングコラムに設置され、ドライバ（ユーザ）１０１の顔を撮像し、その顔画像を取得する。
特徴量抽出部５は、カメラ３により撮影されたドライバ１０１の顔画像から、予め設定された特徴量（ＡＵ）を画像処理によって抽出する。なお、その詳細は後述する。

感情判定部７は、特徴量抽出部５により抽出された特徴量（ＡＵ）から、ドライバ１０１の感情を判定し、感情情報を作成する。なお、その詳細は後述する。
記憶部９は、感情判定部７が感情を判定する際に参照するデータベースＡを記憶している。

メッセージ装飾抽出部１１は、ドライバ１０１の感情情報と、後述するカテゴリとに基づき、メッセージ装飾を抽出する。すなわち、メッセージ装飾抽出部１１は、特徴量抽出部５及び感情判定部７とともに、ドライバ１０１の顔画像に基づいて、メッセージ装飾を抽出する。

記憶部１２は、メッセージの送信先（アドレス）と、記憶部１３に記憶されているデータベースＢのカテゴリとを関連付けたマップを記憶している。
記憶部１３は、メッセージ装飾抽出部１１がメッセージ装飾を抽出する際に参照するデータベースＢを記憶している。このデータベースＢの概略を図７に示す。データベースＢには、メッセージ装飾の要素である顔文字（又は絵文字）、アバター（アバター特徴変位量）、背景色、文字色が記憶されている。

ここで、アバターとは、人、動物、ロボット等の形態を模した、少なくとも顔を有するキャラクターであり、顔文字や絵文字と同様に、メッセージ中に挿入可能なものである。また、背景色とは、メッセージの背景の色であり、「背景色あり」とは、メッセージの背景の色を、メッセージ装飾がない場合の色（例えば白）とは異なる色にすることを意味し、「背景色なし」とは、メッセージの背景の色を、メッセージ装飾がない場合の色とすることを意味する。また、文字色とは、メッセージを構成する文字の色であり、「文字色あり」とは、文字の色を、メッセージ装飾がない場合の色（例えば黒）とは異なる色にすることを意味し、「文字色なし」とは、文字の色を、メッセージ装飾がない場合の色にすることを意味する。

データベースにおいて、顔文字は、各感情（喜び、悲しみ等）に対応するものがそれぞれ存在する。また、アバターは、ドライバ１０１の顔表情を反映した顔表情を有する。すなわち、特徴量抽出部５において後述する方法で抽出された特徴量を、アバターの顔に適用することにより、アバターの顔表情は、ドライバ１０１の顔表情を反映したものとなる。また、ドライバ１０１の顔から抽出した特徴量に対する、アバターの顔における特徴量の倍率（以下、アバター特徴変位量とする）は、一定ではなく、０．５〜２．０倍の範囲で変更できる。このアバター特徴変位量が大きいほど、アバターの表情の変化が大きい（アバターの顔が表す感情強度が強い）。

データベースＢは、Ｋ１、Ｋ２、Ｋ３の３つのカテゴリに分類されている。このカテゴリは、メッセージ作成部１０３で作成されるメッセージの送信先の属性（「友人・後輩」、「先輩」、「上司」）と対応付けられている。３つのカテゴリは、それぞれ、そのカテゴリに特有の顔文字、アバター特徴変位量、背景色、文字色を有する。３つのカテゴリを比較すると、Ｋ１＞Ｋ２＞Ｋ３の順に、メッセージ装飾が、より強調された（感情強度が強い）ものになっている。

カテゴリＫ１は、さらに、Ｋ１ａ、Ｋ１ｂ、Ｋ１ｃに区分され、各区分ごとに、特有の顔文字、アバター特徴変位量を有する。３つ区分を比較すると、Ｋ１ａ＞Ｋ１ｂ＞Ｋ１ｃの順に、メッセージ装飾が、より強調された（感情強度が強い）ものになっている。

カテゴリＫ２は、さらに、Ｋ２ａ、Ｋ２ｂに区分され、各区分ごとに、特有の顔文字、アバター特徴変位量を有する。２つ区分を比較すると、Ｋ２ａ＞Ｋ２ｂの順に、メッセージ装飾が、より強調された（感情強度が強い）ものになっている。

メッセージ装飾入力部１５は、メッセージ作成部１０３において作成中のメッセージに、メッセージ装飾抽出部１１が抽出したメッセージ装飾を入力する。
インタフェース部１７は、メッセージ作成部１０３において作成中のメッセージ、及びその中に入力されたメッセージ装飾を視覚的及び聴覚的に（音声により）表示する。また、インタフェース部１７は、メッセージ作成部１０３において作成中のメッセージの送信先を検出する。

マイク１９は、ドライバ１０１が発する音声を取得する。
音声認識部２１は、取得されたドライバ１０１の音声から、所定のコマンド内容を認識する。

カテゴリ等変更部２３は、認識されたコマンド内容に応じて、カテゴリ、又は、後述する、顔文字／アバター設定を変更する。
顔表情作成部２５は、ドライバ１０１の顔表情を反映したアバターを作成する。詳しくは後述する。

２．メッセージ装飾入力システム１が実行する処理
メッセージ装飾入力システム１が実行する処理を、図２〜図７に基づいて説明する。メッセージ装飾入力システム１は、メッセージ作成部１０３においてメッセージを作成している期間中、図２に示す処理を所定時間ごとに繰り返し実行する。図２のステップ１では、ドライバ１０１の感情を表す感情情報を、ドライバ１０１の顔画像に基づいて取得する感情判定処理を実行する。この感情判定処理を図３に基づいて説明する。図３のステップ１１では、カメラ３によって、ドライバ１０１の顔画像を、所定時間ごとに繰り返し取得する。

ステップ１２では、特徴量抽出部５が、前記ステップ１１で繰り返し取得したドライバ１０１の顔画像のそれぞれに対して画像解析を行うことで、顔の特徴部（例えば、眉や瞼、口）を抽出し、さらに、時間の経過に伴う特徴部の動き（以下、ＡＵ（Action Unit）とする）を抽出する。ＡＵとしては、表１、及び図６に示すものがある。なお、図６におけるＲ、Ｌは、顔における右、左を意味する。

人の感情と、ＡＵとの間に相関関係があることが知られている（Ekmanの提唱するFacial Action Coding System）。
ステップ１３では、感情判定部７が、前記ステップ１２で抽出したＡＵから、ドライバ１０１の感情を判定する。具体的には、以下のようにする。記憶部９は、ＡＵと感情との対応関係を示すデータベースＡを予め記憶している。このデータベースＡは、例えば、以下のような対応関係を記憶している。

喜び：6R, 6L, 12R, 12L, 25
驚き：1R, 1L, 2R, 2L, 5R, 5L, 25, 27
悲しみ：1R, 1L, 4R, 4L, 15R, 15L, 17
前記ステップ１２で抽出したＡＵをこのデータベースＡに適用することで、ドライバ１０１の感情の種類（喜び、悲しみ等）を判断することができる。また、ＡＵの大きさから、感情の強さを判断することができる。

図２に戻り、ステップ２では、メッセージ装飾抽出部１１が、メッセージ装飾抽出処理を実行する。このメッセージ装飾抽出処理を図４に基づいて説明する。図４のステップ２１では、前記ステップ１３で判定した、ドライバ１０１の感情の種類、及び感情の強さを取得する。

ステップ２２では、まず、インタフェース部１７により、メッセージ作成部１０３にて作成中のメッセージの送信先を検出する。次に、記憶部１２に記憶されている、送信先と、データベースＢのカテゴリとを対応付けるマップを用いて、送信先に対応するカテゴリを選択する。ただし、後述するステップ３７でカテゴリが変更された場合は、その変更後のカテゴリを選択する。また、メッセージの送信先を検出できず、ステップ３７でもカテゴリが設定されていない場合は、カテゴリＫ１を選択する。

ステップ２３では、メッセージ装飾入力部１７が、前記ステップ２２で選択したカテゴリにおいて、前記ステップ２１で取得したドライバ１０１の感情の種類及び強さに対応するメッセージ装飾を抽出する。ここで、メッセージ装飾の抽出に関する設定として、顔文字／アバター設定がある。顔文字／アバター設定には、顔文字は抽出するが、アバターは抽出しないモード（以下、顔文字モードとする）と、アバターは抽出するが、顔文字は抽出しないモード（以下、アバターモード）とがあり、そのうちのいずれか一方が設定される。この顔文字／アバター設定は、後述するステップ５において切り換えられる。

本ステップ２３において、顔文字モードが設定されている場合、前記ステップ２２で選択されたカテゴリにおいて、前記ステップ２１で取得したドライバ１０１の感情の種類及び強さに対応する顔文字と、背景色と、文字色とを抽出する。例えば、選択されたカテゴリがＫ１であり、感情の種類が喜びであり、感情の強さが非常に強い（例えば感情の強さを３段階で規定した場合に最上のランクに属する）ときは、顔文字として、喜びに対応したもののうち、区分Ｋ１ａに属するものが抽出されるとともに、「背景色あり」及び「文字色あり」が抽出される。

また、顔文字モードが設定されている場合、例えば、選択されたカテゴリがＫ２であり、感情の種類が悲しみであり、感情の強さが弱い（例えば感情の強さを２段階で規定した場合に下位のランクに属する）ときは、顔文字として、悲しみに対応したもののうち、区分Ｋ２ｂに属するものが抽出されるとともに、「背景色あり」及び「文字色なし」が抽出される。

また、顔文字モードが設定されている場合、例えば、選択されたカテゴリがＫ３であり、感情の種類が喜びであるときは、顔文字は抽出されず、「背景色なし」及び「文字色なし」が抽出される。

一方、本ステップ２３において、アバターモードが設定されている場合は、まず、前記ステップ２２で選択されたカテゴリと、前記ステップ２１で取得したドライバ１０１の感情の強さとに応じ、顔表情作成部２５により、アバターを作成する。すなわち、データベースＢにおいて、前記ステップ２２で選択されたカテゴリを選び、さらに、選択されたカテゴリがＫ１又はＫ２の場合は、前記ステップ２１で取得したドライバ１０１の感情の強さに基づき、カテゴリ内の１区分（Ｋ１ａ、Ｋ１ｂ、Ｋ１ｃ、Ｋ２ａ、Ｋ２ｂのいずれか）を選択する。そして、データベースＢにおいて、選択したカテゴリ、及び区分に応じたアバター特徴変位量を取得する。

次に、前記ステップ１２で取得した特徴量を、アバターの顔に適用することにより、ドライバ１０１の顔表情を反映したアバターを作成する。このとき、アバター特徴変位量は、上記のように取得した値とする。

最後に、上記のように作成したアバターと、前記ステップ２２で選択されたカテゴリにおいて前記ステップ２１で取得したドライバ１０１の感情の種類及び強さに対応する背景色及び文字色とを、メッセージ装飾として抽出する。

アバターモードが設定されている場合、例えば、選択されたカテゴリがＫ１であり、感情の種類が喜びであり、感情の強さが中程度（例えば感情の強さを３段階で規定した場合に中間のランクに属する）ときは、アバターとして、特徴変位量が１．５倍のものが抽出されるとともに、「背景色あり」及び「文字色あり」が抽出される。

また、アバターモードが設定されている場合、例えば、選択されたカテゴリがＫ２であり、感情の種類が悲しみであり、感情の強さが弱い（例えば感情の強さを２段階で規定した場合に下位のランクに属する）ときは、アバターとして、特徴変位量が０．５倍のものが抽出されるとともに、「背景色あり」及び「文字色なし」が抽出される。

また、アバターモードが設定されている場合、例えば、選択されたカテゴリがＫ３であり、感情の種類が喜びであるときは、アバターは抽出されず、「背景色なし」及び「文字色なし」が抽出される。なお、アバターは、顔表情作成部２５で作成され、メッセージ装飾入力部１７に出力される。

ステップ２３の終了後、図２に戻り、ステップ３では、前記ステップ２３で抽出したメッセージ装飾を、作成中のメッセージ内に入力する。すなわち、前記ステップ２３で顔文字やアバターを抽出した場合は、それをメッセージ中に挿入する。顔文字やアバターを挿入する位置は、メッセージにおいて、最も後ろにある読点の直後である。また、前記ステップ２３で「背景色あり」や、「文字色あり」を抽出した場合は、メッセージの背景色や文字色を変更する。

ステップ４では、前記ステップ３においてメッセージ装飾を加えたメッセージを、インタフェース部１７に画像として表示する。また、前記ステップ３において入力されたメッセージ装飾の種類に対応する音声を出力する。この音声は、前記ステップ２１で取得した感情の種類ごとに異なる音声である。また、この音声は、感情の種類が同じであっても、感情の強さごとに異なる音声である。さらに、この音声は、感情の種類及び強さが同じであっても前記ステップ２２で選択したカテゴリごとに、異なる音声である。

ステップ５では、カテゴリ等変更処理を実行する。この処理を、図５に基づいて説明する。図５のステップ３１では、マイク１９により、ドライバ１０１が発した音声を取得する。

ステップ３２では、前記ステップ４においてメッセージ装飾を加えたメッセージを表示してから所定時間内に前記ステップ３１で取得した音声の中に、カテゴリ変更、又は顔文字／アバター設定の変更を実行するコマンドとなる音声があったか否かを、周知の音声認識技術により判断する。

カテゴリ変更を実行するコマンドとしては、「友人モード」、「先輩モード」、「上司モード」、「強く」、「弱く」、「変更なし」等がある。また、顔文字／アバター設定の変更を実行するコマンドとしては、「顔文字」、「アバター」等がある。

上記のコマンドがあった場合はステップ３３に進み、コマンドが無かった場合は、カテゴリ等変更処理を終了し、図２のステップ６に進む。
ステップ３３では、カテゴリ変更、又は顔文字／アバター設定の変更を実行するコマンドを取得する。

ステップ３４では、前記ステップ３３において取得したコマンドが、顔文字／アバター設定の変更を実行するコマンドであるか否かを判断する。顔文字／アバター設定の変更を実行するコマンドである場合はステップ３５に進み、顔文字／アバター設定の変更を実行するコマンドではない場合はステップ３６に進む。

ステップ３５では、顔文字／アバター設定を、それまでとは反対にする。すなわち、それまで、顔文字モードであった場合は、アバターモードに切り換える。逆に、それまでアバターモードであった場合は、顔文字モードに切り換える。

ステップ３６では、前記ステップ前記ステップ３３において取得したコマンドが、カテゴリの変更を実行するコマンドであるか否かを判断する。カテゴリの変更を実行するコマンドである場合はステップ３７に進み、カテゴリの変更を実行するコマンドではない場合は、カテゴリ等変更処理を終了し、図２のステップ６に進む。

ステップ３７では、コマンドに応じて、カテゴリを変更する。例えば、コマンドが、「友人モード」であった場合は、カテゴリをＫ１に変更し、コマンドが「先輩モード」であった場合はカテゴリをＫ２に変更し、コマンドが「上司モード」であった場合はカテゴリをＫ３に変更する。なお、コマンドが指定するカテゴリが既に選択されている場合は、カテゴリを変更しない。また、コマンドが「変更なし」の場合も、カテゴリを変更しない。

また、コマンドが「強く」であった場合は、同一カテゴリ内においてメッセージ装飾を１段階強い感情強度に変更する（例えば、それまでの感情強度がＫ２ｂであった場合はＫ２ａに変更し、それまでの感情強度がＫ１ｃであった場合はＫ１ｂに変更する）。なお、感情強度がＫ３である場合に、「強く」のコマンドがあっても、感情強度は変更されない。従って、感情強度がＫ３である場合に、感情強度を強くしたい場合には、前述のカテゴリ変更（「Ｋ３：上司モード」）から「Ｋ２：先輩モード」または「Ｋ１：友人モード」に変更）するものとする。

また、コマンドが「弱く」であった場合は、同一カテゴリ内においてメッセージ装飾を１段階弱い感情強度に変更する（例えば、それまでの感情強度がＫ１ａであった場合はＫ１ｂに変更し、それまでの感情強度がＫ２ａであった場合はＫ２ｂに変更する）。なお、感情強度がＫ３である場合に、「弱く」のコマンドがあっても、感情強度は変更されない。また、感情強度がＫ１ｃであった場合に「弱く」のコマンドがあっても、感情強度は変更されない。従って、感情強度がＫ１ｃである場合に感情強度を弱くしたい場合には、前述のカテゴリ変更（「Ｋ１：友人モード」から「Ｋ２：先輩モード」または「Ｋ３：上司モード」に変更）するものとする。

ステップ３７の終了後、図２のステップ６に進む。図２のステップ６では、前記ステップ５において、カテゴリ変更、又は顔文字／アバター設定の変更のうち、少なくとも一方の変更があったか否かを判断する。変更があった場合はステップ２に進み、メッセージ装飾の入力は、やり直される。一方、前記ステップ５において変更が無かった場合は、前記ステップ４で表示したメッセージ装飾を確定し、ステップ７に進む。

ステップ７では、メッセージ作成部１０３においてメッセージを作成中であるか否かを判断する。メッセージ作成中の場合はステップ１に進み、メッセージの作成が終了している場合は本処理を終了する。

３．メッセージ装飾入力システム１が奏する効果
（１）メッセージ装飾入力システム１によれば、ドライバ１０１は、手の操作を用いず、又、視線を移動させることなく、ドライバ１０１の感情に対応したメッセージ装飾をメッセージ中に入力できる。
（２）メッセージ装飾入力システム１によれば、メッセージ装飾が音声により表現されるので、ドライバ１０１は、視線を移動させることなく、メッセージ装飾を確認できる。
（３）メッセージ装飾入力システム１は、カテゴリを選択し、その選択されたカテゴリの範囲内でメッセージ装飾を抽出するので、メッセージ装飾の種類や強度等を限定することができる。その結果、送信先に対し、失礼なメッセージ装飾を入力してしまうことを防止できる。
（４）メッセージ装飾入力システム１は、メッセージの送信先に対応付けられたカテゴリを選択し、その選択されたカテゴリの範囲内でメッセージ装飾を抽出するので、メッセージの送信先に適したメッセージ装飾を抽出することができる。
（５）メッセージ装飾入力システム１は、ドライバ１０１の顔表情を反映した顔表情を有するアバターをメッセージ装飾として表示することができる。そのことにより、新規なメッセージ装飾を実現することができる。

尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、データベースＢは、カテゴリにより区分されていなくてもよい。また、データベースＢのカテゴリの数は、任意の数（例えば、２、４、５、６・・・）であってもよい。

また、前記ステップ５では、インタフェース部１７等に設置されたスイッチをドライバ１０１が操作することで、カテゴリや顔文字／アバター設定を変更してもよい。
また、メッセージ装飾は、顔文字、アバター、背景色、及び文字色のうちの一部であってもよい。また、顔文字、アバター、背景色、及び文字色以外のメッセージ装飾（例えば効果音等）を有していてもよい。

１・・・メッセージ装飾入力システム、３・・・カメラ、５・・・特徴量抽出部、
７・・・感情判定部、９、１２、１３・・・記憶部、
１１・・・メッセージ装飾抽出部、１５・・・メッセージ装飾入力部、
１７・・・インタフェース部、１９・・・マイク、２１・・・音声認識部、
２３・・・カテゴリ等変更部、２５・・・顔表情作成部、１０１・・・ドライバ、
１０３・・・メッセージ作成部

Claims (3)

1. メッセージを作成するユーザ（１０１）の顔画像を取得する顔画像取得手段（３）と、
   前記顔画像から前記ユーザの感情情報を取得し、前記感情情報に基づいて前記メッセージを修飾するメッセージ装飾を抽出するメッセージ装飾抽出手段（５、７、１１、２５）と、
   前記メッセージ装飾抽出手段により抽出された前記メッセージ装飾を前記メッセージ内に入力するメッセージ装飾入力手段（１５）と、
   を備え、
   前記メッセージ装飾として、前記ユーザの顔表情を反映した顔表情を有するアバターであって、その顔に前記ユーザの顔の特徴部の時間の経過に伴う動きを適用したアバターが含まれることを特徴とするメッセージ装飾入力システム（１）。
2. 前記メッセージ装飾を分類する複数のカテゴリの中から１の前記カテゴリを選択するカテゴリ選択手段（１１）を備え、
   前記メッセージ装飾抽出手段は、前記カテゴリ選択手段により選択された前記カテゴリの範囲内で前記メッセージ装飾を抽出することを特徴とする請求項１記載のメッセージ装飾入力システム。
3. 前記メッセージの送信先を検出する送信先検出手段（１７）を備え、
   前記カテゴリ選択手段は、前記送信先に予め対応付けられた前記カテゴリを選択することを特徴とする請求項２記載のメッセージ装飾入力システム。