JP5094930B2 - イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置 - Google Patents

Description

本発明は、触覚情報符号化／復号化方法に関し、原本イメージ自体に触覚情報を含ませる触覚情報符号化／復号化技術に関する。

一般的に、触覚（ｈａｐｔｉｃ）情報は、物体を触るときに人間の指先（ｆｉｎｇｅｒｔｉｐ）で感じることができる触覚的感覚に該当する情報であり、このとき、触覚的感覚は、肌が物体の表面に触れて感じられる触覚フィードバック（ｔａｃｔｉｌｅ ｆｅｅｄｂａｃｋ）および関節や筋肉の動きが妨げられるときに感じられる筋感覚力フィードバック（Ｋｉｎｅｓｔｈｅｔｉｃ ｆｏｒｃｅ ｆｅｅｄｂａｃｋ）を包括する概念である。

大韓民国公開特許第１０−２００８−００３２３１６号には、「イメージ情報を用いた表面の触覚情報抽出方法（ｇｒａｐｈｉｃ−ｔｏ−ｔａｃｔｉｌｅ ｐｒｏｄｕｃｔｉｏｎ ｍｅｔｈｏｄ）」が開示されている。
上記の公開特許は、イメージ自体のグレースケール情報（陰影情報）を用いて触覚情報を生成する方法に関して開示している。この技術はイメージをグレースケールに変換し、グレースケールに変換されたイメージを用いてそのまま触覚情報を生成する技術であって、イメージに合わせてリアリティある触覚フィードバック情報を伝達できるという長所があり、触覚情報が用いられる多くのアプリケーションに実際に活用されている。

しかしながら、従来の方式に係る触覚情報抽出は、対象イメージによって適切な触覚情報が決定される。また、従来の触覚情報格納方式は、メタデータを用いたり原本イメージとは個別のイメージ（グレースケールイメージなど）を伴う方式であるため、触覚データの送信や格納が不便であり、触覚データの管理が容易でないという問題点があった。

大韓民国公開特許第１０−２００７−０１０５７７０号には、「感覚データの加工システムおよびその加工方法（ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ ｏｆ ｓｅｎｓｏｒｙ ｄａｔａ ａｎｄ ｍｅｔｈｏｄ ｔｈｅｒｅｏｆ）」が開示されているが、これは嗅覚、味覚、および触覚データを原本イメージとは別途の実感型マルチメディアファイルで多重化して送信する方式である。したがって、このような従来技術も、ユーザに提示される感覚情報が別途の出力フォーマットによって送信されるという点において、触覚データを伴うデータの活用性において汎用性が低下するという短所がある。
したがって、原本イメージの損傷を最小化しながらも触覚情報の送／受信を効率的に行うことができる新たな触覚情報符号化／復号化技法の必要性が切に求められている。

上述した課題を解決するために、本発明は、メタファイルのような別途の追加情報なく、データ量変化やフォーマット変化のないイメージ自体のみを送／受信することにより、独立的な触覚情報を共に送／受信できるようにすることを目的とする。

また、本発明は、原本イメージの各ピクセルのバイトデータの最下位ビット（ＬＳＢ）のみを変更することにより、触覚情報符号化による原本イメージの損傷を最小化しながら触覚情報を符号化することを他の目的とする。

さらに、本発明は、符号化される触覚情報を適切にダウンサイジングし、ユーザが区別できない範囲内で最大限データ量を減らすことにより、原本イメージの損傷を最小化して追加的な触覚情報を挿入できるようにすることをさらに他の目的とする。

上述した目的を達成するために、本発明に係るイメージに触覚情報を符号化する方法は、触覚情報を生成するステップ；前記触覚情報および前記触覚情報と関連するヘッダ情報を用いて符号化対象データを生成するステップ；および原本イメージピクセルそれぞれのバイトデータの最下位ビットを用いて前記符号化対象データを符号化し、符号化されたイメージを生成するステップを含むことを特徴とする。

このとき、前記触覚情報は、空間的に分布されている深さ分布情報、表面インピーダンス分布情報、温度分布情報、および表面材質分布情報のうちのいずれか一つの触覚分布データであり得る。

このとき、触覚情報を生成するステップは、データサイズを減らすダウンサイジング過程を含んで前記触覚情報を生成することができる。

このとき、前記触覚情報は、時系列振動情報であり得る。このとき、時系列振動情報とは、時間によって変わる振動情報を意味する。

このとき、符号化されたイメージを生成するステップは、前記符号化対象データの各ビットが前記原本イメージピクセルのうちの一部ピクセルそれぞれのバイトデータの最下位ビットに挿入されるようにし、前記原本イメージピクセルのうちの残りのピクセルのバイトデータの最下位ビットは元通りに維持されるようにすることができる。

このとき、前記原本イメージピクセルそれぞれのバイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトおよび非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）のうちのいずれか一つであり得る。

このとき、原本イメージがａｎｉｍａｔｅｄ ｇｉｆファイルである場合、それぞれのイメージフレームに前記符号化対象データが符号化されることができる。

また、本発明の一実施形態に係るイメージから触覚情報を復号化する方法は、符号化されたイメージをロードするステップ；前記符号化されたイメージの一部ピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を抽出して触覚情報と関連するヘッダ情報を復元するステップ；および前記符号化されたイメージの残りのピクセルのうちで前記ヘッダ情報を用いて決定された個数のピクセルのバイトデータの最下位ビットを聚合して前記触覚情報を復元するステップを含むことを特徴とする。

このとき、前記ヘッダ情報を抽出するステップは、予め設定された個数のピクセルそれぞれに相応するバイトデータをロードし、ロードされたバイトデータの最下位ビットを抽出し、抽出されたビットを用いて前記ヘッダ情報を復元することができる。

このとき、符号化されたイメージのピクセルそれぞれのバイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトまたは非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）であり得る。

また、本発明の一実施形態に係る触覚情報処理装置は、触覚情報を生成する触覚情報生成部；前記触覚情報と関連し、前記触覚情報と共に符号化対象データを構成するヘッダ情報を生成するヘッダ生成部；および原本イメージピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を用いて前記符号化対象データを符号化し、符号化されたイメージを生成する符号化部を備えることを特徴とする。

また、本発明の一実施形態に係る触覚情報処理装置は、符号化されたイメージをロードするイメージロード部；前記符号化されたイメージの一部ピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を抽出して触覚情報と関連するヘッダ情報を復元するヘッダ復元部；および前記符号化されたイメージの残りのピクセルのうちで前記ヘッダ情報を用いて決定された個数のピクセルのバイトデータの最下位ビットを聚合して前記触覚情報を復元する触覚情報復元部を備えることを特徴とする。

本発明によれば、メタファイルのような別途の追加情報なく、データ量やフォーマット変化のないイメージ自体のみを送／受信することにより、触覚情報を共に送／受信することができる。

また、本発明は、原本イメージの各ピクセルのバイトデータの最下位ビット（ＬＳＢ）のみを変更することにより、触覚情報符号化による原本イメージの損傷を最小化しながら触覚情報を符号化することができる。

さらに、本発明は、符号化される触覚情報を適切にダウンサイジングし、ユーザが区別できない範囲内で最大限データ量を減らすことにより、触覚情報符号化による原本イメージの損傷を最小化することができる。

本発明の一実施形態に係る分布情報を含む触覚データの一例を示す図である。 図１に示す触覚分布データをダウンサイジングしたイメージを示す図である。 Ｃのヘッダ部分の最初の文字が「６」である場合の原本イメージの各ピクセルのバイトデータのＬＳＢと符号化対象データの各ビットを示す図である。 本発明の一実施形態に係る触覚情報符号化方法によるイメージピクセルの変化を示す図である。 触覚相互作用のためのカーソルを示す図である。 触覚分布情報とカーソルの触覚相互作用を説明するための図である。 触覚アームを用いた触覚フィードバック提示装置の一例を示す図である。 時間的に値を異にする触覚情報の例を示す図である。 「２５０＿２２＿２＿」がヘッダとして用いられ、図８に示す例の触覚情報が符号化される場合の符号化対象データの例を示す図である。 本発明の一実施形態に係るイメージに触覚情報を符号化する方法を示すフローチャートである。 本発明の一実施形態に係るイメージから触覚情報を復号化する方法を示すフローチャートである。 本発明の一実施形態に係る触覚情報処理装置のブロック図である。 本発明の他の実施形態に係る触覚情報処理装置のブロック図である。

添付の図面を参照して本発明について詳細に説明すれば次のとおりである。ここで、繰り返される説明、本発明の要旨を不必要に不明瞭にする公知機能、および構成に対する詳細な説明は省略する。本発明の実施形態は、当業界で平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどは、より明確な説明のために誇張されることができる。

以下、本発明に係る好ましい実施形態について、添付の図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る分布情報を含む触覚データの一例を示す図である。
図１を参照すれば、２次元空間上に触覚分布データがグレースケールイメージ形態で表現されていることが分かる。

触覚情報は、イメージに相応する分布の形態であり得る。このとき、触覚情報は、イメージのようにイメージの各ピクセルに相応する段階値の集合として見ることができる。

また、触覚情報は、時間の流れによって値を異にすることができる。このとき、触覚情報は、時間によって羅列された一連の情報として見ることができる。

触覚分布データとは、イメージが視覚的に分布されている色相情報を有していることと同様に、触覚的に空間的に分布されていることを意味する。触覚分布データは２次元分布情報でありながら特定の段階値を持つため、図１に示すようにグレースケールイメージで表現が可能である。ただし、このグレースケールイメージは、ユーザに視覚的に表示するためのものではなく、触覚情報を生成するのに用いられるようになる。

触覚分布データのうちで深さ分布データの場合を例示すれば、２次元空間で表現されたイメージの各ピクセルに対応する位置で得られるそれぞれのグレースケール値は、その値の大きいほど突出が多いことを示すものであり得る。すなわち、図１において白色に近く表示された領域であるほどユーザに近く突出したものであり 、黒色に近く表示された領域であるほど突出しないものであり得る。

図１に示す円と正方形はそれぞれ、平面上に置かれた半球形態の物体と正六面体形態の物体の深さ分布データを示す。
半球形態の物体や正六面体形態の物体はすべて高さ情報を有しており、時にはこのような高さ情報は影などによって確認することができる。

図１に示すイメージは、ｊｐｇ、ｇｉｆ、ｂｍｐ、ｐｎｇ、ｔｉｆなどの拡張子を有するＰＣ環境で用いられるイメージから導き出されたものであり得る。
特に、図１に示す例において、正方形は正六面体形態のキューブパズル（ｃｕｂ ｐｕｚｚｌｅ）を示す深さ情報であり得、したがって、正四角形の内部に格子模様があることが分かる。

このような深さ分布データは、一定の空間的離隔を置いて撮った写真の比較によってソフトウェア的に決定されたり、ステレオカメラなどの特殊装備によって生成されることができる。勿論、深さ分布データは、ユーザによって生成／編集が可能である。

実施形態によっては、触覚分布データが温感分布を示せば触覚分布データは赤外線カメラによって決定されることができ、材質感分布またはインピーダンス分布を示せば表面領域特性を測定するセンサによって決定されることもできる。

図２は、図１に示す触覚分布データをダウンサイジングしたイメージを示す図である。
図２を参照すれば、図２に示すイメージは、図１に示すイメージの幅（ｗ）と高さ（ｈ）をそれぞれａ倍（０＜ａ＜１）した結果に該当することが分かる。

図２に示すイメージは、ユーザに視覚的に表示するためのものではなく、触覚情報を生成することのみに用いられる。

触覚分布データをダウンサイジングする理由は、触覚分布データの大きさを減らして原本イメージに符号化するためであり、なるべく符号化されるデータを減らして原本イメージデータの変更を最小化するためである。これは、人間が空間的に分布した触覚を認知するにおいて、視覚的分解能よりも触覚的分解能が低いことを利用したものである。すなわち、人間の認知的能力の範囲を考慮して触覚分布データの大きさを減らすことができる。

このようにダウンサイジングされた触覚情報はデコーダで再びアップサイジングされ、原本イメージに対する触覚フィードバック提供に用いられるようになる。したがって、触覚情報は、ダウンサイジングしただけ解像度が減少するものと見ることができ、このような解像度の減少によって符号化されるデータ量を減らすことができる。

本発明の一実施形態に係るイメージに触覚情報を符号化する方法について概略的に説明すれば次のとおりである。
原本イメージが机の上に置かれた半球型の物体と正六面体形態のキューブパズルを上から撮影したイメージであれば、原本イメージに相応する深さ分布データが生成されることができ、この深さ分布データは原本イメージの横×縦座標に該当する高さ値を有していることができる。

生成された深さ分布データは、原本イメージに符号化される前に、既に説明したように大きさが調整（ダウンサイジング）される必要があるが、これは深さ分布データを１つのイメージとして見て、これを横縦同じ割合で縮小する過程に該当することができる。
すなわち、深さ分布データのダウンサイジング過程は、イメージの大きさをａ（０＜ａ＜１）倍することであると見ることができる。

このように、触覚分布データである深さ分布データの大きさをａ倍したダウンサイジングされた触覚分布データを原本イメージに符号化するようになれば、視覚的に原本イメージと符号化されたイメージの間の差を識別し難くなる。ユーザは触覚分布データを含んだ符号化されたイメージを既存のプラットホームで視覚情報を確認するのに同じように用いることができ、必要によっては大きさが調節された触覚分布データを復号化して再びこの大きさを１／ａ倍して最終復号化されたイメージ形態の触覚分布データを復元することができる。符号化前に触覚分布データがダウンサイジングされるため、復号化時に再びアップサイジングするようになれば、触覚分布データの解像度が原本イメージよりも低下するようになる。しかしながら、上述したように人間の触覚的認知過程で確認し難いように適切にａを設定することにより、触覚情報の歪曲が発生しないようにできる。これは、人間の認知能力を逸脱するデータを減らすという側面において、人間の聴覚で認知することができない領域の情報を減少させたｍｐ３技術と類似した側面がある。

以下、空間的に分布された触覚情報の場合を中心として、本発明に係るイメージに触覚情報を符号化する方法を説明する。空間的に分布された触覚情報の例は、突出情報を含む深さ分布情報、表面のインピーダンス情報、材質感分布情報、または温度分布情報などがある。

触覚分布情報を図１に示すように段階値を持つイメージで表現するようになれば、図１に示すイメージの幅（ｗ）および高さ（ｈ）は原本イメージの幅および高さと同じであることが分かる。触覚分布情報が図２に示すようにダウンサイジングされれば、ダウンサイジングされた触覚分布情報のイメージの幅および高さはｗ’（ｗ’＝ａｗ）およびｈ’（ｈ’＝ａｈ）となる。

実際に符号化される触覚分布情報はダウンサイジングされた触覚分布情報であるため、触覚データを記述するヘッダデータにはｗ’とｈ’情報、およびチャネル数が含まれるようになる。このヘッダデータはイメージから２次元触覚分布データを復元する復号化過程で用いられるようになる。

例えば、ヘッダには、触覚情報の種類、サイズ、およびチャネル数情報などが含まれることができる。
例えば、原本イメージの幅が６４０ピクセル、高さが４８０ピクセルであり、ａが１／１０であり、マップデータのチャネル数が１であり、値間の区分子を‘＿’で設定した場合、ヘッダは「６４＿４８＿１＿」のような値を有することができる。また、触覚情報の特性を記述するにおいて、深さ分布情報の場合「０１」、材質感分布情報の場合「０２」、温度分布情報の場合「０３」で割り当てれば、図１の例のように深さ分布情報に相応するヘッダは「６４＿４８＿１＿０１＿」の形態であり得る。

ヘッダ情報自体を二進数化させれば「６」のアスキーコード値が１０進数で５４であるため、これを二進化させれば００１１０１１０となる。同じ方式で前記例示ヘッダ値の二進数値を羅列すれば次のとおりとなる（‘＿’は「０１０１１１１１」で符号化）。
００１１０１１０００１１０１０００１０１１１１１００１１０１００００１１１００００１０１１１１１００１１０００１０１０１１１１１００１１００００００１１０００１０１０１１１１１

決定されたイメージ形態の幅ｗ’、高さｈ’の触覚分布データの各ピクセル別のデータを羅列して１つの配列で構成をすれば、０または１の集合で値が決定する。この決定したビットの集合をＢと定義し、前記決定した二進数形態のヘッダ値をＡと定義すれば、二進数化した符号化データの最終形態はＡとＢ集合の連結で定義されるＣとなる。

次に、二進化した符号化データをイメージの一連の各ピクセルの最下位ビット値と比較し、その結果によってピクセル値を変更する過程について説明する。

前記Ｃがｉ個の値を元素を有すれば、ｍ（ｍ＞ｉ）個のバイト形態のピクセルを有している原本イメージの最初のピクセルのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ；ＬＳＢ）から順にＣの各ビットと比較されるようになる。

このとき、原本イメージのピクセルそれぞれはＲ、Ｇ、Ｂの３つのサブピクセルバイトで構成されることができ、実施形態によってはα、Ｚ、またはバンプデータ（ｂｕｍｐ ｄａｔａ）などの非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）を含むことができる。したがって、本発明においてバイトデータとは、ピクセルに含まれるＲサブピクセルバイト、Ｇサブピクセルバイト、またはＢサブピクセルバイトであってもよく、非カラーデータであってもよい。

原本イメージ全体ピクセルバイトをＤ（Ｄ＞Ｃ）とするとき、Ｄの最初のピクセルのバイトデータ（Ｒ、Ｇ、Ｂのうちの一つであり得る。）の最下位ビットは、Ｃの１番目のビットと比較されるようになる。

図３は、Ｃのヘッダ部分の最初の文字が「６」である場合の原本イメージの各ピクセルのバイトデータのＬＳＢと符号化対象データの各ビットを示す図である。
図３を参照すれば、原本イメージの最初のピクセルはＢ：１３２、Ｇ：１３７、Ｒ：１３６、２番目のピクセルはＢ：１３７、Ｇ：１３９、Ｒ：１３９、３番目のピクセルはＢ：１３９、Ｇ：１４１であることが分かる。
すなわち、図３の最初の行３００は、原本イメージの各ピクセルのバイトデータを配列化させたものであると見ることができる。

図３の２番目の行３１０は、各バイトデータのＬＳＢを示す。図３に示す例において、１番目の行３００の値が奇数であれば２番目の行３１０の値は「１」となり、１番目の行３００の値が偶数であれば２番目の行３１０の値は「０」となる。

図３の３番目の行３２０は、Ｃのヘッダ部分の最初の文字である「６」が二進化された値を示す。
すなわち、原本イメージの各ピクセルのバイトデータの最後のビットはそれぞれヘッダのビット値と比較され、２つの値が同じ場合には原本イメージピクセル値を維持し、２つの値が異なる場合には原本イメージピクセルのバイトデータの最下位ビットを変更する。

図３に示す例において、１番目ピクセルのＧサブピクセルバイトの最下位ビット（１）が符号化対象データの該当ビット（０）と相違し（３３０）、１番目ピクセルのＲサブピクセルバイトの最下位ビット（０）が符号化対象データの該当ビット（１）と相違し（３４０）、２番目ピクセルのＧサブピクセルバイトの最下位ビット（１）が符号化対象データの該当ビット（０）と相違し（３５０）、３番目ピクセルのＧサブピクセルバイトの最下位ビット（１）が符号化対象データの該当ビット（０）と相違（３６０）したことが分かる。

図３に示す例において、このような方式で８つのバイトデータ（Ｂ、Ｇ、Ｒ、Ｂ、Ｇ、Ｒ、Ｂ、Ｇ）の最下位ビット値が決定される。

結果的に符号化されたイメージのピクセル値は、原本イメージのピクセル値と比べて若干の修正が加えられるようになる。原本イメージの形態によっては、ピクセルのＲ、Ｇ、Ｂサブピクセルだけでなく、透明度を含むαチャネルのバイトデータが活用されることもできる。

図４は、本発明の一実施形態に係る触覚情報符号化方法によるイメージピクセルの変化を示す図である。
図４を参照すれば、原本イメージの１番目ピクセルはＢ：１３２、Ｇ：１３７、Ｒ：１３６、２番目ピクセルはＢ：１３７、Ｇ：１３９、Ｒ：１３９、３番目ピクセルはＢ：１３９、Ｇ：１４１であることが分かる。

図３を参照しながら既に説明したように、１番目ピクセルのＧおよびＲサブピクセルバイト、２番目ピクセルのＧサブピクセルバイト、および３番目ピクセルのＧサブピクセルバイトの最下位ビットが符号化対象データの該当ビットと相違するため、このサブピクセルバイトのＬＳＢにのみ変更（＋１）が発生するようになる。便宜のために図４にはピクセル値が１だけ増加したものとして表示したが、実際にピクセルのバイトデータの変化はＬＳＢ値が変更されることは既に説明したとおりである。

図３および図４を参照しながら、バイトデータの最下位ビットと符号化対象データの該当ビットが比較される例を中心として説明したが、比較過程を行わずに符号化対象データの該当ビットがバイトデータの最下位ビットに挿入されることができる。

このような変更は人間の視覚的認知能力では区分し難く、原本イメージと触覚情報を符号化したイメージは肉眼では区分し難い。最近の研究結果では、１バイトの８ビットのうちで最後の４ビットまでの変更は、ユーザが大きく認知できない水準として発見された。

したがって、触覚データは、バイトデータの下位４ビットのうちの少なくとも一部に挿入されることができるが、本発明では触覚データが下位４ビットのうちの最後のビットに挿入されるようにする。

触覚データの２番目バイトは３番目ピクセルの残ったサブピクセルバイトであるＲから同じ方式で計算され、これは触覚情報を含んだｉ個のＣ値全体が符号化が完了したかを確認するまで繰り返される。これまで説明した例において、Ｂ、Ｇ、Ｒでサブピクセルバイトが定義されている場合を例示したが、一般的にイメージの属性によってサブピクセルの配列順序は異なる順序を有することができるため、イメージ属性で規定するサブピクセルの順序によって本例示の説明が変更されることができる。

符号化された後の残りのピクセルのバイトデータは、原本イメージと同じように維持される。すなわち、ｉ個の触覚情報符号化が完了した場合、ｍ−ｉ個のイメージのピクセルのバイトデータは原本そのまま維持される。

触覚フィードバックのための駆動部が複数備えられたり、駆動部の特性上において制御できる要素が複数である場合、情報を多数のチャネルで設定する必要があり、このような場合には追加触覚分布イメージを設定してヘッダ情報にチャネル別の情報を記入することにより、複数の触覚分布情報を格納できるようになる。

以下、触覚情報が空間的に分布された触覚分布情報である場合の復号化過程について説明する。
まず、触覚情報が符号化されたイメージが応用プログラム内にロードされる。このとき、応用プログラムは、ロードされたイメージ情報のそれぞれのピクセルのサブピクセル値を読み取ることができる特徴がある。

ロードされたデータのヘッダデータを読み取るために各ピクセルのバイトデータを配列でロードし、得られた配列のそれぞれのバイト値の最後のビットに新たな配列を生成する。生成された新たな配列を８つずつグループ化し、グループあたり１つのバイト値を生成してヘッダを復元する。

例えば、１番目グループの値が「００１１０１１０」であれば、これを１０進数に変換すれば５４となり、これに該当する文字セットをアスキーコード基盤で求めるようになれば文字「６」を復元することができる。このような過程を適切な大きさを有する正の整数Ｐ個だけ読み取り、これを１つの文字列で構成する。このとき、正の整数Ｐは、ヘッダ情報の長さが全体符号化されたデータの極めて一部であることを活用し、イメージデータの一部のみを分析して実際に符号化された触覚情報の長さを決定するためのものであり、適切に決定されることで復号化過程を効率的に実行することができる。

例えば、Ｐは、実際にヘッダ情報の文字列の長さが長くないという点において二進数化を考慮して８０で設定が可能であるが、符号化される触覚情報の大きさによって変更されることができる。

結局、Ｐが適切に決定されることで符号化されたイメージの極めて一部のみを読み取ることにより、イメージデータの大きさが大きい場合に不必要なリソースの浪費を減らせるようになる。また、符号化時に使用された区分子を活用して「６４＿４８＿１＿０１＿・・・」のように形成されたデータから意味のある値を抽出できるようになる。符号化過程で説明したヘッダフォーマットによれば、イメージ形態の触覚データの大きさは６４×４８×１の大きさを有するようになり、該当の分布値は表面の突出情報を含んだ深さ情報を示すようになる。複数（２つ）のマップである場合は「６４＿４８＿１＿０１＿６４＿４８＿１＿０３・・・」となり、２番目の値は温度値を示すようになる。

決定したヘッダ情報以後のデータ領域は、ヘッダ情報以後の触覚データに相応するバイトデータをロードし、ロードされたデータ集合からＬＳＢを抽出し、新たな配列で羅列するステップを経て復元される。６４×４８×１の大きさのデータを復元するために６４×４８×１のバイトデータ（６４×４８×１×８ビット）が用いられるようになる。

羅列された配列データを８つずつ順にグループを生成してバイト形態のデータを生成すれば、触覚データを復元できるようになる。
触覚データが復元されれば、復元されたヘッダ情報に基づいて定められた大きさ（ｗ’×ｈ’）に定められたチャネル数を有する触覚分布データイメージが復元される。また、復元された触覚分布データイメージは１／ａだけアップサイジングされて原本イメージと同じサイズ（ｗ×ｈ）を有するようになり、この過程において必要によっては触覚分布データイメージがグレースケール化されることができる。これは、大きさ変更時に発生し得るＲＧＢ形態のノイズを除去するためである。

アップサイジングされた触覚分布データを用いてユーザに触覚フィードバックが提供されることができる。このとき、触覚フィードバックは、レンダリングによって提供されることができる。

触覚フィードバック提供過程は、復号化によって抽出された触覚分布情報上のカーソルの位置から情報を抽出する方式によって、単一情報を用いる場合と配列情報を用いる場合とに区分されることができる。

図５は、触覚相互作用のためのカーソルを示す図である。
図５を参照すれば、触覚相互作用のためのカーソル５１０がモニタに視覚的に表示されていることが分かる。

一般的に、触覚相互作用のためのカーソルは、ＨＩＰ（ｈａｐｔｉｃ ｉｎｔｅｒａｃｔｉｏｎ ｐｏｉｎｔｅｒまたはｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ ｐｏｉｎｔ）という用語で通称される。

カーソル５１０が表示されるモニタにはイメージが表示されており、表示されるイメージには触覚情報（深さ分布情報）も含まれているものと見ることができる。このとき、触覚分布情報はアップサイジングされている場合があり得る。

カーソル５１０は、モニタに視覚的に表示されるイメージ上において、ユーザの動きによって位置を異にしながら動くことができる。

このとき、単一情報を活用する方式は、復号化によって抽出された触覚分布情報上のカーソル位置に相応するグレースケール値自体またはカーソル位置隣近値の平均で単一値（ｖ＿ｈｉｐ）を決定し、単一値を用いて駆動部を駆動する方式である。

これに反し、配列情報を用いる方式は、ユーザが視覚的に確認が不可能である触覚分布情報を含んだイメージ上において、位置入力装置である触覚アームまたはマウスなどを用いて制御するカーソルの周辺領域を横ｎ等分、縦ｍ等分して計ｎ×ｍ等分の領域を確保するステップを経るが、このとき確保されるｎ×ｍ領域は、駆動部の個数に合わせて横と縦分割個数が決定するようになる。すなわち、配列情報を用いる方式は、触覚フィードバック生成のために用いられるフィードバック提示装置が複数の入力によって作動する場合に該当する。

このとき、それぞれの領域に代表グレースケール値を領域別の平均、中間値のような代表値を求める方式によって求めるようになり、この値に合わせてそれぞれの駆動部の動きを決定するようになる。

例えば、触覚分布情報が半球型の模様および正六面体型の模様に該当する深さ分布情報である場合、カーソルが半球型の模様の一側の終端部分に位置した場合、カーソルの周辺領域は横×縦３０×３０ピクセル領域であり得る。

フィードバック提示装置が横×縦３×３の駆動部を備える場合、３０×３０のカーソルの周辺領域から３×３の代表値が決定されなければならず、このときに１つの代表値は１０×１０ピクセル領域に対する代表値であり得る。

結局、提供される３×３代表値は、半球型の模様の終端側にいくほど垂直方向突出が少ない特性を有する深さ分布情報となり、触覚フィードバック装置はこれを用いてユーザに触覚フィードバックを提供するようになる。

図６は、触覚分布情報とカーソルの触覚相互作用を説明するための図である。
図６を参照すれば、モニタに表示されるイメージには深さ分布情報６２０が含まれており、カーソル５１０の動きと深さ分布情報６２０の関係によって触覚フィードバックが生成されることが分かる。

例えば、触覚フィードバック提示装置として触覚アーム（ｈａｐｔｉｃ ａｒｍ）が装着されれば、ユーザが触覚アームに深さ方向（ｚ軸）に力６１０を加えるように動く場合、深さ分布情報によって物体が突出する程度によって反力を感じる時点が異なり、これによってユーザは視覚情報と同時に加える力に対する反力として触覚情報を感じられるようになる。

図７は、触覚アームを用いた触覚フィードバック提示装置の一例を示す図である。
図７を参照すれば、触覚アームを用いた触覚フィードバック提示装置は、原本イメージが表示されるモニタ７１０、触覚アーム駆動のための制御機７２０、触覚アームシステム７３０、およびエンドエフェクタ（ｅｎｄ ｅｆｆｅｃｔｏｒ）７４０を備える。

図７に示す例において、ユーザが加える力に対する反力は、触覚アーム駆動のための制御機７２０によって制御される触覚アームシステム７３０のエンドエフェクタ７４０からユーザに伝達されるようになる。

すなわち、カーソルの深さ方向（ｚ軸）値をＨＩＰ＿ｚとするとき、復号化された触覚分布情報のＨＩＰ＿ｚにおけるグレースケール値（ｖ＿ｈｉｐ）とＨＩＰ＿ｚの関数で、反力の大きさを決定することができ、これを便宜上ｆ（ｖ＿ｈｉｐ、ＨＩＰ＿ｚ）という。これによって、深さや材質感などの触覚フィードバックをユーザに伝達できるようになる。

例えば、触覚分布情報がインピーダンス情報を表現すれば、カーソル位置における深さ方向（ｚ軸）速度をＨＩＰ＿ｚ＿ｖｅｌ、弾性係数をｋ、ダンピング係数をｂとすれば、触覚フィードバックはｆ（ｖ＿ｈｉｐ、ＨＩＰ＿ｚ、ＨＩＰ＿ｚ＿ｖｅｌ、ｋ、ｂ）の関数として決定される。必要によっては、仮想環境のカーソルに設定された重さ（ｍ）などが関数の変数になることもできる。

触覚アーム（ｈａｐｔｉｃ ａｒｍ）の場合、抽出された単一グレースケール値（ｖ＿ｈｉｐ）によって決定される反力の大きさと方向が各アーム（ａｒｍ）の関節に位置したモータ駆動に必要な値の組み合わせで内部的に決定されて制御がなされ、このような制御過程をロボットの逆運動学（ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ）という。

触覚フィードバック提示装置として振動を誘発する偏心モータ、圧電素子、ソレノイドアクチュエータ、超音波モータが用いられる場合、触覚フィードバックの提供は次のような過程を経て実行される。

ユーザは接触を感じようとする地点へカーソル（ＨＩＰ）を移動させ、これは指やスタイラスペンを用いた携帯端末機に対するタッチ入力によって実行されたり、直接接触ではない別途のインターフェースによって実行されてもよい。

復号化過程によって抽出された触覚分布情報上のカーソル（ＨＩＰ）の位置に相応するグレースケール値自体または隣近値の平均によって決定された単一値（ｖ＿ｈｉｐ）の関数で駆動部の電流／電圧を決定し、振動刺激の大きさまたは周波数を決定する。一般的に、電圧の場合は広く知られたＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）による有効電圧で計算され、これはモータのＯＮ／ＯＦＦを微細時間区間内で制御することによって、あたかも加えられる電圧よりも小さい電圧がかかるのような効果を得られる原理を称する。

触覚フィードバック提示装置としてペルチェ素子（Ｐｅｌｔｉｅｒ ｄｅｖｉｃｅ）が装着された場合、触覚フィードバック提供は復号化によって抽出された触覚分布情報上のカーソル（ＨＩＰ）位置に相応するグレースケール値自体または隣近値の平均によって決定された単一値（ｖ＿ｈｉｐ）の関数で駆動部の電流／電圧を決定し、温感を提示するようになる。

特に、ペルチェ素子は、電流が流れる方向によって一面の冷却または加熱が決定され、決定された単一値（ｖ＿ｈｉｐ）に基づき、特定の閾値（ｖ＿ｔｈ）以上／以下であるか否かによって電流の方向を決定し、差の絶対値（｜ｖ＿ｈｉｐ−ｖ＿ｔｈ｜）の関数で電流の強度を決定する方式を用いることができる。

配列形態の情報抽出方式は、上述したように触覚フィードバック情報を含んだイメージ上で位置入力装置である触覚アームまたはマウスなどを用いて制御するカーソル（ＨＩＰ）の周辺領域を横ｎ等分、縦ｍ等分して決定されたｎ×ｍ等分領域の代表グレースケール値（ｖ＿ｔｈ［ｎ×ｍ］）を活用する方式である。このような方式は主に複数の駆動部を備えた触覚システムで用いられるようになる。

触覚フィードバック装置として質感提示装置は、例えば垂直方向突出高さを調節したり垂直方向突出の周波数を可変できる装置であり得る。質感提示装置が人間に刺激を加える接触部分は、それぞれの駆動部によって動きを誘発するように制御され、便宜上、接触部分陰影の程度が白に近いほど、すなわちグレースケール値が２５５に近いほど駆動部が高い突出を誘発するように設定されることができる。

ユーザは視覚的に確認が不可能である触覚情報を含んだイメージ上のカーソル（ＨＩＰ）を位置入力装置であるマウスなどを用いて動かすようになり、このとき、目に見えない触覚情報上のカーソルの周辺領域を確保することができる。このとき、周辺領域は、横と縦を３等分ずつして計９等分の領域であり得る。このとき、確保される領域は、質感提示装置の接触部分の数と同じように設定されることができる。

それぞれの領域の代表グレースケール値を領域別の平均や中間値のような代表値の集合を求める方式によって求めるようになり、この値によって接触子の垂直方向突出高さや垂直方向突出の周波数のような動的特性を決定することができる。このような過程を経てユーザは、符号化されたイメージによって深さ情報または材質感情報の触覚フィードバックを感じられるようになる。

触覚フィードバック装置としてペルチェ素子が活用される場合、前記決定されたグレースケール値の集合（ｖ＿ｈｉｐ［９］）に基づいてそれぞれの駆動部の電流／電圧を決定して温感を制御するようになる。特にペルチェ素子は電流が流れる方向によって一面の冷却または加熱が決定され、決定された単一値の集合（ｖ＿ｈｉｐ［９］）に基づき、特定の閾値（ｖ＿ｔｈ［９］）以上／以下であるか否かによって電流の方向を決定し、差の絶対値に比例して駆動部それぞれの電流の強度を決定する方式が用いられる。

以下、触覚情報が時間的に分布した情報である場合の符号化過程について説明する。
時間的に分布する触覚情報の例としては、時間によってその値を異にする拍子情報や周波数の変化情報などがある。イメージが時間的に分布する触覚情報を含む場合、定められた時間間隔をｄｔとするとき、特定の時間で触覚情報値が０である場合、該当ｄｔ期間内に振動は停止するようになり、０ではない値を有する場合、駆動部ではその値に該当する電流または電圧が印加されて駆動が行われる。このような触覚情報は、携帯端末機などに時間によって異なる振動が発生するようにするアプリケーションに活用されることができる。

図８は、時間的に値を異にする触覚情報の例を示す図である。
図８を参照すれば、予め設定された単位時間（ｄｔ）間隔で値を異にする触覚情報８１０によって時間８２０による振動強度８３０が設定されることが分かる。

駆動部が振動モータである場合、機械的回答時間を考慮して、ｄｔを数十ｍｓ〜数百ｍｓ程度で指定することが好ましい。

時間的に値を異にする触覚情報８１０は、ヘッダ部分を有することができる。ヘッダは触覚情報８１０部分のデータ長さなどの属性情報を含むことができる。

例えば、触覚情報８１０の各値が間隔ｄｔを２５０ｍｓとして設定されたものであり、２２個の一連の値を含み、２回繰り返しのために生成されたものであれば、ヘッダは「２５０＿２２＿２＿」のような形態で記述されることができる。

上述した空間的分布データと時間的に値を異にする触覚情報を区分するために別途のヘッダを定義してもよいことは、当該技術分野において通常の知識を有する者であれば容易に考慮することができる。

ヘッダ「２５０＿２２＿２＿」の各文字に該当するアスキーコード値を二進数化させれば次のとおりである。空白はデータ区分のために便宜上追加したものであり、実際のデータには含まれない。
００１１００１０ ００１１０１０１ ００１１００００ ０１０１１１１１ ００１１００１０ ００１１００１０ ０１０１１１１１ ００１１００１０ ０１０１１１１１

例示された触覚情報８１０は、Ａを２５５で設定する場合「２５５ ２５５ ０ ２５５ ２５５ ０ ２５５ ０ ２５５ ０ ２５５ ２５５ ０ ２５５ ２５５ ０ ２５５ ２５５ ０ ２５５ ２５５ ２５５」となり、これは次のように二進化されることができる。
１１１１１１１１１１１１１１１１００００００００１１１１１１１１１１１１１１１１００００００００１１１１１１１１００００００００１１１１１１１１００００００００１１１１１１１１１１１１１１１１００００００００１１１１１１１１１１１１１１１１００００００００１１１１１１１１１１１１１１１１００００００００１１１１１１１１１１１１１１１１１１１１１１１１

図９は「２５０＿２２＿２＿」がヘッダとして用いられ、図８に示す例の触覚情報が符号化される場合の符号化対象データの例を示す図である。

図９を参照すれば、ヘッダ情報９１０と触覚情報９２０が一連のデータ形態で符号化されることが分かる。
図９に示す一連のビットデータは、既に説明した方式で原本イメージを用いて符号化される。すなわち、図９に示す一連のビットはそれぞれ、原本イメージピクセルのバイトデータのＬＳＢに符号化されるようになる。

時間的に値を異にする触覚情報によって、ユーザはイメージを視覚的に確認すること同時に、触覚的に拍子情報のように時間によって変化する振動情報の提供を受けることができる。

触覚フィードバックのための駆動部が複数であったり、駆動部の特性上において制御できる要素が複数である場合、フィードバック情報を多数のチャネルで設定する必要がある。多数のチャネルのための触覚情報は、ヘッダ情報にチャネルの数を記入し、区分子で区分された追加データを記入することによって容易に実現されることができる。

以下、触覚情報が時間的に分布した分布情報である場合の復号化過程について説明する。イメージに符号化された時間的に分布した触覚情報は、触覚情報の長さ、属性などを記述するヘッダ情報を活用して端末機などによって復号化され、ヘッダで定義した触覚刺激に基づいて振動刺激を生成するようになる。

このような振動情報を生成するための駆動部としては、振動モータ、圧電素子、ソレノイドアクチュエータ、超音波モータなどが用いられる。

以上で説明した触覚情報の符号化／復号化方法において、原本イメージの拡張子が「ｇｉｆ」の場合、単一イメージだけではなく、数枚のイメージを特定の時間間隔で表示する機能を含むが、本発明に係る触覚情報の符号化／復号化方法はこのようなａｎｉｍａｔｅｄ ｇｉｆ形式にも適用が可能である。この場合、それぞれのイメージをフレームとすれば、本発明に係る符号化方法と同じように各フレーム別に触覚情報を符号化／復号化することができる。ただし、復号化の場合、原本ａｎｉｍａｔｅｄ ｇｉｆで規定したイメージ間の時間間隔に合わせて復号化された触覚情報を用いた触覚フィードバックを提供することができる。

図１０は、本発明の一実施形態に係るイメージに触覚情報を符号化する方法を示すフローチャートである。
図１０を参照すれば、本発明の一実施形態に係るイメージに触覚情報を符号化する方法は、まず、触覚情報を生成する（Ｓ１０１０）。

このとき、触覚情報は、空間的に分布されている深さ分布情報、表面インピーダンス分布情報、温度分布情報、および表面材質分布情報のうちのいずれか一つの触覚分布データであり得る。
このとき、ステップＳ１０１０は、データサイズを減らすダウンサイジング過程を含んで前記触覚情報を生成することができる。
このとき、前記触覚情報は、時系列振動情報であり得る。

また、触覚情報を符号化する方法は、前記触覚情報および前記触覚情報と関連するヘッダ情報を用いて符号化対象データを生成する（Ｓ１０２０）。
すなわち、ステップＳ１０２０は、前記触覚情報と関連するヘッダ情報を生成し、前記ヘッダ情報と前記触覚情報を連結して符号化対象データを生成する。

また、触覚情報を符号化する方法は、符号化対象データを二進化する（Ｓ１０２５）。
すなわち、ステップＳ１０２５は、ステップＳ１０２０で生成された符号化対象データを二進化し、ビット別に符号化が可能な状態に生成する。

また、触覚情報を符号化する方法は、二進化された各ビットと原本イメージのピクセルそれぞれのバイトデータのＬＳＢが同じであるか否かを判断する（Ｓ１０３０）。

ステップＳ１０３０の判断結果、二進化されたビットと原本イメージのピクセルのバイトデータのＬＳＢが同じ場合には、原本イメージのピクセルのバイトデータをそのまま維持する（Ｓ１０３５）。

ステップＳ１０３０の判断結果、二進化されたビットと原本イメージのピクセルのバイトデータのＬＳＢが異なる場合には、原本イメージのピクセルのバイトデータのＬＳＢを二進化されたビット値で設定する（Ｓ１０３３）。

ステップＳ１０３５またはステップＳ１０３３が実行された後、触覚情報を符号化する方法は、二進化されたビットデータすべてが符号化されたか否かを判断する（Ｓ１０４０）。

ステップＳ１０４０の判断結果、二進化されたビットデータすべてが符号化されていない場合、触覚情報を符号化する方法は、ステップＳ１０３０に戻って符号化過程を繰り返すようになる。

ステップＳ１０４０の判断結果、二進化されたビットデータすべてが符号化された場合、触覚情報を符号化する方法は、原本イメージの残りのピクセルのバイトデータのＬＳＢをそのまま維持する（Ｓ１０５０）。

図１０に示す例において、二進化されたビットデータの符号化は、二進化された各ビットと原本イメージのピクセルそれぞれのバイトデータのＬＳＢを比較して実行されることを例示したが、その場合に限定して本発明の権利範囲を定めてはならない。すなわち、イメージピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ；ＬＳＢ）を用いて前記符号化対象データを符号化し、符号化されたイメージを生成する限り、本発明の権利範囲内として見なされる。

すなわち、二進化されたビットデータの符号化は、二進化された符号化対象データの各ビットが前記原本イメージピクセルのうちの一部ピクセルそれぞれのバイトデータの最下位ビットに挿入されるようにし、前記原本イメージピクセルのうちの残りピクセルのバイトデータの最下位ビットは元通りに維持されるようにするものであり得る。

このとき、原本イメージピクセルそれぞれのバイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトおよび非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）のうちのいずれか一つであり得る。

図１１は、本発明の一実施形態に係るイメージから触覚情報を復号化する方法を示すフローチャートである。
図１１を参照すれば、イメージから触覚情報を復号化する方法は、まず、符号化されたイメージをロードする（Ｓ１１１０）。

また、触覚情報を復号化する方法は、ロードされたイメージから予め決定された個数のピクセルのバイトデータをロードする（Ｓ１１２１）。

このとき、バイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトおよび非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）のうちのいずれか一つ以上であり得る。

また、触覚情報を復号化する方法は、ロードされたバイトデータのＬＳＢを羅列し、ＬＳＢでなされたビットストリームを生成する（Ｓ１１２２）。

また、触覚情報を復号化する方法は、羅列されたＬＳＢのビットストリームを８つずつ束ねてバイト値を決定する（Ｓ１１２３）。

また、触覚情報を復号化する方法は、決定されたバイト値を用いて触覚情報と関連するヘッダ情報を復元する（Ｓ１１２５）。

また、触覚情報を復号化する方法は、前記符号化されたイメージの残りのピクセルのうちのヘッダ情報を用い、決定された個数のピクセルのバイトデータをロードする（Ｓ１１３１）。

ヘッダ情報が復元されればヘッダ情報によって符号化されている触覚情報の属性および大きさが分かるため、これを用いれば触覚情報を復号化するためにロードしなければならないバイトデータの個数を正確に知ることができる。

また、触覚情報を復号化する方法は、前記ロードされたバイトデータのＬＳＢを羅列する（Ｓ１１３２）。このとき、羅列されるＬＳＢには、ステップＳ１１２２で羅列されたＬＳＢのうちでヘッダ復元に用いられないものが含まれることができる。

また、触覚情報を復号化する方法は、羅列されたＬＳＢのビットストリームを８つずつ束ねてバイト値を決定する（Ｓ１１３３）。

また、触覚情報を復号化する方法は、決定されたバイト値を用いて触覚情報を復元する（Ｓ１１３５）。

また、触覚情報を復号化する方法は、前記ヘッダ情報および前記触覚情報を用いてユーザに触覚フィードバックを提供する（Ｓ１１４０）。

このとき、触覚情報は空間的に分布されている触覚分布データであり得、この場合、ステップＳ１１４０は、前記触覚情報をアップサイジングしてアップサイジングされた触覚情報を生成し、前記アップサイジングされた触覚情報を用いて前記触覚フィードバックを提供することができる。アップサイジングされた触覚情報は、その解像度が原本イメージの解像度よりも低いが、ユーザはこれを認知し難い。

ステップＳ１１４０は、ヘッダ情報によって得られた触覚の種類によって相違するように触覚フィードバックを生成することができる。

図１２は、本発明の一実施形態に係る触覚情報処理装置のブロック図である。
図１２を参照すれば、本発明の一実施形態に係る触覚情報処理装置は、触覚情報生成部１２１０、ヘッダ生成部１２２０、および符号化部１２３０を備える。

触覚情報生成部１２１０は触覚情報を生成する。
このとき、触覚情報は触覚分布データであり、触覚情報生成部１２１０はデータサイズを減らすダウンサイジング過程を経て前記触覚情報を生成することができる。

ヘッダ生成部１２２０は前記触覚情報と関連し、前記触覚情報と共に符号化対象データを構成するヘッダ情報を生成する。

符号化部１２３０は、原本イメージピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を用いて前記符号化対象データを符号化し、符号化されたイメージを生成する。

符号化部１２３０は、前記符号化対象データの各ビットが前記原本イメージピクセルのうちの一部ピクセルそれぞれのバイトデータの最下位ビットに挿入されるようにし、前記原本イメージピクセルの残りのピクセルのバイトデータの最下位ビットは元通りに維持されるようにすることができる。

図１３は、本発明の他の実施形態に係る触覚情報処理装置のブロック図である。
図１３を参照すれば、本発明の他の実施形態に係る触覚情報処理装置は、イメージロード部１３１０、ヘッダ復元部１３２０、触覚情報復元部１３３０、および触覚フィードバック部１３４０を備える。

イメージロード部１３１０は、符号化されたイメージをロードする。

ヘッダ復元部１３２０は、前記符号化されたイメージの一部ピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を抽出して触覚情報と関連するヘッダ情報を復元する。

このとき、ヘッダ復元部１３２０は、予め設定された個数のピクセルのバイトデータをロードし、ロードされたバイトデータの最下位ビットを抽出し、抽出された最下位ビットを用いて前記ヘッダ情報を復元することができる。

このとき、触覚情報は空間的に分布されている触覚分布データであり、触覚フィードバック部１３４０は前記触覚情報をアップサイジングしてアップサイジングされた触覚情報を生成し、前記アップサイジングされた触覚情報を用いて前記触覚フィードバックを提供することができる。

触覚情報復元部１３３０は、前記符号化されたイメージの残りのピクセルのうちの前記ヘッダ情報を用いて決定された個数のピクセルのバイトデータの最下位ビットを聚合して前記触覚情報を復元する。

触覚フィードバック部１３４０は、前記ヘッダ情報および前記触覚情報を用いてユーザに触覚フィードバックを提供する。

このとき、触覚フィードバック部１３４０は、偏心モータ、圧電素子、ソレノイドアクチュエータ、超音波モータ、触覚アーム、または質感提示装置などを用いて前記触覚フィードバックを提供することができる。

図１２に示す触覚情報処理装置は触覚情報エンコーダに該当し、図１３に示す触覚情報処理装置は触覚情報デコーダに該当する。

以上のように、本発明に係る触覚情報符号化／復号化方法および触覚情報処理装置は、上述したように説明された実施形態の構成と方法が限定されて適用されるものではなく、上述した実施形態は多様な変形がなされるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。

１２１０ ・・・触覚情報生成部
１２２０ ・・・ヘッダ生成部
１２３０ ・・・符号化部
１３１０ ・・・イメージロード部
１３２０ ・・・ヘッダ復元部
１３３０ ・・・触覚情報復元部
１３４０ ・・・触覚フィードバック部

Claims (16)

1. 触覚情報を生成するステップ；
   前記触覚情報および前記触覚情報と関連するヘッダ情報を用いて符号化対象データを生成するステップ；および
   原本イメージピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を用いて前記符号化対象データを符号化し、符号化されたイメージを生成するステップ
   を含み、前記触覚情報を生成するステップは、データサイズを減らすダウンサイジング過程を含んで前記触覚情報を生成することを特徴とするイメージに触覚情報を符号化する方法。
2. 前記触覚情報は、
   空間的に分布されている深さ分布情報、表面インピーダンス分布情報、温度分布情報、および表面材質分布情報のうちのいずれか一つの触覚分布データであることを特徴とする、請求項１に記載のイメージに触覚情報を符号化する方法。
3. 前記触覚情報は時系列振動情報であることを特徴とする、請求項１に記載のイメージに触覚情報を符号化する方法。
4. 前記符号化されたイメージを生成するステップは、
   前記符号化対象データの各ビットが前記原本イメージピクセルのうちの一部ピクセルそれぞれのバイトデータの最下位ビットに挿入されるようにし、前記原本イメージピクセルのうちの残りのピクセルのバイトデータの最下位ビットは元通りに維持されるようにすることを特徴とする、請求項１に記載のイメージに触覚情報を符号化する方法。
5. 前記原本イメージピクセルそれぞれのバイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトおよび非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）のうちのいずれか一つ以上であることを特徴とする、請求項４に記載のイメージに触覚情報を符号化する方法。
6. 前記原本イメージがａｎｉｍａｔｅｄ ｇｉｆファイルである場合、それぞれのイメージフレームに前記符号化対象データが符号化されることを特徴とする、請求項５に記載のイメージに触覚情報を符号化する方法。
7. 符号化されたイメージをロードするステップ；
   前記符号化されたイメージの一部ピクセルそれぞれのバイトデータ最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を抽出して、空間的に分布されている触覚分布データである触覚情報と関連するヘッダ情報を復元するステップ；および
   前記ヘッダ情報を用いて決定された個数のピクセルのバイトデータの最下位ビットを聚合して前記触覚情報をアップサイジングすることによって復元するステップ；
   を含むことを特徴とするイメージから触覚情報を復号化する方法。
8. 前記イメージから触覚情報を復号化する方法は、
   前記ヘッダ情報および前記アップサイジングされた触覚情報を用いてユーザに触覚フィードバックを提供するステップ
   をさらに含むことを特徴とする、請求項７に記載のイメージから触覚情報を復号化する方法。
9. 前記ヘッダ情報を抽出するステップは、
   予め設定された個数のピクセルのバイトデータをロードし、ロードされたバイトデータの最下位ビットを抽出し、抽出されたビットを用いて前記ヘッダ情報を復元することを特徴とする、請求項８に記載のイメージから触覚情報を復号化する方法。
10. 前記符号化されたイメージのピクセルそれぞれのバイトデータは、Ｒ、Ｇ、Ｂサブピクセルバイトおよび非カラーデータ（ｎｏｎ−ｃｏｌｏｒ ｄａｔａ）のうちのいずれか一つ以上であることを特徴とする、請求項８に記載のイメージから触覚情報を復号化する方法。
11. 触覚情報を生成する触覚情報生成部；
    前記触覚情報と関連し、前記触覚情報と共に符号化対象データを構成するヘッダ情報を生成するヘッダ生成部；および
    原本イメージピクセルそれぞれのバイトデータの最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を用いて前記符号化対象データを符号化し、符号化されたイメージを生成する符号化部
    を備え、前記触覚情報は触覚分布データであり、前記触覚情報生成部はデータサイズを減らすダウンサイジング過程を経て前記触覚情報を生成することを特徴とする触覚情報処理装置。
12. 前記符号化部は、
    前記符号化対象データの各ビットが前記原本イメージピクセルのうちの一部ピクセルそれぞれのバイトデータの最下位ビットに挿入されるようにし、前記原本イメージピクセルの残りのピクセルのバイトデータの最下位ビットは元通りに維持されるようにすることを特徴とする、請求項１１に記載の触覚情報処理装置。
13. 符号化されたイメージをロードするイメージロード部；
    前記符号化されたイメージの一部ピクセルそれぞれのバイトデータ最下位ビット（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）を抽出して、空間的に分布されている触覚分布データである触覚情報と関連するヘッダ情報を復元するヘッダ復元部；および
    前記ヘッダ情報を用いて決定された個数のピクセルのバイトデータの最下位ビットを聚合して前記触覚情報をアップサイジングすることによって復元する触覚情報復元部
    を備えることを特徴とする触覚情報処理装置。
14. 前記触覚情報処理装置は、
    前記ヘッダ情報および前記アップサイジングされた触覚情報を用いてユーザに触覚フィードバックを提供する触覚フィードバック部
    をさらに備えることを特徴とする、請求項１３に記載の触覚情報処理装置。
15. 前記ヘッダ復元部は、
    予め設定された個数のピクセルのバイトデータをロードし、ロードされたバイトデータの最下位ビットを抽出し、抽出された最下位ビットを用いて前記ヘッダ情報を復元することを特徴とする、請求項１４に記載の触覚情報処理装置。
16. 前記触覚フィードバック部は
    偏心モータ、圧電素子、ペルチェ素子、ソレノイドアクチュエータ、超音波モータ、触覚アーム、および質感提示装置のうちのいずれか一つを用いて前記触覚フィードバックを提供することを特徴とする、請求項１４に記載の触覚情報処理装置。