JP7184835B2 - コンピュータプログラム、方法及びサーバ装置 - Google Patents

Description

本件出願に開示された技術は、様々なアプリケーションにおいて演者（ユーザ）の動作に基づいた画像を表示する、コンピュータプログラム、方法及びサーバ装置に関する。

アプリケーションにおいて表示される仮想的なキャラクターの表情を演者の表情に基づいて制御する技術を利用したサービスとしては、まず「アニ文字」と称されるサービスが知られている（非特許文献１）。このサービスでは、ユーザは、顔の形状の変形を検知するカメラを搭載したスマートフォンを見ながら表情を変化させることにより、メッセンジャーアプリケーションにおいて表示されるアバターの表情を変化させることができる。

さらに、別のサービスとしては、「カスタムキャスト」と称されるサービスが知られている（非特許文献２）。このサービスでは、ユーザは、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情のうちのいずれかの表情を割り当てる。さらに、ユーザは、動画の配信の際には、所望する表情に対応する方向に沿って画面をフリックすることにより、その動画に表示されるアバターにその表情を表現させることができる。

なお、上記非特許文献１及び２の各々は、引用によりその全体が本明細書に組み入れられる。

"iPhone X 以降でアニ文字を使う"、［online］、２０１８年１０月２４日、アップルジャパン株式会社、［２０２０年１月１０日検索］、インターネット（URL: https://support.apple.com/ja-jp/HT208190） "カスタムキャスト"、［online］、２０１８年１０月３日、株式会社ドワンゴ、［２０２０年１月１０日検索］、インターネット（URL: https://customcast.jp/）

仮想的なキャラクター（アバター等）を表示させるアプリケーションにおいて、そのキャラクターに、印象的な表情を表現させることが望まれることがある。印象的な表情は、例えば、以下の３つの例を含む。第１の例は、顔の形状が漫画のように非現実的に変形した表情である。この表情は、例えば、両目が顔面から飛び出した表情等を含む。第２の例は、記号、図形及び／又は色が顔に付加された表情である。この表情は、例えば、涙がこぼれた表情、顔が真っ赤になった表情、目を三角形状にして怒った表情、等を含む。第３の例は、喜怒哀楽を含む感情を表現する表情である。印象的な表情は、これらの例に限定されない。

しかしながら、まず、特許文献１に記載された技術は、ユーザ（演者）の顔の形状の変化に追従するように仮想的なキャラクターの表情を変化させる。したがって、特許文献１に記載された技術は、ユーザの顔が実際に表現することが困難な、上記のような印象的な表情を、仮想的なキャラクターの表情において表現することは困難である。

次に、特許文献２に記載された技術にあっては、複数のフリック方向の各々に対して、仮想的なキャラクターに表現させるべき表情を予め割り当てておく必要がある。このため、ユーザ（演者）は用意されている表情をすべて認識している必要がある。さらには、複数のフリック方向に対して割り当てて一度に使用することが可能な表情の総数は、１０に満たない程度に限定され、充分ではない。

したがって、本件出願において開示された幾つかの実施形態は、演者の動作に基づいた画像を新たな手法により表示する、コンピュータプログラム、サーバ装置、端末装置及び表示方法を提供する。

一態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を保持し、演者の身体に関する測定データを用いて該演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、ように前記プロセッサを機能させる」ことができる。

別の態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、演者の端末装置により送信された該演者の身体に関する測定データを用いて該演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、ように前記プロセッサを機能させる」ことができる。

一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、該プロセッサが前記命令を実行することにより、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、演者の身体に関する測定データを用いて該演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する」ことができる。

一態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、演者の身体に関する測定データを用いて該演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する」ことができる。

図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。 図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である。 図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である。 図４は、図１に示した通信システム１全体において行われる動作の一例を示すフロー図である。 図５は、図４に示した動作のうち動画の生成及び送信に関する動作の一例を示すフロー図である。 図６は、図１に示した通信システムにおいて用いられる対応情報の一例を模式的に示す図である。 図７Ａは、図１に示した通信システムにおいて用いられる端末装置２０等により表示される動画の一例を示す図である。 図７Ａは、図１に示した通信システムにおいて用いられる端末装置２０等により表示される動画の別の例を示す図である。 図７Ｃは、図１に示した通信システムにおいて用いられる端末装置２０等により表示される動画のさらに別の例を示す図である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。

１．通信システムの例
本件出願において開示される通信システムでは、簡潔にいえば、配信ユーザ（演者）に対向して設けられた端末装置等が、この配信ユーザの動作に基づいて生成した画像（動画像及び／又は静止画像）を、サーバ装置等を介して、各視聴ユーザの端末装置等に送信することができる。

図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。図１に示すように、通信システム１は、通信網１０に接続される１又はそれ以上の端末装置２０と、通信網１０に接続される１又はそれ以上のサーバ装置３０と、を含むことができる。なお、図１には、端末装置２０の例として、３つの端末装置２０Ａ～２０Ｃが例示され、サーバ装置３０の例として、３つのサーバ装置３０Ａ～３０Ｃが例示されている。しかし、端末装置２０として、これら以外の１又はそれ以上の端末装置２０が通信網１０に接続され得る。また、サーバ装置３０として、これら以外の１又はそれ以上のサーバ装置３０が通信網１０に接続され得る。

また、通信システム１は、通信網１０に接続される１又はそれ以上のスタジオユニット４０を含むことができる。なお、図１には、スタジオユニット４０の例として、２つのスタジオユニット４０Ａ及び４０Ｂが例示されている。しかし、スタジオユニット４０として、これら以外の１又はそれ以上のスタジオユニット４０が通信網１０に接続され得る。

「第１の態様」では、図１に示す通信システム１では、演者により操作され所定のアプリケーション（動画配信用のアプリケーション等）を実行する端末装置２０（例えば端末装置２０Ａ）が、端末装置２０Ａに対向する演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得することができる。さらに、この端末装置２０Ａは、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信することができる。さらに、サーバ装置３０Ａは、端末装置２０Ａから受信した仮想的なキャラクターの画像を、通信網１０を介して他の１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して画像の配信を要求する旨を送信した端末装置２０に配信することができる。

なお、本明細書において、「所定のアプリケーション」又は「特定のアプリケーション」とは、１又はそれ以上のアプリケーションであってもよいし、１又はそれ以上のアプリケーションと１又はそれ以上のミドルウェアとの組み合わせであってもよい。

「第２の態様」では、図１に示す通信システム１では、例えばスタジオ等又は他の場所に設置されたサーバ装置３０（例えばサーバ装置３０Ｂ）が、上記スタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得することができる。さらに、このサーバ装置３０Ｂは、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介して１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して画像の配信を要求する旨を送信した端末装置２０に配信することができる。

「第３の態様」では、図１に示す通信システム１では、例えばスタジオ等又は他の場所に設置されたスタジオユニット４０が、上記スタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得することができる。さらに、このスタジオユニット４０は、このデータに従って生成した仮想的なキャラクターの画像を生成してサーバ装置３０に送信することができる。さらに、サーバ装置３０は、スタジオユニット４０から取得（受信）した画像を、通信網１０を介して１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して画像の配信を要求する旨を送信した端末装置２０に配信することができる。

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット及び／又はイーサネット（登録商標）等をこれらに限定することなく含むことができる。

端末装置２０は、インストールされた特定のアプリケーションを実行することにより、その演者の身体に関するデータ及び／又はその演者により発せられた発話及び／又は歌唱に関する音声データを取得する、という動作等を実行することができる。さらに、この端末装置２０は、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介してサーバ装置３０に送信する、という動作等を実行することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することにより、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。

端末装置２０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等を、これらに限定することなく含むことができる。

サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０から仮想的なキャラクターの画像を、通信網１０を介して受信し、受信した画像を、通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することにより、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得する、という動作等を実行することができる。さらに、サーバ装置３０は、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することにより、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。さらにまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオ等又は他の場所に設置されたスタジオユニット４０からこのスタジオ等に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データに従って表情を変化させた仮想的なキャラクターの画像を取得（受信）する、という動作等を実行することができる。さらに、サーバ装置３０は、この画像を、通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。

スタジオユニット４０は、インストールされた特定のアプリケーションを実行する情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得することができる。さらに、スタジオユニット４０は、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介してサーバ装置３０に送信することができる。

２．各装置のハードウェア構成
次に、端末装置２０、サーバ装置３０及びスタジオユニット４０の各々が有するハードウェア構成の一例について説明する。
２－１．端末装置２０のハードウェア構成
各端末装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である。なお、図２において、括弧内の参照符号は、後述するように各サーバ装置３０に関連して記載されている。

図２に示すように、各端末装置２０は、主に、中央処理装置２１と、主記憶装置２２と、入出力インタフェイス装置２３と、入力装置２４と、補助記憶装置２５と、出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置２１は、「ＣＰＵ」と称されることがあり、主記憶装置２２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置２２に記憶させることができる。さらに、中央処理装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。端末装置２０は、１又はそれ以上のこのような中央処理装置２１を含むことが可能である。

主記憶装置２２は、「メモリ」と称されることがあり、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置３０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、中央処理装置２１の演算結果を記憶することができる。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置２５は、主記憶装置２２よりも大きな容量を有する記憶装置である。補助記憶装置２５は、上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶しておき、中央処理装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を、入出力インタフェイス装置２３を介して主記憶装置２２に送信することができる。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等をこれらに限定することなく含むことができる。センサは、後述するように、１又はそれ以上のカメラ等を含む第１のセンサ、及び／又は、１又はそれ以上のマイク等を含む第２のセンサをこれらに限定することなく含むことができる。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。

このようなハードウェア構成にあっては、中央処理装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置２１は、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置３０及び他の端末装置２０等）との間で様々な情報の送受信を行うことができる。

これにより、端末装置２０は、インストールされた特定のアプリケーションを実行することにより、その演者の身体に関するデータ及び／又はその演者により発せられた発話及び／又は歌唱に関する音声データを取得し、取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介してサーバ装置３０に送信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することにより、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。

なお、端末装置２０は、中央処理装置２１に代えて又は中央処理装置２１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むことができる。

２－２．サーバ装置３０のハードウェア構成
各サーバ装置３０のハードウェア構成例について同じく図２を参照して説明する。各サーバ装置３０のハードウェア構成は、例えば、上述した各端末装置２０のハードウェア構成と同一とすることができる。したがって、各サーバ装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各サーバ装置３０は、主に、中央処理装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各端末装置２０に含まれる、中央処理装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であり得る。

このようなハードウェア構成にあっては、中央処理装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置３１は、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各端末装置２０等）との間で様々な情報の送受信を行うことができる。

これにより、サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０から仮想的なキャラクターの画像を、通信網１０を介して受信し、受信した画像を、通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

また、サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得するという動作等を実行することができる。さらに、サーバ装置３０は、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

さらにまた、サーバ装置３０は、「第３の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データに従って生成した仮想的なキャラクターの画像を、通信網１０を介してスタジオユニット４０から取得（受信）するという動作等を実行することができる。さらに、サーバ装置３０は、この画像を、通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することもできる。

なお、サーバ装置３０は、中央処理装置３１に代えて又は中央処理装置３１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むことができる。

２－３．スタジオユニット４０のハードウェア構成
スタジオユニット４０は、パーソナルコンピュータ等の情報処理装置により実装可能である。スタジオユニット４０は、図示はされていないが、上述した端末装置２０及びサーバ装置３０と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

スタジオユニット４０は、インストールされた特定のアプリケーションを実行して情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者の身体に関するデータ及び／又は演者により発せられた発話及び／又は歌唱に関する音声データを取得することができる。さらに、スタジオユニット４０は、この取得したデータに従って生成した仮想的なキャラクターの画像を、通信網１０を介してサーバ装置３０に送信することができる。

３．各装置の機能
次に、端末装置２０、サーバ装置３０及びスタジオユニット４０の各々が有する機能の一例について説明する。
３－１．端末装置２０の機能
端末装置２０の機能の一例について図３を参照して説明する。図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である。

図３に示すように、端末装置２０は、記憶部１００と、センサ部１１０と、変化量取得部１２０と、識別部１４０と、決定部１５０と、画像生成部１６０と、表示部１７０と、ユーザインタフェイス部１８０と、通信部１９０と、を含むことができる。端末装置２０は、さらに、参照値取得部１３０を含むことができる。

（１）記憶部１００
記憶部１００は、画像の配信及び／又は画像の受信に必要とされる様々な情報を記憶することができる。特に、記憶部１００は、対応情報を記憶することができる。対応情報では、予め定められた少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位とが、対応付けられる。

ここで、予め定められた少なくとも１つの特定動作には、例えば、以下に例示する複数の動作のうちの少なくとも１つが含まれ得る。
（Ａ）演者が実際に表現することが困難な様々な表情（以下「特殊表情」ということがある）のうちの少なくとも１つ
（Ｂ）身体を使用した様々な動作（両手でハート型を作る動作、及び、両手を用いて手旗信号を表現する動作等）のうちの少なくとも１つ

なお、上記（Ａ）に示した特殊表情は、例えば、以下に示す（Ａ１）から（Ａ３）のうちの少なくとも１つの表情を含むことができる。
（Ａ１）顔の形状が漫画のように非現実的に変形した表情
（Ａ２）記号、図形及び／又は色が顔に付加された表情
（Ａ３）喜怒哀楽を含む感情を表現する表情

また、演者の身体における複数の部位は、右目、左目、右眉毛、左眉毛、鼻、口、右耳、左耳、顎、右頬、左頬、首、右肩、左肩、右手、左手、胸、及び／又は、これらの部位のうちの何れかの部位における一部分等を、これらに限定することなく含むことができる。ここで、いずれかの部位における一部分には、例えば、当該部位が右目である場合には、右目の右端部、右目の左端部、右目の中央部、右目の上縁部、及び／又は、右目の下縁部等が含まれ得る。

さらに、対応情報では、予め定められた少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位、及び、このような変化量が大きい上位少なくとも１つの部位の上記変化量の大きさに基づく順序とが、対応付けられることも可能である。
なお、対応情報の具体例については後述する。

（２）センサ部１１０
センサ部１１０は、様々なタイプのカメラ及び／又はマイクロフォン等のセンサと、このようなセンサにより取得された情報を処理する少なくとも１つのプロセッサと、を含むことができる。センサ部１１０は、このセンサ部１１０に対向する演者の身体に関するデータ（画像及び／又は音声等）を取得して、さらにこのデータに対する情報処理を実行することが可能である。

具体的には、例えば、センサ部１１０は、まず、様々なタイプのカメラを用いて、単位時間ごとに演者の身体に関する画像データを取得することができる。ここで、単位時間は、ユーザ・演者等によりユーザインタフェイス部１８０を介して任意のタイミングにおいて任意の長さに設定・変更可能である。さらに、センサ部１１０は、このように取得した画像データを用いて、単位時間ごとに演者の身体における複数の部位の各々の位置を測定することができる。ここで、複数の部位とは、上記のとおり、右目、左目、右眉毛、左眉毛、鼻、口、右耳、左耳、顎、右頬、左頬、首、右肩、左肩、右手、左手、胸、及び／又は、これらの部位のうちの何れかの部位における一部分等を、これらに限定することなく含むことができる。なお、カメラにより取得された画像データを用いて単位時間ごとに演者の身体における複数の部分の位置を測定する手法としては、当業者にとって周知である様々な手法を用いることが可能である。

例えば、１つの実施形態では、センサ部１１０は、センサとして、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラと、を含むことができる。このようなカメラとしては、例えばｉｐｈｏｎｅ Ｘ（登録商標）のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）カメラが利用可能である。なお、トゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）カメラとしては、https://developer.apple.com/documentation/arkit/arfaceanchorに開示されたカメラを利用することができる。このウェブサイトに記載された事項は、引用によりその全体が本明細書に組み入れられる。

ＲＧＢカメラに関して、センサ部１１０は、ＲＧＢカメラにより取得された画像をタイムコード（画像を取得した時間を示すコード）に対応付けて単位時間ごとに記録したデータを生成することができる。このデータは、例えばＭＰＥＧファイルであり得る。

さらに、センサ部１１０は、近赤外線カメラにより取得された所定数（例えば５１個）の深度を示す数値（例えば浮動小数点の数値）を上記タイムコードに対応付けて単位時間ごとに記録したデータを生成することができる。このデータは、例えばＴＳＶファイルであり得る。ここで、ＴＳＶファイルとは、データ間をタブで区切って複数のデータを記録する形式のファイルである。

近赤外線カメラに関して、具体的には、まず、ドットプロジェクタがドット（点）パターンを含む赤外線レーザーを演者の身体に放射することができる。さらに、近赤外線カメラが、演者の身体に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの画像を生成することができる。センサ部１１０は、予め登録されているドットプロジェクタにより放射されたドットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像における各ポイント（例えば５１個のポイント・５１個の部位の各々）における位置のずれを用いて各ポイント（各部位）の深度を算出することができる。ここで、各ポイント（各部位）の深度は、各ポイント（各部位）と近赤外線カメラとの間の距離であり得る。センサ部１１０は、このように算出された深度を示す数値を上記のようにタイムコードに対応付けて単位時間ごとに記録したデータを生成することができる。

これにより、センサ部１１０は、タイムコードに対応付けて、単位時間ごとに、ＭＰＥＧファイル等の動画と、各部位の位置（座標等）とを、演者の身体に関するデータ（測定データ）として取得することができる。

別の実施形態では、センサ部１１０は、Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓという技術を利用することができる。Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓとしては、https://developers.google.com/ar/develop/java/augmented-faces/において開示された情報を利用することができる。このウェブサイトに開示された情報は、引用によりその全体が本明細書に組み入れられる。

Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓを利用することにより、センサ部１１０は、カメラにより撮像された画像を用いて、次に示す情報を単位時間ごとに取得することができる。
（１）演者の頭蓋骨の物理的な中心位置、
（２）演者の顔を構成する何百もの頂点を含み、上記中心位置に対して定義される顔メッシュ、及び、
（３）上記（１）及び（２）に基づいて識別された、演者の顔における複数の部位（例えば、右頬、左頬、鼻の頂点）の各々の位置（座標）

この技術を用いることにより、センサ部１１０は、単位時間ごとに、演者の上半身（顔等）における複数の部分の各々の位置（座標）を取得することができる。

なお、センサ部１１０は、マイクロフォン等から出力された演者の発話及び／又は歌唱に関する音声データについては、このデータに対して周知の信号処理を行うことにより、音声信号を取得することができる。この音声信号は、例えばＭＰＥＧファイル等であってもよい。

（３）変化量取得部１２０
変化量取得部１２０は、センサ部１１０により取得された演者の身体に関するデータ（測定データ）に基づいて、演者の身体における複数の部位の各々の単位時間当たりの変化量を取得することができる。具体的には、変化量取得部１２０は、例えば、右頬という部位について、第１の単位時間において取得された位置（座標）と、第１の単位時間の次に（直後に）生ずる第２の単位時間において取得された位置（座標）と、の差分をとることができる。これにより、変化量取得部１２０は、第１の単位時間と第２の単位時間との間において、右頬という部位の変化量を取得することができる。すなわち、変化量取得部１２０は、右頬という部位の単位時間当たりの変化量を取得することができる。変化量取得部１２０は、他の部位についても同様にその部位の単位時間当たりの変化量を取得することができる。

各部位の単位時間当たりの変化量は、例えば、０～１.０の間における浮動小数点により表現され得る。
なお、単位時間は、固定、可変又はこれらの組み合わせであってもよい。また、単位時間は、１フレームに相当する時間であってもよい。

（４）参照値取得部１３０
参照値取得部１３０は、センサ部１１０により取得された演者の身体に関するデータ（測定データ）に基づいて、演者の身体における複数の部位の単位時間当たりの変化量に基づく参照値を取得する。一実施形態では、参照値Ｒは、次の数式を用いて算出され得る。

ここで、ｘ_ｉは、前記演者の身体における複数の部位のうちの第ｉ番目の部位の単位時間当たりの変化量である。Ｎは、部位の総数（２以上）である。この数式により算出される値は、２乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）と称される。

上記参照値は、演者の身体における複数の部位の単位時間当たりの変化量がどの程度かを示す。上記参照値が大きい場合には、演者の身体が予め定められた少なくとも１つの特定動作のうちのいずれかを行ったことが推定され得る。一方、上記参照値が小さい場合には、演者の身体が予め定められた少なくとも１つの特定動作のうちのいずれも行っていないことが推定され得る。

なお、上記参照値は、上記数式に示された２乗平均平方根それ自体であってもよいし、この２乗平均平方根に対して任意の係数を乗ずることにより得られた値であってもよい。

また、参照値Ｒは、別の実施形態では、次の数式に示すようなｘ_ｉの平均値であってもよい。

なお、ここでも、ｘ_ｉは、前記演者の身体における複数の部位のうちの第ｉ番目の部位の単位時間当たりの変化量である。Ｎは、部位の総数（２以上）である。

（４）識別部１４０
識別部１４０は、変化量取得部１２０により取得された、演者の身体における複数の部位の各々の単位時間当たりの変化量を用いて、複数の部位のうち、単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別することができる。

一実施形態では、識別部１４０は、参照値取得部１３０により算出された参照値が閾値を上回る事象が検出された場合に、単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別することができる。変化量が大きい上位少なくとも１つの部位は、Ｎ個の部位を含み得る。

（５）決定部１５０
決定部１５０は、記憶部１００に記憶された上述した対応情報において、識別部１４０により識別された単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、演者が行った動作（検出動作）として決定することができる。

さらに、記憶部１００が予め定められた少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位、及び、このような変化量が大きい上位少なくとも１つの部位の上記変化量の大きさに基づく順序と、を対応付けた対応情報を記憶する場合には、決定部１５０は、次のような動作を行うことも可能である。具体的には、決定部１５０は、記憶部１００に記憶された上記対応情報において、識別部１４０により識別された単位時間当たりの変化量が大きい上位少なくとも１つの部位に一致し、かつ、上記変化量の大きさに基づく順序が一致する、いずれか１つの特定動作を、演者が行った動作（検出動作）として決定することができる。

なお、決定部１５０により行われる動作の具体例については後述する。

（６）画像生成部１６０
画像生成部１６０は、センサ部１１０により取得された演者の身体に関するデータ（測定データ）を用いて、通常は、演者の身体の動作に追従した仮想的なキャラクターのアニメーションを含む動画を生成することができる。例えば、画像生成部１６０は、演者の身体の動作に追従して、仮想的なキャラクターが真顔を維持して単に瞬きをした動画、仮想的なキャラクターが真顔を維持して単に俯いた動画、及び、仮想的なキャラクターが演者の顔の動作に合わせて口や目を動かした動画等を生成することができる。このような動画の生成は、画像生成部１６０が、センサ部１１０により取得された演者の身体に関するデータ（測定データ）に基づいて、例えば、特定の部位（目等）の位置（座標）が変化したことを検出し、そのような変化に基づいて、この特定の部位を描画すること等により実現可能である。また、このような動画の生成は、当業者にとって周知である様々なレンダリング技術を用いることによって実現可能である。

さらに、画像生成部１６０は、予め定められた少なくとも１つの特定動作のうち、決定部１５０により、いずれかの特定動作が実行されたことが決定されたとき（いずれかの特定動作が検出動作として決定されたとき）には、次のような動作を行うことができる。具体的には、画像生成部１６０は、決定された検出動作に基づいて動作する仮想的なキャラクターのアニメーションを含む動画を生成することができる。例えば、画像生成部１６０は、まず、上述した特定動作（Ａ１）、（Ａ２）、（Ａ３）及び／又は（Ｂ）の各々に対応付けて仮想的なキャラクターをどのように変化及び／又は動作させるかに関する情報を予め保持することができる。次に、画像生成部１６０は、このように予め保持した情報のうち、決定された検出動作に対応する情報を用いて、仮想的なキャラクターを変化及び／又は動作させたアニメーションを含む動画を生成することができる。また、このような動画の生成もまた、当業者にとって周知である様々なレンダリング技術を用いることによって実現可能である。

画像生成部１６０は、このように生成した動画を格納したファイル（例えばＭＰＥＧファイル等のファイル）を記憶部１００に記憶させることができる。
なお、画像生成部１６０は、ＶＲ（Virtual Reality）に基づく実施形態では、上記のように動作する仮想的なキャラクターが、ＣＧ等により形成された仮想空間に配置された画像（動画）を生成することができる。画像生成部１６０は、ＡＲ（Augmented Reality）又はＭＲ（Mixed Reality）に基づく実施形態では、上記のように動作する仮想的なキャラクターが、現実空間に配置された画像（動画）を生成することができる。

（７）表示部１７０
表示部１７０は、例えば、タッチパネル及び／又はディスプレイパネル等を含むことができる。このような表示部１７０は、記憶部１００に記憶された動画を格納したファイルを再生して表示することができる。

（８）ユーザインタフェイス部１８０
ユーザインタフェイス部１８０は、タッチパネル、マウス及び／又はキーボード等を含むことができる。このようなユーザインタフェイス部１８０は、演者（ユーザ）により行われた操作の内容を示す情報を生成することができる。

（９）通信部１９０
通信部１９０は、画像の配信及び／又は画像の受信に必要とされる様々な情報を、通信網１０を介してサーバ装置３０との間で通信することができる。特に、当該端末装置２０が演者（配信ユーザ）の端末装置２０として動作する場合には、通信部１９０は、記憶部１００に記憶された動画を、サーバ装置３０に送信することができる。当該端末装置２０が視聴ユーザの端末装置２０として動作する場合には、通信部１９０は、配信ユーザの端末装置２０により配信された動画を、サーバ装置３０を介して受信することができる。

３－２．サーバ装置３０の機能
サーバ装置３０の機能の具体例について同じく図３を参照して説明する。サーバ装置３０の機能としては、例えば、上述した端末装置２０の機能の一部を用いることが可能である。したがって、サーバ装置３０が有する構成要素に対する参照符号は、図３において括弧内に示されている。

まず、上述した「第２の態様」では、サーバ装置３０は、以下に述べる相違点を除き、記憶部２００～通信部２９０は、それぞれ、端末装置２０に関連して説明した記憶部１００～通信部１９０と同一であり得る。

センサ部２１０に含まれるセンサは、サーバ装置３０が設置されるスタジオ等又は他の場所において、演者が演技を行う空間において演者に対向して配置され得る。同様に、表示部２７０に含まれるディスプレイやタッチパネル等もまた、演者が演技を行う空間において演者に対向して又は演者の近くに配置され得る。

通信部２９０は、各演者に対応付けて記憶部２００に記憶された動画を格納したファイルを、通信網１０を介して複数の端末装置２０に配信することができる。これら複数の端末装置２０の各々は、インストールされた所定のアプリケーション（例えば動画視聴用のアプリケーション）を実行して、サーバ装置３０に対して所望の動画の配信を要求する信号（リクエスト信号）を送信することができる。これにより、各端末装置２０は、この信号に応答したサーバ装置３０から所望の動画を当該所定のアプリケーションを介して受信することができる。

なお、記憶部２００に記憶される様々な情報（動画を格納したファイル等）は、当該サーバ装置３０に通信網１０を介して通信可能な１又はそれ以上の他のサーバ装置（ストレージ）３０に記憶されるようにしてもよい。

一方、上述した「第１の態様」では、上記「第２の態様」において用いられたセンサ部２１０～画像生成部２６０をオプションとして用いることができる。通信部２９０は、上記のように動作することに加えて、各端末装置２０により送信され通信網１０から受信した、動画を格納したファイルを、記憶部２００に記憶させた上で、複数の端末装置２０に対して配信することができる。

他方、「第３の態様」では、上記「第２の態様」において用いられたセンサ部２１０～画像生成部２６０をオプションとして用いることができる。通信部２９０は、上記のように動作することに加えて、スタジオユニット４０により送信され通信網１０から受信した、動画を格納したファイルを、記憶部２００に記憶させた上で、複数の端末装置２０に対して配信することができる。

３－３．スタジオユニット４０の機能
スタジオユニットは、図３に示した端末装置２０又はサーバ装置３０と同様の構成を有することにより、端末装置２０又はサーバ装置３０と同様の動作を行うことが可能である。但し、通信部１９０（２９０）は、画像生成部１６０（２６０）により生成され記憶部１００（２００）に記憶された動画を、通信網１０を介してサーバ装置３０に送信することができる。

特に、センサ部１１０（２１０）に含まれるセンサは、スタジオユニット４０が設置されるスタジオ等又は他の場所において、演者が演技を行う空間において演者に対向して配置され得る。同様に、表示部１７０（２７０）に含まれるディスプレイやタッチパネル等もまた、演者が演技を行う空間において演者に対向して又は演者の近くに配置され得る。

４．通信システム１全体の動作
次に、上述した構成を有する通信システム１全体の動作の具体例について、図４を参照して説明する。図４は、図１に示した通信システム１全体において行われる動作の一例を示すフロー図である。

まず、ステップ（以下「ＳＴ」という。）４０２において、第１の態様の場合、端末装置２０（の画像生成部１６０）が、演者の身体に関するデータ（測定データ）を用いて、仮想的なキャラクターのアニメーションを含む動画を生成することができる。第２の態様の場合には、サーバ装置３０（の画像生成部２６０）が同様の動作を実行することができる。第３の態様の場合には、スタジオユニット４０が同様の動作を実行することができる。

ＳＴ４０４において、第１の態様の場合、端末装置２０（の通信部１９０）は、生成した動画をサーバ装置３０に送信することができる。第２の態様の場合、サーバ装置３０（の通信部２９０）は、ＳＴ４０４を実行しないか、又は、生成した動画を別のサーバ装置３０に送信することができる。第３の態様の場合、スタジオユニット４０は、生成した動画をサーバ装置３０に送信することができる。なお、ＳＴ４０２及びＳＴ４０４において実行される動作の具体例については、図５等を参照して後述する。

ＳＴ４０６において、第１の態様の場合、サーバ装置３０（の通信部２９０）は、端末装置２０から受信した動画を他の端末装置２０に送信することができる。第２の態様の場合、サーバ装置３０（又は別のサーバ装置３０）（の通信部２９０）は、端末装置２０から受信した動画を他の端末装置２０に送信することができる。第３の態様の場合、サーバ装置３０（の通信部２９０）は、スタジオユニット４０から受信した動画を他の端末装置２０に送信することができる。

ＳＴ４０８において、第１の態様及び第３の態様の場合、他の端末装置２０（の表示部１７０）は、サーバ装置３０により送信された動画を受信してその端末装置２０のディスプレイ等又はその端末装置２０に接続されたディスプレイ等に表示することができる。第２の態様の場合、他の端末装置２０（の表示部１７０）は、サーバ装置３０又は別のサーバ装置３０により送信された動画を受信してその端末装置２０のディスプレイ等又はその端末装置２０に接続されたディスプレイ等に表示することができる。

ＳＴ４１０において、動作が継続されるかが判断される。動作が継続されると判断された場合には、処理は上述したＳＴ４０２に戻る。一方、動作が継続されないと判断された場合には、処理は終了する。

なお、図４は、説明の簡略化のために、ＳＴ４０２～ＳＴ４０８に示された動作が順次実行される様子を示している。しかし、実際には、ＳＴ４０２～ＳＴ４０８は、相互に並行して実行され得る。

５．端末装置２０等により行われる動画の生成及び送信に関する動作
次に、図４を参照して説明した動作のうち、ＳＴ４０２及びＳＴ４０４において端末装置２０により行われる動画の生成及び送信に関する動作の具体的な例について、図５を参照して説明する。図５は、図４に示した動作のうち動画の生成及び送信に関する動作の一例を示すフロー図である。

以下、説明を簡単にするために、動画を生成する主体が端末装置２０である場合（すなわち、第１の態様の場合）に着目する。しかし、動画を生成する主体は、サーバ装置３０であってもよい（第２の態様の場合）。また、動画を生成する主体は、スタジオユニット４０であってもよい（第３の態様の場合）。

まず、前提として、ＳＴ５０２において、端末装置２０（の記憶部１００）は、予め定められた少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた対応情報を保持している。記憶部１００に記憶される対応情報は、以下に例示する対応情報であってもよい。
・当該端末装置２０により生成された対応情報
・専門家、技術者又は他のユーザにより生成されサーバ装置３０等から有償若しくは無償で送信された対応情報
・他のユーザの端末装置２０から直接的に又はサーバ装置３０等を介して間接的に送信された対応情報
なお、後述するように、端末装置２０は、保持している対応情報を更新することも可能である。

図６は、図１に示した通信システムにおいて用いられる対応情報の一例を模式的に示す図である。図６に例示される対応情報は、各特定動作に対して、単位時間当たりの変化量が大きい上位例えば６つの部位を対応付けることができる。上位６つの部位は、例えば第１の部位～第６の部位を含むことができる。第１の部位～第６の部位は、単位時間当たりの変化量の大きい順序に従って並べられている。すなわち、第１の部位の単位時間当たりの変化量が最大であり、第６の部位の単位時間当たりの変化量が最小である。

図６に示される対応情報は、一例として、「怒り顔」という特定動作に、単位時間当たりの変化量が大きい上位６つの部位を対応付けることができる。第１の部位～第６の部位は、それぞれ、「口の右端部」、「口の左端部」、「右目の中央部」、「左目の中央部」、「右眉毛の右端部」及び「左眉毛の左端部」であり得る。

また、図６に示す対応情報は、別の例として、「バツ目」という特定動作に、単位時間当たりの変化量が大きい上位６つの部位を対応付けることができる。第１の部位～第６の部位は、それぞれ、「右目の右端部」、「左目の左端部」、「右眉毛の右端部」、「左眉毛の左端部」、「右眉毛の左端部」及び「左眉毛の右端部」であり得る。

なお、図６には、対応情報が、各特定動作に対して、例えば６つの部位を対応付けている。しかし、対応情報は、複数の特定動作に対して、異なる数の部位を対応付けることも可能である。

図５に戻り、ＳＴ５０４において、端末装置２０（の画像生成部１６０）は、ＳＴ４０２に関連して説明したとおり、演者の身体に関するデータ（測定データ）を用いて、仮想的なキャラクターのアニメーションを含む動画を生成することができる。生成された動画の一例が図７Ａに示されている。動画７００には、演者の仮想的なキャラクター（「アバター」といわれることもある）７０２が含まれ得る。動画７００に含まれ得る仮想的なキャラクター７０２は、ＣＧなどによって構成される仮想な空間に配置され得るし、現実空間に配置され得る。仮想的なキャラクター７０２は、ＳＴ５０４では、演者の身体の動作に追従して変化することができる。例えば、端末装置２０に対向する演者が瞬きをすることに応答して、動画７００に含まれる仮想的なキャラクター７０２もまた瞬きをするように動作する。さらに、端末装置２０（の表示部１７０）は、このように生成された動画７００を演者に提示すべく表示することができる。

図５に戻り、同じくＳＴ５０４において、端末装置２０（の通信部１９０）は、このような動画７００をサーバ装置３０に送信することができる。これにより、サーバ装置３０に接続された他の視聴ユーザの端末装置２０（の表示部１７０）もまた、この動画７００を表示部に表示することができる。

次に、ＳＴ５０６において、端末装置２０（の変化量取得部１２０）は、単位時間ごとに、複数の部位の各々の変化量を取得することができる。次に、ＳＴ５０８において、端末装置２０（の参照値取得部１３０）は、ＳＴ５０６において取得した各部位の単位時間当たりの変化量を用いて、複数の部位の単位時間当たりの変化量に基づく参照値Ｒを取得することができる。ここで、参照値Ｒの取得の対象とされる「複数の部位」は、一実施形態では、演者の身体における予め定められた複数の部位の全体であり得る。別の実施形態では、参照値Ｒの取得の対象とされる「複数の部位」は、演者の身体における予め定められた複数の部位のうちの一部（例えば代表的な２以上の部位等）であり得る。

次に、ＳＴ５１０において、端末装置２０（の例えば参照値取得部１３０）は、ＳＴ５０８において取得した参照値Ｒが閾値以下である場合には、演者が何らの特定動作を行わなかったと推定することができる。この結果、処理は上述したＳＴ５０４に戻る。

一方、ＳＴ５１０において、端末装置２０（の例えば参照値取得部１３０）は、ＳＴ５０８において取得した参照値Ｒが閾値を上回っている場合には、演者が何らの特定動作を行ったと推定することができる。この結果、処理はＳＴ５１２に移行する。

ＳＴ５１２において、端末装置２０（の識別部１４０）は、例えば上述したＳＴ５０６において取得された複数の部位の単位時間当たりの変化量を用いて、これら複数の部位のうち、変化量が大きい上位Ｍ個の部位を識別することができる。ここで、Ｍは、自然数であり、１以上かつＮ以下となる範囲で任意に設定可能である。Ｍを大きく（又は小さく）設定することにより、後述するＳＴ５１６において決定される検出動作の正確性が増加（又は減少）し得る。

また、一実施形態では、端末装置２０（の識別部１４０）は、変化量が大きい上位Ｍ個の部位を、予め決められたＭ個の部位の中から識別することができる。これにより、端末装置２０（の識別部１４０）は、変化量が大きい上位Ｍ個の部位を識別する際に、上記予め決められたＭ個の部位の各々の変化量同士を比較すればよい。したがって、端末装置２０（の識別部１４０）は、変化量が大きい上位Ｍ個の部位を、より高速に識別することができる。

さらに、一実施形態では、端末装置２０（の識別部１４０）は、このように識別されたＭ個の部位を、変化量の大きさに従った順序に並べ替える（ソートする）ことができる。

次に、ＳＴ５１４において、端末装置２０（の決定部１５０）は、記憶部１００に記憶されている対応情報に含まれた少なくとも１つの特定動作の中に、ＳＴ５１２において「識別されたＭ個の部位に対応付けられた特定動作」が存在するかを、判定することができる。ここで、「識別されたＭ個の部位に対応付けられた特定動作」は、例えば以下に示す特定動作（１）～特定動作（４）のうち少なくとも１つを含むことができる。
（１）識別されたＭ個の部位と完全に同一なＭ個の部位が対応情報において対応付けられている特定動作。
（２）識別されたＭ個の部位のうち変化量が大きい上位Ｌ個の部位と完全に同一なＬ個の部位が対応情報において対応付けられている特定動作（但し、Ｌは、１以上かつＭ以下の自然数である）。
（３）上記（１）に示した特定動作であって、さらに、当該特定動作に対して対応付けられたＭ個の部位のうち上位少なくとも１個の部位の変化量の大きさに従った順序が、識別されたＭ個の部位のうち上位少なくとも１個の部位の変化量の大きさに従った順序と一致する特定動作。なお、この特定動作（３）に対応付けられた少なくとも１個の部位の順序は、識別されたＭ個の部位の順序に、完全に一致する又は部分的に（近似的に）一致する、ということができる。
（４）上記（２）に示した特定動作であって、さらに、当該特定動作に対して対応付けられたＬ個の部位のうち上位少なくとも１個の部位の変化量の大きさに従った順序が、識別されたＭ個の部位のうち上位少なくとも１個の部位の変化量の大きさに従った順序と一致する特定動作。なお、この特定動作（４）に対応付けられた少なくとも１個の部位の順序は、識別されたＭ個の部位の順序に、完全に一致する又は部分的に（近似的に）一致する、ということができる。

特定動作（１）～特定動作（４）について具体例を挙げて説明する。
ＳＴ５１２において識別された上位Ｍ個の部位が、部位１、部位３、部位２である場合を考える（Ｍ＝３）。ここで、各部位の変化量は、この順序で小さくなる。すなわち、部位１は、変化量が最大の部位であり、部位２は、変化量が最小の部位である。

特定動作（１）に着目する。
記憶部１００に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作（１）に該当し得る。
・部位１、部位３、部位２
・部位１、部位２、部位３
・部位２、部位３、部位１
・部位２、部位１、部位３
・部位３、部位１、部位２
・部位３、部位２、部位１
・部位１、部位３、部位２、部位１０
・部位１、部位３、部位２、部位２１等

特定動作（２）に着目する。
記憶部１００に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作（２）に該当し得る。
・部位１、部位３、部位２（Ｌ＝３）
・部位１、部位３、部位２、部位１２（Ｌ＝３）
・部位３、部位２、部位１、部位１８（Ｌ＝３）
・部位３、部位１６、部位１、部位２（Ｌ＝３）
・部位２、部位１、部位３（Ｌ＝３）
・部位２、部位３４、部位１、部位１８、部位３（Ｌ＝３）
・部位８９、部位３、部位２（Ｌ＝３）
・部位１、部位３、部位８（Ｌ＝２）
・部位１、部位３、部位８、部位１２（Ｌ＝２）
・部位１、部位５５、部位２４、部位３（Ｌ＝２）
・部位２２、部位１、部位９、部位３（Ｌ＝２）
・部位１、部位９、部位１２（Ｌ＝１）
・部位１、部位８、部位１４、部位２２（Ｌ＝１）
・部位１５、部位２５、部位１（Ｌ＝１）等

特定動作（３）に着目する。
記憶部１００に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作（３）に該当し得る。
・部位１、部位３、部位２
・部位１、部位３、部位２、部位６
・部位１、部位３、部位１０、部位２
・部位１、部位２、部位３
・部位１、部位１５、部位１１、部位３、部位２等

特定動作（４）に着目する。
記憶部１００に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作（４）に該当し得る。
・部位１、部位３、部位２（Ｌ＝３）
・部位１、部位３、部位２、部位１２（Ｌ＝３）
・部位１、部位３、部位８（Ｌ＝２）
・部位１、部位３、部位８、部位１２（Ｌ＝２）
・部位１、部位５５、部位２４、部位３（Ｌ＝２）
・部位２２、部位１、部位９、部位３（Ｌ＝２）
・部位１、部位９、部位１２（Ｌ＝１）
・部位１、部位８、部位１４、部位２２（Ｌ＝１）
・部位１５、部位２５、部位１（Ｌ＝１）等

ＳＴ５１４において、端末装置２０（の決定部１５０）が、上述したような「識別されたＭ個の部位に対応付けられた特定動作」が存在しないと判定した場合には、処理は上述したＳＴ５０４に戻る。なお、この場合、別の実施形態では、端末装置２０は、Ｍ個の部位を（Ｍ＋α）個の部位に増加させて、再度ＳＴ５１２及びＳＴ５１４を順次実行することができる。ここで、αは１以上の自然数である。

一方、ＳＴ５１４において、端末装置２０（の決定部１５０）が、上述したような「識別されたＭ個の部位に対応付けられた特定動作」又は「識別された（Ｍ＋α）個の部位に対応付けられた特定動作」が存在すると判定した場合には、処理はＳＴ５１６に移行する。ＳＴ５１６において、端末装置２０（の決定部１５０）は、このような「識別されたＭ個の部位に対応付けられた特定動作」又は「識別された（Ｍ＋α）個の部位に対応付けられた特定動作」を、演者が行った特定動作（検出動作）として決定することができる。なお、端末装置２０（の決定部１５０）は、このような「識別されたＭ個の部位に対応付けられた特定動作」又は「識別された（Ｍ＋α）個の部位に対応付けられた特定動作」が対応情報の中に複数含まれている場合には、これら複数の特定動作のうち最適な特定動作を検出動作として決定することができる。最適な特定動作とは、例えば、これら複数の特定動作のうち、ＳＴ５１２において識別されたＭ個の部位が最も近似した順序で対応付けられた特定動作であり得る。

次に、ＳＴ５１８において、端末装置２０（の画像生成部１６０）は、ＳＴ５１６において決定された検出動作に基づいて動作する仮想的なキャラクターのアニメーションを含む動画を生成することができる。ＳＴ５１６において決定された検出動作が、例えば、図６に例示された「怒り顔」である場合には、端末装置２０（の画像生成部１６０）は、図７Ｂに示すように、仮想的なキャラクター７０２の表情を怒った表情に変化させた動画７００を生成することができる。また、ＳＴ５１６において決定された検出動作が、例えば、図６に例示された「バツ目」である場合には、端末装置２０（の画像生成部１６０）は、図７Ｃに示すように、仮想的なキャラクター７０２の表情を、バツ目といわれる表情（両目が記号により表現され口が矩形により表現される表情）に変化させた動画７００を生成することができる。さらに、端末装置２０（の表示部１７０）は、このように生成された動画７００を演者に提示すべく表示することができる。

同じくＳＴ５１８において、端末装置２０（の通信部１９０）は、このように生成された動画７００をサーバ装置３０に送信することができる。これにより、サーバ装置３０に接続された他の視聴ユーザの端末装置２０（の表示部１７０）もまた、この動画７００を表示部に表示することができる。

この後、一実施形態では、処理は上述したＳＴ５０４に戻ることができる。
別の実施形態では、処理は、図５で例示されるように上述したＳＴ５０２に戻ることもできる。ＳＴ５０２では、端末装置２０は、記憶部１００に記憶されている対応情報を更新することができる。

例えば、ＳＴ５１６において決定された検出動作に基づいて生成された動画７００が、ＳＴ５１８において端末装置２０（の表示部１７０）により表示されたときに、この動画７００をモニターする演者等はその検出動作（決定された特定動作）が適切ではないと感じることがあり得る。この場合、演者等は、端末装置２０（のユーザインタフェイス部１８０）を介して、本来演者等が意図していた特定動作を指定することができる。

このような指定が演者等により行われた場合には、端末装置２０（の画像生成部１６０及び表示部１７０）は、検出動作に基づいて動画７００を生成することを中止することができる。さらに、端末装置２０は、上述したＳＴ５０４におけると同様に、演者の身体に関するデータ（測定データ）に基づいて動画７００を生成して表示することができる。このように演者等の意図が反映された動画７００がサーバ装置３０等に送信され得る。

さらにまた、このような指定が演者等により行われた場合には、かかる指定に関する情報に基づいて、端末装置２０は、記憶部１００に記憶されている対応情報を更新することができる。
例えば、検出動作が図６に例示した「バツ目」であったにも関わらず、演者等が適切な特定動作として図６に例示した「怒り顔」を指定した場合を考える。この場合には、端末装置２０は、「怒り顔」という特定動作に対して、第１の部位～第６の部位に対して、それぞれ、「右目の右端部」、「左目の左端部」、「右眉毛の右端部」、「左眉毛の左端部」、「右眉毛の左端部」及び「左眉毛の右端部」を対応付けるように、図６に例示した対応情報を更新することができる。或いはまた、端末装置２０は、「怒り顔」という特定動作に対して、ＳＴ５１２において識別された上位Ｍ個の部位それ自体を、又は、ＳＴ５１２において識別された上位Ｍ個の部位のうちの少なくとも一部の部位を、対応付けるように、図６に例示した対応情報を更新することもできる。

なお、ＳＴ５１２～ＳＴ５１４に示した動作を常に又は頻繁に実行することは、端末装置２０の消費電力の増加、端末装置２０のバッテリーの消耗、及び／又は、端末装置２０の処理速度の低下等に繋がる可能性がある。そこで、このような可能性を少なくとも部分的に抑えるために、図５に示した例では、複数の部位の変化量に基づく参照値Ｒが閾値を上回った場合に、演者により何らかの特定動作が行われた可能性があるとの推定に基づいて、端末装置２０は、ＳＴ５１２～ＳＴ５１４に示した動作を実行している。別言すれば、図５に示した例では、複数の部位の変化量に基づく参照値Ｒが閾値以下である場合には、演者により何らの特定動作も行われていない可能性があるとの推定に基づいて、端末装置２０は、ＳＴ５１２～ＳＴ５１４に示した動作を回避している。

なお、別の実施形態では、端末装置２０は、ＳＴ５１２～ＳＴ５１４に示した動作を常に又は頻繁に実行することも可能である。この場合には、ＳＴ５０８及びＳＴ５１０に示した動作が省略され得る。

さらに、図５に示した例では、ＳＴ５１２において用いられる複数の部位の単位時間当たりの変化量は、ＳＴ５０６において取得された複数の部位の単位時間当たりの変化量である場合について説明した。しかし、ＳＴ５１２において用いられる複数の部位の単位時間当たりの変化量は、以下に例示する変化量のうちの少なくとも１つの変化量の総和であってもよい。
・ＳＴ５０６において取得された複数の部位の単位時間当たりの変化量（以下便宜上この単位時間を「基準単位時間」という。）
・基準単位時間の後に生じた少なくとも１つの単位時間に得られた複数の部位の変化量
・基準単位時間の前に生じた少なくとも１つの単位時間に得られた複数の部位の変化量

６．対応情報の更新方法
次に、端末装置２０等により記憶される対応情報の更新方法の具体例について説明する。
端末装置２０等により記憶される対応情報は、例えば、以下の３つのタイミングにおいて更新され得る。
（１）初期利用時
（２）毎日の初回利用時
（３）外れ値の発生時

まず、上記（１）「初期利用時」について説明する。 演者Ａは、通信システム１により提供されるサービスを利用する際には、通信システム１により予め用意された対応情報（例えば他の演者により更新された対応情報）を使用することも可能である。しかし、演者Ａの端末装置２０は、他の演者により更新された対応情報を利用した場合には、演者Ａの意図しない動作（表情）を検出動作として決定する可能性がある。したがって、端末装置２０は、演者（ユーザ）ごとに、対応情報をカスタマイズすることが重要である。このようにカスタマイズを行う理由は、同一の表情をしようとしても、演者によって、それぞれ、顔の撮影状態、顔における変化量の大きい部位、及び、これらの部位の変化量の大きさに基づく順位が異なるからである。

例えば、演者Ａが「右ウインク」の表情を作るとき、演者Ａの変化量が大きい上位複数個（例えば３個）の部位は、変化量の大きい順に、例えば、（i）右眉、（ii）右目の上瞼、（iii）右目の下瞼、となり得る。ところが、演者Ｂが同一の「右ウインク」の表情を作るとき、演者Ｂの変化量が大きい上位複数個（例えば３個）の部位は、変化量の大きい順に、例えば、（i）右目の上瞼、（ii）右眉、（iii）右目の下瞼と、なり得る。この場合、演者Ａの端末装置２０は、演者Ｂの端末装置２０により更新された対応情報をそのまま用いると、演者Ａが右ウインクをしても、右ウインクを検出動作として決定できない可能性が高い。

そこで、各演者は、通信システム１により提供されるサービスを初めて利用する際に、アバターオブジェクトに反映される特定動作（特殊表情等）ごとに、端末装置２０を用いて、自身の表情を登録することができる（これがターゲットに対する教師情報になる）。具体的には、例えば、端末装置２０は、例えば主要な特定動作（特殊表情等）ごとに、その特定動作に関する指示を表示し、演者は、その指示に従ってその特定動作を演ずることができる。これにより、端末装置２０は、各特定動作と、その特定動作に対応する変化量の大きい上位少なくとも１個の部位と、を対応付けた対応情報を生成（更新）することができる。この対応情報は、図５におけるＳＴ５１４において上述したように用いられ得る。さらには、端末装置２０は、上記指示に従って演者が作った表情（質問情報）、及び、特定動作（解答情報）を、教師情報として利用して、その演者に対応する学習モデルを生成することができる。かかる学習モデルは、例えば、演者の表情を入力したときに、特定動作を出力するように動作することができる。

次に、上記（２）「毎日の初回利用時」について説明する。
同一の演者が、同一の特定動作を行っているつもりであっても、端末装置２０により検出される、身体（顔等）における変化量の大きい部位、及び、これらの部位の変化量の大きさに基づく順位は、日によって相違し得る可能性がある。これは、演者の髪型、疲労、撮影環境、及び、カメラと身体（顔等）との位置関係を含む様々な要因に起因し得る。
そこで、各演者は、毎日、最初に利用するとき（例えば毎朝）、アバターオブジェクトに反映される特定動作（特殊表情等）ごとに、端末装置２０を用いて、自身の表情を登録することができる（これが上記（１）の場合と同様にターゲットに対する教師情報になる）。

端末装置２０は、一実施形態では、上記（１）で行われるものと同様の学習を行うことができる。また、端末装置２０は、より好ましい実施形態では、単に、演者が作った表情と出力すべき特定動作（特殊表情等）とを対応付けて学習を行うだけでなく、以下の要素を教師情報（質問情報及び解答情報）として用いて学習を行うことができる。
（i）演者が作った表情（質問情報）
（ii）演者の髪型（質問情報）
（iii）演者の疲労度（質問情報）
なお、この疲労度は、例えば、顔のパーツの変化量から判定してもよい（注目すべき部位は変わらないが、最大最小のレンジが狭くなる。すなわち、疲労度が大きい程、注目すべき部位の変化量の最大値と最小値との間の差が小さくなり得る一方、疲労度が小さい程、注目すべき部位の変化量の最大値と最小値との間の差が大きくなり得る）
（iv）撮影環境、例えば、カメラと身体（顔等）との位置関係等（質問情報）
（v）シチュエーション及び／又は目的
シチュエーションや目的によって、演者が、「今回は、この顔は使わない」と判断して、当該特定動作を判定対象から外すことができる。これにより、キャラクタの設計上、演者が使用したくない表情も明らかになる。なお、シチュエーションや目的とは、例えば、どのような仮想空間（カラオケ、ステージ、ライブ会場等）であるかを意味し得る。
（vi）特定動作（解答情報）

したがって、演者が当該サービスを使い続けているうちに、演者に対するターゲットへの判定は収束していく。すなわち、演者は、当該サービスを使い続けていくうちに、演者が意図した特定動作がアバターオブジェクトに反映され易くなっていく。

なお、上記（２）の学習は、意図しない特定動作（特殊表情等）がアバターオブジェクトにより発動されたときに、演者による端末装置２０に対する操作によって実行されてもよい。例えば、端末装置２０が、演者が意図しない特殊表情Ａをアバターオブジェクトに発動させたときに、演者は、本来発動させたかった特殊表情Ｂをアバターオブジェクトに発動させるよう、端末装置２０に対する操作により優先順位を明確に設定してもよい。この場合、端末装置２０は、特殊表情Ａと特殊表情Ｂとが近い判定にあるが、優先して特殊表情Ｂを判定させるための学習情報を保管することができる（この更新に関する処理は、ＰＣのキーボードの文字変換が、使われ続けていくうちにカスタマイズされるものと同様の処理である。よって、ここではその詳細な処理に関する説明は省略される）。なお、対応情報の生成（更新）は、毎日の初回利用時に実行されることに限定されず、例えば、端末２０での動画配信用アプリケーションの利用時間の間隔が一定時間以上空いたと判定されたときに実行されてもよい。

次に、上記（３）「外れ値の発生時」について説明する。
顔における変化量の大きい上位３個の部位が、変化量の大きい順に、（i）上唇、（ii）下唇、（iii）眉、であるときに、端末装置２０は、表情「あ」を作るように設定されている（演者が、「あああ」と発音しても、「あーあ」と発音しても、同一の表情「あ」がアバターオブジェクトに反映される）とする。ここで、演者が「あれ～」と発音したときに、変化量が大きい上位３個の部位が、変化量の大きい順に、（i）上唇、（iii）眉、（ii）下唇、となり、割り当てるべき特殊表情がないと判定されたとする。

この場合、端末装置２０によるユーザインタフェイスを介した問いかけに対して、演者が、default（通常の表情）であると入力すれば、表情判定は終了する（端末装置２０は、次回の閾値越えまで待機する）。一方、端末装置２０によるユーザインタフェイスを介した問いかけに対して、演者が、新たな特殊表情を登録することができる。この場合、顔における変化量の大きい上位３個の部位が、変化量の大きい順に、（i）上唇、（iii）眉、（ii）下唇であるときに、端末装置２０は、新たな特殊表情（あれ～）を発動可能となる。

この判定は、「外れ値」としての判定として、入力値と各評価関数に対する距離関数（各要素の２乗和）で評価できる。例えば、表情Ａの評価関数fA(xi)、及び、表情Ｂの評価関数fB(xi)があり（他にdefault表情fDefault(xi)などがある）、いずれの関数fA(),fB()からも十分遠く、かつ、fDefault()として判定除外にならなかった表情が、新規の表情として、端末装置２０により演者に対して提案され得る。逆に、安定したターゲットへの判定を優先させる判断を、閾値として、演者が、例えば０～１等の範囲の数値を、ユーザインタフェイスに表示されるスライド等を操作して、設定可能である。
例えば、初期状態では、微笑fA、笑い（小）fB、及び、笑い（中）fCがターゲットとして登録されている局面を考える。端末装置２０は、例えば動画の配信中に、いずれかの部位の変化量が大きく外れる現象を検出した場合に、ユーザインタフェイスを介して、新規に「新しい表情状態を登録」する旨を演者に提案することができる。これにより、演者は、「大笑い」を登録することができる。以後、端末装置２０は、新しいターゲット及び評価関数fD()を判定ループに加えることができる。

演者が上記（１）～上記（３）を実装した端末装置２０を使い続けているうちに、この端末装置２０による特定動作（特殊表情等）の発動は、個別のユーザにカスタマイズ化されて収束し得る。

アルゴリズム（評価関数及びデータテーブル）の更新は、基本的には、演者の操作に基づいて端末装置２０が再帰的に評価関数及びデータテーブル（対応情報）を保存していくことで収束する。新規の判定関数は、演者が当該サービスを利用することによって登録が可能である。これは、開発者側が新規にアルゴリズムを記述する必要がないため、「自律的に学習する」と呼ぶことができるが、演者から提供される教師情報に基づいている。この評価関数及びデータセットは、演者ごとの学習結果と呼ぶことができ、サイズも小さく、個人情報を含まないため、サービス運営者が収集してアルゴリズムの平均化や最適化に利用可能である。

７．変形例
通信システム１において予め定められる少なくとも１つの特定動作には、演者により行われる第１の動作と、この第１の動作の後により長い時間をおいて演者により行われる第２の動作と、によって識別される特定動作が含まれ得る。例えば、拍手という特定動作は、両手の掌が相互に距離をおいて配置される第１の動作と、この第１の動作の後に両手の掌が相互に当接する第２の動作と、によって識別され得る。

この場合には、端末装置２０は、記憶部１００に記憶される対応情報において、「拍手」という特定動作に対して、第１の動作について変化量が大きい上位少なくとも１つの部位と、第２の動作について変化量が大きい上位少なくとも１つの部位と、を対応付けることができる。さらに、端末装置２０は、参照値Ｒが閾値を上回った場合に（ＳＴ５１０）、まず、１又はそれ以上の単位時間を含み得る第１の単位時間について、変化量が大きい上位Ｘ１個の部位を識別することができる（ＳＴ５１２を準用）。次に、端末装置２０は、対応情報の中に、このように識別された上位Ｘ１個の部位に対応する第１の動作が存在するかを判定することができる（ＳＴ５１４を準用）。ここで、Ｘ１は任意の自然数である。さらに、端末装置２０は、第１の単位時間の後に生し、１又はそれ以上の単位時間を含み得る第２の単位時間について、変化量が大きい上位Ｘ２個の部位を識別することができる（ＳＴ５１２を準用）。ここで、Ｘ２もまた任意の自然数である。次に、端末装置２０は、対応情報の中に、このように識別された上位Ｘ２個の部位に対応する第２の動作が存在するかを判定することができる（ＳＴ５１４を準用）。対応情報の中に、上位Ｘ１個の部位に対応する第１の動作が存在し、かつ、上位Ｘ２個の部位に対応する第２の動作が存在する場合に、端末装置２０は、第１の動作及び第２の動作を含む特定動作（拍手等）を検出動作として決定することができる（ＳＴ５１６を準用）。

対応情報は、図６で示されるようなデータテーブルである代わりに、例えば、判定すべき特定動作ごとに用意された評価関数を複数含むアルゴリズムであってもよい。このアルゴリズムは、特定動作の各々と、変位量が大きい上位少なくとも一つの部位とを対応付けた情報と扱われ得る。

また、図４及び図５等を参照して説明した様々な実施形態では、本件出願に開示された技術が、一例として、動画の生成に適用されている。しかし、本件出願に開示された技術は、メール、メッセンジャー及びワードプロセッサ等を含む様々なアプリケーションに対して、並びに、ウェブサイト及びＳＮＳ等の様々なサービスに対して、適用可能である。この場合には、ＳＴ５１８では、端末装置２０は、決定された検出動作に対応する絵文字及び／又は顔文字等を表示することができる。
さらに、本件出願に開示された技術は、ゲームアプリケーション及びゲームサービスにも適用可能である。この場合には、ＳＴ５１８では、端末装置２０は、決定された検出動作に基づいてゲームオブジェクトの動作を制御することができる。

さらに、図４及び図５等を参照して説明した様々な実施形態では、演者に対向する端末装置２０（これに代えてサーバ装置３０又はスタジオユニット４０であってもよい。以降、これらを総称して「端末装置２０等」という。）が、演者の身体に関するデータ（測定データ）の取得から動画の送信まで至る処理すべてを行う場合について説明した。しかし、演者に対向する端末装置２０等は、演者の身体に関するデータの取得を行う必要はあるが、その後の動作は、端末装置２０等以外の装置により実行され得る。

一例では、端末装置２０等が演者の身体に関するデータを取得した後、端末装置２０等は、ＳＴ５０６、ＳＴ５０８、ＳＴ５１０、ＳＴ５１２、ＳＴ５１４及びＳＴ５１６のうち、少なくとも１つのステップを実行し、このステップ以外のステップは、端末装置２０等に接続される１又はそれ以上の他の装置により実行され得る。例えば、演者の身体に関するデータの取得までが端末装置２０等により実行され、ＳＴ５０６～ＳＴ５１８（動画の生成まで）のステップが、１又はそれ以上の他の装置により単独で又は分担して実行され得る。或いはまた、ＳＴ５０６までのステップが端末装置２０等により実行され、ＳＴ５０８～ＳＴ５１８（動画の生成まで）のステップが、１又はそれ以上の他の装置により単独で又は分担して実行され得る。これにより、演者に対向する端末装置２０等に必要とされる演算リソース及び消費電力等を抑えることができる。
いずれの場合にも、端末装置２０等は、途中までのステップを実行することにより得られ、その後のステップの実行のために必要とされるデータ／情報を、１又はそれ以上の他の装置に送信する必要がある。

なお、上記「１又はそれ以上の他の装置」は、第１の態様～第３の態様の各々において以下の装置を含むことができる。
・サーバ装置３０及び／又は視聴ユーザの端末装置２０等（第１の態様及び第３の態様の場合）
・他のサーバ装置３０及び／又は視聴ユーザの端末装置２０等（第２の態様の場合）
ここで、上記「１又はそれ以上の他の装置」が視聴ユーザの端末装置２０を含み、当該視聴ユーザの端末装置２０がＳＴ５１８（動画の生成まで）を実行する方式は、「クライアントレンダリング」方式と称されることがある。

また、図４及び図５等を参照して説明した実施形態では、対応情報が、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けるだけでなく、少なくとも１つの特定動作の各々と、変化量が大きい上位少なくとも１つの部位の変化量の大きさに基づく順序と、を対応付ける場合について説明した。しかし、別の実施形態では、対応情報は、少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付ける一方、少なくとも１つの特定動作の各々と、変化量が大きい上位少なくとも１つの部位の変化量の大きさに基づく順序と、を対応付けないことも可能である。

この場合、端末装置２０は、ＳＴ５１２を実行する必要はない。端末装置２０は、ＳＴ５１４において、記憶部１００に記憶されている対応情報に含まれた少なくとも１つの特定動作の中に、ＳＴ５１２において「識別されたＭ個の部位に対応付けられた特定動作」（又は「識別された（Ｍ＋α）個の部位に対応付けられた特定動作」）が存在するかを、判定することができる。ここで、「識別されたＭ個の部位に対応付けられた特定動作」は、例えば上述した特定動作（１）及び特定動作（２）のうち少なくとも一方を含むことができる。

また、上述した様々な実施形態は、矛盾の生じない限りにおいて、相互に組み合わせて用いられ得る。

以上説明したように、様々な実施形態では、演者（ユーザ）の身体に関するデータに基づいて、単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別した後、この上位少なくとも１つの部位に対して予め対応付けられた特定動作を、演者により実行された特定動作として検出することができる。これにより、簡単にかつ高速に演者により実行された特定動作を検出することができるので、演算リソース及び消費電力等を抑えることができる。

さらに、演者の複数の部位の単位時間当たりの変化量に基づく参照値が閾値を上回った場合に、単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別すること、及び、この上位少なくとも１つの部位に対して予め対応付けられた特定動作を検出することを実行することができる。これにより、演算リソース及び消費電力等をさらに抑えることができる。

したがって、様々な実施形態によれば、演者の動作に基づいた画像を新たな手法により表示することができる。

２０（２０Ａ～２０Ｃ） 端末装置
３０（３０Ａ～３０Ｃ） サーバ装置
４０（４０Ａ及び４０Ｂ） スタジオユニット
１００（２００） 記憶部
１１０（２１０） センサ部
１２０（２２０） 変化量取得部
１３０（２３０） 参照値取得部
１４０（２４０） 識別部
１５０（２５０） 決定部
１６０（２６０） 画像生成部
１７０（２７０） 表示部
１８０（２８０） ユーザインタフェイス部
１９０（２９０） 通信部

Claims (18)

1. 少なくとも１つのプロセッサにより実行されることにより、
   少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を保持し、
   演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、
   前記参照値が閾値を上回る事象を検出した場合に、
   前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、
   前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、
   ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。
2. 前記情報が、前記少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位、及び、該変化量が大きい上位少なくとも１つの部位の前記変化量の大きさに基づく順序と、を対応付け、
   前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位、及び、前記変化量の大きさに基づく順序が一致するいずれか１つの特定動作を、検出動作として決定する、
   ように前記プロセッサを機能させる、請求項１に記載のコンピュータプログラム。
3. 前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、
   前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、第１の検出動作として決定した後、
   前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、第２の検出動作として決定し、
   前記第１の検出動作及び前記第２の検出動作に基づいて最終的な検出動作を決定する、
   ように前記プロセッサを機能させる、請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記複数の部位がＮ個の部位である場合、前記参照値が、
   

   

   という数式を用いて算出され、
   ここで、ｘ_ｉは、前記演者の身体における複数の部位のうちの第ｉ番目の部位の単位時間当たりの変化量である、請求項１から請求項３のいずれかに記載のコンピュータプログラム。
5. 前記少なくとも１つの特定動作の各々は、該特定動作に対応付けられた前記変化量が大きい上位少なくとも１つの部位を用いて表現される、請求項１から請求項４のいいずれかに記載のコンピュータプログラム。
6. 前記変化量が大きい上位少なくとも１つの部位の各々は、目、眉毛、鼻、口、耳、顎、頬、首、肩、手及び胸を含む群から選択される、請求項５に記載のコンピュータプログラム。
7. 決定された前記検出動作に基づいて画像を生成する、
   ように前記プロセッサを機能させる、請求項１から請求項６のいずれかに記載のコンピュータプログラム。
8. 前記画像が、絵文字、アバターオブジェクト、及び／又は、ゲームオブジェクトを含む、請求項７に記載のコンピュータプログラム。
9. 少なくとも１つのプロセッサにより実行されることにより、
   少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、
   演者の端末装置から受信した該演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、
   前記参照値が閾値を上回る事象を検出した場合に、
   前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、
   前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、
   ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。
10. 前記測定データを前記演者の端末装置から通信回線を介して受信する、
    ように前記プロセッサを機能させる、請求項９に記載のコンピュータプログラム。
11. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１から請求項１０のいずれかに記載のコンピュータプログラム。
12. 前記少なくとも１つのプロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、請求項１から請求項１１のいずれかに記載のコンピュータプログラム。
13. コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
    該プロセッサが前記命令を実行することにより、
    少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、
    演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、
    前記参照値が閾値を上回る事象を検出した場合に、
    前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、
    前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、ことを特徴とする方法。
14. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１３に記載の方法。
15. 前記少なくとも１つのプロセッサが、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ、又は、サーバ装置に搭載される、請求項１３又は請求項１４に記載の方法。
16. 少なくとも１つのプロセッサを具備し、
    該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
    少なくとも１つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも１つの部位と、を対応付けた情報を記憶し、
    演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、
    前記参照値が閾値を上回る事象を検出した場合に、
    前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも１つの部位を識別し、
    前記情報を用いて、前記少なくとも１つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも１つの部位に対応付けられたいずれか１つの特定動作を、検出動作として決定する、ことを特徴とするサーバ装置。
17. 前記測定データを前記演者の端末装置から通信回線を介して受信する、請求項１６に記載のサーバ装置。
18. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１６又は請求項１７に記載のサーバ装置。

Images