JP5233768B2

JP5233768B2 - COMMUNICATION SUPPORT SYSTEM, DISPLAY CONTROL DEVICE, AND DISPLAY CONTROL METHOD

Info

Publication number: JP5233768B2
Application number: JP2009065684A
Authority: JP
Inventors: 雄介鈴木
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2009-03-18
Filing date: 2009-03-18
Publication date: 2013-07-10
Anticipated expiration: 2029-03-18
Also published as: JP2010219989A

Description

本発明は、コミュニケーション支援システム、表示制御装置および表示制御方法に関する。 The present invention relates to a communication support system, a display control device, and a display control method.

音声や映像などのメディアを用いた遠隔コミュニケーションにおいて、実際にコミュニケーションを行う人の身体に関する情報がコミュニケーションするそれぞれの空間において欠如するために生じる問題が従来から存在していた。例えば、単純にカメラで撮影されている映像が遠隔の場に送信されたとしても、そのカメラを動かすことができないために遠隔の場のユーザが見ることができる範囲が制限されたり、遠隔ユーザの身体の向きや姿勢等によって表現されている非言語的情報を的確に送受信することができず自然なコミュニケーションを行うことが困難であるという問題がある。 In remote communication using media such as voice and video, there has conventionally been a problem caused by lack of information about the body of a person who actually communicates in each space where communication is performed. For example, even if an image captured by a camera is simply transmitted to a remote field, the camera cannot be moved, so that the range that can be viewed by a remote field user is limited, There is a problem that it is difficult to perform natural communication because it is impossible to accurately transmit and receive non-verbal information expressed by the orientation and posture of the body.

このような問題を解決する方法として、遠隔ユーザの分身として動作する移動体であるロボットを用いたロボットシステムが提案されている（例えば、特許文献１、２）。これらのシステムでは、重要な非言語表現を行うため、ロボットとして動作可能な身体とともに参加者の表情を表示するディスプレイを備えている。これにより、遠隔の場にいるユーザから発せられた情報をより多く伝達することができる。 As a method for solving such a problem, a robot system using a robot that is a moving body that operates as a substitute for a remote user has been proposed (for example, Patent Documents 1 and 2). These systems are equipped with a display that displays the facial expressions of participants along with a body that can operate as a robot in order to perform important non-verbal expressions. As a result, it is possible to transmit more information emitted from a user in a remote place.

特表２００１−５２４２８６号公報Special table 2001-524286 特開２００２−０４６０８８号公報JP 2002-046088 A

しかし、上記特許文献１、２に記載のシステムでは、ユーザの表情を表示するためのディスプレイがロボットに搭載されており、またそのディスプレイが通常使用されている平面の画像を表示するディスプレイであるため、実際にはディスプレイに提示される表情を見ることができる範囲が制限されるという問題があった。このため、ある場所にいるユーザはディスプレイに表示された画像を見ることができるが、他の場所のユーザにはその画像が見づくなっていた。また、ディスプレイをロボットに搭載するためディスプレイのサイズに制限が生じ、結果ディスプレイに表示されたロボットを操作するユーザの表情を十分に視認することができないという問題もあった。 However, in the systems described in Patent Documents 1 and 2, a display for displaying the user's facial expression is mounted on the robot, and the display is a display for displaying a plane image that is normally used. In practice, however, there is a problem that the range in which the facial expression presented on the display can be viewed is limited. For this reason, a user at a certain place can see the image displayed on the display, but it is difficult for a user at another place to see the image. In addition, since the display is mounted on the robot, the size of the display is limited, and as a result, the user's facial expression displayed on the display cannot be sufficiently visually recognized.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動体の動きとともに移動体を操作するユーザの映像を多くのユーザが視認することが可能な、新規かつ改良されたコミュニケーション支援システム、表示制御装置および表示制御方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to enable many users to visually recognize a video of a user who operates the moving body along with the movement of the moving body. Another object of the present invention is to provide a new and improved communication support system, display control apparatus, and display control method.

上記課題を解決するために、本発明のある観点によれば、遠隔操作可能な移動体を操作するリモート拠点のユーザと移動体が存在する遠隔拠点のユーザとのコミュニケーションを支援するコミュニケーション支援システムが提供される。かかるコミュニケーション支援システムは、リモート拠点から遠隔拠点に配置された移動体を操作する操作部と、リモート拠点にて移動体を操作するユーザを撮像する撮像部と、遠隔拠点に設けられ、撮像部により撮像された映像を、移動体が移動する移動面を含む表示面に表示する表示部と、表示面における移動体の位置を検出する位置検出部と、位置検出部により検出された移動体の位置に基づいて表示面に表示される映像の表示方法を制御する映像制御部と、を備える。映像制御部は、撮像部により撮像された映像を、表示面のうち移動体近傍の表示面に表示する。 In order to solve the above-described problem, according to an aspect of the present invention, there is provided a communication support system that supports communication between a user at a remote site that operates a remotely operable mobile body and a user at a remote site where the mobile body exists. Provided. Such a communication support system includes an operation unit that operates a moving body arranged from a remote site to a remote site, an imaging unit that images a user who operates the moving body at the remote site, and a remote site, A display unit that displays a captured image on a display surface including a moving surface on which the moving body moves, a position detection unit that detects the position of the moving body on the display surface, and a position of the moving body detected by the position detection unit And a video control unit that controls a display method of the video displayed on the display surface. The video control unit displays the video imaged by the imaging unit on a display surface in the vicinity of the moving body among the display surfaces.

本発明によれば、遠隔拠点のユーザは、リモート拠点のユーザにより操作されて遠隔拠点で動作する移動体の動作からリモート拠点のユーザの非言語的感情を認識するとともに、リモート拠点のユーザの映像を目視してリモート拠点のユーザの表情を認識する。このとき、遠隔拠点に表示されるリモート拠点のユーザの映像を、移動体が移動する移動面を含む表示面に表示する。これにより、より多くの遠隔拠点のユーザが映像を目視することができる。また、映像を移動体の近傍の表示面に表示させることにより、遠隔拠点のユーザが移動体と映像との双方を一度に把握しやすくなる。 According to the present invention, the user at the remote site recognizes the non-verbal feelings of the user at the remote site from the operation of the mobile body operated by the user at the remote site and operates at the remote site, and the video of the user at the remote site. To recognize the facial expression of the user at the remote site. At this time, the video of the user at the remote site displayed at the remote site is displayed on the display surface including the moving surface on which the moving body moves. As a result, more remote users can view the video. Further, by displaying the video on the display surface in the vicinity of the moving body, a user at a remote site can easily grasp both the moving body and the video at a time.

ここで、映像制御部は、映像を、移動体の動きに追従させて移動体近傍の表示面に表示するようにしてもよい。これにより、ユーザが移動体の動きを追って視線を移動させたときにも、映像も移動体の動きに追従するため、移動体と映像との双方を一度に把握することができる。 Here, the video control unit may display the video on a display surface in the vicinity of the moving body, following the movement of the moving body. Thereby, even when the user moves the line of sight following the movement of the moving body, the image also follows the movement of the moving body, so that both the moving body and the image can be grasped at a time.

また、映像制御部は、映像を、表示面における移動体の位置と表示面の境界との距離が最大となる方向に表示してもよい。これにより、映像を表示する領域を大きく確保することができる。 The video control unit may display the video in a direction in which the distance between the position of the moving body on the display surface and the boundary of the display surface is maximized. Thereby, a large area for displaying an image can be secured.

さらに、コミュニケーション支援システムに、リモート拠点にて移動体を操作するユーザの音声を入力する音声入力部と、音声入力部に入力された音声を解析する音声解析部と、を備えることもできる。このとき、映像制御部は、音声解析部による音声の解析結果に基づいて、映像の表示方法を変更する。これにより、話者の存在感も表現することが可能となる。 Furthermore, the communication support system may include a voice input unit that inputs a voice of a user who operates the moving body at a remote site, and a voice analysis unit that analyzes the voice input to the voice input unit. At this time, the video control unit changes the video display method based on the audio analysis result by the audio analysis unit. This makes it possible to express the presence of the speaker.

例えば、映像制御部は、移動体が所定時間以上動作していないか否かを判定し、移動体が所定時間以上動作していない場合、音声解析部による音声の解析結果により移動体を操作するユーザが発話しているか否かを判定するようにしてもよい。そして、ユーザが発話していると判定した場合、映像を表示する映像サイズを拡大する。これにより、移動体を操作するユーザが発話に集中して移動体の操作を停止していた場合にも、当該ユーザの映像のサイズが拡大されることにより、話者であるユーザの存在感をアピールすることができる。 For example, the video control unit determines whether or not the moving body has not operated for a predetermined time or more, and when the moving body has not operated for a predetermined time or more, operates the moving body based on the analysis result of the sound by the sound analysis unit. It may be determined whether or not the user is speaking. When it is determined that the user is speaking, the video size for displaying the video is enlarged. As a result, even when the user who operates the mobile body concentrates on the speech and stops the operation of the mobile body, the user's presence is increased by increasing the size of the video of the user. Can appeal.

あるいは、映像制御部は、音声解析部により解析された音声の大きさに基づいて、表示部に表示する映像のサイズを変更するようにしてもよい。これにより、話者の発言の内容の強さ等も表現することができる。 Alternatively, the video control unit may change the size of the video displayed on the display unit based on the volume of the audio analyzed by the audio analysis unit. Thereby, the strength of the content of the speaker's speech can be expressed.

また、映像制御部は、表示面の境界内に収めるように映像サイズを調整してもよい。これにより、映像が確実に表示面の境界内に表示されるので、見やすい映像をユーザに提供することができる。 Further, the video control unit may adjust the video size so as to be within the boundary of the display surface. Thereby, since the video is surely displayed within the boundary of the display surface, it is possible to provide an easy-to-view video to the user.

表示部は、例えば、映像を投射する映像投射部と、映像投射部から投射された映像が表示される表示面とから構成することもできる。 A display part can also be comprised from the video projection part which projects an image | video, and the display surface on which the image | video projected from the video projection part is displayed, for example.

また、上記課題を解決するために、本発明の別の観点によれば、遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、遠隔拠点の表示部の表示面に表示させる表示制御装置が提供される。かかる表示制御装置は、移動体が移動する移動面を含む表示面における移動体の位置を検出する位置検出部と、位置検出部により検出された移動体の位置に基づいて、移動面を含む表示面に表示する映像の表示方法を制御する映像表示部と、を備える。映像制御部は、映像を、表示面のうち移動体近傍の表示面に表示する。 In order to solve the above-described problem, according to another aspect of the present invention, an image of a user at a remote site that operates a remotely operable mobile unit arranged at a remote site is displayed on a display unit at the remote site. A display control device for displaying on a surface is provided. Such a display control device includes a position detection unit that detects a position of a moving body on a display surface including a moving surface on which the moving body moves, and a display that includes the moving surface based on the position of the moving body detected by the position detection unit. A video display unit for controlling a display method of the video displayed on the screen. The video control unit displays the video on a display surface in the vicinity of the moving body among the display surfaces.

さらに、上記課題を解決するために、本発明の別の観点によれば、遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、遠隔拠点の表示部の表示面に表示する表示制御方法が提供される。かかる表示制御方法は、遠隔拠点に配置された移動体を操作する操作情報を、リモート拠点の操作部から入力するステップと、リモート拠点にて移動体を操作するユーザを撮像するステップと、リモート拠点のユーザの映像を、遠隔拠点に設けられた表示部の表示面に表示するステップと、移動体が移動する移動面を含む表示面における移動体の位置を検出するステップと、移動体の位置に基づいて、撮像部により撮像された映像を、表示面のうち移動体近傍の表示面に表示するステップと、を含む。 Furthermore, in order to solve the above-described problem, according to another aspect of the present invention, an image of a user at a remote site who operates a remotely operable mobile body arranged at a remote site is displayed on a display unit at the remote site. A display control method for displaying on a surface is provided. Such a display control method includes a step of inputting operation information for operating a mobile unit located at a remote site from an operation unit at the remote site, a step of imaging a user operating the mobile unit at the remote site, Displaying the video of the user on the display surface of the display unit provided at the remote base, detecting the position of the moving object on the display surface including the moving surface on which the moving object moves, and the position of the moving object And displaying a video imaged by the imaging unit on a display surface in the vicinity of the moving body in the display surface.

以上説明したように本発明によれば、移動体の動きとともに移動体を操作するユーザの映像を多くのユーザが視認することが可能なコミュニケーション支援システム、表示制御装置および表示制御方法を提供することができる。 As described above, according to the present invention, it is possible to provide a communication support system, a display control apparatus, and a display control method that enable many users to visually recognize a video of a user who operates a moving body along with the movement of the moving body. Can do.

本発明の第１の実施形態にかかるコミュニケーション支援システムの概略を示す説明図である。It is explanatory drawing which shows the outline of the communication assistance system concerning the 1st Embodiment of this invention. 同実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。It is a block diagram which shows the structure of the communication assistance system concerning the embodiment. 同実施形態における映像表示位置の算出方法を示すフローチャートである。It is a flowchart which shows the calculation method of the video display position in the embodiment. 同実施形態における映像表示位置の算出方法を示すフローチャートである。It is a flowchart which shows the calculation method of the video display position in the embodiment. 同実施形態における映像表示位置の算出方法を説明するための説明図である。It is explanatory drawing for demonstrating the calculation method of the video display position in the embodiment. ロボットの方向を説明するための説明図である。It is explanatory drawing for demonstrating the direction of a robot. ロボットに映像表示部が搭載された場合におけるユーザの映像の見やすさについて説明する説明図である。It is explanatory drawing explaining the easiness of a user's image | video when a video display part is mounted in the robot. ロボットと映像表示部とが別個に配置された場合におけるユーザの映像の見やすさについて説明する説明図である。It is explanatory drawing explaining the visibility of a user's image | video when a robot and a video display part are arrange | positioned separately. 同実施形態にかかる映像表示方法により映像を表示した場合におけるユーザの映像の見やすさについて説明する説明図である。It is explanatory drawing explaining the user's visibility of an image | video at the time of displaying an image | video by the video display method concerning the embodiment. 本発明の第２の実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。It is a block diagram which shows the structure of the communication assistance system concerning the 2nd Embodiment of this invention. 同実施形態における映像サイズ変更処理を示すフローチャートである。It is a flowchart which shows the video size change process in the embodiment. 同実施形態における映像サイズ変更処理を説明するための説明図である。It is explanatory drawing for demonstrating the video size change process in the embodiment. ロボットが載置される載置台の一例を示す説明図である。It is explanatory drawing which shows an example of the mounting base in which a robot is mounted. ロボットが載置される載置台の他の一例を示す説明図である。It is explanatory drawing which shows another example of the mounting base in which a robot is mounted.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

（第１の実施形態）
＜コミュニケーション支援システムの概略＞
まず、図１に基づいて、本実施形態にかかるコミュニケーション支援システムの概略について説明する。なお、図１は、本実施形態にかかるコミュニケーション支援システムの概略を示す説明図である。 (First embodiment)
<Outline of communication support system>
First, based on FIG. 1, the outline of the communication assistance system concerning this embodiment is demonstrated. FIG. 1 is an explanatory diagram showing an outline of the communication support system according to the present embodiment.

本実施形態では、移動体であるロボット２２０を操作するユーザが存在するリモート拠点（拠点Ａ）と、ロボット２２０が配置される遠隔のローカル拠点（拠点Ｂ）とに存在するユーザのコミュニケーションを支援するコミュニケーション支援システムについて説明する。コミュニケーション支援システムは、図１に示すように、ネットワーク１０を介して接続された、リモート拠点およびローカル拠点に配置された構成要素を機能させることにより実現される。 In the present embodiment, communication of a user existing at a remote base (base A) where a user who operates the robot 220 as a moving body exists and a remote local base (base B) where the robot 220 is located is supported. A communication support system will be described. As shown in FIG. 1, the communication support system is realized by causing components disposed at a remote base and a local base connected via a network 10 to function.

リモート拠点には、ローカル拠点のロボット２２０を操作するユーザＵ１が存在する。ユーザＵ１は、操作部１１０を操作してロボット２２０の動きを操作する。ロボット２２０は、ローカル拠点を撮像するカメラを搭載している。ロボット２２０を動作させることで、ローカル拠点にある撮像対象を変化させることができ、また、カメラで取得する映像を変化させるためのロボット２２０の動きや向きが、ユーザＵ１の関心や興味を自然に表現することになる。 At the remote site, there is a user U1 who operates the robot 220 at the local site. The user U1 operates the operation unit 110 to operate the movement of the robot 220. The robot 220 is equipped with a camera that images a local site. By operating the robot 220, it is possible to change the imaging target at the local base, and the movement and orientation of the robot 220 for changing the image acquired by the camera naturally increases the interest and interest of the user U1. Will be expressed.

また、ユーザＵ１は、例えばカメラなどの表情映像取得部１２０により撮影されている。表情映像取得部１２０は、取得したユーザＵ１の表情映像を、後述する通信部およびネットワーク１０を介して、ローカル拠点のシステム構成要素へ送信する。さらに、リモート拠点には、ロボット２２０に搭載されたカメラなどにより撮像されたローカル拠点に存在するユーザＵ２〜Ｕ４の表情映像を表示するための表示部１４０が設けられている。 Further, the user U1 is photographed by a facial expression video acquisition unit 120 such as a camera, for example. The facial expression video acquisition unit 120 transmits the acquired facial expression video of the user U1 to the system components at the local base via the communication unit and the network 10 described later. Further, the remote site is provided with a display unit 140 for displaying facial expressions of the users U2 to U4 existing at the local site captured by a camera or the like mounted on the robot 220.

一方、ローカル拠点には、リモート拠点に存在するユーザＵ１に操作されるロボット２２０が配置される。ロボット２２０は、ユーザＵ１が操作部１１０を用いて入力した操作情報に基づいて動作する。これにより、ロボット２２０と同一空間に存在するユーザＵ２〜Ｕ４は、ロボット２２０の動きからユーザＵ１の興味関心を容易に理解することができる。なお、ユーザＵ２〜Ｕ４は、ロボット２２０が自律移動するものではなく、リモート拠点にいるユーザＵ１によってリモート操作されていることを認識しているものとする。 On the other hand, the robot 220 operated by the user U1 existing at the remote base is disposed at the local base. The robot 220 operates based on operation information input by the user U1 using the operation unit 110. Thereby, the users U 2 to U 4 existing in the same space as the robot 220 can easily understand the interest of the user U 1 from the movement of the robot 220. In addition, it is assumed that the users U2 to U4 recognize that the robot 220 is not autonomously moved but is remotely operated by the user U1 at the remote base.

また、ローカル拠点では、リモート拠点のユーザＵ１の表情映像が、ロボット２２０が移動する移動面を含む表示面２６０に表示される。例えば、表示面２６０に対して上方からプロジェクタなどの映像投射装置２５２により表示面２６０へ映像が投射されることにより、表示面２６０に映像２５４が表示される。ローカル拠点に存在するユーザＵ２〜Ｕ４は、表示面２６０に表示されたユーザＵ１の映像２５４を視認することができる。 At the local site, the facial image of the user U1 at the remote site is displayed on the display surface 260 including the moving surface on which the robot 220 moves. For example, the video 254 is displayed on the display surface 260 by projecting the video onto the display surface 260 from above by the video projection device 252 such as a projector. Users U 2 to U 4 existing at the local base can view the video 254 of the user U 1 displayed on the display surface 260.

このように、リモート拠点のユーザＵ１は、ローカル拠点に配置されたロボット２２０を動作させながら、ローカル拠点に存在するユーザＵ２〜Ｕ４とコミュニケーションを行う。 As described above, the user U1 at the remote base communicates with the users U2 to U4 existing at the local base while operating the robot 220 arranged at the local base.

以上、本実施形態にかかるコミュニケーション支援システムの概略について説明した。以下、図２〜図５に基づいて、コミュニケーション支援システムの構成とその機能について詳細に説明していく。なお、図２は、本実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。図３Ａおよび図３Ｂは、本実施形態における映像表示位置の算出方法を示すフローチャートである。図４は、本実施形態における映像表示位置の算出方法を説明するための説明図である。図５は、ロボット２２０の方向を説明するための説明図である。 The outline of the communication support system according to the present embodiment has been described above. Hereinafter, the configuration and functions of the communication support system will be described in detail with reference to FIGS. FIG. 2 is a block diagram showing the configuration of the communication support system according to the present embodiment. 3A and 3B are flowcharts showing a method for calculating the video display position in the present embodiment. FIG. 4 is an explanatory diagram for explaining a method of calculating a video display position in the present embodiment. FIG. 5 is an explanatory diagram for explaining the direction of the robot 220.

＜コミュニケーション支援システムの構成＞
まず、図２に基づいて、コミュニケーション支援システムの構成を説明する。本実施形態にかかるコミュニケーション支援システムは、上述したように、リモート拠点のシステム構成要素群１００と、ローカル拠点のシステム構成要素群２００とがネットワーク１０を介して接続されている。ネットワーク１０は、インターネット網やＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの一般的なネットワークである。 <Configuration of communication support system>
First, the configuration of the communication support system will be described with reference to FIG. In the communication support system according to the present embodiment, as described above, the system component group 100 at the remote base and the system component group 200 at the local base are connected via the network 10. The network 10 is a general network such as the Internet network or a LAN (Local Area Network).

リモート拠点のシステム構成要素群１００は、図２に示すように、操作部１１０と、表情映像取得部１２０と、通信部１３０とからなる。 As shown in FIG. 2, the remote base system component group 100 includes an operation unit 110, a facial expression video acquisition unit 120, and a communication unit 130.

操作部１１０は、リモート拠点に存在するユーザがローカル拠点に配置されたロボット２２０を操作するための機能部である。操作部１１０は、ユーザによる操作からロボット２２０を操作する操作情報を含むデータを生成し、通信部１３０へ出力する。操作部１１０は、例えば、ジョイスティック型コントローラなどの物理的な装置として構成することもでき、コンピュータシステム上のＧＵＩ要素などソフトウェア的に構成することもできる。 The operation unit 110 is a functional unit for a user at a remote site to operate the robot 220 disposed at the local site. The operation unit 110 generates data including operation information for operating the robot 220 from an operation by the user, and outputs the data to the communication unit 130. The operation unit 110 can be configured as a physical device such as a joystick controller, or can be configured as software such as a GUI element on a computer system.

表情映像取得部１２０は、リモート拠点に存在するユーザの表情を取得する機能部であって、例えばカメラなどの撮像部から構成される。表情映像取得部１２０は、操作部１１０を用いてロボット２２０の操作を行っているユーザの表情を撮影し、符号化して映像データ化する。そして、表情映像取得部１２０は、生成した映像データを通信部１３０へ出力する。 The facial expression video acquisition unit 120 is a functional unit that acquires a facial expression of a user existing at a remote site, and includes an imaging unit such as a camera. The facial expression video acquisition unit 120 photographs the facial expression of the user who is operating the robot 220 using the operation unit 110, encodes it, and converts it into video data. Then, facial expression video acquisition unit 120 outputs the generated video data to communication unit 130.

通信部１３０は、ネットワーク１０を介して、リモート拠点のシステム構成要素により生成した情報をローカル拠点のシステム構成要素へ送信し、また、ローカル拠点のシステム構成要素から送信された情報を受信する機能部である。通信部１３０は、例えば、操作部１１０により生成された操作情報や、表情映像取得部１２０により生成された映像データを、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。 The communication unit 130 transmits the information generated by the system component at the remote site to the system component at the local site via the network 10 and receives the information transmitted from the system component at the local site. It is. For example, the communication unit 130 transmits the operation information generated by the operation unit 110 and the video data generated by the facial expression image acquisition unit 120 to the system components at the local base via the network 10.

一方、ローカル拠点のシステム構成要素群２００は、位置検出部２１０と、ロボット２２０と、通信部２３０と、映像制御部２４０と、映像表示部２５０とからなる。 On the other hand, the system component group 200 at the local site includes a position detection unit 210, a robot 220, a communication unit 230, a video control unit 240, and a video display unit 250.

位置検出部２１０は、ロボット２２０の移動面におけるロボット２２０の位置を検出する機能部であって、例えば赤外線センサや静電容量センサ等から構成される。また、位置検出部２１０は、例えばロボット２２０に搭載されている電子コンパスと通信したり、ロボット２２０を撮影してその映像を認識したりするなどの方法により、ロボット２２０の向いている方向を検出することもできる。 The position detection unit 210 is a functional unit that detects the position of the robot 220 on the moving surface of the robot 220, and includes, for example, an infrared sensor or a capacitance sensor. In addition, the position detection unit 210 detects the direction in which the robot 220 is facing, for example, by communicating with an electronic compass mounted on the robot 220 or by capturing the robot 220 and recognizing the image. You can also

ロボット２２０は、リモート拠点に存在するユーザによって操作されることで、当該ユーザの非言語的情報を伝達する。ロボット２２０は、車輪や脚部等の移動機構を備えており、空間を移動することができる。また、ロボット２２０は、ロボット２２０の向きを変更するための回転機構を備えている。このような機構を備えることにより、ロボット２２０の位置や姿勢、向いている方向によってロボット２２０を操作しているユーザの興味や関心を物理空間内で表現することができる。さらに、ロボット２２０は、カメラなどの撮像機構を備えることもでき、撮像機構により取得した映像を遠隔地に送信することもできる。 The robot 220 is operated by a user existing at a remote site, thereby transmitting the non-linguistic information of the user. The robot 220 includes moving mechanisms such as wheels and legs, and can move in space. In addition, the robot 220 includes a rotation mechanism for changing the orientation of the robot 220. By providing such a mechanism, it is possible to express the interest and interest of the user operating the robot 220 in the physical space according to the position and posture of the robot 220 and the direction in which the robot 220 faces. Furthermore, the robot 220 can include an imaging mechanism such as a camera, and can transmit an image acquired by the imaging mechanism to a remote place.

通信部２３０は、ネットワーク１０を介して、ローカル拠点のシステム構成要素により生成した情報をリモート拠点のシステム構成要素へ送信し、また、リモート拠点のシステム構成要素から送信された情報を受信する機能部である。通信部２３０は、例えば、リモート拠点の通信部１３０から受信したロボット２２０の操作情報をロボット２２０へ送信したり、映像データを映像表示部２５０へ送信したりする。また、通信部２３０は、映像表示方法を変更する変更データを映像制御部２４０へ送信することもできる。 The communication unit 230 transmits the information generated by the system component at the local site to the system component at the remote site via the network 10 and receives the information transmitted from the system component at the remote site. It is. For example, the communication unit 230 transmits operation information of the robot 220 received from the communication unit 130 at the remote site to the robot 220 or transmits video data to the video display unit 250. The communication unit 230 can also transmit change data for changing the video display method to the video control unit 240.

映像制御部２４０は、映像表示部２５０に表示される映像の表示方法を制御する機能部である。映像制御部２４０は、ロボット２２０の位置情報を位置検出部２１０から受信し、そのロボット２２０の位置情報に基づいて映像の表示位置を決定する。映像制御部２４０による映像表示位置の算出方法については、後述する。 The video control unit 240 is a functional unit that controls a display method of a video displayed on the video display unit 250. The video control unit 240 receives the position information of the robot 220 from the position detection unit 210 and determines the display position of the video based on the position information of the robot 220. A method for calculating the video display position by the video control unit 240 will be described later.

映像表示部２５０は、リモート拠点のユーザの表情映像を表示する機能部である。映像表示部２５０は、例えば液晶ディスプレイのような表示部が表示面に直接映像を表示する一体型の表示手段でもよく、プロジェクタなどの映像投射部と当該映像投射部から映像が投射されるスクリーン面などの表示面を備える表示部とからなる分離型の表示手段でもよい。プロジェクタを用いる場合、映像表示位置や映像サイズを容易かつ自由に変更することが可能である。また、分離型の表示手段である場合、映像表示部２５０の映像投射部は、例えば空間上方の所定の位置に固定されていてもよく、空間上方を移動可能に設けられていてもよい。また、表示部として、例えば会議卓などのテーブルの平面を利用することもできる。映像表示部２５０は、映像制御部２４０により算出された表示位置に映像を表示する。なお、映像表示部２５０は、２次元映像を表示することもでき、３次元映像を表示することもできる。 The video display unit 250 is a functional unit that displays facial images of users at remote locations. The video display unit 250 may be an integrated display unit in which a display unit such as a liquid crystal display directly displays a video on a display surface, and a screen surface on which video is projected from a video projection unit such as a projector and the video projection unit. A separate display unit including a display unit having a display surface such as the above may be used. When using a projector, it is possible to easily and freely change the image display position and the image size. In the case of the separation type display means, the video projection unit of the video display unit 250 may be fixed at a predetermined position above the space, for example, or may be provided so as to be movable above the space. Moreover, as a display part, the plane of tables, such as a conference table, can also be utilized, for example. The video display unit 250 displays a video at the display position calculated by the video control unit 240. Note that the video display unit 250 can display a 2D video or a 3D video.

以上、本実施形態にかかるコミュニケーション支援システムの構成について説明した。なお、図２に示した各拠点のシステム構成要素は、本実施形態の特徴を明確にするため、必要最小限の構成要素を記載している。したがって、当該システムに、一般的な遠隔コミュニケーションで利用される、音声を取得するマイクや固定カメラによる映像を送受信するための要素を各拠点に設けてもよい。 The configuration of the communication support system according to the present embodiment has been described above. The system components at each site shown in FIG. 2 describe the minimum necessary components in order to clarify the features of this embodiment. Therefore, the system may be provided with an element for transmitting and receiving video from a microphone or a fixed camera that is used for general remote communication, and used for general remote communication.

このような構成要素からなるコミュニケーション支援システムでは、図１に基づいて説明したように、ロボット２２０の動きと映像表示部２５０に表示される表情映像とにより、リモート拠点にいるユーザの非言語的情報をローカル拠点のユーザに伝達する。このとき、ローカル拠点に存在するより多くのユーザに対してリモート拠点のユーザの表情映像を視認させるため、ロボット２２０の移動する移動面を含む表示面に、ロボット２２０の動きに追従してロボット２２０の近傍に表情映像を表示する。このように表情映像を表示させることで、ユーザはロボット２２０への視線の向きと略同一方向に表情映像がされるので、ユーザにとってロボット２２０の動きと表情映像とを同時に見やすくなる。また、ロボット２２０の移動面を含む表示面に表像映像を表示することで、ユーザの位置によって表像映像が見えなくなったりすることを低減することができる。 In the communication support system including such components, as described with reference to FIG. 1, the non-verbal information of the user at the remote site is obtained from the movement of the robot 220 and the facial expression image displayed on the image display unit 250. Is communicated to users at local locations. At this time, the robot 220 follows the movement of the robot 220 on the display surface including the moving surface on which the robot 220 moves in order to make more facial expressions of the users at the remote site visible to more users existing at the local site. A facial expression image is displayed in the vicinity of. By displaying the facial expression video in this manner, the user can see the facial expression video in substantially the same direction as the direction of the line of sight to the robot 220, so that the user can easily view the movement of the robot 220 and the facial expression video at the same time. Further, by displaying the image image on the display surface including the moving surface of the robot 220, it is possible to reduce the possibility that the image image becomes invisible depending on the position of the user.

＜映像表示位置の算出方法＞
以下、図３Ａおよび図３Ｂのフローチャートに基づいて、本実施形態における映像表示位置の算出方法について説明する。 <Video display position calculation method>
Hereinafter, a method for calculating the video display position in the present embodiment will be described based on the flowcharts of FIGS. 3A and 3B.

まず、移動面におけるロボット２２０の位置ｐ（ｘ，ｙ）およびロボット２２０の向きａ１（ｄｘ，ｄｙ）を取得する（ステップＳ１００）。ここで、図４に基づいて、ロボット２２０の移動する移動面を含む表示面におけるロボット２２０の大きさと位置、表示面の境界、および映像表示位置の平面的関係を説明する。 First, the position p (x, y) of the robot 220 on the moving surface and the orientation a1 (dx, dy) of the robot 220 are acquired (step S100). Here, based on FIG. 4, the planar relationship between the size and position of the robot 220 on the display surface including the moving surface on which the robot 220 moves, the boundary of the display surface, and the video display position will be described.

本実施形態では、図１に示すように、ロボット２２０は会議卓のような限定的空間内で動作するとしており、このとき移動面の境界は会議卓の辺、あるいは会議卓の平面のうちロボット２２０が移動可能である領域（移動面）を囲む外郭線とすることができる。すなわち、移動面は、会議卓と同一の大きさであってもよく、別個に移動面の境界を設定してもよい。本実施形態では、移動面と表示面は同一領域であるとする。図４では、表示面の境界２８０を、幅（ｘ方向の長さ）ｌｗ、高さ（ｙ方向の長さ）ｌｈで規定される略長方形の領域として表わしている。このとき、左下角を原点Ｏ（０，０）とする。また、図１では、映像表示部２５０を構成する映像投射部２５２は、移動面を含む、あるいは移動面と同一の表示面に映像を投射する。 In the present embodiment, as shown in FIG. 1, the robot 220 operates in a limited space such as a conference table. At this time, the boundary of the moving surface is the side of the conference table or the robot in the plane of the conference table. 220 can be a contour line surrounding a movable area (moving surface). That is, the moving surface may be the same size as the conference table, or the boundary of the moving surface may be set separately. In the present embodiment, it is assumed that the moving surface and the display surface are the same area. In FIG. 4, the boundary 280 of the display surface is represented as a substantially rectangular region defined by a width (length in the x direction) lw and a height (length in the y direction) lh. At this time, the lower left corner is the origin O (0, 0). In FIG. 1, the video projection unit 252 constituting the video display unit 250 projects a video on a display surface that includes the moving surface or is the same as the moving surface.

図４において、ｐ（ｘ，ｙ）は表示面におけるロボット２２０の位置を示す。ロボット２２０の位置は、位置検出部２１０により検出される。また、ロボット２２０の向きは二次元ベクトル（ｄｘ，ｄｙ）によって表現される。このロボット２２０の向きは、図５に示すように、例えばロボットの存在する点（すなわち、ｐ（ｘ，ｙ））を原点としたときの長さが１となるように調整された方向ベクトルとして表現することができる。例えば、ロボット２２０が図５の図面上部を向いている状態の方向ベクトルを（０，１）で表わすと、時計回りに９０°回転した状態は方向ベクトル（１，０）と表すことができる。ステップＳ１００にて算出するロボット２２０の向きは、例えばロボット２２０の正面の向きとすることができる。ロボット２２０の向きは、ロボット２２０に搭載された電子コンパスにより測定することができる。 In FIG. 4, p (x, y) indicates the position of the robot 220 on the display surface. The position of the robot 220 is detected by the position detection unit 210. The direction of the robot 220 is expressed by a two-dimensional vector (dx, dy). As shown in FIG. 5, the direction of the robot 220 is, for example, a direction vector adjusted so that the length when the point where the robot exists (that is, p (x, y)) is the origin is 1. Can be expressed. For example, when the direction vector of the state in which the robot 220 is facing the upper part of FIG. 5 is represented by (0, 1), the state rotated 90 ° clockwise can be represented as the direction vector (1, 0). The orientation of the robot 220 calculated in step S100 can be, for example, the orientation of the front of the robot 220. The orientation of the robot 220 can be measured with an electronic compass mounted on the robot 220.

次いで、方向ベクトルａ１から他の３つの向きを表す方向ベクトルａ２、ａ３、ａ４を算出する（ステップＳ１０２）。方向ベクトルａ２は、方向ベクトルａ１と正反対の方向を示す方向ベクトルであって、ａ２（−ｄｘ，−ｄｙ）で表わされる。方向ベクトルａ３は、方向ベクトルａ１を時計回りに９０°回転させた方向を示す方向ベクトルであって、ａ３（−ｄｙ，ｄｘ）で表わされる。方向ベクトルａ４は、方向ベクトルａ１を反時計回りに９０°回転させた方向を示す方向ベクトルであって、ａ４（ｄｙ，−ｄｘ）で表わされる。 Next, direction vectors a2, a3, and a4 representing the other three directions are calculated from the direction vector a1 (step S102). The direction vector a2 is a direction vector indicating the direction opposite to the direction vector a1, and is represented by a2 (−dx, −dy). The direction vector a3 is a direction vector that indicates a direction obtained by rotating the direction vector a1 by 90 ° in the clockwise direction, and is represented by a3 (−dy, dx). The direction vector a4 is a direction vector indicating a direction obtained by rotating the direction vector a1 by 90 ° counterclockwise, and is represented by a4 (dy, −dx).

さらに、ステップＳ１００およびＳ１０２にて算出したロボット２２０の４つの向きａ１〜ａ４について、ロボット２２０の位置ｐ（ｘ，ｙ）から表示面の境界２８０までの距離を算出する（ステップＳ１０４〜Ｓ１２６）。まず、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ１を算出する。距離ｄ１を求めるため、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との交点Ｐ１（ｐｘ，ｐｙ）を算出する。なお、方向ベクトルは、ａ１〜ａ４の４種類あるが、その成分を（ａｘ，ａｙ）と表記する場合もある。 Further, the distances from the position p (x, y) of the robot 220 to the boundary 280 of the display surface are calculated for the four directions a1 to a4 of the robot 220 calculated in steps S100 and S102 (steps S104 to S126). First, a distance d1 between a straight line extended from the position p (x, y) of the robot 220 in the direction represented by the direction vector a1 (dx, dy) and the boundary 280 of the display surface is calculated. In order to obtain the distance d1, the intersection point P1 (px, py) between the straight line extended from the position p (x, y) of the robot 220 in the direction represented by the direction vector a1 (dx, dy) and the boundary 280 of the display surface is calculated. To do. There are four types of direction vectors, a1 to a4, but the component may be expressed as (ax, ay).

まず、方向ベクトルａ１のｘ成分（ａｘ）が０以上であるか否かを判断する（ステップＳ１０６）。ａｘが０以上である場合には、ｘ方向における表示面の境界２８０をｘ＝ｌｗに設定する（ステップＳ１０８）。一方、ａｘが０より小さい場合には、ｘ方向における表示面の境界２８０をｘ＝０に設定する（ステップＳ１１０）。 First, it is determined whether or not the x component (ax) of the direction vector a1 is 0 or more (step S106). If ax is greater than or equal to 0, the boundary 280 of the display surface in the x direction is set to x = lw (step S108). On the other hand, if ax is smaller than 0, the boundary 280 of the display surface in the x direction is set to x = 0 (step S110).

次いで、方向ベクトルａ１のｙ成分（ａｙ）が０以上であるか否かを判断する（ステップＳ１１２）。ａｙが０以上である場合には、ｙ方向における表示面の境界２８０をｙ＝ｌｈに設定する（ステップＳ１１４）。一方、ａｙが０より小さい場合には、ｙ方向における表示面の境界２８０をｙ＝０に設定する（ステップＳ１１６）。 Next, it is determined whether or not the y component (ay) of the direction vector a1 is 0 or more (step S112). When ay is 0 or more, the display surface boundary 280 in the y direction is set to y = 1h (step S114). On the other hand, when ay is smaller than 0, the boundary 280 of the display surface in the y direction is set to y = 0 (step S116).

さらに、ステップＳ１０６〜Ｓ１１６にて設定された表示面のｘ方向の境界２８０およびｙ方向の境界２８０と、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線との交点ｃｘ，ｃｙを算出する（ステップＳ１１８）。ｃｘは、水平境界（ｙ方向の境界）と直線との交点のｘ座標であり、ｃｙは、垂直境界（ｘ方向の境界）と直線との交点のｙ座標である。 Further, the x-direction boundary 280 and the y-direction boundary 280 of the display surface set in steps S106 to S116 and the direction represented by the direction vector a1 (dx, dy) from the position p (x, y) of the robot 220. Intersection points cx and cy with the straight line extended to (step S118) are calculated. cx is the x coordinate of the intersection of the horizontal boundary (boundary in the y direction) and the straight line, and cy is the y coordinate of the intersection of the vertical boundary (boundary in the x direction) and the straight line.

ここで、一例として、ｐ（ｘ１，ｙ１）、ａｘ＜０かつａｙ≧０であるときの表示面の境界２８０との交点の算出方法について具体的に説明する。Ｐ１（ｐｘ，ｐｙ）を算出することは、ｐを通る傾きａｙ／ａｘの直線と、直線ｙ＝ｌｈとの交点を算出することに相当する。ここで、ａｘ＜０より垂直境界はｘ＝０となり、ａｙ≧０より水平境界はｙ＝ｌｈとなる。これより、直線ｙ＝ｌｈとの交点Ｐ１１は、
ｙ−ｙ１＝ａｙ／ａｘ（ｘ−ｘ１）
ｙ＝ｌｈ
の連立方程式を解くことにより、
ｃｘ＝ｐｘ＝ａｘ／ａｙ（ｌｈ−ｙ１）＋ｘ１
ｐｙ＝ｌｈ
を得ることができ、ｃｘを取得できる。 Here, as an example, a method for calculating an intersection point with the boundary 280 of the display surface when p (x1, y1), ax <0 and ay ≧ 0 will be specifically described. The calculation of P1 (px, py) corresponds to the calculation of the intersection of a straight line having an inclination ay / ax passing through p and the straight line y = 1h. Here, since ax <0, the vertical boundary is x = 0, and when ay ≧ 0, the horizontal boundary is y = lh. From this, the intersection P11 with the straight line y = lh is
y−y1 = ay / ax (x−x1)
y = lh
By solving the simultaneous equations of
cx = px = ax / ay (lh−y1) + x1
py = lh
And cx can be obtained.

同様に、直線ｘ＝０との交点Ｐ１２は、
ｐｘ＝０
ｃｙ＝ｐｙ＝−（ａｙ×ｘ１／ａｘ）＋ｙ１
を得ることができ、ｃｙを取得できる。 Similarly, the intersection P12 with the straight line x = 0 is
px = 0
cy = py = − (ay × x1 / ax) + y1
And cy can be acquired.

図３Ａの映像表示位置の算出方法の説明に戻り、ステップＳ１１８で表示面の境界２８０との交点が算出されると、ｃｘ＜ｌｗかつｃｙ＞ｌｈを満たすか否かを判定する（ステップＳ１２０）。これにより、Ｐ１１とＰ１２のうちどちらが表示面の境界２８０内に存在するかを判定する。 Returning to the description of the method for calculating the video display position in FIG. 3A, when the intersection with the boundary 280 of the display surface is calculated in step S118, it is determined whether or not cx <lw and cy> lh are satisfied (step S120). . Thereby, it is determined which of P11 and P12 is present within the boundary 280 of the display surface.

ｃｘ＜ｌｗかつｃｙ＞ｌｈである場合には、表示面の水平境界との交点とロボット２２０の位置ｐとの距離をｄとする（ステップＳ１２２）。距離ｄはユークリッド距離で表現される。例えば、ｐ（ｘ１，ｙ１）とすると、距離ｄは、
ｄ＝ｓｑｒｔ（（ｘ１−ｃｘ）^２＋ｙ１^２）
で表わされる。 If cx <lw and cy> lh, the distance between the intersection with the horizontal boundary of the display surface and the position p of the robot 220 is set to d (step S122). The distance d is expressed by the Euclidean distance. For example, if p (x1, y1), the distance d is
d = sqrt ((x1-cx) ² + y1 ² )
It is represented by

一方、ｃｘ＜ｌｗかつｃｙ＞ｌｈを満たさない場合には、表示面の垂直境界との交点とロボット２２０の位置ｐとの距離をｄとする（ステップＳ１２４）。例えば、ｐ（ｘ１，ｙ１）とすると、距離ｄは、
ｄ＝ｓｑｒｔ（ｘ１^２＋（ｙ１−ｃｙ）^２）
で表わされる。 On the other hand, if cx <lw and cy> lh are not satisfied, the distance between the intersection with the vertical boundary of the display surface and the position p of the robot 220 is set to d (step S124). For example, if p (x1, y1), the distance d is
d = sqrt (x1 ² + (y1-cy) ² )
It is represented by

このようにして、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ１を算出することができる。以下、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ２、ａ３、ａ４で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ２、ｄ３、ｄ４についても、ステップＳ１０４〜ステップＳ１２６の処理を繰り返すことで算出することができる。 In this way, the distance d1 between the straight line extended from the position p (x, y) of the robot 220 in the direction represented by the direction vector a1 (dx, dy) and the boundary 280 of the display surface can be calculated. . Hereinafter, the distances d2, d3, and d4 between the straight line extended from the position p (x, y) of the robot 220 in the direction represented by the direction vectors a2, a3, and a4 and the boundary 280 of the display surface are also described in steps S104 to S104. It can be calculated by repeating the process of step S126.

次いで、図３Ｂに示すように、ステップＳ１０４〜ステップＳ１２６において算出された距離ｄ１〜ｄ４のうち最大となる距離の方向を映像の表示方向ベクトルＡとする（ステップＳ１２８）。これにより、表示面におけるロボット２２０の位置からみて映像を表示する領域を多く確保できる方向が映像の表示方向として決定される。例えば、図４では、距離ｄ１〜ｄ４のうち距離が最大であるｄ２の方向ベクトルａ２が映像の表示方向ベクトルＡとされる。 Next, as shown in FIG. 3B, the direction of the maximum distance among the distances d1 to d4 calculated in steps S104 to S126 is set as a video display direction vector A (step S128). As a result, the direction in which a large area for displaying an image can be secured as viewed from the position of the robot 220 on the display surface is determined as the image display direction. For example, in FIG. 4, the direction vector a2 of d2 having the maximum distance among the distances d1 to d4 is set as the video display direction vector A.

さらに、ロボットサイズＲ、ロボット２２０の位置ｐおよび表示方向ベクトルＡから映像の表示位置Ｐ（Ｘ，Ｙ）を算出する（ステップＳ１３０）。ロボットサイズＲは、ロボット２２０の領域を円として表わしたときの半径である。表示面に表示する映像がロボット２２０の領域と重複しないように、ロボット２２０の領域外に映像の表示位置Ｐを決定する。ここで、表示方向ベクトルＡをＡ（Ａｘ，Ａｙ）として表わすと、Ａｘ、Ａｙは距離が１となるように正規化されているため、映像の表示位置Ｐ（Ｘ，Ｙ）は、
Ｘ＝ｘ＋Ｒ×Ａｘ
Ｙ＝ｙ＋Ｒ×Ａｙ
と表わされる。 Further, the video display position P (X, Y) is calculated from the robot size R, the position p of the robot 220 and the display direction vector A (step S130). The robot size R is a radius when the region of the robot 220 is represented as a circle. The video display position P is determined outside the area of the robot 220 so that the video displayed on the display surface does not overlap the area of the robot 220. Here, when the display direction vector A is represented as A (Ax, Ay), since Ax and Ay are normalized so that the distance is 1, the display position P (X, Y) of the video is
X = x + R × Ax
Y = y + R × Ay
It is expressed as

その後、ステップＳ１３０にて算出された映像の表示位置Ｐ（Ｘ，Ｙ）を始点として、表示面に映像を表示する（ステップＳ１３２）。例えば図４に示すように、表示する映像の形状を長方形であるとき、ロボット２２０の領域を表す境界とロボット２２０の位置ｐから方向ベクトルａ２に延びる直線との交点が映像の表示位置Ｐとなり、表示位置Ｐを長方形の一角とした所定サイズの映像２５４が表示面に表示される。なお、ロボット２２０の位置および向きを考慮して表示位置Ｐが算出される場合を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、ロボット２２０の位置に基づいて表示位置Ｐが算出されてもよい。より具体的には、例えば、ロボット２２０の位置から表示面の境界までの直線距離が最大となる直線上の位置に表示位置Ｐが存在するように算出されてもよい。 Thereafter, the video is displayed on the display surface starting from the video display position P (X, Y) calculated in step S130 (step S132). For example, as shown in FIG. 4, when the shape of the image to be displayed is a rectangle, the intersection of the boundary representing the region of the robot 220 and the straight line extending from the position p of the robot 220 to the direction vector a2 becomes the image display position P. An image 254 of a predetermined size with the display position P as one corner of the rectangle is displayed on the display surface. Note that although the case where the display position P is calculated in consideration of the position and orientation of the robot 220 has been described as an example, the present invention is not limited to such an example. For example, the display position P may be calculated based on the position of the robot 220. More specifically, for example, the display position P may be calculated such that the display position P exists at a position on a straight line where the straight line distance from the position of the robot 220 to the boundary of the display surface is maximum.

なお、ロボット２２０の領域は、ロボット２２０が実際に存在する領域を少なくとも含んでいればよく、必ずしもロボット２２０の実際の大きさと同一でなくともよい。しかし、映像がロボット２２０の近傍に表示されるように設定しなければならない。また、本実施形態では、ロボット２２０の領域を円形で表わしたが、例えば楕円形や多角形など、ロボット２２０の形状に応じて変更することもできる。例えば、ロボット２２０の領域が楕円形の場合、上記ロボットサイズＲを楕円形の長い方の半径（長半径）とする。ここで、ロボット２２０の近傍とは、表情映像を目視するための視線の方向が、ロボット２２０の目視するための視線の方向とほぼ一致する範囲内であるとする。また、映像として表示されたリモート拠点のユーザの頭部が、ロボット２２０の位置ｐの方向を向くように表示させてもよい。これにより、ユーザの表情を映像から認識しやすくすることができる。 The area of the robot 220 only needs to include at least an area where the robot 220 actually exists, and does not necessarily have to be the same as the actual size of the robot 220. However, it must be set so that the image is displayed in the vicinity of the robot 220. In the present embodiment, the area of the robot 220 is represented by a circle, but may be changed according to the shape of the robot 220 such as an ellipse or a polygon. For example, when the area of the robot 220 is an ellipse, the robot size R is the longer radius (long radius) of the ellipse. Here, the vicinity of the robot 220 is assumed to be within a range in which the direction of the line of sight for viewing the facial expression image substantially coincides with the direction of the line of sight for viewing the robot 220. Further, the head of the user at the remote base displayed as an image may be displayed so as to face the direction of the position p of the robot 220. This makes it easier to recognize the user's facial expression from the video.

以上、本実施形態にかかる映像表示位置の算出方法について説明した。かかる処理は、例えばロボット２２０がリモート拠点のユーザによって操作される度に実行される。これにより、ロボット２２０が位置や向きを変更する度に映像の表示位置も変更されることになる。すなわち、ロボット２２０の動きに追従して映像の表示位置が変更されるので、ユーザがロボット２２０の動きを追って視線を移動させたときにも、ロボット２２０と映像との双方を一度に把握することができる。また、リモート拠点におけるユーザの表情映像がロボット２２０が移動する移動面を含む表示面に表示されるので、より多くのユーザが表情映像を視認することができる。 The video display position calculation method according to the present embodiment has been described above. Such processing is executed each time the robot 220 is operated by a user at a remote site, for example. As a result, the display position of the image is also changed every time the robot 220 changes its position and orientation. In other words, since the display position of the image is changed following the movement of the robot 220, both the robot 220 and the image can be grasped at once even when the user moves the line of sight following the movement of the robot 220. Can do. In addition, since the facial expression video of the user at the remote site is displayed on the display surface including the moving surface on which the robot 220 moves, more users can view the facial expression video.

＜映像表示方法の比較＞
ここで、図６〜図８に基づいて、映像表示方法の相違による映像の見やすさについて検討する。図６は、ロボット２０に映像表示部２２が搭載された場合におけるユーザＵの映像の見やすさについて説明する説明図である。図７は、ロボット２０と映像表示部２２とが別個に配置された場合におけるユーザＵの映像の見やすさについて説明する説明図である。図８は、本実施形態にかかる映像表示方法により映像を表示した場合におけるユーザＵの映像の見やすさについて説明する説明図である。 <Comparison of video display methods>
Here, based on FIG. 6 to FIG. 8, the ease of viewing the video due to the difference in the video display method will be examined. FIG. 6 is an explanatory diagram for explaining the ease of viewing of the video of the user U when the video display unit 22 is mounted on the robot 20. FIG. 7 is an explanatory diagram for explaining the ease of viewing the video of the user U when the robot 20 and the video display unit 22 are separately arranged. FIG. 8 is an explanatory diagram for explaining the visibility of the video of the user U when the video is displayed by the video display method according to the present embodiment.

まず、図６は、例えば特許文献１、２のような映像の表示形態である。かかる表示方法では、ロボット２０に平面の映像表示部２２が搭載されているため、ロボット２０の向きや姿勢によっては、図６に示すようにユーザＵと映像表示部２２の表示面とが対向しない状態となり、ユーザＵが映像を目視できないという問題が生じる。 First, FIG. 6 shows a video display form as described in Patent Documents 1 and 2, for example. In this display method, since the planar video display unit 22 is mounted on the robot 20, the user U and the display surface of the video display unit 22 do not face each other as shown in FIG. This causes a problem that the user U cannot see the video.

次に、図７に示すように、映像表示部２２とロボット２０とが別個に配置されている場合には、図６のようなロボット２０の位置や姿勢によって映像が見え難くなるという問題は生じない。しかし、ユーザＵが、身体的にリモート拠点のユーザの関心等を表現しているロボット２０に向ける視線の方向と、リモート拠点のユーザの表情映像を表示する映像表示部２２に向ける視線の方向とが一致しない。このため、ユーザＵは、絶えずロボット２０と映像表示部２２との間で視線を往復させる必要があり、円滑なコミュニケーションを阻害する。 Next, as shown in FIG. 7, when the video display unit 22 and the robot 20 are separately arranged, there arises a problem that the video is difficult to see depending on the position and posture of the robot 20 as shown in FIG. Absent. However, the direction of the line of sight toward the robot 20 in which the user U physically expresses the interest of the user at the remote site, and the direction of the line of sight toward the video display unit 22 that displays the facial expression video of the user at the remote site. Does not match. For this reason, it is necessary for the user U to constantly reciprocate the line of sight between the robot 20 and the video display unit 22, which hinders smooth communication.

そこで、図８に示すように、本実施形態の映像表示方法を用いて、映像２５４をロボット２２０が移動する移動面を含む表示面２６０に表示する、すなわち、リモート拠点のユーザの表情映像をロボット２２０が動作する空間上に表示することにより、ロボット２２０の向きや姿勢によってユーザＵが映像を目視することができないといった問題は生じない。また、ロボット２２０の位置に応じて、映像の表示位置が適宜変更されるため、ロボット２２０の身体によって表現される情報を取得するための視線の方向と、リモート拠点のユーザの表情映像を目視するための視線の方向とが一致する。このように、本実施形態の映像表示方法を用いることにより、図６および図７の形態において生じていた問題を解決することができる。 Therefore, as shown in FIG. 8, by using the image display method of the present embodiment, the image 254 is displayed on the display surface 260 including the moving surface on which the robot 220 moves, that is, the facial expression image of the user at the remote site is displayed on the robot. By displaying on the space in which 220 operates, there is no problem that the user U cannot see the video depending on the orientation and posture of the robot 220. In addition, since the display position of the video is appropriately changed according to the position of the robot 220, the direction of the line of sight for acquiring information expressed by the body of the robot 220 and the facial expression video of the user at the remote base are visually observed. Therefore, the direction of the line of sight matches. As described above, by using the video display method of the present embodiment, the problem that has occurred in the embodiments of FIGS. 6 and 7 can be solved.

（第２の実施形態）
次に、本発明の第２の実施形態にかかるコミュニケーション支援システムについて説明する。上述した第１の実施形態では、ロボット２２０が動作している場合に、ロボット２２０の位置に追従するように映像の表示位置を変更するという映像の表示方法について説明した。ここで、通常、リモート拠点に存在するロボット２２０を操作するユーザは会議の主要話者になっている場合には、ロボット２２０を操作する回数が減少し、ロボット２２０が動作しない状態となることが考えられる。このようにロボット２２０が動作しない状態では、通常の映像の表示や音声表示システムと同様に、遠隔話者の存在感を提示することが困難である。 (Second Embodiment)
Next, a communication support system according to the second embodiment of the present invention will be described. In the first embodiment described above, the video display method of changing the video display position so as to follow the position of the robot 220 when the robot 220 is operating has been described. Here, in general, when the user who operates the robot 220 existing at the remote site is the main speaker of the conference, the number of times of operating the robot 220 may decrease, and the robot 220 may not operate. Conceivable. Thus, in a state where the robot 220 does not operate, it is difficult to present the presence of the remote speaker as in the case of normal video display and audio display systems.

そこで、本実施形態では、このような問題を解決するために、リモート拠点でロボットを操作するユーザが音声発話を所定時間以上続けている場合に、提示されるユーザの表情映像を発話時間に応じて拡大させる処理を行う。これにより、ロボットが必ずしも動作しない場合でもリモート拠点に存在するユーザの存在を簡易かつ明瞭に伝えることができる。 Therefore, in the present embodiment, in order to solve such a problem, when the user who operates the robot at the remote site continues voice utterance for a predetermined time or longer, the user's facial expression video is displayed according to the utterance time. Process to enlarge. Thereby, even when the robot does not always operate, the presence of the user existing at the remote base can be easily and clearly transmitted.

以下、図９〜図１１に基づいて、本実施形態にかかるコミュニケーション支援システムの構成とその機能について説明する。なお、図９は、本実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。図１０は、映像サイズ変更処理を示すフローチャートである。図１１は、本実施形態における映像サイズ変更処理を説明するための説明図である。また、以下では、第１の実施形態と同一の動作を行うシステム構成要素についての詳細な説明は省略する。 The configuration and functions of the communication support system according to the present embodiment will be described below with reference to FIGS. FIG. 9 is a block diagram showing the configuration of the communication support system according to the present embodiment. FIG. 10 is a flowchart showing the video size changing process. FIG. 11 is an explanatory diagram for explaining video size change processing in the present embodiment. In the following, detailed description of system components that perform the same operation as in the first embodiment will be omitted.

＜コミュニケーション支援システムの構成＞
まず、図９に基づいて、コミュニケーション支援システムの構成を説明する。本実施形態にかかるコミュニケーション支援システムは、第１の実施形態と同様、リモート拠点のシステム構成要素群３００と、ローカル拠点のシステム構成要素群４００とがネットワーク１０を介して接続されている。 <Configuration of communication support system>
First, the configuration of the communication support system will be described with reference to FIG. In the communication support system according to the present embodiment, the system component group 300 at the remote site and the system component group 400 at the local site are connected via the network 10 as in the first embodiment.

リモート拠点のシステム構成要素群３００は、図９に示すように、操作部３１０と、表情映像取得部３２０と、通信部３３０と、音声取得部３４０と、音声解析部３５０とからなる。ここで、操作部３１０および表情映像取得部３２０は、第１の実施形態にかかる操作部１１０および表情映像取得部１２０と同一の構成とすることができるため、これらの説明は省略する。 As shown in FIG. 9, the remote base system component group 300 includes an operation unit 310, a facial expression video acquisition unit 320, a communication unit 330, a voice acquisition unit 340, and a voice analysis unit 350. Here, since the operation unit 310 and the facial expression video acquisition unit 320 can have the same configuration as the operation unit 110 and the facial expression video acquisition unit 120 according to the first embodiment, description thereof will be omitted.

通信部３３０は、ネットワークを介して１０を介して、リモート拠点のシステム構成要素により生成した情報をローカル拠点のシステム構成要素へ送信し、また、ローカル拠点のシステム構成要素から送信された情報を受信する機能部である。通信部３３０は、例えば、操作部３１０により生成された操作情報や、表情映像取得部３２０により生成された映像データを、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。さらに、本実施形態の通信部３３０は、音声取得部３４０により取得された音声データや、音声解析部３５０による音声解析結果を、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。 The communication unit 330 transmits the information generated by the system component at the remote site to the system component at the local site via the network 10 and receives the information transmitted from the system component at the local site. It is a functional part to do. The communication unit 330 transmits, for example, the operation information generated by the operation unit 310 and the video data generated by the facial expression video acquisition unit 320 to the system component at the local base via the network 10. Furthermore, the communication unit 330 according to the present embodiment transmits the voice data acquired by the voice acquisition unit 340 and the voice analysis result by the voice analysis unit 350 to the system components at the local base via the network 10.

音声取得部３４０は、例えばマイク等から実装される音声信号取得機能と、当該音声信号取得機能により取得した音声信号をネットワーク１０経由でローカル拠点のシステム構成要素へ送信可能な状態に処理する信号処理機能とを備える機能部である。音声取得部３４０は、音声信号取得機能により取得した音声信号を音声解析部３５０へ出力するとともに、さらに信号処理機能により処理された音声信号を音声データとして通信部３３０へ出力する。 The audio acquisition unit 340, for example, an audio signal acquisition function implemented from a microphone or the like, and signal processing for processing the audio signal acquired by the audio signal acquisition function into a state in which the audio signal can be transmitted to the system components at the local base via the network 10. It is a function part provided with a function. The audio acquisition unit 340 outputs the audio signal acquired by the audio signal acquisition function to the audio analysis unit 350 and further outputs the audio signal processed by the signal processing function to the communication unit 330 as audio data.

音声解析部３５０は、音声信号を解析する機能部である。音声解析部３５０は、例えば、リモート拠点においてロボット４２０を操作するユーザの音声データを取得し、その音声データを解析して、解析結果を通信部３３０へ出力する。音声解析部３５０は、上記解析により、例えば音声データから話者を識別したり、音量を判定したり、所定時間において発言した時間で表わされる発言率を算出したりする。 The voice analysis unit 350 is a functional unit that analyzes a voice signal. For example, the voice analysis unit 350 acquires voice data of a user who operates the robot 420 at a remote site, analyzes the voice data, and outputs an analysis result to the communication unit 330. For example, the voice analysis unit 350 identifies the speaker from the voice data, determines the volume, and calculates the speech rate represented by the time during which the speech is made in a predetermined time.

一方、ローカル拠点のシステム構成要素群４００は、位置検出部４１０と、ロボット４２０と、通信部４３０と、映像制御部４４０と、映像表示部４５０と、音声提示部４６０とからなる。ここで、位置検出部４１０、ロボット４２０および映像表示部４５０は、第１の実施形態にかかる位置検出部２１０、ロボット２２０および映像表示部２５０と同一の構成とすることができるため、これらの説明は省略する。 On the other hand, the system component group 400 at the local site includes a position detection unit 410, a robot 420, a communication unit 430, a video control unit 440, a video display unit 450, and a voice presentation unit 460. Here, the position detection unit 410, the robot 420, and the video display unit 450 can have the same configuration as the position detection unit 210, the robot 220, and the video display unit 250 according to the first embodiment. Is omitted.

通信部４３０は、ネットワークを介して１０を介して、ローカル拠点のシステム構成要素により生成した情報をリモート拠点のシステム構成要素へ送信し、また、リモート拠点のシステム構成要素から送信された情報を受信する機能部である。通信部４３０は、例えば、リモート拠点の通信部３３０から受信したロボット４２０の操作情報をロボット４２０へ送信したり、映像データを映像表示部４５０へ送信したりする。また、通信部４３０は、音声解析結果を映像制御部４４０へ送信することもできる。さらに、通信部４３０は、リモート拠点の通信部３３０から受信した音声データを音声提示部４６０へ出力する。 The communication unit 430 transmits information generated by the system component at the local site to the system component at the remote site via 10 via the network, and receives information transmitted from the system component at the remote site. It is a functional part to do. For example, the communication unit 430 transmits operation information of the robot 420 received from the communication unit 330 at the remote site to the robot 420 or transmits video data to the video display unit 450. In addition, the communication unit 430 can transmit the audio analysis result to the video control unit 440. Further, the communication unit 430 outputs the audio data received from the communication unit 330 at the remote site to the audio presentation unit 460.

映像制御部４４０は、映像表示部４５０に表示される映像の表示方法を制御する機能部である。映像制御部４４０は、ロボット４２０の位置情報を位置検出部４１０から受信し、そのロボット４２０の位置情報に基づいて映像の表示位置を決定する。映像制御部４４０による映像表示位置の算出方法としては、第１の実施形態にて説明した方法を用いることができる。また、映像制御部４４０は、リモート拠点のシステム構成要素である音声解析部３５０の解析結果に基づいて、表示面に表示する映像サイズを変更する。映像サイズの変更処理の詳細については後述する。 The video control unit 440 is a functional unit that controls a display method of a video displayed on the video display unit 450. The video control unit 440 receives the position information of the robot 420 from the position detection unit 410 and determines the display position of the video based on the position information of the robot 420. As a method of calculating the video display position by the video control unit 440, the method described in the first embodiment can be used. In addition, the video control unit 440 changes the video size displayed on the display surface based on the analysis result of the voice analysis unit 350 that is a system component of the remote base. Details of the video size changing process will be described later.

音声提示部４６０は、リモート拠点の音声取得部３４０により生成された音声データを復号化して、実際の音声として出力する機能部である。音声提示部４６０は、例えばスピーカ等を用いることができる。また、音声提示部４６０は、ローカル拠点の通信部４３０、ネットワーク１０およびリモート拠点の通信部３３０を介して音声取得部３４０と通信することもできる。 The voice presentation unit 460 is a functional unit that decodes the voice data generated by the voice acquisition unit 340 at the remote base and outputs the decoded voice data as actual voice. For example, a speaker or the like can be used as the voice presentation unit 460. Also, the voice presentation unit 460 can communicate with the voice acquisition unit 340 via the local base communication unit 430, the network 10, and the remote base communication unit 330.

以上、本実施形態にかかるコミュニケーション支援システムの構成について説明した。本実施形態にかかるコミュニケーション支援システムでは、図３Ａおよび図３Ｂに示した映像表示方法を用いて、ロボット４２０の移動面を表示面に映像を表示するが、ステップＳ１３０に続いて図１０に示す映像サイズ変更処理を行うことにより、ロボット４２０が動作しない場合にもリモート拠点におけるユーザの存在感をアピールする。以下、図１０および図１１に基づいて、本実施形態にかかる映像サイズ変更処理について説明する。 The configuration of the communication support system according to the present embodiment has been described above. In the communication support system according to the present embodiment, the moving image of the robot 420 is displayed on the display surface by using the image display method illustrated in FIGS. 3A and 3B. The image illustrated in FIG. By performing the size changing process, the presence of the user at the remote base is appealed even when the robot 420 does not operate. Hereinafter, the video size changing process according to the present embodiment will be described with reference to FIGS. 10 and 11.

＜映像サイズ変更処理＞
映像サイズ変更処理では、まず、映像制御部４４０が映像表示位置の算出処理を実行してから所定時間が経過したか否かを判定する（ステップＳ２００）。映像表示位置の算出処理を実行してからの経過時間は、タイマー（図示せず。）により計測することができる。上述したように、映像表示位置の算出処理は、ロボット４２０が動作する度に実行される。つまり、ステップＳ２００では、所定時間ロボット４２０が操作されなかった時間を判定していることになる。所定時間は、例えば１分と設定することができる。 <Image size change processing>
In the video size change process, first, it is determined whether or not a predetermined time has elapsed since the video control unit 440 executed the video display position calculation process (step S200). The elapsed time from the execution of the video display position calculation process can be measured by a timer (not shown). As described above, the video display position calculation process is executed each time the robot 420 operates. That is, in step S200, the time when the robot 420 is not operated for a predetermined time is determined. The predetermined time can be set to 1 minute, for example.

ステップＳ２００にて、経過時間が所定時間を超えたと判定された場合、映像制御部４４０は、音声解析部３５０によりロボット４２０を操作可能なユーザが発話しているか否かを解析させて、当該ユーザが発話しているか否かを判定させる（ステップＳ２０２）。音声解析部３５０は、音声取得部３４０により取得された音声信号を解析して、発話しているユーザを特定し、ロボット４２０を操作可能なユーザが発話しているか否かを判定する。発話の有無の判定方法は、単純に音声入力の有無を判定してもよく、周囲の雑音を緩和するなどの信号処理を加えるなどの既存の処理を実施した後の音声データに基づいて判定してもよい。音声解析部３５０は、通信部３３０、ネットワーク１０および通信部４３０を介して映像制御部４４０へ、判定結果を解析結果として送信する。 If it is determined in step S200 that the elapsed time has exceeded the predetermined time, the video control unit 440 causes the voice analysis unit 350 to analyze whether or not a user who can operate the robot 420 is speaking, and Whether or not is speaking is determined (step S202). The voice analysis unit 350 analyzes the voice signal acquired by the voice acquisition unit 340, specifies a user who is speaking, and determines whether a user who can operate the robot 420 is speaking. The method for determining the presence or absence of speech may be simply determined by the presence or absence of speech input, based on speech data after performing existing processing such as adding signal processing such as mitigating ambient noise. May be. The audio analysis unit 350 transmits the determination result as an analysis result to the video control unit 440 via the communication unit 330, the network 10, and the communication unit 430.

ステップＳ２０２にて、音声入力があると判定された場合には、映像制御部４４０は、映像サイズの拡大率ｒを所定割合だけ増加させる（ステップＳ２０４）。所定割合は、任意に設定することができ、例えば１０％とすることができる。これにより、ロボット４２０を操作可能なユーザがロボット４２０の操作は行っていないがリモート拠点側の主要話者となっている場合に、その存在感をローカル拠点側にアピールするために映像サイズが拡大されるようにする。一方、ステップＳ２０２にて、音声入力がないと判定された場合には、映像制御部４４０は、映像サイズの拡大率ｒを所定割合だけ減少させる（ステップＳ２０６）。当該所定の割合も任意に設定することができ、映像サイズを拡大する場合の割合と同一でもよく相違してもよい。ステップＳ２０６により映像サイズを縮小することによって、ロボット４２０を操作可能なユーザが主要話者ではないことや、当該ユーザの興味関心の低下を伝えることができるようにする。 If it is determined in step S202 that there is an audio input, the video control unit 440 increases the video size enlargement ratio r by a predetermined ratio (step S204). The predetermined ratio can be arbitrarily set, for example, 10%. As a result, when a user who can operate the robot 420 is not operating the robot 420 but is a main speaker on the remote site side, the video size is increased to appeal the presence to the local site side. To be. On the other hand, when it is determined in step S202 that there is no audio input, the video control unit 440 decreases the video size enlargement ratio r by a predetermined ratio (step S206). The predetermined ratio can also be set arbitrarily, and may be the same as or different from the ratio for enlarging the video size. By reducing the image size in step S206, the user who can operate the robot 420 is not the main speaker, and the user's interest is reduced.

ステップＳ２００にて、経過時間が未だ所定時間を超えていないと判定された場合や、ステップＳ２０４またはＳ２０６により映像サイズの拡大率の変更を行った後、映像制御部４４０は、その時点での映像サイズの拡大率ｒによって映像を表示した場合に、当該映像が表示面内に収まるか否かを判定する（ステップＳ２０８）。例えば、映像の形状が長方形である場合、基準となる基準映像サイズを幅（ｘ方向の長さ）ｓｗ、高さ（ｙ方向の長さ）ｓｈによって表すとする。このとき、各辺の長さを拡大率ｒに応じて変化させたときの映像サイズは、図１１に示すように、（ｓｗ×ｒ）×（ｓｈ×ｒ）となる。この映像サイズと、映像の表示位置Ｐ（Ｘ，Ｙ）とによって、表示面に表示される映像が表示面の境界２８０内に収まるか否かを判定することができる。 When it is determined in step S200 that the elapsed time has not yet exceeded the predetermined time, or after changing the video size enlargement ratio in step S204 or S206, the video control unit 440 displays the video at that time. When the video is displayed with the size enlargement ratio r, it is determined whether or not the video is within the display surface (step S208). For example, when the shape of the image is a rectangle, the reference image size serving as a reference is represented by a width (length in the x direction) sw and a height (length in the y direction) sh. At this time, the image size when the length of each side is changed according to the enlargement ratio r is (sw × r) × (sh × r) as shown in FIG. Based on the video size and the video display position P (X, Y), it can be determined whether or not the video displayed on the display surface is within the boundary 280 of the display surface.

ステップＳ２０８にて、映像サイズが表示面の境界２８０内に収まると判定された場合には、映像制御部４４０は、当該映像サイズが最小映像サイズよりも大きいか否かを判定する（ステップＳ２１０）。最小映像サイズは予め設定されており、例えば映像により映し出されるユーザの顔の形状を認識できる最小のサイズとしてもよく、点状にして映像をほぼ見えないようにしてもよい。 When it is determined in step S208 that the video size is within the boundary 280 of the display surface, the video control unit 440 determines whether the video size is larger than the minimum video size (step S210). . The minimum video size is set in advance. For example, the minimum video size may be a minimum size that allows the user to recognize the shape of the user's face projected by the video, or the video may be made almost invisible in a dotted shape.

ステップＳ２１０で映像サイズが最小サイズ以下であると判定された場合には、映像制御部４４０は、拡大率ｒを所定割合だけ増加させて（ステップＳ２１２）、再度ステップＳ２０８から処理を行う。一方、ステップＳ２１０で映像サイズが最小サイズより大きいと判定された場合には、映像制御部４４０は、現在指定された拡大率ｒで映像を表示する（ステップＳ２１４）。 If it is determined in step S210 that the video size is equal to or smaller than the minimum size, the video control unit 440 increases the enlargement ratio r by a predetermined ratio (step S212), and performs the processing from step S208 again. On the other hand, when it is determined in step S210 that the video size is larger than the minimum size, the video control unit 440 displays the video at the currently specified enlargement ratio r (step S214).

以上、映像サイズ変更処理について説明した。本実施形態では、第１の実施形態で説明した映像表示方法を用いて、リモート拠点のユーザの表情映像をロボット４２０が動作する空間上に表示することにより、より多くのユーザが当該表情映像を目視することができる。また、ロボット４２０の位置に応じて、映像の表示位置が適宜変更されるため、ロボット４２０の身体によって表現される情報を取得するための視線の方向と、リモート拠点のユーザの表情映像を目視するための視線の方向とを一致させて、これらの情報を同時に取得しやすくなる。 The video size change process has been described above. In this embodiment, by using the video display method described in the first embodiment, the facial expression video of the user at the remote site is displayed on the space where the robot 420 operates, so that more users can view the facial expression video. Visually visible. Further, since the display position of the image is appropriately changed according to the position of the robot 420, the direction of the line of sight for acquiring information expressed by the body of the robot 420 and the facial expression image of the user at the remote base are visually observed. Therefore, it becomes easy to acquire the information at the same time by matching the direction of the line of sight.

このような第１の実施形態での効果に加え、さらに、ロボット４２０を操作可能なユーザが発話に集中してロボット４２０の操作を行わない場合にも、ユーザの発話状態に応じて表情映像の映像サイズを適宜変更させることにより、会議に参加しているユーザの注意を喚起したりするなど、発話者の存在感を強くアピールすることが可能となる。また、ロボット４２０が配置されている移動面を含む表示面に映像を表示する場合、表示可能な映像サイズに限りがある場合が多い。このような場合でも、映像サイズの変更により実装の制限を超えたユーザの存在感を表現することもできる。また、映像が表示面からはみ出さないように表示させることもできる。 In addition to the effects of the first embodiment, even when a user who can operate the robot 420 concentrates on the utterance and does not operate the robot 420, the facial expression video is displayed according to the utterance state of the user. By appropriately changing the video size, it is possible to appeal the presence of the speaker strongly, such as calling attention of the user participating in the conference. In addition, when an image is displayed on a display surface including a moving surface on which the robot 420 is arranged, there are many cases where the displayable image size is limited. Even in such a case, it is possible to express the presence of the user exceeding the mounting limit by changing the video size. It is also possible to display the video so that it does not protrude from the display surface.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、上記実施形態では、ロボットが載置される載置台（上記実施形態では会議卓）の表示面２６０は平面であったが、本発明はかかる例に限定されない。例えば、図１２に示すように、ロボット２２０を、平面部２６２と当該平面部２６２から突出した突出部２６４とを備える載置台に載置した場合も、上記実施形態で説明した映像表示方法および映像サイズ変更処理を適用することができる。この場合、例えば、映像制御部は、映像２５４を平面部２６２または突出部２６４のいずれかのみに表示させるようにしてもよい。これにより、映像２５４が段差にまたがって表示されることで、表情映像を認識し難くなるのを防止することもできる。また、図１３に示すように、載置台の表示面２６０上にフィルム等の薄膜２７０が設けられている場合も上記実施形態で説明した映像表示方法および映像サイズ変更処理を適用することができる。 For example, in the above embodiment, the display surface 260 of the mounting table (the conference table in the above embodiment) on which the robot is mounted is a flat surface, but the present invention is not limited to this example. For example, as shown in FIG. 12, even when the robot 220 is mounted on a mounting table including a flat portion 262 and a protruding portion 264 protruding from the flat portion 262, the video display method and video described in the above embodiment are used. A resizing process can be applied. In this case, for example, the video control unit may display the video 254 only on either the flat surface part 262 or the protruding part 264. Thereby, it is possible to prevent the facial expression video from becoming difficult to recognize by displaying the video 254 across the steps. As shown in FIG. 13, the video display method and the video size changing process described in the above embodiment can also be applied when a thin film 270 such as a film is provided on the display surface 260 of the mounting table.

また、上記実施形態では、位置検出部と映像表示部とは別個の構成としたが、本発明はかかる例に限定されない。例えば、タッチパネルディスプレイ等のように１つの要素として構成してしてもよい。 Moreover, in the said embodiment, although the position detection part and the image | video display part were set as the separate structure, this invention is not limited to this example. For example, you may comprise as one element like a touchscreen display.

さらに、上記実施形態では、ロボットを操作するリモート拠点のユーザは１人であったが、本発明はかかる例に限定されず、同様のコミュニケーション支援システムを複数利用して、複数の話者やロボットを設けてコミュニケーションを図ることもできる。 Further, in the above embodiment, there is one user at the remote base that operates the robot. However, the present invention is not limited to such an example, and a plurality of speakers and robots can be used by using a plurality of similar communication support systems. It is also possible to establish communication for communication.

また、上記第２の実施形態では、話者の音量に応じて映像サイズを変更したが、本発明はかかる例に限定されない。例えば、音声の大きさに比例して映像の大きさを変更してもよい。すなわち、音声の大きさが大きくなるにつれて映像サイズを拡大し、音声の大きさが小さくなるにつれて映像サイズを縮小する。これにより、ユーザの発話の有無や発言内容の強さを表現することもできる。あるいは、所定時間内におけるロボットを操作可能なユーザの発言時間が所定の割合以上であった場合に当該ユーザが主要話者であると判断し、映像サイズを拡大する処理を行ってもよい。一方、所定時間内におけるロボットを操作可能なユーザの発言時間が所定の割合以下であった場合には映像サイズを縮小する処理を行ってもよい。 In the second embodiment, the video size is changed according to the volume of the speaker. However, the present invention is not limited to this example. For example, the video size may be changed in proportion to the audio size. That is, the video size is increased as the audio size increases, and the video size is reduced as the audio size decreases. Thereby, the presence or absence of the user's utterance and the strength of the utterance content can also be expressed. Alternatively, when the utterance time of a user who can operate the robot within a predetermined time is equal to or greater than a predetermined ratio, it may be determined that the user is a main speaker, and processing for enlarging the video size may be performed. On the other hand, when the utterance time of the user who can operate the robot within a predetermined time is less than or equal to a predetermined ratio, a process of reducing the video size may be performed.

１００、３００リモート拠点のシステム構成要素群
１１０、３１０操作部
１２０、３２０表情映像取得部
１３０、３３０通信部
２００、４００ローカル拠点のシステム構成要素群
２１０、４１０位置検出部
２２０、４２０ロボット
２３０、４３０通信部
２４０、４４０映像制御部
２５０、４５０映像表示部
２５４映像
２６０表示面
２８０表示面の境界
３４０音声取得部
３５０音声解析部
４６０音声提示部
100, 300 System component group at remote site 110, 310 Operation unit 120, 320 Facial image acquisition unit 130, 330 Communication unit 200, 400 System component group at local site 210, 410 Position detection unit 220, 420 Robot 230, 430 Communication unit 240, 440 Video control unit 250, 450 Video display unit 254 Video 260 Display surface 280 Display surface boundary 340 Audio acquisition unit 350 Audio analysis unit 460 Audio presentation unit

Claims

A communication support system for supporting communication between a user at a remote site that operates a remotely operable mobile unit and a user at a remote site where the mobile unit exists,
An operation unit for operating the mobile body arranged at the remote site from the remote site;
An imaging unit that captures an image of a user who operates the moving body at the remote site;
A display unit that is provided at the remote site and displays an image captured by the imaging unit on a display surface including a moving surface on which the moving body moves;
A position detection unit for detecting the position of the moving body on the display surface;
A video control unit that controls a display method of a video displayed on the display surface based on the position of the moving body detected by the position detection unit;
With
The said video control part is a communication assistance system which displays the image | video imaged by the said imaging part on the said display surface of the said moving body vicinity among the said display surfaces.

The communication system according to claim 1, wherein the video control unit displays the video on the display surface in the vicinity of the moving body, following the movement of the moving body.

The communication support system according to claim 1, wherein the video control unit displays the video in a direction in which a distance between a position of the moving body on the display surface and a boundary of the display surface is maximized.

A voice input unit for inputting a voice of a user who operates the moving body at the remote site;
A voice analysis unit for analyzing the voice input to the voice input unit;
Further comprising
The communication support system according to claim 1, wherein the video control unit changes a display method of the video based on a voice analysis result by the voice analysis unit.

The video control unit
Determining whether the moving body has not operated for a predetermined time or more;
When the moving body has not operated for a predetermined time or more, it is determined whether or not the user operating the moving body is speaking according to the voice analysis result by the voice analysis unit,
The communication support system according to claim 4, wherein when it is determined that the user is speaking, the video size for displaying the video is enlarged.

The communication support system according to claim 5, wherein the video control unit adjusts the video size so that the video falls within a boundary of the display surface.

The communication support system according to claim 4, wherein the video control unit changes a size of a video displayed on the display unit based on a volume of the voice analyzed by the voice analysis unit.

The communication support system according to claim 1, wherein the display unit includes a video projection unit that projects the video and a display surface on which the video projected from the video projection unit is displayed.

A display control device for displaying a video of a user at a remote site that operates a remotely operable mobile unit disposed at a remote site on a display surface of a display unit of the remote site,
A position detection unit that detects a position of the moving body on the display surface including a moving surface on which the moving body moves;
A video display unit that controls a display method of a video displayed on the display surface based on the position of the moving body detected by the position detection unit;
With
The video control unit is a display control device that displays the video on a display surface in the vicinity of the moving body of the display surface.

A display control method for displaying a video of a user at a remote site that operates a remotely operable mobile unit disposed at a remote site on a display surface of a display unit of the remote site,
Input operation information for operating the mobile unit arranged at the remote site from the operation unit of the remote site;
Imaging a user operating the mobile at the remote location;
Displaying a video of a user at the remote site on a display surface of a display unit provided at the remote site;
Detecting a position of the moving body on the display surface including a moving surface on which the moving body moves;
Displaying the video imaged by the imaging unit based on the position of the moving body on the display surface in the vicinity of the moving body among the display surfaces;
Including a display control method.