Nothing Special   »   [go: up one dir, main page]

JP5531862B2 - Terminal device, information presentation method, and information presentation program - Google Patents

Terminal device, information presentation method, and information presentation program Download PDF

Info

Publication number
JP5531862B2
JP5531862B2 JP2010193494A JP2010193494A JP5531862B2 JP 5531862 B2 JP5531862 B2 JP 5531862B2 JP 2010193494 A JP2010193494 A JP 2010193494A JP 2010193494 A JP2010193494 A JP 2010193494A JP 5531862 B2 JP5531862 B2 JP 5531862B2
Authority
JP
Japan
Prior art keywords
information
candidate
terminal device
participant
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010193494A
Other languages
Japanese (ja)
Other versions
JP2012054646A (en
Inventor
識充 船橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2010193494A priority Critical patent/JP5531862B2/en
Publication of JP2012054646A publication Critical patent/JP2012054646A/en
Application granted granted Critical
Publication of JP5531862B2 publication Critical patent/JP5531862B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、テレビ会議を行う場合に会議に関する情報を提示することが可能な端末装置、情報提示方法および情報提示プログラムに関する。   The present invention relates to a terminal device, an information presentation method, and an information presentation program that can present information related to a conference when a video conference is performed.

ネットワークを介して相互に接続された複数の端末装置の間で画像と音声のデータを送受信するテレビ会議システムが普及している。テレビ会議システムでは、会議開始時に端末装置間の接続を確立するために、ある端末装置が他の端末装置に対して、相互接続を要求する。この場合、多数の接続可能な端末の中から所望の接続要求先を特定するのには煩雑な操作が必要な場合がある。そこで、過去の会議に使用された会議端末と会議の参加者に関する情報を履歴情報として記録しておき、履歴情報を参照して、接続先候補の会議端末を提示するシステムが提案されている(例えば、特許文献1)。   2. Description of the Related Art Video conference systems that transmit and receive image and audio data between a plurality of terminal devices connected to each other via a network have become widespread. In a video conference system, in order to establish a connection between terminal devices at the start of a conference, a certain terminal device requests an interconnection from another terminal device. In this case, a complicated operation may be required to specify a desired connection request destination from a large number of connectable terminals. Therefore, a system has been proposed in which information about conference terminals used in past conferences and conference participants is recorded as history information, and the conference terminals of connection destination candidates are presented with reference to the history information ( For example, Patent Document 1).

特開2009−267968号公報JP 2009-267968 A

上記の特許文献1のシステムでは、履歴情報を参照して、新たな会議への参加希望者と過去の会議参加者との一致度合いが高い会議を抽出し、その会議で接続されていた会議端末が接続先候補として提示される。しかしながら、過去の会議参加者は、過去の会議で使用した端末で常に会議に参加するとは限らない。例えば、個々のユーザが通常個人的に利用する端末同士を接続して会議が行われる場合に、近くの別ユーザの席に移動して、一緒にその別ユーザの端末で会議に参加することもありうる。その場合、過去の会議でユーザが利用した自己の端末とは異なる端末で会議に参加することになるので、特許文献1のシステムが利用する履歴情報からでは、適切な接続先候補を提示することができない。   In the system of the above-mentioned Patent Document 1, a conference terminal that refers to history information, extracts a conference having a high degree of coincidence between a candidate who wants to join a new conference and a past conference participant, and is connected to the conference terminal Is presented as a connection destination candidate. However, past conference participants do not always participate in the conference using the terminals used in the past conference. For example, when a conference is held by connecting terminals normally used by individual users, it is possible to move to another user's seat nearby and join the conference with the other user's terminal together. It is possible. In that case, since it participates in a meeting with the terminal different from the own terminal which the user used in the past meeting, from the history information which the system of patent document 1 uses, an appropriate connection destination candidate is presented. I can't.

本発明は、テレビ会議を行う場合に、接続先候補に関する情報を適切に提示することが可能な端末装置、情報提示方法および情報提示プログラムを提供することを目的とする。   An object of the present invention is to provide a terminal device, an information presentation method, and an information presentation program capable of appropriately presenting information regarding connection destination candidates when performing a video conference.

本発明の第一の態様に係る端末装置は、複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能な端末装置であって、参加者候補情報取得手段と、ユーザ情報記憶手段と、登録候補特定手段と、未登録候補特定手段と、候補情報送信手段と、他端末情報取得手段と、提示手段とを備えている。前記参加者候補情報取得手段は、入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する。前記ユーザ情報記憶手段は、複数の登録ユーザの識別情報であるユーザ情報を記憶する。前記登録候補特定手段は、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する。前記未登録候補特定手段は、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する。前記候補情報送信手段は、前記登録候補特定手段によって特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定手段によって特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する。前記他端末情報取得手段は、前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する。前記提示手段は、前記他端末情報取得手段によって取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する。 A terminal device according to a first aspect of the present invention is a terminal device capable of establishing a connection with another terminal device via a connection control device that controls connection of a plurality of terminal devices, and is a candidate for a participant Information acquisition means, user information storage means, registration candidate specification means, unregistered candidate specification means, candidate information transmission means, other terminal information acquisition means, and presentation means are provided. The participant candidate information acquisition unit acquires participant candidate information, which is information on at least one participant candidate who can participate in the conference using the terminal device, based on information input from the input unit. The user information storage means stores user information that is identification information of a plurality of registered users. The registration candidate specifying means, said one of the participants candidates at least one person, the participant candidate for pre-Symbol participant candidate information is registered as the user information in the user information storage unit is specified as registration candidate . The unregistered candidate specifying means calculates the number of participant candidates whose participant information is not registered as the user information in the user information storage means among the at least one candidate candidate. Specify the number of people. The candidate information transmitting means includes information indicating the user information of the registration candidate specified by the registration candidate specifying means and the number of the unregistered candidates specified by the unregistered candidate specifying means, as candidate information To the connection control device. The other terminal information acquisition means is specified by each of a plurality of other terminal devices other than the terminal device among the plurality of terminal devices connected to the connection control device, and transmitted to the connection control device The candidate information is acquired from the connection control device as other terminal candidate information. The presenting means, based on the other terminal candidate information acquired by the other terminal information acquiring means, as the information on the connection destination candidate, the user information of the registration candidate corresponding to each of the plurality of other terminal devices, and Information indicating the number of unregistered candidates is presented.

端末装置を使用して会議に参加しようとするユーザは、提示手段によって提示された複数の他端末装置の各々に対応する登録候補のユーザ情報と未登録候補の人数とを把握することができる。よって、例えば、登録候補が過去に使用したのとは異なる他端末装置を使用して会議に参加しようとする場合でも、その登録候補が今回はどの他端末装置で会議に参加するのかを正しく把握することができる。さらに、他端末装置における登録候補に加え、未登録候補の人数も認識できる。したがって、端末装置を使用して会議を開始しようとするユーザは、複数の他端末装置の現在の参加者候補の多様な情報から、適切な接続先を決定することができる。 The user who intends to participate in the conference using the terminal device can grasp the user information of registration candidates and the number of unregistered candidates corresponding to each of a plurality of other terminal devices presented by the presentation unit. Therefore, for example, even when trying to join a conference using a different terminal device that the registration candidate used in the past, it is possible to correctly grasp which other terminal device this registration candidate will join the conference this time. can do. Furthermore, in addition to registration candidates in other terminal devices, the number of unregistered candidates can also be recognized. Therefore, a user who intends to start a conference using a terminal device can determine an appropriate connection destination from various information of current participant candidates of a plurality of other terminal devices.

前記端末装置は、会議履歴記憶手段と、順位付け手段とを更に備えていてもよい。前記会議履歴記憶手段は、過去の接続セッションにおいて前記端末装置を使用して会議に参加した登録ユーザおよび非登録ユーザの人数と、接続先の他の端末装置を使用して会議に参加した登録ユーザおよび非登録ユーザの人数とを、それぞれ自己履歴情報と他履歴情報として記憶する。前記順位付け手段は、前記候補情報および前記他端末候補情報と、前記会議履歴記憶手段に記憶された前記自己履歴情報および前記他履歴情報との一致度合いに基づき、前記複数の他端末装置に順位を付ける。前記提示手段は、前記順位付け手段によって付けられた前記順位に従って、前記複数の他端末装置の各々に対応する前記登録候補のユーザ情報と前記未登録候補の前記人数とを示す情報を提示してもよい。 The terminal device may further include a meeting history storage unit and a ranking unit. The conference history storage means includes registered users and non-registered users who participated in a conference using the terminal device in a past connection session, and registered users who participated in the conference using another connected terminal device. And the number of unregistered users are stored as self-history information and other history information, respectively. The ranking unit ranks the plurality of other terminal devices based on the degree of coincidence between the candidate information and the other terminal candidate information and the self-history information and the other history information stored in the conference history storage unit. Add. The presenting means presents information indicating user information of the registered candidates corresponding to each of the plurality of other terminal devices and information indicating the number of unregistered candidates in accordance with the ranking given by the ranking means. Also good.

この場合、複数の他端末装置の各々に対応する登録候補のユーザ情報と未登録候補の人数とを示す情報が、現在の状況(端末装置の候補情報および他端末装置の他端末候補情報)と、過去の接続セッションにおける履歴情報との一致度合いに従って順位付けられて提示される。過去に同様の参加者で会議が行われていた場合、その参加者で再度会議を行う可能性はより高い。したがって、順位が高い方から複数の他端末装置を確認することで、ユーザがより迅速に適切な接続先を決定できる可能性が高くなる。 In this case, the information indicating the registration candidate user information and the number of unregistered candidates corresponding to each of the plurality of other terminal devices is the current status (candidate information of the terminal device and other terminal candidate information of the other terminal device) and , The ranking is presented in accordance with the degree of coincidence with the history information in the past connection session. If a conference has been held with similar participants in the past, there is a higher possibility that the participant will hold the conference again. Therefore, the possibility that the user can determine an appropriate connection destination more quickly is increased by checking a plurality of other terminal devices from the higher rank.

前記端末装置において、前記順位付け手段は、前記候補情報と前記自己履歴情報との一致度合いを、前記他端末候補情報と前記他履歴情報との一致度合いよりも優先して前記順位を付けてもよい。   In the terminal device, the ranking unit may rank the matching degree between the candidate information and the self-history information in preference to the matching degree between the other terminal candidate information and the other history information. Good.

端末装置の候補情報の自己履歴情報との一致度合いが高いほど、その会議で接続先とされた他の端末装置が今回も接続先とされる可能性が高い。したがって、候補情報の自己履歴情報との一致度合いを他端末候補情報と他履歴情報との一致度合いよりも優先して順位付けすることでより効果的な順位付けができ、ユーザがより迅速に適切な接続先を決定できる可能性が高くなる。   The higher the degree of coincidence of the terminal device candidate information with the self-history information, the higher the possibility that another terminal device that is the connection destination in the conference will be the connection destination this time. Therefore, it is possible to rank more effectively by prioritizing the degree of coincidence between the candidate information and the self-history information over the degree of coincidence between the other terminal candidate information and the other history information. It is highly possible that a correct connection destination can be determined.

前記端末装置において、前記提示手段は、前記複数の他端末装置の各々に対応する前記登録候補と前記未登録候補とを区別可能な方法で表示手段に表示させてもよい。   In the terminal device, the presenting unit may display the registered candidate and the unregistered candidate corresponding to each of the plurality of other terminal devices on a display unit in a distinguishable manner.

この場合、登録候補と未登録候補とが、区別可能な方法で表示手段に表示されるので、ユーザは、複数の他端末装置のうち適切な接続先をより容易に視覚的に判別できる。   In this case, since the registration candidate and the unregistered candidate are displayed on the display unit in a distinguishable manner, the user can more easily visually determine an appropriate connection destination among a plurality of other terminal devices.

前記端末装置は、前記複数の登録ユーザのうち前記端末装置を用いて前記接続制御装置にログインした登録ユーザを、ログインユーザとして特定するログインユーザ特定手段をさらに備えていてもよい。前記端末装置において、前記提示手段は、前記複数の他端末装置の各々に対応する前記ログインユーザと、前記ログインユーザではない前記登録候補と、前記未登録候補とを区別可能な方法で前記表示手段に表示させてもよい。   The terminal device may further include login user specifying means for specifying, as a login user, a registered user who has logged into the connection control device using the terminal device among the plurality of registered users. In the terminal device, the presenting means is configured to distinguish the login user corresponding to each of the plurality of other terminal devices, the registration candidate that is not the login user, and the unregistered candidate in a manner that can distinguish the display means. May be displayed.

この場合、複数の他端末装置のうちいずれかに対応するログインユーザと、ログインユーザではない登録候補も区別することができる。ログインユーザは、他端末装置の参加者候補のうち主要人物である場合が多い。したがって、端末装置のユーザは、さらに容易に適切な接続先を決定することができる。   In this case, a login user corresponding to any one of a plurality of other terminal devices can be distinguished from a registration candidate that is not a login user. The logged-in user is often the main person among the candidate participants of other terminal devices. Therefore, the user of the terminal device can determine an appropriate connection destination more easily.

前記入力手段は、顔画像データを取得する撮像手段であってもよい。前記参加者候補情報取得手段は、前記撮像手段によって取得された前記顔画像データから顔特徴データを抽出することによって参加者候補情報を取得してもよい。前記端末装置は、前記参加者候補情報取得手段によって前記参加者候補情報として取得された前記顔特徴データと、前記ユーザ情報記憶手段に前記ユーザ情報として記憶されている前記複数の登録ユーザの顔特徴データと照合することにより、前記参加者候補が前記複数の登録ユーザに含まれるか否かを判断する判断手段をさらに備えていてもよい。そして、前記登録候補特定手段は、前記判断手段の判断結果に基づき、前記登録候補を特定し、前記未登録候補特定手段は、前記判断手段の判断結果に基づき、前記未登録候補の前記人数を特定してもよい。   The input means may be an imaging means for acquiring face image data. The participant candidate information acquisition unit may acquire participant candidate information by extracting facial feature data from the face image data acquired by the imaging unit. The terminal device includes the facial feature data acquired as the candidate candidate information by the participant candidate information acquisition unit, and the facial features of the plurality of registered users stored as the user information in the user information storage unit. The information processing apparatus may further include a determination unit that determines whether or not the candidate participant is included in the plurality of registered users by collating with data. The registration candidate specifying unit specifies the registration candidate based on the determination result of the determination unit, and the unregistered candidate specifying unit calculates the number of the unregistered candidates based on the determination result of the determination unit. You may specify.

この場合、撮像手段により取得された顔画像データに基づき自動的に照合が行われるので、参加者候補は、わざわざ自己の情報を入力手段に入力する煩わしさがない。また、端末装置が映像と音声のデータを送受信する機能を備えたテレビ会議用の端末装置である場合、元々撮像手段を備えているため、新たに参加者候補に関する情報の入力手段を設ける必要がない。   In this case, since collation is automatically performed based on the face image data acquired by the imaging unit, the participant candidate does not bother to input his / her own information into the input unit. In addition, when the terminal device is a video conference terminal device having a function of transmitting and receiving video and audio data, since it originally includes an imaging unit, it is necessary to newly provide an input unit for information regarding candidate participants. Absent.

本発明の第二の態様に係る情報提示方法は、複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能であり、複数の登録ユーザの識別情報であるユーザ情報を記憶するユーザ情報記憶手段を備えた端末装置において行われる情報提示方法である。前記情報提示方法は、入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する参加者候補情報取得ステップと、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する登録候補特定ステップと、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する未登録候補特定ステップと、前記登録候補特定ステップで特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定ステップで特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する候補情報送信ステップと、前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する他端末情報取得ステップと、前記他端末情報取得ステップで取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する提示ステップとを備えている。 The information presentation method according to the second aspect of the present invention is capable of establishing a connection with another terminal device via a connection control device that controls the connection of the plurality of terminal devices , and identifying a plurality of registered users. It is the information presentation method performed in the terminal device provided with the user information storage means which memorize | stores the user information which is information. In the information presentation method, participant candidate information for acquiring participant candidate information that is information related to at least one participant candidate who can participate in a conference using the terminal device based on information input from an input unit an acquisition step, wherein among the participants candidates at least one person, before Symbol the participants candidate which is registered as the user information to the participant candidate information the user information storage unit, registration candidate particular be specified as registration candidate And the number of participant candidates for which the candidate candidate information is not registered as the user information in the user information storage means among the at least one participant candidate is not specified as the number of unregistered candidates a registration candidate specifying step, and the user information of the identified in the registration candidate specifying step the registered candidate, identified in the registered candidate specifying step A candidate information transmission step of transmitting information indicating the number of unregistered candidates to the connection control device as candidate information; and among the plurality of terminal devices connected to the connection control device, other than the terminal device The other terminal information acquisition step of acquiring the candidate information specified by each of a plurality of other terminal devices and transmitted to the connection control device from the connection control device as other terminal candidate information, and the other terminal information acquisition Based on the other terminal candidate information acquired in the step, the user information of the registration candidates corresponding to each of the plurality of other terminal devices and the number of unregistered candidates are indicated as information on connection destination candidates. A presentation step for presenting information.

端末装置を使用して会議に参加しようとするユーザは、提示ステップで提示された複数の他端末装置の各々に対応する登録候補のユーザ情報と未登録候補の人数とを把握することができる。よって、例えば、登録候補が過去に使用したのとは異なる他端末装置を使用して会議に参加しようとする場合でも、その登録候補が今回はどの他端末装置で会議に参加するのかを正しく把握することができる。さらに、他端末装置における登録候補に加え、未登録候補の人数も認識できる。したがって、端末装置を使用して会議を開始しようとするユーザは、複数の他端末装置の現在の参加者候補の多様な情報から、適切な接続先を決定することができる。 A user who intends to participate in the conference using the terminal device can grasp the user information of registration candidates and the number of unregistered candidates corresponding to each of a plurality of other terminal devices presented in the presentation step. Therefore, for example, even when trying to join a conference using a different terminal device that the registration candidate used in the past, it is possible to correctly grasp which other terminal device this registration candidate will join the conference this time. can do. Furthermore, in addition to registration candidates in other terminal devices, the number of unregistered candidates can also be recognized. Therefore, a user who intends to start a conference using a terminal device can determine an appropriate connection destination from various information of current participant candidates of a plurality of other terminal devices.

本発明の第三の態様に係る情報提示プログラムは、複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能であり、複数の登録ユーザの識別情報であるユーザ情報を記憶するユーザ情報記憶手段を備えた端末装置用の情報提示プログラムである。前記情報提示プログラムは、入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する参加者候補情報取得ステップと、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する登録候補特定ステップと、前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する未登録候補特定ステップと、前記登録候補特定ステップで特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定ステップで特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する候補情報送信ステップと、前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する他端末情報取得ステップと、前記他端末情報取得ステップで取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する提示ステップとを前記端末装置のコントローラに実行させるための指示を含む。 The information presentation program according to the third aspect of the present invention can establish a connection with another terminal device via a connection control device that controls the connection of a plurality of terminal devices , and identifies a plurality of registered users. It is the information presentation program for terminal devices provided with the user information storage means which memorize | stores the user information which is information. The information presenting program acquires participant candidate information that is information on at least one participant candidate that can participate in the conference using the terminal device based on information input from the input unit. an acquisition step, wherein among the participants candidates at least one person, before Symbol the participants candidate which is registered as the user information to the participant candidate information the user information storage unit, registration candidate particular be specified as registration candidate And the number of participant candidates for which the candidate candidate information is not registered as the user information in the user information storage means among the at least one participant candidate is not specified as the number of unregistered candidates a registration candidate specifying step, and the user information of the identified in the registration candidate specifying step the registered candidate, especially in the unregistered candidate specifying step A candidate information transmission step of transmitting the information indicating the number of registered unregistered candidates to the connection control device as candidate information, and the terminal device among the plurality of terminal devices connected to the connection control device An other terminal information acquisition step of acquiring the candidate information specified by each of a plurality of other terminal devices other than and transmitted from the connection control device as other terminal candidate information; and Based on the other terminal candidate information acquired in the information acquisition step, the user information of the registration candidates corresponding to each of the plurality of other terminal devices and the number of unregistered candidates as information on connection destination candidates, An instruction for causing the controller of the terminal device to execute a presenting step of presenting information indicating.

情報提示プログラムの指示に従って、端末装置のコントローラにより各ステップが実行されると、端末装置で会議に参加しようとするユーザは、提示ステップで提示された複数の他端末装置の各々に対応する登録候補のユーザ情報と未登録候補の人数とを把握することができる。よって、例えば、登録候補が過去に使用したのとは異なる他端末装置を使用して会議に参加しようとする場合でも、その登録候補が今回はどの他端末装置で会議に参加するのかを正しく把握することができる。さらに、他端末装置における登録候補に加え、未登録候補の人数も認識できる。したがって、端末装置を使用して会議を開始しようとするユーザは、複数の他端末装置の現在の参加者候補の多様な情報から、適切な接続先を決定することができる。

When each step is executed by the controller of the terminal device according to the instruction of the information presentation program, the user who intends to participate in the conference at the terminal device can register each of the plurality of other terminal devices presented in the presentation step. User information and the number of unregistered candidates can be grasped. Therefore, for example, even when trying to join a conference using a different terminal device that the registration candidate used in the past, it is possible to correctly grasp which other terminal device this registration candidate will join the conference this time. can do. Furthermore, in addition to registration candidates in other terminal devices, the number of unregistered candidates can also be recognized. Therefore, a user who intends to start a conference using a terminal device can determine an appropriate connection destination from various information of current participant candidates of a plurality of other terminal devices.

テレビ会議システム1の構成図である。1 is a configuration diagram of a video conference system 1. FIG. 端末装置30の電気的構成を示すブロック図である。3 is a block diagram showing an electrical configuration of a terminal device 30. FIG. 登録者データベース311の説明図である。It is explanatory drawing of the registrant database 311. FIG. 会議履歴データベース312の説明図である。It is explanatory drawing of the meeting history database 312. FIG. 接続制御装置20の電気的構成を示すブロック図である。3 is a block diagram showing an electrical configuration of a connection control device 20. FIG. プレゼンス情報テーブル241の説明図である。5 is an explanatory diagram of a presence information table 241. FIG. 端末装置30の接続先候補提示処理のフローチャートである。10 is a flowchart of a connection destination candidate presentation process of the terminal device 30. 接続先候補提示処理で行われる参加者候補特定処理のフローチャートである。It is a flowchart of the participant candidate specific process performed by a connection destination candidate presentation process. 他の端末装置の順位付けの過程で並べ替えられた会議情報の説明図である。It is explanatory drawing of the meeting information rearranged in the process of ranking of another terminal device. 接続先候補表示画面10の説明図である。It is explanatory drawing of the connection destination candidate display screen. 接続制御装置20のメイン処理のフローチャートである。4 is a flowchart of main processing of the connection control device 20.

以下、本発明の一実施の形態であるテレビ会議システム1について、図面を参照して説明する。なお、参照される図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。   Hereinafter, a video conference system 1 according to an embodiment of the present invention will be described with reference to the drawings. The drawings to be referred to are used for explaining the technical features that can be adopted by the present invention, and the configuration of the apparatus described, the flowchart of various processes, etc. are not intended to be limited thereto. It is merely an illustrative example.

まず、図1を参照して、テレビ会議システム1の概略構成について説明する。テレビ会議システム1は、接続制御装置20と、複数の端末装置30を含み、これらの装置はすべてネットワーク2(例えば、インターネット)に接続している。なお、図1では、複数の端末装置30として、端末装置31、32、33、34の4つの端末装置が図示されているが、端末装置30の数は4に限られない。以下では、複数の端末装置30を総称する場合、および複数の端末装置30のうちいずれかを特定せずに指す場合には、「端末装置30」という。   First, the schematic configuration of the video conference system 1 will be described with reference to FIG. The video conference system 1 includes a connection control device 20 and a plurality of terminal devices 30, all of which are connected to a network 2 (for example, the Internet). In FIG. 1, four terminal devices 31, 32, 33, and 34 are illustrated as the plurality of terminal devices 30, but the number of terminal devices 30 is not limited to four. Hereinafter, when a plurality of terminal devices 30 are collectively referred to and when any one of the plurality of terminal devices 30 is specified without being specified, it is referred to as a “terminal device 30”.

接続制御装置20は、ネットワーク2を介して接続制御装置20に接続された複数の端末装置30同士を相互に接続する制御(以下、単に接続制御という)を行う装置である。本実施形態の接続制御装置20は、Session Initiation Protocol(SIP)に則って、複数の端末装置30の間のセッションを確立するSIPサーバとして機能する。セッションが確立されると、複数の端末装置30間では、接続制御装置20を介さない通信が可能となる。詳細は後述するが、本実施形態の端末装置30は、カメラ352、ディスプレイ322、マイク331およびスピーカ332を備えており(図2参照)、他の端末装置30との間で音声データおよび映像データを送受信することで、テレビ会議を実施することができる。   The connection control device 20 is a device that performs control for connecting a plurality of terminal devices 30 connected to the connection control device 20 via the network 2 (hereinafter simply referred to as connection control). The connection control device 20 according to the present embodiment functions as a SIP server that establishes a session between a plurality of terminal devices 30 in accordance with Session Initiation Protocol (SIP). When the session is established, communication between the plurality of terminal devices 30 without using the connection control device 20 becomes possible. As will be described in detail later, the terminal device 30 of the present embodiment includes a camera 352, a display 322, a microphone 331, and a speaker 332 (see FIG. 2), and audio data and video data with other terminal devices 30. By transmitting and receiving, a video conference can be carried out.

複数の端末装置30間でテレビ会議を行う場合、いずれかの端末装置30のユーザが、接続制御装置20を介して他のどの端末装置30に接続要求を行うかを指定する必要がある。このため、接続制御装置20に接続した各端末装置30は、その端末装置30を使用してテレビ会議に参加可能なユーザ(以下、参加者候補という)に関する情報を特定し、接続制御装置20に送信する。また、各端末装置30は、他の端末装置30の各々で特定された情報を接続制御装置20から取得し、接続先候補に関する情報を表示する。したがって、端末装置30のユーザは、接続先候補に関する情報を確認して、他のどの端末装置30に接続要求を行うかを容易に決定することができる。端末装置30および接続制御装置20による処理の詳細は後述する。   When a video conference is performed between a plurality of terminal devices 30, the user of one of the terminal devices 30 needs to specify which other terminal device 30 is to make a connection request via the connection control device 20. For this reason, each terminal device 30 connected to the connection control device 20 specifies information related to a user who can participate in the video conference using the terminal device 30 (hereinafter referred to as a participant candidate), and sends the information to the connection control device 20. Send. In addition, each terminal device 30 acquires information specified by each of the other terminal devices 30 from the connection control device 20, and displays information related to connection destination candidates. Therefore, the user of the terminal device 30 can easily determine which other terminal device 30 is to make a connection request by confirming information on the connection destination candidate. Details of processing by the terminal device 30 and the connection control device 20 will be described later.

図2〜図4を参照して、端末装置30の構成について説明する。本実施形態では、端末装置30の一例として、汎用のノート型パーソナルコンピュータが採用されている。図2に示すように、端末装置30は、CPU300、ROM301、RAM302、入出力(I/O)インタフェイス304、外部通信インタフェイス(I/F)305、ハードディスク装置(HDD)310、ビデオコントローラ321、ディスプレイ322、キーコントローラ323、キーボード324、マイク331、スピーカ332、CD−ROMドライブ340、およびUSBインタフェイス350を備えている。   The configuration of the terminal device 30 will be described with reference to FIGS. In the present embodiment, a general-purpose notebook personal computer is employed as an example of the terminal device 30. As shown in FIG. 2, the terminal device 30 includes a CPU 300, a ROM 301, a RAM 302, an input / output (I / O) interface 304, an external communication interface (I / F) 305, a hard disk device (HDD) 310, and a video controller 321. , A display 322, a key controller 323, a keyboard 324, a microphone 331, a speaker 332, a CD-ROM drive 340, and a USB interface 350.

ROM301、RAM302、およびI/Oインタフェイス304は、CPU300に接続されている。外部通信I/F305、HDD310、ビデオコントローラ321、キーコントローラ323、CD−ROMドライブ340、およびUSBインタフェイス350は、I/Oインタフェイス304に接続されている。ディスプレイ322は、ビデオコントローラ321に接続されている。キーボード324は、キーコントローラ323に接続されている。   The ROM 301, RAM 302, and I / O interface 304 are connected to the CPU 300. The external communication I / F 305, HDD 310, video controller 321, key controller 323, CD-ROM drive 340, and USB interface 350 are connected to the I / O interface 304. The display 322 is connected to the video controller 321. The keyboard 324 is connected to the key controller 323.

USBインタフェイス350は、外部機器とユニバーサル・シリアル・バスで接続するコントローラである。USBインタフェイス350には、マウス351およびカメラ352がそれぞれUSBケーブルで接続されている。本実施形態では、カメラ352として、撮像した映像データをネットワーク2へリアルタイムで出力可能な小型・軽量の汎用カメラ(いわゆる、WEBカメラ)が採用されている。外部通信I/F305は、ネットワーク2を介してデータ送受信を行うコントローラである。本実施形態では、外部通信I/F305は、テレビ会議の実行時に、他の端末装置30との間で音声データおよび映像データの送受信を行う。後述するプレゼンス情報も、外部通信I/F305を介して接続制御装置20との間で送受信される。   The USB interface 350 is a controller that is connected to an external device via a universal serial bus. A mouse 351 and a camera 352 are connected to the USB interface 350 by USB cables. In this embodiment, a small and lightweight general-purpose camera (so-called WEB camera) that can output captured video data to the network 2 in real time is employed as the camera 352. The external communication I / F 305 is a controller that performs data transmission / reception via the network 2. In the present embodiment, the external communication I / F 305 transmits / receives audio data and video data to / from another terminal device 30 when a video conference is executed. Presence information to be described later is also transmitted / received to / from the connection control apparatus 20 via the external communication I / F 305.

CPU300は、ROM301およびHDD310に記憶された各種プログラムを実行することにより、端末装置30の動作を制御する。ROM301は、端末装置30を動作させるためのプログラムと初期値等を記憶している。RAM302は、CPU300が各種処理を実行する際、演算結果等のデータを一時的に記憶する。HDD310は、大容量の記憶装置である。HDD310には、後述する接続先候補提示処理用のプログラム等、CPU300によって実行される各種処理用のプログラムと、各種処理で使用されるデータベース(詳細は後述)が記憶されている。また、HDD310には、他の端末装置30との間で送受信される各種データ(例えば、カメラ352およびマイク331から取得された映像データおよび音声データ、他の端末装置30から受信された映像データ・音声データ)等も記憶される。   The CPU 300 controls the operation of the terminal device 30 by executing various programs stored in the ROM 301 and the HDD 310. The ROM 301 stores a program for operating the terminal device 30, an initial value, and the like. The RAM 302 temporarily stores data such as calculation results when the CPU 300 executes various processes. The HDD 310 is a large-capacity storage device. The HDD 310 stores various processing programs executed by the CPU 300, such as a connection destination candidate presentation processing program described later, and a database (details will be described later) used in the various processing. The HDD 310 also stores various data (for example, video data and audio data acquired from the camera 352 and the microphone 331, video data received from the other terminal device 30, and other data transmitted / received to / from the other terminal device 30). Audio data) is also stored.

CD−ROMドライブ340には、CPU300によって実行される各種処理用のプログラムを記憶したCD−ROM341が挿入可能である。端末装置30では、CD−ROMドライブ340からこれらのプログラムが読み込まれ、HDD310にセットアップされる。なお、プログラムは、ネットワーク2経由で外部機器からダウンロードされたものがHDD310にセットアップされてもよい。   A CD-ROM 341 storing various processing programs executed by the CPU 300 can be inserted into the CD-ROM drive 340. In the terminal device 30, these programs are read from the CD-ROM drive 340 and set up in the HDD 310. Note that a program downloaded from an external device via the network 2 may be set up in the HDD 310.

図3を参照して、HDD310に記憶されているデータベースの一例である登録者データベース311について説明する。登録者データベース311には、テレビ会議システム1のユーザとして登録された複数の登録ユーザに関する情報が、登録ユーザ毎に格納されている。各登録ユーザに関する情報(以下、登録ユーザ情報という)は、例えば、登録者ID、氏名、および顔特徴データを含む。登録者IDは、登録ユーザを識別する固有の番号である。氏名は、登録ユーザの氏名である。顔特徴データは、後述する顔認識処理で使用可能なデータであればよく、例えば、登録ユーザの目、鼻、口等の顔の特徴点の位置を示すデータ等である。なお、図3では、登録ユーザ7名分の登録ユーザ情報のみが格納された登録者データベース311を例示したが、格納される登録ユーザ情報の数は、7件に限らないことは勿論である。   A registrant database 311 that is an example of a database stored in the HDD 310 will be described with reference to FIG. The registrant database 311 stores information on a plurality of registered users registered as users of the video conference system 1 for each registered user. Information regarding each registered user (hereinafter referred to as registered user information) includes, for example, a registrant ID, a name, and face feature data. The registrant ID is a unique number that identifies the registered user. The name is the name of the registered user. The face feature data may be any data that can be used in the face recognition process described later, and is, for example, data indicating the position of a feature point of a face such as a registered user's eyes, nose and mouth. Although FIG. 3 illustrates the registrant database 311 storing only registered user information for seven registered users, the number of registered user information stored is not limited to seven.

登録者データベース311への登録ユーザ情報の登録方法は特に限定されないが、例えば、次の方法で行われる。テレビ会議システム1を利用するために、ユーザは、登録ユーザとなるための手続を行う。具体的には、氏名等の個人情報と、カメラ352で撮像された自己の顔画像データを接続制御装置20に送信し、接続制御装置20から登録者IDを発行してもらう。接続制御装置20では、登録者ID、各端末装置30から送信された個人情報、および顔画像データから抽出された顔特徴データが対応付けられ、図3の登録者データベース311と同様の登録者管理データベース(図示略)に登録される。   A method for registering registered user information in the registrant database 311 is not particularly limited, and for example, the following method is used. In order to use the video conference system 1, the user performs a procedure for becoming a registered user. Specifically, personal information such as a name and the own face image data captured by the camera 352 are transmitted to the connection control device 20, and the connection control device 20 issues a registrant ID. In the connection control device 20, the registrant ID, the personal information transmitted from each terminal device 30, and the face feature data extracted from the face image data are associated with each other, and registrant management similar to the registrant database 311 in FIG. Registered in a database (not shown).

なお、顔特徴データは、任意の公知の方法で抽出されればよい。例えば、画像中の肌色領域を検出することにより顔領域が検出され、顔領域から、目、鼻、口等の顔の特徴点が抽出され、その位置情報等が顔特徴データとされる。そして、例えば、接続制御装置20で登録者管理データベースが更新された場合に、複数の端末装置30の各々に更新された情報が送信され、各端末装置30で送信された情報が登録されることで、図3に示すような登録者データベース311が構築される。   Note that the facial feature data may be extracted by any known method. For example, a face area is detected by detecting a skin color area in the image, and facial feature points such as eyes, nose, and mouth are extracted from the face area, and the position information thereof is used as face feature data. For example, when the registrant management database is updated by the connection control device 20, the updated information is transmitted to each of the plurality of terminal devices 30, and the information transmitted by each terminal device 30 is registered. Thus, a registrant database 311 as shown in FIG. 3 is constructed.

図4を参照して、HDD310に記憶されているデータベースの別の例である会議履歴データベース312について説明する。会議履歴データベース312には、端末装置30を使用して過去に行われた複数のテレビ会議のセッションに関する情報が、セッション毎に格納されている。各セッションに関する情報(以下、会議情報という)は、例えば、日時、ログインID、その他参加者ID、未登録参加者数、接続先ログインID、接続先その他参加者ID、および接続先未登録参加者数を含む。   With reference to FIG. 4, a conference history database 312 which is another example of the database stored in the HDD 310 will be described. In the conference history database 312, information related to a plurality of video conference sessions held in the past using the terminal device 30 is stored for each session. Information on each session (hereinafter referred to as conference information) includes, for example, date and time, login ID, other participant ID, number of unregistered participants, connection destination login ID, connection destination other participant ID, and connection destination unregistered participant Includes numbers.

日時は、テレビ会議が行われた日時を示す。例えば、端末装置30と他の端末装置30とのセッションが確立された時刻とそのセッションが切断された時刻とが使用される。ログインIDは、そのセッションにおいて端末装置30にログインした登録ユーザ(以下、ログインユーザという)の登録者IDである。その他参加者IDは、そのセッションにおいて端末装置30を使用してテレビ会議に参加した登録ユーザのうち、ログインユーザ以外の登録ユーザの登録者IDである。未登録参加者数は、そのセッションにおいて端末装置30を使用してテレビ会議に参加した、登録ユーザ以外の参加者(以下、未登録参加者という)の数である。   The date and time indicate the date and time when the video conference was held. For example, the time when a session between the terminal device 30 and another terminal device 30 is established and the time when the session is disconnected are used. The login ID is a registrant ID of a registered user who logs into the terminal device 30 in the session (hereinafter referred to as a login user). The other participant ID is a registrant ID of a registered user other than the login user among the registered users who participated in the video conference using the terminal device 30 in the session. The number of unregistered participants is the number of participants other than registered users (hereinafter referred to as unregistered participants) who participated in the video conference using the terminal device 30 in the session.

接続先ログインIDは、そのセッションで接続先であった他の端末装置30(以下、接続先端末装置30という)のログインユーザの登録者IDである。接続先その他参加者IDは、そのセッションにおいて接続先端末装置30を使用してテレビ会議に参加した登録ユーザのうち、接続先端末装置30のログインユーザ以外の登録ユーザの登録者IDである。接続先未登録参加者数は、そのセッションにおいて接続先端末装置30を使用してテレビ会議に参加した、未登録参加者の数である。   The connection destination login ID is a registrant ID of a login user of another terminal device 30 (hereinafter referred to as a connection destination terminal device 30) that is a connection destination in the session. The connection destination and other participant IDs are registrant IDs of registered users other than the login user of the connection destination terminal device 30 among the registered users who participated in the video conference using the connection destination terminal device 30 in the session. The number of connection destination unregistered participants is the number of unregistered participants who participated in the video conference using the connection destination terminal device 30 in the session.

会議履歴データベース312への会議情報の登録方法は特に限定されない。例えば、セッションが切断された時点で、日時と、セッション確立前に取得されるプレゼンス情報(詳細は後述)とを基に、新たな会議情報が生成され、登録されればよい。また、図4では、セッション7回分の7件の会議情報のみが格納された会議履歴データベース312が例示されているが、格納される会議情報の数は、7件に限らないことは勿論である。   The method for registering conference information in the conference history database 312 is not particularly limited. For example, when the session is disconnected, new conference information may be generated and registered based on the date and time and presence information (details will be described later) acquired before the session is established. 4 illustrates the conference history database 312 in which only seven conference information for seven sessions are stored, the number of conference information stored is not limited to seven. .

図5および図6を参照して、接続制御装置20の構成について説明する。図5に示すように、接続制御装置20は、バスを介して相互に接続されたCPU21、ROM22、RAM23、HDD24、入力ドライバ25、表示ドライバ26、CD−ROMドライブ28、および外部通信I/F27を備えている。入力ドライバ25には、キーボード等の入力部251が接続されている。表示ドライバ26には、ディスプレイ261が接続されている。   The configuration of the connection control device 20 will be described with reference to FIGS. 5 and 6. As shown in FIG. 5, the connection control device 20 includes a CPU 21, a ROM 22, a RAM 23, an HDD 24, an input driver 25, a display driver 26, a CD-ROM drive 28, and an external communication I / F 27 connected to each other via a bus. It has. An input unit 251 such as a keyboard is connected to the input driver 25. A display 261 is connected to the display driver 26.

CPU21は、ROM22およびHDD24に記憶された各種プログラムを実行することにより、接続制御装置20の動作を制御する。ROM22は、接続制御装置20を動作させるためのプログラムと初期値等を記憶している。RAM23は、CPU21が各種処理を実行する際、演算結果等のデータを一時的に記憶する。HDD24は、大容量の記憶装置である。HDD24には、後述するメイン処理用のプログラム等、CPU22によって実行される各種処理用のプログラムと、各種処理で使用されるデータ等が記憶されている。CD−ROMドライブ28には、CPU21によって実行される各種処理用のプログラムを記憶したCD−ROM281が挿入可能である。接続制御装置20では、CD−ROMドライブ281からこれらのプログラムが読み込まれ、HDD24にセットアップされる。なお、プログラムは、ネットワーク2経由で外部機器からダウンロードされたものがHDD24にセットアップされてもよい。   The CPU 21 controls the operation of the connection control device 20 by executing various programs stored in the ROM 22 and the HDD 24. The ROM 22 stores a program for operating the connection control device 20, an initial value, and the like. The RAM 23 temporarily stores data such as calculation results when the CPU 21 executes various processes. The HDD 24 is a large capacity storage device. The HDD 24 stores various processing programs executed by the CPU 22, such as a main processing program described later, and data used in various processing. A CD-ROM 281 storing various processing programs executed by the CPU 21 can be inserted into the CD-ROM drive 28. In the connection control device 20, these programs are read from the CD-ROM drive 281 and set up in the HDD 24. Note that a program downloaded from an external device via the network 2 may be set up in the HDD 24.

HDD24に記憶されるデータについて説明する。図示は省略するが、HDD24には、前述したように、図3の登録者データベース311と同様の登録者管理データベースが記憶される。なお、登録者管理データベースには、登録ユーザのパスワード等、前述の登録ユーザ情報に含まれない情報が追加されていてもよい。また、図示は省略するが、SIPサーバとして機能するために、接続制御装置20は、ネットワーク2を介して接続制御装置20に接続中の端末装置30のすべてについて、各々のSIP URI、IPアドレスおよびログインユーザの登録者IDの対応情報を、HDD24に用意された管理テーブルに記憶する。   Data stored in the HDD 24 will be described. Although not shown, the HDD 24 stores a registrant management database similar to the registrant database 311 of FIG. 3 as described above. The registrant management database may include information not included in the aforementioned registered user information, such as a registered user password. Although not shown in the figure, in order to function as a SIP server, the connection control device 20 has the SIP URI, IP address, and IP address of all the terminal devices 30 connected to the connection control device 20 via the network 2. Correspondence information of the registered user ID of the login user is stored in a management table prepared in the HDD 24.

さらに、HDD24には、図6に例示するプレゼンス情報テーブル241が記憶される。プレゼンス情報テーブル241は、ネットワーク2を介して接続制御装置20に接続中の端末装置30のすべてについて、各々の端末装置30における参加者候補に関する情報(以下、プレゼンス情報という)とその取得日時とを格納するテーブルである。各プレゼンス情報は、例えば、ログインID、その他登録者ID、および未登録参加者候補数を含む。   Further, the HDD 24 stores a presence information table 241 illustrated in FIG. The presence information table 241 includes information on candidate participants in each terminal device 30 (hereinafter referred to as presence information) and acquisition date / time for all of the terminal devices 30 connected to the connection control device 20 via the network 2. It is a table to store. Each presence information includes, for example, a login ID, other registrant ID, and the number of unregistered participant candidates.

ログインIDは、端末装置30におけるログインIDである。その他登録者IDは、端末装置30における参加者候補のうち、ログインユーザ以外の登録ユーザの登録者IDである。未登録参加者候補数は、端末装置30における参加者候補のうち、登録ユーザ以外の参加者候補の数である。取得日時は、接続制御装置20が端末装置30から送信されたプレゼンス情報を取得(受信)した日時である。   The login ID is a login ID in the terminal device 30. The other registrant ID is a registrant ID of a registered user other than the login user among the participant candidates in the terminal device 30. The number of unregistered participant candidates is the number of participant candidates other than the registered user among the participant candidates in the terminal device 30. The acquisition date / time is the date / time when the connection control device 20 acquires (receives) the presence information transmitted from the terminal device 30.

処理の詳細は後述するが、プレゼンス情報は、端末装置30がネットワーク2を介して接続制御装置20に接続し、ログイン処理が成功した後、各端末装置30で取得されて接続制御装置20に送信され、その受信日時とともにプレゼンス情報テーブル241に記憶される。そして、端末装置30が接続制御装置20からログアウトすると、プレゼンス情報とその取得日時は、プレゼンス情報テーブル241から削除される。なお、図6では、4件のプレゼンス情報のみを含むプレゼンス情報テーブル241を例示したが、格納されるプレゼンス情報の数は、4件に限らないことは勿論である。   Although details of the processing will be described later, the presence information is acquired by each terminal device 30 and transmitted to the connection control device 20 after the terminal device 30 is connected to the connection control device 20 via the network 2 and the login process is successful. The presence date and time are stored in the presence information table 241. When the terminal device 30 logs out of the connection control device 20, the presence information and the acquisition date / time are deleted from the presence information table 241. Although FIG. 6 illustrates the presence information table 241 including only four pieces of presence information, the number of pieces of presence information stored is not limited to four.

以下に、図7〜図10を参照して、端末装置30で行われる接続先候補提示処理について説明する。接続先候補提示処理は、端末装置30においてHDD310に記憶されている接続先候補提示プログラムが起動されると開始され、CPU300がこのプログラムを実行することにより行われる。なお、以下では、便宜上、図1に示す端末装置31において接続先候補提示処理が行われるものとし、接続制御装置20にはすでに他の端末装置32、33、34が接続中であるものとして説明する。   Below, with reference to FIGS. 7-10, the connection destination candidate presentation process performed with the terminal device 30 is demonstrated. The connection destination candidate presentation processing is started when the connection destination candidate presentation program stored in the HDD 310 is activated in the terminal device 30 and is executed by the CPU 300 executing this program. In the following, for the sake of convenience, it is assumed that the connection destination candidate presentation process is performed in the terminal device 31 shown in FIG. 1, and that the other terminal devices 32, 33, and 34 are already connected to the connection control device 20. To do.

図7に示すように、接続先候補提示処理が開始されると、初期化処理が行われる(S1)。初期化処理では、例えば、RAM302に記憶されている人数カウンタの値nをゼロにし、ワークエリアをクリアする等の処理が行われる。人数カウンタは、未登録参加者候補数をカウントするためのカウンタである。   As shown in FIG. 7, when the connection destination candidate presentation process is started, an initialization process is performed (S1). In the initialization process, for example, the value n of the number counter stored in the RAM 302 is set to zero and the work area is cleared. The number counter is a counter for counting the number of unregistered participant candidates.

続いて、接続制御装置20に対するログイン要求が行われる(S2)。端末装置31から接続制御装置20には、少なくとも、ユーザが端末装置31でキーボード324から入力した自己のIDと、端末装置31のSIP URIおよびIPアドレスとが送信される。なお、送信された情報は、端末装置31のRAM302にも記憶される。接続制御装置20では、端末装置31から送信されたユーザのIDに基づき、ユーザが登録ユーザであるか否かを判定する認証処理が行われる。   Subsequently, a login request is made to the connection control device 20 (S2). The terminal device 31 transmits to the connection control device 20 at least the self ID input by the user from the keyboard 324 on the terminal device 31, and the SIP URI and IP address of the terminal device 31. The transmitted information is also stored in the RAM 302 of the terminal device 31. The connection control device 20 performs an authentication process for determining whether or not the user is a registered user based on the user ID transmitted from the terminal device 31.

接続制御装置20から送信された認証結果に基づき、ユーザが登録ユーザとして認証されたか否かが判断される(S3)。認証されなかった場合には(S3:NO)、接続先候補提示処理は終了する。ユーザが登録ユーザであると認証された場合(S3:YES)、カメラ352が起動され、撮像が開始される(S4)。取得された映像を用いて、参加者候補特定処理が行われる(S10および図8)。   Based on the authentication result transmitted from the connection control device 20, it is determined whether or not the user has been authenticated as a registered user (S3). When it is not authenticated (S3: NO), the connection destination candidate presentation process ends. When the user is authenticated as a registered user (S3: YES), the camera 352 is activated and imaging is started (S4). Participant candidate identification processing is performed using the acquired video (S10 and FIG. 8).

図8を参照して、参加者候補特定処理について説明する。本実施形態では、参加者候補の特定には、顔認識処理が用いられる。参加者候補特定処理では、別途、HDD310に記憶された顔認識エンジンが起動されて使用される。図8に示すように、まず、取得された映像中の顔領域が検出され、検出された顔領域から特徴点が抽出されて、顔特徴データが生成される(S11)。なお、映像中に複数の顔領域が検出された場合には、そのうちの1つの顔領域が選択され、処理される。複数の顔領域が検出される場合とは、複数のユーザが端末装置31を使用してテレビ会議に参加するために集まり、撮像された場合である。   The participant candidate specifying process will be described with reference to FIG. In the present embodiment, face recognition processing is used to specify candidate participants. In the participant candidate specifying process, a face recognition engine separately stored in the HDD 310 is activated and used. As shown in FIG. 8, first, a face area in the acquired video is detected, feature points are extracted from the detected face area, and face feature data is generated (S11). When a plurality of face areas are detected in the video, one face area is selected and processed. The case where a plurality of face areas are detected is a case where a plurality of users gathered and photographed to participate in a video conference using the terminal device 31.

作成された顔特徴データが、ログインユーザのものか否かが判断される(S12)。具体的には、ステップS2でRAM302に記憶されたIDに対応付けて登録者データベース311に記憶されている顔特徴データが取得され、処理対象の顔特徴データと比較されて両者の類似度が求められる。類似度が所定の閾値以上の場合、二つの顔特徴データは同一人物のものである、すなわち、映像中の処理対象の人物は、ログインユーザであると判断される(S12:YES)。この場合、ステップS2でRAM302に記憶されたユーザのIDがログインIDとして特定され、RAM302に記憶される(S13)。処理はステップS17に進む。   It is determined whether or not the created face feature data belongs to the logged-in user (S12). Specifically, the facial feature data stored in the registrant database 311 in association with the ID stored in the RAM 302 in step S2 is acquired and compared with the facial feature data to be processed to determine the similarity between the two. It is done. When the similarity is equal to or greater than a predetermined threshold, it is determined that the two face feature data belong to the same person, that is, the person to be processed in the video is a login user (S12: YES). In this case, the user ID stored in the RAM 302 in step S2 is specified as the login ID and stored in the RAM 302 (S13). The process proceeds to step S17.

処理対象の人物がログインユーザでないと判断された場合(S12:NO)、ログインユーザ以外の登録ユーザの顔特徴データが順に取得され、処理対象の顔特徴データと比較される。類似度が所定の閾値以上となる登録ユーザの顔特徴データがある場合、映像中の処理対象の人物は、登録ユーザの一人であると判断される(S14:YES)。この場合、その顔特徴データに対応づけて登録者データベース311に記憶されている登録者IDが、その他登録者IDとして特定され、RAM302に記憶される(S15)。処理はステップS17に進む。   When it is determined that the person to be processed is not a logged-in user (S12: NO), the facial feature data of registered users other than the logged-in user are sequentially acquired and compared with the facial feature data to be processed. If there is a registered user's face feature data whose similarity is equal to or greater than a predetermined threshold, it is determined that the person to be processed in the video is one of the registered users (S14: YES). In this case, the registrant ID stored in the registrant database 311 in association with the face feature data is specified as the other registrant ID and stored in the RAM 302 (S15). The process proceeds to step S17.

一方、処理対象の顔特徴データとログインユーザ以外の登録ユーザの顔特徴データとの類似度が、いずれも所定の閾値未満の場合、映像中の人物は、登録ユーザではなく未登録参加者候補であると判断される(S14:NO)。この場合、RAM302に記憶されている人数カウンタの値nに1が加算される(S16)。処理はステップS17に進む。映像中に含まれるすべての人物の顔認識処理が完了したか否かが判断される(S17)。完了していない場合には(S17:NO)、処理はステップS11に戻り、未処理の顔領域が新たに選択され、前述と同様の処理が行われる(S11〜S16)。映像中に含まれるすべての人物の顔認識処理が完了すると(S17:YES)、CPU301は、図8に示す参加者候補特定処理を終了し、図7に示す接続先候補提示処理に戻る。   On the other hand, if the similarity between the face feature data to be processed and the face feature data of a registered user other than the logged-in user is less than a predetermined threshold, the person in the video is not a registered user but an unregistered participant candidate. It is determined that there is (S14: NO). In this case, 1 is added to the value n of the number counter stored in the RAM 302 (S16). The process proceeds to step S17. It is determined whether the face recognition processing for all persons included in the video is completed (S17). If it is not completed (S17: NO), the process returns to step S11, an unprocessed face area is newly selected, and the same process as described above is performed (S11 to S16). When the face recognition processing for all persons included in the video is completed (S17: YES), the CPU 301 ends the participant candidate identification processing shown in FIG. 8, and returns to the connection destination candidate presentation processing shown in FIG.

図7に示すように、参加者候補特定処理の後、端末装置31のプレゼンス情報が生成される(S21)。具体的には、ステップS13でRAM302に記憶されたログインIDと、ステップS15でRAM302に記憶されたその他登録者IDと、人数カウンタの値n、すなわち未登録参加者候補数とから、プレゼンス情報が生成され、RAM302に記憶される。生成されたプレゼンス情報は、接続制御装置20に送信される(S22)。接続制御装置20にログイン中の他の端末装置32〜34でもそれぞれ同様の処理が行われているので、接続制御装置20のプレゼンス情報テーブル241には、接続中の複数の端末装置31〜34のプレゼンス情報が記憶された状態となる(図6参照)。   As shown in FIG. 7, after the participant candidate specifying process, presence information of the terminal device 31 is generated (S21). Specifically, presence information is obtained from the login ID stored in the RAM 302 in step S13, the other registrant ID stored in the RAM 302 in step S15, and the value n of the number counter, that is, the number of unregistered participant candidates. Generated and stored in the RAM 302. The generated presence information is transmitted to the connection control device 20 (S22). Since the same processing is performed in each of the other terminal devices 32 to 34 logged in to the connection control device 20, the presence information table 241 of the connection control device 20 includes a plurality of terminal devices 31 to 34 being connected. Presence information is stored (see FIG. 6).

接続制御装置20から、接続制御装置20に接続中の他の端末装置32〜34のプレゼンス情報が、それぞれの取得日時と共に取得される(S23)。具体的には、端末装置31から接続制御装置20に対して、ログインIDとともに他の端末装置30のプレゼンス情報の送信を要求するリクエストが送信される。それに応じて接続制御装置20から送信された他の端末装置32〜34のプレゼンス情報とその取得日時が、端末装置30で受信され、RAM302に記憶される。他の端末装置32〜34は、端末装置31の接続先候補である。   Presence information of the other terminal devices 32 to 34 connected to the connection control device 20 is acquired from the connection control device 20 together with the respective acquisition dates and times (S23). Specifically, a request for transmitting the presence information of the other terminal device 30 is transmitted to the connection control device 20 from the terminal device 31 together with the login ID. In response thereto, the presence information and the acquisition date and time of the other terminal devices 32 to 34 transmitted from the connection control device 20 are received by the terminal device 30 and stored in the RAM 302. The other terminal devices 32 to 34 are connection destination candidates for the terminal device 31.

会議履歴データベース312の会議情報と、ステップS21で生成された端末装置31のプレゼンス情報と、ステップS23で取得された他の端末装置32〜34のプレゼンス情報とに基づき、他の端末装置32〜34の順位付けが行われる(S24)。端末装置32〜34の順位は、現在の状況(端末装置31の参加者候補および他の端末装置32〜34の参加者候補)と、過去のセッションの履歴である会議情報との一致度合いに従って決定される。   Based on the conference information in the conference history database 312, the presence information of the terminal device 31 generated in step S21, and the presence information of the other terminal devices 32-34 acquired in step S23, the other terminal devices 32-34. Is ranked (S24). The ranks of the terminal devices 32 to 34 are determined according to the degree of coincidence between the current situation (participant candidates of the terminal device 31 and participant candidates of the other terminal devices 32 to 34) and conference information that is a history of past sessions. Is done.

以下に、図4に示す7件の会議情報が会議履歴データベース312に登録されており、且つ端末装置31〜34のプレゼンス情報に含まれるログインID、その他登録者ID、および未登録参加者候補数が、それぞれ「10999」、「なし」、「1」と、「10735」、「なし」、「1」と、「11100」、「13152」、「3」と、「13152」、「なし」、「0」の場合の順位付け方法の一例について説明する。この場合、端末装置31については、登録者IDが「10999」の登録ユーザがログインユーザであり、他の登録ユーザはおらず、未登録参加者候補が1名いる状態である。まず、会議履歴データベース312の会議情報が、ログインID、その他参加者ID、未登録参加者数の優先順位で、端末装置31のプレゼンス情報に近い順にソートされる。ログインID、その他参加者ID、未登録参加者数が同一の会議情報が複数ある場合、これらの会議情報は、日時が新しい順にソートされる。   Below, seven pieces of conference information shown in FIG. 4 are registered in the conference history database 312, and the login ID, other registrant IDs, and the number of unregistered participant candidates included in the presence information of the terminal devices 31 to 34 are as follows. Are “10999”, “none”, “1”, “10735”, “none”, “1”, “11100”, “13152”, “3”, “13152”, “none”, respectively. An example of a ranking method in the case of “0” will be described. In this case, for the terminal device 31, the registered user whose registrant ID is “10999” is the login user, there is no other registered user, and there is one unregistered participant candidate. First, the conference information in the conference history database 312 is sorted in the order of closeness to the presence information of the terminal device 31 in the priority order of the login ID, other participant IDs, and the number of unregistered participants. When there are a plurality of pieces of conference information having the same login ID, other participant IDs, and the number of unregistered participants, these conference information are sorted in order of date and time.

前述の条件でソートが行われると、図4に示す7件の会議情報は、図9に示す順序に並べ替えられた状態となる。なお、表中、上に位置する会議情報ほど、端末装置31のプレゼンス情報に近い会議情報であることを示している。具体的には、ログインID(10999)が一致する6件の会議情報のうち、その他参加者IDがなく、登録者IDが「10999」の登録ユーザのみが参加したセッションの会議情報2件が上位に並ぶ。これら2件の会議情報のうち、未登録参加者数(1、3)と端末装置31の未登録参加者候補数(1)との差がより小さい2010年6月18日のセッションの会議情報が上位となる。次に、ログインIDが一致するが、その他参加者IDがそれぞれ1名分含まれる会議情報3件が、未登録参加者数(1、2、4)と未登録参加者候補数(1)との差が小さいものから順に上から並べられる。次に、ログインIDが一致するが、その他参加者IDが2名分含まれる会議情報が並べられ、最後に、ログインIDが一致しない会議情報が並べられる。   When sorting is performed under the above-described conditions, the seven pieces of conference information shown in FIG. 4 are rearranged in the order shown in FIG. In the table, the conference information located at the top indicates that the conference information is closer to the presence information of the terminal device 31. Specifically, out of the six conference information having the same login ID (10999), the other two conference information of the session in which only the registered user who has no other participant ID and the registrant ID is “10999” participated is the highest. Lined up. Among these two pieces of conference information, the conference information of the session on June 18, 2010, in which the difference between the number of unregistered participants (1, 3) and the number of unregistered participant candidates (1) of the terminal device 31 is smaller Becomes the top. Next, the conference IDs that match the login ID but include one other participant ID each include the number of unregistered participants (1, 2, 4) and the number of unregistered participant candidates (1). Are arranged in order from the smallest. Next, the conference information that has the same login ID but includes two other participant IDs is arranged, and finally, the conference information that does not match the login ID is arranged.

会議情報が図9に示すように並べ替えられた後、より上位にある会議情報に近い順に、接続先候補である端末装置32〜34のプレゼンス情報が順位付けられる。まず、並べ替えられた最上位の会議情報と完全にまたは一部が一致するプレゼンス情報が検索される。具体的には、会議情報の接続先ログインID、接続先その他参加者ID、および接続先未登録参加者数が、それぞれプレゼンス情報のログインID、その他登録者ID、および未登録参加者候補数と比較される。3項目のすべてが一致する場合は「完全一致」、3項目のうち1項目または2項目のみ一致する場合は「一部一致」、1項目も一致しない場合は「不一致」と判断される。最上位の会議情報とは、端末装置32〜34のプレゼンス情報はいずれも不一致である。2番目の会議情報とも、同様に、端末装置32〜34のプレゼンス情報はいずれも不一致である。   After the meeting information is rearranged as shown in FIG. 9, the presence information of the terminal devices 32 to 34 that are connection destination candidates is ranked in the order closer to the higher-level meeting information. First, presence information that completely or partially matches the rearranged top-level meeting information is searched. Specifically, the connection destination login ID, the connection destination other participant ID, and the connection destination unregistered participant number of the conference information are respectively the presence information login ID, other registrant ID, and the number of unregistered participant candidates. To be compared. When all three items match, it is determined as “complete match”, when only one item or two items out of the three items match, “partial match”, and when one item does not match, “no match”. None of the presence information of the terminal devices 32 to 34 is in agreement with the highest level conference information. Similarly, the presence information of the terminal devices 32 to 34 does not match with the second conference information.

3番目の会議情報の接続先ログインID、接続先その他参加者ID、および接続先未登録参加者数は、それぞれ「11100」、「13152」、「3」であるから、端末装置33のログインID、その他登録者ID、および未登録参加者候補数と完全一致する。したがって、端末装置33が、最上位の接続先候補として順位付けられる。同様にして、会議情報が順にプレゼンス情報と比較される。5番目の会議情報の接続先ログインID、接続先その他参加者ID、および接続先未登録参加者数は、それぞれ「10735」、「なし」、「2」であり、端末装置32のログインID、その他登録者ID、および未登録参加者候補数は、それぞれ「10735」、「なし」、「1」であるから、一部(2項目)が一致している。よって、端末装置32が、2番目の接続先候補として順位付けられ、端末装置34が3番目の接続先候補として順位付けられる。   Since the connection destination login ID, the connection destination other participant ID, and the connection destination unregistered number of participants in the third conference information are “11100”, “13152”, and “3”, respectively, the login ID of the terminal device 33 , Other registrant IDs, and the number of unregistered participant candidates completely match. Therefore, the terminal device 33 is ranked as the highest connection destination candidate. Similarly, meeting information is sequentially compared with presence information. The connection destination login ID, connection destination other participant ID, and connection destination unregistered number of participants in the fifth conference information are “10735”, “none”, and “2”, respectively, and the login ID of the terminal device 32, The other registrant ID and the number of unregistered participant candidates are “10735”, “none”, and “1”, respectively. Therefore, the terminal device 32 is ranked as the second connection destination candidate, and the terminal device 34 is ranked as the third connection destination candidate.

なお、この順位付け方法では、端末装置31のプレゼンス情報に近い順に会議情報が並べられ、他の端末装置32〜34のうち、上位にある会議情報との一致度が高いプレゼンス情報に対応するものほど、上位の順位が付けられる。つまり、他の端末装置32〜34のプレゼンス情報と会議情報中の接続先の情報との一致度合いよりも、端末装置31のプレゼンス情報と会議情報中の端末装置31の情報との一致度合いを優先して順位付けが行われている。端末装置31のプレゼンス情報と会議情報中の端末装置31の情報との一致度合いが高いほど、その会議で接続先とされた他の端末装置30が今回も接続先とされる可能性が高い。したがって、このように順位付けすることで、より効果的な順位付けができ、端末装置31のユーザがより迅速に適切な接続先を決定できる可能性が高くなる。   In this ranking method, the conference information is arranged in the order close to the presence information of the terminal device 31 and corresponds to the presence information having a high degree of coincidence with the conference information at the higher level among the other terminal devices 32-34. The higher ranking is given. That is, the degree of coincidence between the presence information of the terminal device 31 and the information of the terminal device 31 in the conference information is prioritized over the degree of coincidence of the presence information of the other terminal devices 32 to 34 and the connection destination information in the conference information. And ranking is done. The higher the degree of coincidence between the presence information of the terminal device 31 and the information of the terminal device 31 in the conference information, the higher the possibility that the other terminal device 30 that is the connection destination in the conference will be the connection destination this time. Therefore, by ranking in this way, more effective ranking can be performed, and there is a high possibility that the user of the terminal device 31 can determine an appropriate connection destination more quickly.

ところで、上記の順位付け方法では、接続先候補の端末装置32〜34のいずれかのプレゼンス情報が、並べ替え後の順序においてより上位にある会議情報と一部一致し、別のいずれかのプレゼンス情報が、より下位にある会議情報と完全一致する場合も生じうる。したがって、上記の順位付け方法に代えて、例えば、次のように順位を決定してもよい。まず、端末装置31のプレゼンス情報に基づき並べ替えられた会議情報の順位をそのまま点数とする。完全一致、一部一致、不一致の順で、端末装置32〜34のプレゼンス情報が順位付けされ、上位から順に1点、2点、3点が付与される。なお、一部一致のプレゼンス情報が複数ある場合、ログインIDの一致、その他登録者IDの一致、未登録参加者候補数の一致、の順で優先される。会議情報の点数とプレゼンス情報の点数の合計点が低いほど、より上位の順位を付ける。   By the way, in the above ranking method, the presence information of any one of the connection destination candidate terminal devices 32 to 34 partially matches the higher-order conference information in the rearranged order, and another presence It may happen that the information exactly matches the conference information at a lower level. Therefore, instead of the above-described ranking method, for example, the ranking may be determined as follows. First, the ranking of the conference information rearranged based on the presence information of the terminal device 31 is directly used as a score. Presence information of the terminal devices 32 to 34 is ranked in the order of complete match, partial match, and mismatch, and 1 point, 2 points, and 3 points are given in order from the top. If there are a plurality of partially matching presence information, priority is given in the order of login ID match, other registrant ID match, and unregistered participant candidate count. The lower the total score of the conference information score and the presence information score, the higher the ranking.

例えば、前述のように、3番目の会議情報と端末装置33のプレゼンス情報が完全一致し、5番目の会議情報と端末装置32のプレゼンス情報が一部一致(2項目が一致)し、さらに、1番目の会議情報の接続先ログインIDと、端末装置34のログインIDとが一部一致(1項目が一致)したとする。この場合、端末装置32と34では、優先順位の1位と2位の2項目が一致している端末装置32が、端末装置34より上位となる。よって、合計点は、端末装置32が7点(=5点+2点)、端末装置33が4点(=3点+1点)、端末装置34が4点(=1点+3点)となる。端末装置33と34は同点であるが、この場合は、端末装置31のプレゼンス情報により近い会議情報に対応する端末装置34を優先すればよい。したがって、端末装置34が最上位、端末装置33が2番、端末装置32が3番として順位付けられる。   For example, as described above, the third conference information and the presence information of the terminal device 33 completely match, the fifth conference information and the presence information of the terminal device 32 partially match (two items match), It is assumed that the connection destination login ID of the first meeting information partially matches the login ID of the terminal device 34 (one item matches). In this case, in the terminal devices 32 and 34, the terminal device 32 in which the two items of the first priority and the second priority match is higher than the terminal device 34. Therefore, the total points are 7 points for the terminal device 32 (= 5 points + 2 points), 4 points for the terminal device 33 (= 3 points + 1 point), and 4 points for the terminal device 34 (= 1 point + 3 points). The terminal devices 33 and 34 are the same, but in this case, the terminal device 34 corresponding to the conference information closer to the presence information of the terminal device 31 may be given priority. Accordingly, the terminal device 34 is ranked highest, the terminal device 33 is ranked second, and the terminal device 32 is ranked third.

図7に示すように、接続先候補の端末装置32〜34に順位付けが行われた後(S24)、端末装置31〜34のそれぞれに対応する参加者候補の情報を提示する画面が、ディスプレイ322に表示される(S25)。図10を参照して、このときの表示画面の一例である接続先候補表示画面10について説明する。図10に示すように、接続先候補表示画面10には、端末装置31および端末装置31に接続可能な複数の端末装置30に関する情報が、接続制御装置20にログイン中のオンラインの端末装置30と、オフラインの端末装置30とに分けて表示される。なお、オフラインの端末装置30は接続制御装置20に接続していないため、接続要求をすることはできず、接続先候補とはならない。よって、オフラインの端末装置30は表示されなくてもよい。   As shown in FIG. 7, after ranking of the connection destination candidate terminal devices 32 to 34 is performed (S24), a screen presenting candidate candidate information corresponding to each of the terminal devices 31 to 34 is displayed. It is displayed at 322 (S25). With reference to FIG. 10, the connection destination candidate display screen 10 as an example of the display screen at this time will be described. As shown in FIG. 10, on the connection destination candidate display screen 10, information regarding the terminal device 31 and a plurality of terminal devices 30 that can be connected to the terminal device 31 is displayed on the connection control device 20 as online Are displayed separately for the offline terminal device 30. Note that since the offline terminal device 30 is not connected to the connection control device 20, a connection request cannot be made and it cannot be a connection destination candidate. Therefore, the offline terminal device 30 may not be displayed.

接続先候補表示画面10では、オンラインの端末装置31〜34のうち、接続先候補である端末装置32〜34については、ステップS24で決定された順位に従った表示が行われる。例えば、端末装置33、32、34の順に上位から順位が付けられた場合、接続先候補表示画面10の左側から順に、端末装置33、32、34の参加者候補の情報が表示される。前述したように、端末装置32〜34の順位は、現在の状況(端末装置31の参加者候補および他の端末装置32〜34の参加者候補)と、過去のセッションの履歴である会議情報との一致度合いに従って決定されている。過去に同様の参加者で会議が行われていた場合、その参加者で再度会議を行う可能性はより高い。したがって、順位が高い方から端末装置32〜34の参加者候補を確認することで、端末装置31のユーザは、より迅速に適切な接続先を決定できる可能性が高くなる。なお、本実施形態では、接続先候補の情報の右側に、端末装置31の参加者候補の情報も表示されるが、端末装置31の情報は表示されなくてもよい。   On the connection destination candidate display screen 10, among the online terminal devices 31 to 34, the terminal devices 32 to 34 that are connection destination candidates are displayed according to the order determined in step S24. For example, when ranking is given from the top in the order of the terminal devices 33, 32, and 34, information on the candidate participants of the terminal devices 33, 32, and 34 is displayed in order from the left side of the connection destination candidate display screen 10. As described above, the ranks of the terminal devices 32 to 34 are determined based on the current situation (participant candidates of the terminal device 31 and participant candidates of the other terminal devices 32 to 34), conference information that is a history of past sessions, and the like. It is determined according to the degree of coincidence. If a conference has been held with similar participants in the past, there is a higher possibility that the participant will hold the conference again. Therefore, by confirming the participant candidates of the terminal devices 32 to 34 from the higher rank, the user of the terminal device 31 is more likely to be able to determine an appropriate connection destination more quickly. In the present embodiment, information on the candidate participants of the terminal device 31 is also displayed on the right side of the information on the connection destination candidates, but the information on the terminal device 31 may not be displayed.

前述したように、参加者候補には、ログインユーザ、その他の登録ユーザ、および未登録参加者候補の3種類が存在する。そこで、本実施形態では、ログインユーザ、その他の登録ユーザ、および未登録参加者候補の情報は、ステップS23で取得された他の端末装置32〜34のプレゼンス情報に基づき、以下に説明するように互いに区別可能な態様で表示される。   As described above, there are three types of participant candidates: login users, other registered users, and unregistered participant candidates. Therefore, in the present embodiment, information on the login user, other registered users, and unregistered participant candidates is described below based on the presence information of the other terminal devices 32 to 34 acquired in step S23. They are displayed in a distinguishable manner.

すべての参加者候補は人物アイコンで表示されるが、ログインユーザおよびその他の登録ユーザは、未登録参加者候補よりも大きい人物アイコンで表示される。ログインユーザおよびその他の登録ユーザの人物アイコンの右側には、登録者データベース311(図3参照)に登録者IDに対応付けて記憶された氏名があわせて表示される。人物アイコンおよび氏名は、ログインユーザとその他の登録ユーザとで、例えば、異なる色彩で表示されることによって区別される。図10に示すように、ログインユーザの氏名のみに下線を付す等の方法で区別されてもよい。ログインユーザは、各端末装置32〜34の参加者候補のうち主要人物である場合が多いので、このような区別を行うことで、端末装置31のユーザが適切な接続先を容易に決定することができる。   All participant candidates are displayed with a person icon, but the login user and other registered users are displayed with a person icon larger than the unregistered participant candidate. The names stored in the registrant database 311 (see FIG. 3) in association with the registrant ID are displayed together on the right side of the login user and other registered user person icons. The person icon and the name are distinguished between the login user and other registered users, for example, by being displayed in different colors. As shown in FIG. 10, it may be distinguished by a method such as underlining only the name of the login user. Since the logged-in user is often the main person among the participant candidates of each of the terminal devices 32 to 34, the user of the terminal device 31 can easily determine an appropriate connection destination by making such a distinction. Can do.

参加者候補中、ログインユーザは最も上方に配置され、その下方にその他の登録ユーザ、さらに下方に未登録参加者候補が配置される。未登録候補者が複数存在する場合は、登録ユーザよりも小さい人物アイコンが横並びに人数分配置される。未登録参加者候補の氏名は不明であるため、表示されない。このように、接続先候補表示画面10では、登録ユーザと未登録参加者候補とが、区別可能な方法で表示されるので、ユーザは、接続先候補の端末装置32〜34のうち適切な接続先を、より容易に視覚的に判別できる。   Among the participant candidates, the login user is arranged at the uppermost position, other registered users are arranged below it, and unregistered participant candidates are arranged further below. When there are a plurality of unregistered candidates, person icons smaller than registered users are arranged side by side. The names of unregistered participant candidates are unknown and are not displayed. Thus, since the registered user and the unregistered participant candidate are displayed in a distinguishable manner on the connection destination candidate display screen 10, the user can select an appropriate connection among the terminal devices 32 to 34 as connection destination candidates. The tip can be more easily visually identified.

ところで、本実施形態のテレビ会議システム1では、登録ユーザが通常使用する端末装置30は大体決まっており、その端末装置30を使用して自己の登録者IDで接続制御装置20にログインすることが想定されている。しかし、例えば、登録者IDが「13152」である登録ユーザ「FFF」が、端末装置34でログイン処理をした後、端末装置33を使用して、端末装置33のログインユーザ「CCC」と未登録参加者候補3名とともにテレビ会議に参加しようとしたとする。この場合、端末装置34ではログイン直後に顔認識処理によって登録ユーザ「FFF」がログインユーザとして特定され、その登録者ID「13152」をログインIDとして含むプレゼンス情報が接続制御装置20に送信される。さらに、端末装置33からも、同様の処理により、登録ユーザ「FFF」の登録者ID「13152」をその他登録者IDとして含むプレゼンス情報が接続制御装置20に送信される。   By the way, in the video conference system 1 of this embodiment, the terminal device 30 which a registered user usually uses is roughly determined, and the terminal device 30 can be used to log in to the connection control device 20 with its own registrant ID. Assumed. However, for example, a registered user “FFF” having a registrant ID “13152” performs login processing at the terminal device 34 and then uses the terminal device 33 to register with the login user “CCC” of the terminal device 33. Suppose you want to join a video conference with three potential participants. In this case, in the terminal device 34, the registered user “FFF” is specified as the login user by the face recognition process immediately after the login, and presence information including the registrant ID “13152” as the login ID is transmitted to the connection control device 20. Furthermore, presence information including the registrant ID “13152” of the registered user “FFF” as the other registrant ID is also transmitted from the terminal device 33 to the connection control device 20 by the same processing.

よって、その後、端末装置31で接続先候補提示処理が行われると、端末装置31には、端末装置33および34の両方のプレゼンス情報に、同じ登録ユーザ「FFF」の情報が含まれることになる。この場合は、「FFF」は、異なる端末装置33と34とで、それぞれ、その他登録ユーザとログインユーザとして表示されることとなる(図10の左端と左から3番目の参加者候補の情報の人物アイコン参照)。この場合、ステップS23でプレゼンス情報とともに取得された取得日時が比較される。登録ユーザ「FFF」は、端末装置33および34のうち、より新しいプレゼンス情報に対応する方で会議に参加するものと考えられる。よって、例えば、より古い方のプレゼンス情報に対応する人物アイコンを薄く表示する、点滅表示する等の方法で、実際に登録ユーザ「FFF」が使用すると考えられる端末装置33を容易に認識可能に表示することもできる。   Therefore, when the connection destination candidate presentation process is subsequently performed in the terminal device 31, the terminal device 31 includes the same registered user “FFF” information in the presence information of both the terminal devices 33 and 34. . In this case, “FFF” is displayed as the other registered user and logged-in user on the different terminal devices 33 and 34, respectively (the left end and the third participant candidate information from the left in FIG. 10). Person icon). In this case, the acquisition date and time acquired together with the presence information in step S23 are compared. The registered user “FFF” is considered to participate in the conference among the terminal devices 33 and 34 corresponding to the newer presence information. Therefore, for example, the terminal device 33 that is actually considered to be used by the registered user “FFF” can be easily recognized by displaying the person icon corresponding to the older presence information lightly or blinking. You can also

このように、端末装置31〜34のそれぞれに対応する参加者候補の情報を提示する画面が、ディスプレイ322に表示された後(S25)、図7に示す接続先候補提示処理は終了する。なお、詳細な説明は省略するが、接続先候補提示処理の後、端末装置32〜34の参加者候補の情報を参考にして、端末装置31の参加者候補により接続先が決定され、接続制御装置20に対して接続先への接続要求が送信される。そして、セッションが確立されると、端末装置31と接続先の他の端末装置30との間で音声データおよび映像データの送受信が行われることにより、テレビ会議が実施される。これらの処理は、別途HDD310に記憶されたプログラムをCPU300が実行することによって行われる。   Thus, after the screen for presenting the candidate candidate information corresponding to each of the terminal devices 31 to 34 is displayed on the display 322 (S25), the connection destination candidate presentation process shown in FIG. 7 ends. Although detailed description is omitted, after the connection destination candidate presentation process, the connection destination is determined by the participant candidate of the terminal device 31 with reference to the information of the candidate participants of the terminal devices 32 to 34, and connection control is performed. A connection request to the connection destination is transmitted to the device 20. When the session is established, audio data and video data are transmitted and received between the terminal device 31 and the other terminal device 30 to which the terminal device 31 is connected, whereby a video conference is performed. These processes are performed by the CPU 300 executing a program separately stored in the HDD 310.

次に、図11を参照して、接続制御装置20のメイン処理について簡単に説明する。メイン処理は、接続制御装置20の電源がONになると開始され、電源がONである間中、CPU21がこのプログラムを実行することにより行われる。ネットワーク2を介していずれかの端末装置30からのログイン要求があったか否かが判断される(S31)。ログイン要求があった場合(S31:YES)、前述したように、登録者管理データベース(図示略)が参照され、ログイン要求とともに受信されたIDが登録者IDであるか否かを判定する認証処理が行われ、認証結果が端末装置30に送信される(S32)。受信されたIDが登録者IDであれば、その端末装置30のSIP URI、IPアドレスおよびログインユーザの登録者IDの対応情報が、HDD24の管理テーブルに新たに記憶される。処理はステップS31に戻る。   Next, a main process of the connection control device 20 will be briefly described with reference to FIG. The main process is started when the power of the connection control device 20 is turned on, and is performed by the CPU 21 executing this program while the power is on. It is determined whether or not there is a login request from any of the terminal devices 30 via the network 2 (S31). When there is a login request (S31: YES), as described above, a registrant management database (not shown) is referred to, and an authentication process for determining whether or not the ID received together with the login request is a registrant ID. The authentication result is transmitted to the terminal device 30 (S32). If the received ID is a registrant ID, the correspondence information of the SIP URI of the terminal device 30, the IP address, and the registrant ID of the login user is newly stored in the management table of the HDD 24. The process returns to step S31.

ログイン要求がされていない場合(S31:NO)、いずれかの端末装置30からのプレゼンス情報が受信されたか否かが判断される(S33)。プレゼンス情報が受信された場合(S33:YES)、プレゼンス情報とその取得(受信)日時が、HDD24のプレゼンス情報テーブル241(図6参照)に新たに記憶される(S34)。処理はステップS31に戻る。プレゼンス情報は受信されず(S33:NO)、いずれかの端末装置30からプレゼンス情報の送信が要求された場合は(S35:YES)、要求元の端末装置30に対して、その他の接続中のすべての端末装置30のプレゼンス情報がその取得日時とともに送信される(S36)。具体的には、要求元の端末装置30のログインIDに基づき、プレゼンス情報テーブル241に記憶された情報のうち、その他の接続中の端末装置30の情報が特定され、送信される。処理はステップS31に戻る。   If a login request has not been made (S31: NO), it is determined whether presence information from any of the terminal devices 30 has been received (S33). When the presence information is received (S33: YES), the presence information and its acquisition (reception) date and time are newly stored in the presence information table 241 (see FIG. 6) of the HDD 24 (S34). The process returns to step S31. Presence information is not received (S33: NO), and when transmission of presence information is requested from any of the terminal devices 30 (S35: YES), other connection is being made to the requesting terminal device 30. Presence information of all the terminal devices 30 is transmitted together with the acquisition date and time (S36). Specifically, based on the login ID of the requesting terminal device 30, the information on the other connected terminal device 30 among the information stored in the presence information table 241 is specified and transmitted. The process returns to step S31.

プレゼンス情報の送信が要求されていない場合(S35:NO)、受信された情報に応じたその他の処理が行われる(S37)。例えば、いずれかの端末装置30から他の端末装置30への接続要求を受信した場合には、SIPに則って他の端末装置30を呼び出し、セッションを確立する制御を行う。また、いずれかの端末装置30からログアウトの要求があった場合には、セッションを切断し、接続が切断された端末装置30に関する情報を管理テーブルおよびプレゼンス情報テーブルから削除する等の処理を行う。その他の処理が行われた後、処理はステップS31に戻る。   If transmission of presence information is not requested (S35: NO), other processing according to the received information is performed (S37). For example, when a connection request from one of the terminal devices 30 to another terminal device 30 is received, control is performed to call another terminal device 30 in accordance with SIP and establish a session. Further, when there is a logout request from any of the terminal devices 30, processing such as disconnecting the session and deleting information related to the disconnected terminal device 30 from the management table and the presence information table is performed. After the other processes are performed, the process returns to step S31.

以上に説明した通り、本実施形態の端末装置30は、登録ユーザが自己の登録者IDを用いて接続制御装置20にログインすると、端末装置30を使用してテレビ会議に参加可能な少なくとも1名の参加者候補の顔をカメラ352で撮像する。そして、得られた映像から顔特徴データを取得し、その顔特徴データを登録者データベース311に登録された登録ユーザの顔特徴データと照合することによって顔認識処理を行い、少なくとも1名の参加者候補のうち、登録ユーザ(ログインユーザおよびその他の登録ユーザ)と、未登録参加者候補の数とを特定する。特定された登録ユーザの登録者ID(ログインIDおよびその他登録者ID)と未登録参加者数とを含むプレゼンス情報を、接続制御装置20に送信する。   As described above, when the registered user logs in to the connection control device 20 using his / her registrant ID, the terminal device 30 of the present embodiment has at least one person who can participate in the video conference using the terminal device 30. The participant candidate's face is imaged by the camera 352. Then, the facial feature data is obtained from the obtained video, and the facial feature data is collated with the facial feature data of the registered user registered in the registrant database 311 to perform face recognition processing, and at least one participant Among candidates, registered users (logged-in users and other registered users) and the number of unregistered participant candidates are specified. Presence information including the registrant ID (login ID and other registrant ID) of the identified registered user and the number of unregistered participants is transmitted to the connection control device 20.

さらに、端末装置30は、他の端末装置30から同様にして接続制御装置20に送信され記憶されたプレゼンス情報を、接続制御装置20から取得する。そして、取得した他の端末装置30のプレゼンス情報に基づき、他の端末装置30の参加者候補中の登録ユーザ(ログインユーザおよびその他の登録ユーザ)と、未登録参加者候補の数とを示す情報(人物アイコンおよび氏名)を、接続先候補の情報として、ディスプレイ322に表示させる。   Further, the terminal device 30 acquires presence information transmitted from the other terminal device 30 and stored in the connection control device 20 in the same manner from the connection control device 20. Then, based on the acquired presence information of the other terminal device 30, information indicating registered users (logged-in users and other registered users) among the participant candidates of the other terminal device 30 and the number of unregistered participant candidates. (Person icon and name) are displayed on the display 322 as information of connection destination candidates.

したがって、端末装置30を使用して会議を開始しようとするユーザは、ディスプレイ322に表示された他の端末装置30の各々に対応する登録ユーザと未登録参加者候補の人数とを容易に把握することができる。よって、例えば、他の登録ユーザが、通常使用する端末装置30や過去に使用したのとは異なる他の端末装置30を使用して会議に参加しようとする場合でも、その登録ユーザが今回はどの端末装置30で会議に参加するつもりなのかを正しく把握することができる。さらに、他の端末装置30の参加者候補のうち、登録ユーザに加え、未登録参加者候補の人数も認識できる。したがって、端末装置30を使用して会議を開始しようとするユーザは、複数の他の端末装置30の現在の参加者候補の多様な情報から、適切な接続先を決定することができる。   Therefore, a user who intends to start a conference using the terminal device 30 easily grasps the registered users and the number of unregistered participant candidates corresponding to each of the other terminal devices 30 displayed on the display 322. be able to. Therefore, for example, even if another registered user intends to participate in the conference using the terminal device 30 that is normally used or another terminal device 30 that has been used in the past, It is possible to correctly grasp whether the terminal device 30 intends to participate in the conference. Furthermore, among the participant candidates of the other terminal devices 30, in addition to the registered user, the number of unregistered participant candidates can also be recognized. Therefore, a user who intends to start a conference using the terminal device 30 can determine an appropriate connection destination from various information of current participant candidates of a plurality of other terminal devices 30.

上記実施形態では、カメラ352が、本発明の「入力手段」および「撮像手段」に相当する。図8のステップS11で顔特徴データを生成するCPU300が、「参加者候補情報取得手段」に相当する。登録者データベース311を記憶するHDD310が、「ユーザ情報記憶手段」に相当する。ステップ12およびS14で参加者候補が登録ユーザか否かを判断するCPU300が、「判断手段」に相当する。ステップS13およびS15でログインIDとその他登録者IDを特定するCPU300が、「登録候補特定手段」に相当する。ステップS13でログインIDを特定するCPU300が、「ログインユーザ特定手段」に相当する。ステップS16で未登録参加者候補の数を特定するCPU300が、「未登録候補特定手段」に相当する。   In the above embodiment, the camera 352 corresponds to the “input unit” and “imaging unit” of the present invention. The CPU 300 that generates the facial feature data in step S11 in FIG. 8 corresponds to “participant candidate information acquisition unit”. The HDD 310 that stores the registrant database 311 corresponds to a “user information storage unit”. The CPU 300 that determines whether or not the participant candidate is a registered user in steps S12 and S14 corresponds to “determination means”. The CPU 300 that specifies the login ID and other registrant IDs in steps S13 and S15 corresponds to “registration candidate specifying means”. The CPU 300 that specifies the login ID in step S13 corresponds to a “login user specifying unit”. The CPU 300 that specifies the number of unregistered participant candidates in step S16 corresponds to “unregistered candidate specifying means”.

図7のステップS22で接続制御装置20にプレゼンス情報を送信するCPU300が、「候補情報送信手段」に相当する。ステップS23で他の端末装置30のプレゼンス情報を接続制御装置20から取得するCPU300が、「他端末情報取得手段」に相当する。ステップS25で接続先候補表示画面10を「表示手段」であるディスプレイ322に表示させるCPU300が、「提示手段」に相当する。会議履歴データベース312を記憶するHDD310が、「会議履歴記憶手段」に相当する。ステップS24で、他の端末装置30の順位付けを行うCPU300が、「順位付け手段」に相当する。   The CPU 300 that transmits the presence information to the connection control device 20 in step S22 of FIG. 7 corresponds to “candidate information transmission means”. The CPU 300 that acquires the presence information of the other terminal device 30 from the connection control device 20 in step S23 corresponds to “another terminal information acquisition unit”. The CPU 300 that displays the connection destination candidate display screen 10 on the display 322 as the “display unit” in step S25 corresponds to the “presentation unit”. The HDD 310 that stores the conference history database 312 corresponds to “conference history storage means”. In step S24, the CPU 300 that ranks the other terminal devices 30 corresponds to “ranking means”.

本発明は上記実施形態に限定されるものではなく、種々の変更が可能である。例えば、実施形態では、端末装置30と接続制御装置20がそれぞれ汎用のパーソナルコンピュータとSIPサーバである例を挙げたが、端末装置30と接続制御装置20は、例えば、H.323の機能をサポートする専用のテレビ会議用端末と多地点接続制御装置であってもよい。   The present invention is not limited to the above embodiment, and various modifications can be made. For example, in the embodiment, the terminal device 30 and the connection control device 20 are a general-purpose personal computer and a SIP server, respectively. A dedicated video conference terminal that supports the H.323 function and a multipoint connection control device may be used.

実施形態では、参加者候補特定処理は、顔認識処理を用いて行われている。この場合、カメラ352によって取得された画像データに基づき自動的に顔特徴データが生成され、照合が行われるので、参加者候補は、わざわざ自己の情報を何らかの入力手段に入力する煩わしさがない。また、端末装置30はテレビ会議に用いることが前提とされているので、元々カメラ352を備えている。よって、新たに参加者候補に関する情報の入力手段を設ける必要がない。しかし、参加者候補に関する情報を取得して、登録ユーザと未登録参加者候補数の特定ができれば、顔認識処理以外の方法が用いられてもよい。例えば、顔特徴データの代わりに他の生体情報(指紋、虹彩)を用いた認識処理を行ってもよい。IDカードに記憶された各参加者候補の識別コードをカードリーダで読み取って、登録ユーザとの照合処理を行ってもよい。   In the embodiment, the participant candidate specifying process is performed using a face recognition process. In this case, face feature data is automatically generated based on the image data acquired by the camera 352 and collation is performed, so that the participant candidate does not bother to input his / her own information into any input means. Further, since the terminal device 30 is assumed to be used for a video conference, the camera 30 is originally provided. Therefore, it is not necessary to newly provide a means for inputting information regarding candidate participants. However, a method other than the face recognition process may be used as long as information on the candidate participants can be acquired and the number of registered users and the number of unregistered participant candidates can be specified. For example, recognition processing using other biological information (fingerprint, iris) may be performed instead of the facial feature data. The identification code of each participant candidate stored in the ID card may be read with a card reader to perform a verification process with a registered user.

登録者データベース311は端末装置30には記憶されていなくてもよい。前述のIDカードを使用する照合処理の場合なら、接続制御装置20の登録者管理データベースに、登録者IDと氏名と識別コードが対応付けて記憶されていればよい。そして、端末装置30は取得された識別コードを接続制御装置20に送信し、接続制御装置20で登録ユーザの識別コードとの照合処理を行う。端末装置30は、その結果を接続制御装置20から取得することで、登録ユーザと、未登録参加者候補数を特定することができる。   Registrant database 311 may not be stored in terminal device 30. In the case of the verification process using the above-described ID card, the registrant ID, name, and identification code need only be stored in the registrant management database of the connection control device 20 in association with each other. Then, the terminal device 30 transmits the acquired identification code to the connection control device 20, and the connection control device 20 performs a collation process with the identification code of the registered user. The terminal device 30 can specify the registered user and the number of unregistered participant candidates by acquiring the result from the connection control device 20.

実施形態では、接続先候補の端末装置32〜34が順位付けされ、決定された順位に従って登録ユーザと未登録候補者数が表示される例を示したが、接続先候補の端末装置32〜34の各々の登録ユーザと未登録候補者数が提示されるのであれば、順位付けは行われなくてもよい。また、ログインユーザとその他登録ユーザとは区別しなくてもよい。実施形態で示した人物アイコンの表示態様は例示であり、その他の態様であってもよい。人物アイコンは使用せず、登録ユーザの氏名と未登録参加者候補の数がテキスト表示されてもよい。表示ではなく音声によって登録ユーザの氏名と未登録参加者候補の数が提示されてもよい。   In the embodiment, the connection destination candidate terminal devices 32 to 34 are ranked and the registered users and the number of unregistered candidates are displayed according to the determined order. However, the connection destination candidate terminal devices 32 to 34 are displayed. If each registered user and the number of unregistered candidates are presented, ranking may not be performed. Further, it is not necessary to distinguish between a login user and other registered users. The display mode of the person icon shown in the embodiment is an example, and other modes may be used. The name of the registered user and the number of unregistered participant candidates may be displayed in text without using the person icon. The name of the registered user and the number of unregistered participant candidates may be presented by voice instead of display.

20 接続制御装置
30 端末装置
300 CPU
310 HDD
322 ディスプレイ
351 カメラ
20 connection control device 30 terminal device 300 CPU
310 HDD
322 Display 351 Camera

Claims (8)

複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能な端末装置であって、
入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する参加者候補情報取得手段と、
複数の登録ユーザの識別情報であるユーザ情報を記憶するユーザ情報記憶手段と、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する登録候補特定手段と、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する未登録候補特定手段と、
前記登録候補特定手段によって特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定手段によって特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する候補情報送信手段と、
前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する他端末情報取得手段と、
前記他端末情報取得手段によって取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する提示手段とを備えたことを特徴とする端末装置。
A terminal device capable of establishing a connection with another terminal device via a connection control device that controls connection of a plurality of terminal devices,
Participant candidate information acquisition means for acquiring participant candidate information that is information related to at least one participant candidate that can participate in the conference using the terminal device based on information input from the input means;
User information storage means for storing user information which is identification information of a plurality of registered users;
Among the participants candidates of said at least one person, the participant candidate for pre-Symbol participant candidate information is registered as the user information in the user information storage means, a registration candidate specifying means for specifying a registration candidate,
Unregistered candidate specification that specifies, as the number of unregistered candidates, the number of participant candidates for which the candidate candidate information is not registered as the user information in the user information storage means among the at least one participant candidate Means,
Information indicating the user information of the registration candidate specified by the registration candidate specifying unit and the number of the unregistered candidates specified by the unregistered candidate specifying unit is transmitted as candidate information to the connection control device. Candidate information transmitting means to perform,
Among the plurality of terminal devices connected to the connection control device, the candidate information specified by each of a plurality of other terminal devices other than the terminal device and transmitted to the connection control device is used as another terminal candidate. Other terminal information acquisition means for acquiring from the connection control device as information,
Based on the other terminal candidate information acquired by the other terminal information acquisition means, as the information on the connection destination candidate, the user information of the registration candidate corresponding to each of the plurality of other terminal devices and the unregistered candidate A terminal device comprising presentation means for presenting information indicating the number of persons.
過去の接続セッションにおいて前記端末装置を使用して会議に参加した登録ユーザおよび非登録ユーザの人数と、接続先の他の端末装置を使用して会議に参加した登録ユーザおよび非登録ユーザの人数とを、それぞれ自己履歴情報と他履歴情報として記憶する会議履歴記憶手段と、
前記候補情報および前記他端末候補情報と、前記会議履歴記憶手段に記憶された前記自己履歴情報および前記他履歴情報との一致度合いに基づき、前記複数の他端末装置に順位を付ける順位付け手段とを更に備え、
前記提示手段は、前記順位付け手段によって付けられた前記順位に従って、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示することを特徴とする請求項1に記載の端末装置。
The number of registered users and non-registered users who participated in the conference using the terminal device in the past connection session, and the number of registered users and non-registered users who participated in the conference using the other terminal device of the connection destination , A meeting history storage means for storing each as self-history information and other history information,
Ranking means for ranking the plurality of other terminal devices based on the degree of coincidence between the candidate information and the other terminal candidate information and the self-history information and the other history information stored in the conference history storage means; Further comprising
The presenting means presents information indicating the user information of the registration candidates and the number of unregistered candidates corresponding to each of the plurality of other terminal devices according to the order given by the ordering means. The terminal device according to claim 1.
前記順位付け手段は、前記候補情報と前記自己履歴情報との一致度合いを、前記他端末候補情報と前記他履歴情報との一致度合いよりも優先して前記順位を付けることを特徴とする請求項2に記載の端末装置。   The ranking means assigns the ranking in preference to the matching degree between the candidate information and the self-history information over the matching degree between the other terminal candidate information and the other history information. The terminal device according to 2. 前記提示手段は、前記複数の他端末装置の各々に対応する前記登録候補と前記未登録候補とを区別可能な方法で表示手段に表示させることを特徴とする請求項1から3のいずれかに記載の端末装置。   4. The display unit according to claim 1, wherein the presenting unit causes the display unit to display the registered candidate and the unregistered candidate corresponding to each of the plurality of other terminal devices in a distinguishable manner. The terminal device described. 前記複数の登録ユーザのうち前記端末装置を用いて前記接続制御装置にログインした登録ユーザを、ログインユーザとして特定するログインユーザ特定手段をさらに備え、
前記提示手段は、前記複数の他端末装置の各々に対応する前記ログインユーザと、前記ログインユーザではない前記登録候補と、前記未登録候補とを区別可能な方法で前記表示手段に表示させることを特徴とする請求項4に記載の端末装置。
A log-in user specifying means for specifying, as a log-in user, a registered user who has logged in to the connection control device using the terminal device among the plurality of registered users;
The presenting means causes the display means to display the login user corresponding to each of the plurality of other terminal devices, the registration candidate that is not the login user, and the unregistered candidate in a distinguishable manner. The terminal device according to claim 4, characterized in that:
前記入力手段は、顔画像データを取得する撮像手段であり、
前記参加者候補情報取得手段は、前記撮像手段によって取得された前記顔画像データから顔特徴データを抽出することによって前記参加者候補情報を取得し、
前記参加者候補情報取得手段によって前記参加者候補情報として取得された前記顔特徴データと、前記ユーザ情報記憶手段に前記ユーザ情報として記憶されている前記複数の登録ユーザの顔特徴データと照合することにより、前記参加者候補が前記複数の登録ユーザに含まれるか否かを判断する判断手段をさらに備え、
前記登録候補特定手段は、前記判断手段の判断結果に基づき、前記登録候補を特定し、
前記未登録候補特定手段は、前記判断手段の判断結果に基づき、前記未登録候補の前記人数を特定することを特徴とする請求項1から5のいずれかに記載の端末装置。
The input means is imaging means for acquiring face image data,
The participant candidate information acquisition means acquires the participant candidate information by extracting facial feature data from the face image data acquired by the imaging means,
Collating the facial feature data acquired as the candidate candidate information by the participant candidate information acquisition unit with the facial feature data of the plurality of registered users stored as the user information in the user information storage unit. And further comprising determination means for determining whether the participant candidate is included in the plurality of registered users,
The registration candidate specifying unit specifies the registration candidate based on the determination result of the determination unit,
6. The terminal device according to claim 1, wherein the unregistered candidate specifying unit specifies the number of the unregistered candidates based on a determination result of the determining unit.
複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能であり、複数の登録ユーザの識別情報であるユーザ情報を記憶するユーザ情報記憶手段を備えた端末装置において行われる情報提示方法であって、
入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する参加者候補情報取得ステップと、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する登録候補特定ステップと、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する未登録候補特定ステップと、
前記登録候補特定ステップで特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定ステップで特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する候補情報送信ステップと、
前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する他端末情報取得ステップと、
前記他端末情報取得ステップで取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する提示ステップとを備えたことを特徴とする情報提示方法。
It is possible to establish a connection with another terminal device via a connection control device that controls the connection of a plurality of terminal devices, and includes user information storage means for storing user information that is identification information of a plurality of registered users. An information presentation method performed in a terminal device,
Participant candidate information acquisition step of acquiring participant candidate information that is information related to at least one participant candidate who can participate in the conference using the terminal device based on information input from the input unit;
Among the participants candidates of said at least one person, the participant candidate for pre-Symbol participant candidate information is registered as the user information in the user information storage means, a registration candidate specifying step of specifying a registration candidate,
Unregistered candidate specification that specifies, as the number of unregistered candidates, the number of participant candidates for which the candidate candidate information is not registered as the user information in the user information storage means among the at least one participant candidate Steps,
Information indicating the user information of the registration candidate specified in the registration candidate specifying step and the number of unregistered candidates specified in the unregistered candidate specifying step is transmitted as candidate information to the connection control device. A candidate information sending step,
Among the plurality of terminal devices connected to the connection control device, the candidate information specified by each of a plurality of other terminal devices other than the terminal device and transmitted to the connection control device is used as another terminal candidate. Other terminal information acquisition step to acquire from the connection control device as information,
Based on the other terminal candidate information acquired in the other terminal information acquisition step, as information on a connection destination candidate, the user information of the registration candidate corresponding to each of the plurality of other terminal devices and the unregistered candidate A presentation step for presenting information indicating the number of persons.
複数の端末装置の接続を制御する接続制御装置を介して他の端末装置と接続を確立することが可能であり、複数の登録ユーザの識別情報であるユーザ情報を記憶するユーザ情報記憶手段を備えた端末装置用の情報提示プログラムであって、
入力手段から入力された情報に基づき、前記端末装置を使用して会議に参加可能な少なくとも1名の参加者候補に関する情報である参加者候補情報を取得する参加者候補情報取得ステップと、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されている参加補を、登録候補として特定する登録候補特定ステップと、
前記少なくとも1名の参加者候補のうち、前記参加者候補情報が前記ユーザ情報記憶手段に前記ユーザ情報として登録されていない参加者候補の人数を、未登録候補の人数として特定する未登録候補特定ステップと、
前記登録候補特定ステップで特定された前記登録候補の前記ユーザ情報と、前記未登録候補特定ステップで特定された前記未登録候補の前記人数とを示す情報を、候補情報として前記接続制御装置に送信する候補情報送信ステップと、
前記接続制御装置に接続中の前記複数の端末装置のうち、前記端末装置以外の複数の他端末装置の各々で特定され、前記接続制御装置に対して送信された前記候補情報を、他端末候補情報として前記接続制御装置から取得する他端末情報取得ステップと、
前記他端末情報取得ステップで取得された前記他端末候補情報に基づいて、接続先候補に関する情報として、前記複数の他端末装置の各々に対応する前記登録候補の前記ユーザ情報と前記未登録候補の前記人数とを示す情報を提示する提示ステップとを前記端末装置のコントローラに実行させるための指示を含むことを特徴とする情報提示プログラム。
It is possible to establish a connection with another terminal device via a connection control device that controls the connection of a plurality of terminal devices, and includes user information storage means for storing user information that is identification information of a plurality of registered users. An information presentation program for a terminal device,
Participant candidate information acquisition step of acquiring participant candidate information that is information related to at least one participant candidate who can participate in the conference using the terminal device based on information input from the input unit;
Among the participants candidates of said at least one person, the participant candidate for pre-Symbol participant candidate information is registered as the user information in the user information storage means, a registration candidate specifying step of specifying a registration candidate,
Unregistered candidate specification that specifies, as the number of unregistered candidates, the number of participant candidates for which the candidate candidate information is not registered as the user information in the user information storage means among the at least one participant candidate Steps,
Information indicating the user information of the registration candidate specified in the registration candidate specifying step and the number of unregistered candidates specified in the unregistered candidate specifying step is transmitted as candidate information to the connection control device. A candidate information sending step,
Among the plurality of terminal devices connected to the connection control device, the candidate information specified by each of a plurality of other terminal devices other than the terminal device and transmitted to the connection control device is used as another terminal candidate. Other terminal information acquisition step to acquire from the connection control device as information,
Based on the other terminal candidate information acquired in the other terminal information acquisition step, as information on a connection destination candidate, the user information of the registration candidate corresponding to each of the plurality of other terminal devices and the unregistered candidate An information presentation program comprising: an instruction for causing a controller of the terminal device to execute a presentation step of presenting information indicating the number of persons.
JP2010193494A 2010-08-31 2010-08-31 Terminal device, information presentation method, and information presentation program Expired - Fee Related JP5531862B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010193494A JP5531862B2 (en) 2010-08-31 2010-08-31 Terminal device, information presentation method, and information presentation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010193494A JP5531862B2 (en) 2010-08-31 2010-08-31 Terminal device, information presentation method, and information presentation program

Publications (2)

Publication Number Publication Date
JP2012054646A JP2012054646A (en) 2012-03-15
JP5531862B2 true JP5531862B2 (en) 2014-06-25

Family

ID=45907552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010193494A Expired - Fee Related JP5531862B2 (en) 2010-08-31 2010-08-31 Terminal device, information presentation method, and information presentation program

Country Status (1)

Country Link
JP (1) JP5531862B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5349656B1 (en) 2012-06-29 2013-11-20 株式会社東芝 Video processing apparatus and control method thereof
JP6040745B2 (en) * 2012-12-11 2016-12-07 富士通株式会社 Information processing apparatus, information processing method, information processing program, and content providing system
JP6115153B2 (en) * 2013-01-30 2017-04-19 株式会社リコー Information processing terminal, information processing method, and program
JP2015142193A (en) * 2014-01-28 2015-08-03 株式会社リコー transmission terminal and program
JP6311519B2 (en) * 2014-08-04 2018-04-18 富士通株式会社 Authentication program, authentication method, and authentication apparatus
CN105608754A (en) * 2014-11-12 2016-05-25 中兴通讯股份有限公司 Video conference signing method, video conference signing apparatus and video conference signing system
JP7434793B2 (en) * 2018-11-30 2024-02-21 株式会社リコー Information processing device, information processing system, electronic whiteboard device, control method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198262A (en) * 1997-09-17 1999-04-09 Fujitsu Ltd Conference speech aid equipment
JP2005142622A (en) * 2003-11-04 2005-06-02 Ricoh Co Ltd Communication apparatus
JP4521380B2 (en) * 2006-08-22 2010-08-11 アルパイン株式会社 Communication terminal device
JP5307345B2 (en) * 2007-03-22 2013-10-02 Necカシオモバイルコミュニケーションズ株式会社 Communication terminal device and program
JP5279333B2 (en) * 2008-04-28 2013-09-04 キヤノン株式会社 System, connection control device, terminal device, control method, and program
WO2010067802A1 (en) * 2008-12-10 2010-06-17 コニカミノルタビジネステクノロジーズ株式会社 Conference system

Also Published As

Publication number Publication date
JP2012054646A (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP5531862B2 (en) Terminal device, information presentation method, and information presentation program
JP5279333B2 (en) System, connection control device, terminal device, control method, and program
US11394708B2 (en) Account information obtaining method, terminal, server and system
WO2017096921A1 (en) Method for identifying identity by means of social relationship
US11062545B2 (en) Information processing apparatus, control program of communication terminal, and entrance and exit management method
US20140173715A1 (en) Information processing system, information processing method, device, and authentication apparatus
US11736463B2 (en) Non-transitory computer readable medium and information processing apparatus
JP6104439B1 (en) Authentication system, method, program, and recording medium recording the program
WO2015136728A1 (en) Authentication information management system, authentication information management device, program, recording medium, and authentication information management method
US9094575B2 (en) Non-transitory computer-readable medium storing program and communication device
JP7209472B2 (en) Information processing system, information processing method, and program
JP5088257B2 (en) Self-introduction support method and self-introduction support processing device, etc.
US9432420B2 (en) Communication system, non-transitory computer-readable medium storing communication program and communication device
US10382891B2 (en) Server capable of performing authentication with simplified and secure scheme that users who operate terminals communicating data with each other satisfy prescribed relation, method of controlling server, non-transitory storage medium encoded with computer readable control program, and information processing system
US20230336632A1 (en) Server apparatus, online conference system, business card exchange method, and computer readable storage medium
JP2022140471A (en) Information processing device and information processing method
EP1523166A1 (en) Conference system with voice recognition as identification method
JP4914691B2 (en) Network communication apparatus, system, method and program
JP6367443B1 (en) Matching program and matching method
US20190173876A1 (en) Streamlined authentication
JP7372566B2 (en) Management server, telework management support system, telework management support method and program
EP3111354B1 (en) System and method for verifying user supplied items asserted about the user
JP7524283B2 (en) Information processing device, information processing method, and information processing program
JP7255149B2 (en) Network systems, network authentication methods and access points
US20210073356A1 (en) Information processing system, information processing method, and storage medium for storing information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5531862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees