Nothing Special   »   [go: up one dir, main page]

JP6756269B2 - 通信端末、画像通信システム、通信方法、及びプログラム - Google Patents

通信端末、画像通信システム、通信方法、及びプログラム Download PDF

Info

Publication number
JP6756269B2
JP6756269B2 JP2017000714A JP2017000714A JP6756269B2 JP 6756269 B2 JP6756269 B2 JP 6756269B2 JP 2017000714 A JP2017000714 A JP 2017000714A JP 2017000714 A JP2017000714 A JP 2017000714A JP 6756269 B2 JP6756269 B2 JP 6756269B2
Authority
JP
Japan
Prior art keywords
image
communication
image data
display
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017000714A
Other languages
English (en)
Other versions
JP2018110354A (ja
Inventor
健一郎 森田
健一郎 森田
久実子 吉田
久実子 吉田
松野 陽一郎
陽一郎 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017000714A priority Critical patent/JP6756269B2/ja
Priority to US15/860,094 priority patent/US11558431B2/en
Priority to EP18150312.9A priority patent/EP3346702A1/en
Publication of JP2018110354A publication Critical patent/JP2018110354A/ja
Application granted granted Critical
Publication of JP6756269B2 publication Critical patent/JP6756269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00222Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing
    • H04N1/00233Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing details of image data reproduction, e.g. network printing or remote image display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32122Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate device, e.g. in a memory or on a display separate from image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本発明は、通信端末、画像通信システム、通信方法、及びプログラムに関するものである。
インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示およびスピーカにより音声出力して、映像通話(ビデオ通話)を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる(特許文献1参照)。
また、第1の通信端末から送信された画像データ及び音データを中継して、第2の通信端末に画像データ及び音データを送信する中継装置が普及している。そして、第2の通信端末は、自端末側のディスプレイの解像度に応じて、中継装置に対し所望の解像度の画像データを要求することで、無駄な通信を抑制し、通信帯域が狭い通信ネットワークでも通信が途切れないようにしてスムーズに遠隔会議等を行なうことができる(特許文献2参照)
ところで、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す平面画像に逐次画像変換処理を行ってディスプレイ等に表示する技術が知られている(特許文献3参照)
しかしながら、各拠点で利用されている撮影装置が、平面画像を得る一般の撮影装置と、全天球パノラマ画像の元になる2つの半球画像を得る特殊な撮影装置のように、種類が異なっている場合には、画像データを受信した通信端末側では、以下のような課題が生じる。
即ち、特殊な撮影装置から取得された画像データを受信した通信端末が、平面画像に画像処理変換して表示すると、この平面画像は全天球パノラマ画像の一部であるため、解像度が下がってしまう。これにより、上述の特許文献2に開示されている技術を流用すると、無駄な通信を抑制するために解像度が下がった状態から、平面画像に変換するために更に解像度が下がることになる。そのため、平面画像をディスプレイ等に表示しても、かなり低い解像度の画像が表示され、ディスプレイ等の表示手段に画像を表示しても、極端に低い解像度により相手側の画像が見え難くなるという課題が生じる。
請求項1に係る発明は、他の通信端末から送信された画像データを中継して送信して来る通信管理システムに対して、前記送信して来る画像データの解像度を管理するための要求を行なう通信端末であって、画像の種類を示す所定の画像種類情報毎に、表示手段における複数の表示領域の各表示サイズ、及び前記通信管理システムに対して要求する前記画像データの要求解像度を関連付けて管理する要求解像度管理手段と、前記通信管理システムから前記他の通信端末が送信する特定の画像データの画像の種類を示す特定の画像種類情報を受信する受信手段と、前記要求解像度管理手段において、前記特定の画像種類情報及び前記特定の画像データを表示する表示領域の表示サイズに基づき、対応する特定の要求解像度を前記通信管理システムに送信する送信手段と、を有することを特徴とする通信端末である。
以上説明したように本発明によれば、画像種類に応じて画像管理システムに要求する画像データの解像度を制御するため、ディスプレイ等の表示手段に画像を表示しても、極端に低い解像度により相手側の画像が見え難くなるという課題を解消することができるという効果を奏する。
(a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)はメルカトル図法により表された画像を示した図である。 (a)メルカトル画像で球を被う状態を示した概念図、(b)全天球パノラマ画像を示した図である。 全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 ビデオ会議端末のハードウェア構成図である。 通信管理システム及びPCのハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの一部の機能ブロック図である。 画像通信システムの一部の機能ブロック図である。 画像種類管理テーブルを示す概念図である。 撮影装置管理テーブルを示す概念図である。 各表示レイアウト管理テーブルを示す概念図である。 画像種類毎の要求解像度管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 送信解像度管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション(仮想の会議室)の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 解像度の要求処理を示したシーケンス図である。 映像通話における画像データの通信処理を示すシーケンス図である。 (a)は撮影装置1aを利用しない場合を示し、(b)は撮影装置1aを利用する場合を示している。 拠点Dにおけるディスプレイの表示例を示し、(a)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示し、図28(b)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。 解像度の要求処理のその他の例を示したシーケンス図である。
以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球パノラマ画像が、三次元の立体球CSで表わされている。このように生成された全天球パノラマ画像が、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Tは、仮想カメラICの撮影領域であり、全天球パノラマ画像を含む三次元の仮想空間における仮想カメラICの画角を含む位置座標(x(rH),y(rV),画角α(angle))を示す所定領域情報によって特定される。所定領域Tのズームは、画角αの範囲(円弧)を広げたり縮めたりすることで表現することができる。また、所定領域Tのズームは、仮想カメラICを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。
そして、図6(a)に示されている所定領域Tの画像である所定領域画像は、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラICの位置座標ではなく、所定領域Tである仮想カメラICの撮影領域(X,Y,Z)によって示してもよい。以下では、仮想カメラICの位置座標(x(rH)、y(rV)、及び画角α(angle))を用いて説明する。
次に、図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角線画角を2Lとした場合の中心点CPが、所定領域情報の(x,y)パラメータとなる。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の式(1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
<画像通信システムの概略>
続いて、図8を用いて、本実施形態の画像通信システムの構成の概略について説明する。図8は、本実施形態の画像通信システムの構成の概略図である。
図8に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3b、ディスプレイ4a,4b、通信管理システム5、PC(Personal Computer)7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3bは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4bに表示する。ビデオ会議端末3aは、通常は後述のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、及びディスプレイ4aは、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ拠点である拠点Dに置かれている。また、拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3b、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、WiFi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図8に示す各端末、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球パノラマ画像に係る撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3bのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4bのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
<<実施形態のハードウェア構成>>
次に、図9乃至図12を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図9を用いて、撮影装置1のハードウェア構成を説明する。図9は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図9に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図10を用いて、ビデオ会議端末3のハードウェア構成を説明する。図10は、ビデオ会議端末のハードウェア構成図である。図10に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク4を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ320に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図2に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図11を用いて、通信管理システム5及びPC7のハードウェア構成を説明する。図11は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514、及び、上記各構成要素を図11に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウェア構成>
次に、図12を用いて、スマートフォンのハードウェアについて説明する。図12は、スマートフォンのハードウェア構成図である。図12に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、CPU901やIPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ419a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図13乃至図20を用いて、本実施形態の機能構成について説明する。図13及び図14は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図13に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図9に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図9に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶・読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
(撮影装置1aの各機能構成)
次に、図9及び図13を用いて、撮影装置1の各機能構成について更に詳細に説明する。
撮影装置1の受付部12aは、主に、図9に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図9に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、図9に示されている108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3aの通信部38と、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図9に示されているCPU111の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図13に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、変更部37a、通信部38a、及び記憶・読出部39aを有している。これら各部は、図10に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図10に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a、及び要求解像度管理DB3004aが構築されている。これらのうち、画像種類管理DB3001aは、図15に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図16に示される撮影装置管理テーブルによって構成されている。表示レイアウト管理DB3003aは、図17(a)に示されている表示レイアウト管理テーブルによって構成されている。要求解像度管理DB3004aは、図18に示される要求解像度管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、変更部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、変更部37a、通信部38a、記憶・読出部39a、及び記憶部3000aと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、表示レイアウト管理DB3003d、及び要求解像度管理DB3004dが構築されているが、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a、及び要求解像度管理DB3004aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブル)
図15は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって作成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(撮影装置管理テーブル)
図16は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダーID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(表示レイアウト管理テーブル)
図17は、各表示レイアウト管理テーブルを示す概念図である。これらのうち、図17(a)は、ビデオ会議端末3aにおける表示レイアウト管理DB3003aのデータ構造を示している。
なお、図17(b)は、スマートフォン9における表示レイアウト管理DB9003のデータ構造を示している。図17(c)は、PC7における表示レイアウト管理DB7003のデータ構造を示している。図17(d)は、ビデオ会議端末3dにおける表示レイアウト管理DB3003dのデータ構造を示している。
図17(a)に示されている表示レイアウト管理テーブルでは、ディスプレイ4aにおける複数の表示領域のレイアウトを示すレイアウト番号毎に、レイアウトに従った表示領域に対して表示する画像に係る画像データを識別するための所定の画像データID及び表示領域の表示サイズ(横縦の画素数)が関連付けて記憶されて管理されている。このレイアウト番号は、図28に示されているように、各表示領域の右下の番号を示している。表示サイズは、ビデオ会議端末3aがディスプレイ4aから取得した情報であるため、使用されるディスプレイ4aが変更されると、表示サイズも変更される。また、各表示領域に表示される画像が変更すると(入れ替わると)、表示レイアウト管理テーブルにおける画像データIDも変更する(入れ替わる)。変更する(入れ替わる)例として、図28(b)において、拠点Bの利用者B1は話し出すと、表示領域「2」に表示されていた拠点Bの画像が表示領域「1」に変更され、表示領域「1」に表示されていた拠点Aの画像が表示領域「2」に変更される。この変更は、後述の変更部37aが、音データ及び画像データIDに基づいて行なう。
(要求解像度管理テーブル)
図18は、画像種類毎の要求解像度管理テーブルを示す概念図である。この要求解像度管理テーブルでは、画像の種類を示す所定の画像種類情報毎に、ディスプレイにおける複数の表示領域の各表示サイズ(横縦の画素数)、及び通信管理システム5に対して要求する画像データの要求解像度(横縦の画素数)が関連付けて記憶されて管理されている。図18(a)は画像種類情報が「特殊画像」の場合を示しており、図18(b)は画像種類情報が「一般画像」の場合を示している。このように、同じ表示サイズ(例えば、「640×480」画素数)であっても、一般画像の場合の要求解像度(「640×480」画素数)よりも、特殊画像の場合の要求解像度(「1280×720」画素数)が高くなっている。これにより、図6(a)に示されているように、全天球パノラマ画像の一部の領域である所定領域Tの画像(所定領域画像)が、図6(b)に示されているように、ディスプレイ上に表示されても、極端に低い解像度により他拠点側の画像が見え難くなるという課題を解消することができる。
(ビデオ会議端末3aの各機能構成)
次に、図10及び図13を用いて、ビデオ会議端末3aの各機能構成について更に詳細に説明する。
ビデオ会議端末3aの送受信部31aは、主に、図10に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32aは、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、図10に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33は、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33aは、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35aは、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
作成部36aは、主にCPU301の処理によって実現され、判断部35aによって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35aが、一般画像であると判断した場合には、作成部36aは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35aが、特殊画像であると判断した場合には、作成部36aは、特殊画像である旨を示すソース名「Video_Theta」を作成する。
変更部37aは、主にCPU301の処理によって実現され、表示レイアウト管理テーブルにおいて、レイアウト番号に対する所定の画像データIDを変更する。直前に話した利用者がいる拠点から送られて来た画像データIDを、レイアウト番号「1」に変更し、既にレイアウト番号「1」で管理されていた画像データIDと入れ替える。これにより、話した利用者の拠点からの画像データが、常に、図26(b)に示されているように、一番大きく表示される。
通信部38aは、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、WiFi等による近距離無線技術によって通信することができる。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39aは、主に、図10に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図11及び図14を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、制御部53、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図11に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、及び送信解像度管理DB5003が構築されている。このうち、セッション管理DB5001は、図19に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図20に示される画像種類管理テーブルによって構成されている。送信解像度管理DB5003は、図21に示される送信解像度管理テーブルによって構成されている。
(セッション管理テーブル)
図19は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図20は、画像種類管理テーブルを示す概念図である。図20に示されている画像種類管理テーブルは、図15に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(送信解像度管理テーブル)
図21は、送信解像度管理テーブルを示す概念図である。この送信解像度管理テーブルでは、縦方向に画像データの送信先(要求解像度の送信元)のIPアドレス、横方向に画像データの送信元のIPアドレスか関連づけて記憶されて管理されている。これにより、例えば、通信管理システム5は、拠点Aから送信されて来た画像データを中継して拠点Dに送信する場合には、「1280×720」画素数の解像度にした状態の画像データを送信する。
(通信管理システムの各機能構成)
次に、図11及び図13を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図11に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(または情報)の送受信を行う。
制御部53は、主にCPU501の処理によって実現され、送信解像度管理DB5003に基づいて、一の通信端末から送信されて来た画像データの解像度を制御(例えば、変更)する。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図11に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<PCの機能構成>
次に、図11及び図13を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図13に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、変更部77、通信部78、及び記憶・読出部79を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図11に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、表示レイアウト管理DB7003、及び要求解像度管理DB7004が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、表示レイアウト管理DB7003、及び要求解像度管理DB7004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a、及び要求解像度管理DB3004aと同じデータ構造であるため、これらの説明を省略する。
(PCの各機能構成)
PC7の送受信部71は、主に、図11に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35aと同様の機能を実現する。作成部76は、主にCPU501の処理によって実現され、作成部36aと同様の機能を実現する。変更部77は、主にCPU501の処理によって実現され、変更部37aと同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部39aは、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図12及び図13を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図13に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、変更部97、通信部98、及び記憶・読出部99を有している。これら各部は、図12に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図12に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、表示レイアウト管理DB9003、及び要求解像度管理DB9004が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、表示レイアウト管理DB9003、及び要求解像度管理DB9004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a、及び要求解像度管理DB3004aと同じデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の送受信部91は、主に、図12に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。
表示制御部94は、主にCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。
判断部95は、主にCPU901の処理によって実現され、判断部35aと同様の機能を実現する。
作成部96は、主にCPU901の処理によって実現され、作成部36aと同様の機能を実現する。
変更部97は、主にCPU901の処理によって実現され、変更部37aと同様の機能を実現する。
通信部98は、主に、CPU901の処理によって実現され、通信部38aと同様の機能を実現する。
記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
<<実施形態の処理又は動作>>
<参加の処理>
続いて、図22乃至図27を用いて、本実施形態の処理又は動作について説明する。まず、図22及び図23を用いて、特定の通信セッションへの参加処理について説明する。図22は、特定の通信セッションへの参加処理を示したシーケンス図である。図23は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図23に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部99は、セッション管理DB5001(図19参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図24を用いて、画像種類情報の管理処理を説明する。図24は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図16参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39aは、画像種類管理DB3001a(図15参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図19参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶・読出部59は、画像種類管理DB5002(図20参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する。
次に、ビデオ会議端末3aの記憶・読出部39aは、画像種類管理DB3001a(図15参照)に、上記ステップS53で記憶しておいた送信先端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、ビデオ会議端末3d)に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信先端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、ビデオ会議端末3dの送受信部31aは、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図19参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、ビデオ会議端末3dの記憶・読出部39dは、画像種類管理DB3001d(図15参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同じように、他の通信端末であるPC7及びスマートフォン9にも画像種類情報の追加通信が送信され、PC7及びスマートフォン9でも、それぞれ画像種類管理DB7001,9001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<解像度の要求処理>
続いて、図25を用いて、解像度の要求処理について説明する。図25は、解像度の要求処理を示したシーケンス図である。
図25に示されているように、ビデオ会議端末3dの記憶・読出部39aは、表示レイアウト管理DB3003d(図17(d)参照)から、画像データID及び表示サイズの各情報を読み出す(ステップS71)。そして、記憶・読出部39aは、ステップS71によって読み出した画像データIDを検索キーとして画像種類管理DB3001dを検索することにより、対応する画像種類情報を読み出す(ステップS72)。更に、記憶・読出部39aは、ステップS72によって読み出した画像種類情報に基づいて、要求解像度管理DB3004dにおける図18(a)又は図18(b)のテーブルを選択し、上記ステップS71によって読み出した表示サイズを検索キーとして当該選択したテーブルを検索することにより、対応する要求解像度を示す情報を読み出す(ステップS73)。
次に、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、解像度の要求を示す解像度要求情報を送信する(ステップS74)。この解像度要求情報には、上述のステップS71で読み出された画像データID、及びステップS73で読み出された要求解像度が含まれている。これにより、通信管理システム5の送受信部51は、解像度要求情報を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS74によって受信された画像データIDを検索キーとして画像種類管理DB5002(図20参照)を検索することにより、対応する送信元端末のIPアドレスを読み出す(ステップS75)。そして、記憶・読出部59は、送信解像度管理DB5003に対し、ステップS75で読み出したIPアドレスに応じて、ステップS75で受信された要求解像度を記憶して管理する。
なお、図25では、ビデオ会議端末3dが通信管理システム5に対して解像度要求情報を送信する場合について説明したが、他の通信端末(ビデオ会議端末3a、PC7、スマートフォン9)もビデオ会議端末3dと同様の処理を行なうため、説明を省略する。このように、全ての通信端末が図25に示されている処理を行なうことで、図21に示されているように、送信解像度管理DB5003では、全ての要求解像度が埋まる。
<画像データの通信処理>
続いて、図26乃至図28を用いて、映像通話における画像データの通信処理について説明する。図26は、映像通話における画像データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た画像データ、及び音データを送信する(ステップS101)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、画像データ及び音データを受信する。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた画像データ及び音データを送信する(ステップS102)。この送信には、送信対象である画像データを識別するための画像データIDが含まれている。これにより、通信管理システム5の送受信部51は、画像データ及び画像データIDを受信する。
次に、制御部53は、送信解像度管理DB5003で管理されている要求解像度に基づき、ステップS120で受信された画像データの解像度を変更するように制御する(ステップS103)。なお、既にステップS102によって受信された画像データの解像度が、送信解像度管理DB5003で管理されている要求解像度と同じ場合には、制御部53は、画像データの解像度を変更しない制御を行なう。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3dに対して、ステップS103による制御後の画像データ、及び音データを送信する(ステップS104)。この送信には、送信対象である画像データを識別するための画像データIDが含まれている。これにより、ビデオ会議端末3dの送受信部31dは、画像データ、画像データID及び音データを受信する。
次に、ビデオ会議端末3dでは、記憶・読出部99が、ステップS104によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図15参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(ステップS105)。そして、画像種類情報が特殊画像(ここでは、全天球パノラマ画像)である旨(Video_Theta)を示す場合には、画像・音処理部93は、ステップS104によって受信された画像データから全天球パノラマ画像を作成し、更に所定領域画像を作成する(ステップS106)。
次に、記憶・読出部39dは、ステップS104で受信された画像データを検索キーとして表示レイアウト管理DB3003d(図17(d)参照)を検索することにより、対応するレイアウト番号を読み出すことで、ディスプレイ4dにおける複数の表示領域から、ステップS104で受信された画像データに係る画像を表示するための表示領域を特定する(ステップS107)。そして、表示制御部94は、ステップS107で特定された表示領域に、所定領域画像を表示する(ステップS108)。なお、画像種類情報が一般画像である旨(Video)を示す場合には、画像・音処理部93は、ステップS103によって受信された画像データから全天球パノラマ画像を作成せず、表示制御部94は一般画像を表示する。
続いて、図27を用いて、映像通話の状態を説明する。図27は、映像通話の状態を示したイメージ図である。このうち、図27(a)は、撮影装置1aを利用しない場合を示し、図27(b)は、撮影装置1aを利用する場合を示している。
まず、図27(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3aに予め設けられたカメラ312(図10参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3aを各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3a側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた利用者A2,A4は、マイク314(図10参照)から離れているため、比較的大きな声で話さないといけないし、ディスプレイ4aの表示内容が見えづらい。
これに対して、図27(b)に示されているように、撮影装置1aを利用する場合には、全天球パノラマ画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3a及びディスプレイ4aは、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4aの表示内容も見えやすくなる。
続いて、図28を用いて、拠点Dにおけるディスプレイの表示例を説明する。図28は、拠点Dにおけるディスプレイの表示例である。このうち、図28(a)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。図28(b)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ4dの左側の表示領域(レイアウト番号「1」)には拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Bの画像が表示されている。更に、ディスプレイ4dの右側中段の表示領域(レイアウト番号「3」)には拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点D(自拠点)の画像が表示されている。
ここで、全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送られて来た画像データをそのまま表示すると、図28(a)に示されているように表示される。このように、A拠点とB拠点の画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図28(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cでは、一般画像を得る撮影装置8が撮影し、拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図28(a),(b)のいずれも、一般画像が表示されている。
また、利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。即ち、利用者D1等は、操作ボタン308の操作又はディスプレイ4dのタッチパネルに対して指を接して移動させることにより、受付部32dが画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図28(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2しか表示されていない場合であっても、所定領域画像をずらして利用者A4,A3を表示することができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、ビデオ会議端末3a等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図28(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
また、画像種類に応じて通信管理システム5に要求する画像データの解像度を制御するため(S103参照)、ディスプレイ等の表示手段に画像を表示しても、極端に低い解像度により相手側の画像が見え難くなるという課題を解消することができるという効果を奏する。
〔その他の例〕
図29を用いて、解像度の要求処理のその他の例について説明する。画像種類情報の管理処理のその他の例について説明する。図24は、解像度の要求処理のその他の例を示したシーケンス図である。
上述のステップS71では、記憶・読出部39dは、表示レイアウト管理DB3003dから画像データID及び表示サイズを読み出したが、その他の例では、IPアドレスも読み出す(ステップS171)。そして、記憶・読出部39dは、上述のステップS72,S73と同様の処理を行なう(ステップS172,S173)。
次に、上述のステップS74では、送受信部31dは、解像度要求情報に画像データID及び要求解像度を含めて送信したが、その他の例では、画像データIDに代えて、ステップS171で読み出されたIPアドレスを送信する(ステップS174)。
次に、通信管理システム5では、ステップS174でIPアドレスを受信しているため、上述のステップS75と同様の処理を行なわずに済み、記憶・読出部59は、上述のステップS76と同様の処理を行なう(ステップS175)。
1a 撮影装置
1b 撮影装置
3a ビデオ会議端末(他の通信端末の一例)
3d ビデオ会議端末(通信端末の一例)
4a ディスプレイ
4d ディスプレイ(表示手段の一例)
5 通信管理システム
7 PC(他の通信端末の一例)
8 撮影装置
9 スマートフォン(他の通信端末の一例)
31d 送受信部(送信手段の一例、受信手段の一例)
37d 変更部(変更手段の一例)
3001d 画像種類管理DB(画像種類管理手段の一例)
3002d 撮影装置管理DB(撮影装置管理手段の一例)
3003d 表示レイアウト管理DB(表示レイアウト管理手段の一例)
3004d 要求解像度管理DB(要求解像度管理手段の一例)
特開2012−178135号公報 米国特許第8289370号明細書 特開2011−223076号公報

Claims (9)

  1. 他の通信端末から送信された画像データを中継して送信して来る通信管理システムに対して、前記送信して来る画像データの解像度を管理するための要求を行なう通信端末であって、
    画像の種類を示す所定の画像種類情報毎に、表示手段における複数の表示領域の各表示サイズ、及び前記通信管理システムに対して要求する前記画像データの要求解像度を関連付けて管理する要求解像度管理手段と、
    前記通信管理システムから前記他の通信端末が送信する特定の画像データの画像の種類を示す特定の画像種類情報を受信する受信手段と、
    前記要求解像度管理手段において、前記特定の画像種類情報及び前記特定の画像データを表示する表示領域の表示サイズに基づき、対応する特定の要求解像度を前記通信管理システムに送信する送信手段と、
    を有することを特徴とする通信端末。
  2. 請求項1に記載の通信端末であって、
    前記表示手段における複数の表示領域のレイアウトを示すレイアウト番号毎に、当該レイアウトに従った表示領域に対して表示する画像に係る画像データを識別するための所定の画像データ識別情報及び前記表示領域の表示サイズを関連付けて管理する表示レイアウト管理手段を有し、
    前記受信手段は、前記通信管理システムから前記他の通信端末が送信する前記特定の画像データを識別するための特定の画像データ識別情報及び前記特定の画像種類情報を受信し、
    前記表示レイアウト管理手段において前記受信された特定の画像データ識別情報に対応する表示サイズに基づき、前記要求解像度管理手段において対応する前記特定の要求解像度を前記通信管理システムに送信すること
    を特徴とする通信端末。
  3. 前記表示レイアウト管理手段において、前記レイアウト番号に対する前記所定の画像データ識別情報を変更する変更手段を有することを特徴とする請求項2に記載の通信端末。
  4. 画像種類情報は、平面画像又は全天球パノラマ画像である旨を示すことを特徴とする請求項1乃至3のいずれか一項に記載の通信端末。
  5. 請求項4に記載の通信端末であって、
    前記画像種類情報が全天球パノラマ画像である旨を示す場合には、前記他の通信端末が送信した画像データに基づき、全天球パノラマ画像データを作成する作成手段を有することを特徴とする通信端末。
  6. 前記通信端末は、ビデオ会議端末、パーソナルコンピュータ、スマートフォン、デジタルテレビ、スマートウオッチ、又はカーナビゲーション装置であることを特徴とする請求項1乃至5のいずれか一項に記載の通信端末。
  7. 請求項1乃至6のいずれか一項に記載の通信端末と、
    前記通信管理システムと、
    を有することを特徴とする画像通信システム。
  8. 他の通信端末から送信された画像データを中継して送信して来る通信管理システムに対して、前記送信して来る画像データの解像度を管理するための要求を行なう通信端末が実行する通信方法であって、
    前記通信端末は、画像の種類を示す所定の画像種類情報毎に、表示手段における複数の表示領域の各表示サイズ、及び前記通信管理システムに対して要求する前記画像データの要求解像度を関連付けて管理する要求解像度管理手段を有し、
    前記通信端末は、
    前記通信管理システムから前記他の通信端末が送信する特定の画像データの画像の種類を示す特定の画像種類情報を受信する受信ステップと、
    前記要求解像度管理手段において、前記特定の画像種類情報及び前記特定の画像データを表示する表示領域の表示サイズに基づき、対応する特定の要求解像度を前記通信管理システムに送信する送信ステップと、
    を実行することを特徴とする通信方法。
  9. コンピュータに、請求項8に記載の方法を実行させるためのプログラム。
JP2017000714A 2017-01-05 2017-01-05 通信端末、画像通信システム、通信方法、及びプログラム Active JP6756269B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017000714A JP6756269B2 (ja) 2017-01-05 2017-01-05 通信端末、画像通信システム、通信方法、及びプログラム
US15/860,094 US11558431B2 (en) 2017-01-05 2018-01-02 Communication terminal, communication system, communication method, and display method
EP18150312.9A EP3346702A1 (en) 2017-01-05 2018-01-04 Communication terminal, image communication system, communication method, and carrier means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017000714A JP6756269B2 (ja) 2017-01-05 2017-01-05 通信端末、画像通信システム、通信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018110354A JP2018110354A (ja) 2018-07-12
JP6756269B2 true JP6756269B2 (ja) 2020-09-16

Family

ID=60954863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017000714A Active JP6756269B2 (ja) 2017-01-05 2017-01-05 通信端末、画像通信システム、通信方法、及びプログラム

Country Status (3)

Country Link
US (1) US11558431B2 (ja)
EP (1) EP3346702A1 (ja)
JP (1) JP6756269B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
JP2019054322A (ja) 2017-09-12 2019-04-04 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
JP6907861B2 (ja) 2017-09-25 2021-07-21 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
EP3461124B1 (en) * 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
JP7095361B2 (ja) 2018-03-29 2022-07-05 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7164831B2 (ja) 2018-03-30 2022-11-02 株式会社リコー 通信管理システム、通信システム、通信方法、及びプログラム
JP2019180027A (ja) 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
US10554883B2 (en) 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
JP7163656B2 (ja) 2018-07-30 2022-11-01 株式会社リコー 配信システム、受信クライアント端末、配信方法
US10764513B2 (en) 2018-07-31 2020-09-01 Ricoh Company, Ltd. Communication terminal, image data communication system, and communication method
CN109660752A (zh) * 2019-01-25 2019-04-19 杭州易明远科技有限公司 一种三维可视化视频会议集中控制系统
JP7400195B2 (ja) 2019-03-11 2023-12-19 株式会社リコー 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム
JP7192592B2 (ja) 2019-03-15 2022-12-20 株式会社リコー 撮像装置、画像通信システム、画像処理方法、プログラム
JP7346975B2 (ja) 2019-07-25 2023-09-20 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
CN110418077B (zh) * 2019-08-30 2022-03-29 南京图格医疗科技有限公司 一种医用超高清4k影像系统
JP7533061B2 (ja) 2020-09-18 2024-08-14 株式会社リコー 通信端末、画像通信システム、画像表示方法およびプログラム
JP7600595B2 (ja) 2020-09-30 2024-12-17 株式会社リコー 通信管理装置、画像通信システム、通信管理方法及びプログラム
JP7604829B2 (ja) 2020-09-30 2024-12-24 株式会社リコー 画像通信システム、通信管理装置、通信管理方法及びプログラム
EP4064691A1 (en) 2021-03-23 2022-09-28 Ricoh Company, Ltd. Communication management device, image communication system, communication management method, and carrier means
JP2022147309A (ja) 2021-03-23 2022-10-06 株式会社リコー 管理システム、通信システム、処理方法およびプログラム
JP2023048464A (ja) 2021-09-28 2023-04-07 株式会社リコー メディア配信システム、通信システム、配信制御装置、配信制御方法及びプログラム
JP2023081226A (ja) 2021-11-30 2023-06-09 株式会社リコー 通信管理装置、通信システム、通信管理方法、及びプログラム
CN114422744B (zh) * 2021-12-23 2023-06-09 华能招标有限公司 远程评标视频会议过程的视频画面显示方法及装置
JP2024175389A (ja) * 2023-06-06 2024-12-18 キヤノン株式会社 画像管理装置、画像管理システム、及び画像管理装置の制御方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983263A (en) * 1998-01-02 1999-11-09 Intel Corporation Method and apparatus for transmitting images during a multimedia teleconference
US6317776B1 (en) * 1998-12-17 2001-11-13 International Business Machines Corporation Method and apparatus for automatic chat room source selection based on filtered audio input amplitude of associated data streams
US7330875B1 (en) * 1999-06-15 2008-02-12 Microsoft Corporation System and method for recording a presentation for on-demand viewing over a computer network
JP2001197460A (ja) * 2000-01-07 2001-07-19 Minolta Co Ltd 画像データの中継方法および通信管理センタ
JP4974405B2 (ja) * 2000-08-31 2012-07-11 ソニー株式会社 サーバ使用方法、サーバ使用予約管理装置およびプログラム格納媒体
JP2002073541A (ja) * 2000-08-31 2002-03-12 Sony Corp コンテンツ配信方法およびコンテンツ供給システム
IL156210A0 (en) * 2000-12-01 2003-12-23 Ginganet Corp Video terminal, video terminal communication system, and video conferencing system
JP3775346B2 (ja) * 2002-05-29 2006-05-17 株式会社日立製作所 テレビ電話システムおよびその端末装置
JP4373645B2 (ja) 2002-05-31 2009-11-25 株式会社リコー 映像配信システム、プログラム及び記録媒体
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP2004254031A (ja) 2003-02-19 2004-09-09 Canon Inc 画像処理システムの制御方法
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
JP4414708B2 (ja) 2003-09-19 2010-02-10 株式会社リコー 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体
US20050280701A1 (en) * 2004-06-14 2005-12-22 Wardell Patrick J Method and system for associating positional audio to positional video
US7554571B1 (en) * 2005-03-18 2009-06-30 Avaya Inc. Dynamic layout of participants in a multi-party video conference
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法
JP4957126B2 (ja) * 2006-08-31 2012-06-20 カシオ計算機株式会社 クライアント装置およびプログラム
JP4228010B2 (ja) * 2006-09-29 2009-02-25 Necエンジニアリング株式会社 テレビ会議装置
US20120323704A1 (en) * 2008-02-27 2012-12-20 Chad Steelberg Enhanced world wide web-based communications
CN102090069B (zh) * 2008-06-09 2014-04-30 维德约股份有限公司 可缩放视频和音频通信系统中的改进视图布局管理
GB0811197D0 (en) * 2008-06-18 2008-07-23 Skype Ltd Processing video communication data
JP5317630B2 (ja) * 2008-11-07 2013-10-16 キヤノン株式会社 画像配信装置、方法及びプログラム
JP5178543B2 (ja) 2009-01-14 2013-04-10 キヤノン株式会社 Tv会議システム及びその制御方法
US8250937B2 (en) * 2010-03-10 2012-08-28 Asepco Aseptic manifold and probe assembly
JP2011223076A (ja) 2010-04-03 2011-11-04 Tokuzawa Masamichi 双魚眼方式全方位パノラマ動画ライブ配信システム
JP5948764B2 (ja) 2011-01-31 2016-07-06 株式会社リコー 画面共有装置、画面共有方法、及びプログラム
JP5942364B2 (ja) * 2011-03-31 2016-06-29 株式会社リコー 伝送管理システム、伝送システム、及びプログラム
US9516225B2 (en) * 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
JP5849976B2 (ja) * 2012-03-30 2016-02-03 カシオ計算機株式会社 ソーシャル・ネットワーク・サービスシステム及び画像表示方法
JP6069881B2 (ja) 2012-04-25 2017-02-01 株式会社リコー 中継装置、表示データ共有システム、データ制御方法およびプログラム
US20130332840A1 (en) * 2012-06-10 2013-12-12 Apple Inc. Image application for creating and sharing image streams
US8880605B2 (en) * 2012-06-27 2014-11-04 RHUB Communications Browser based web conferencing employing attendee side image scaling
JP5673631B2 (ja) * 2012-09-06 2015-02-18 トヨタ自動車株式会社 情報表示装置及び携帯端末装置
US9137488B2 (en) 2012-10-26 2015-09-15 Google Inc. Video chat encoding pipeline
KR20150091517A (ko) * 2012-12-06 2015-08-11 퀄컴 인코포레이티드 파노라마 이미지를 위한 환형 뷰
JP2015056046A (ja) 2013-09-12 2015-03-23 株式会社リコー 配信管理システム、配信システム、配信管理方法、及びプログラム
JP6303446B2 (ja) * 2013-11-29 2018-04-04 株式会社リコー 情報処理装置、プログラム、情報処理システム、及び情報処理方法
JP2015173424A (ja) 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置
US9906720B2 (en) 2014-12-05 2018-02-27 Ricoh Company, Ltd. Service system, information processing apparatus, and service providing method
JP6682821B2 (ja) 2014-12-05 2020-04-15 株式会社リコー サービスシステム、情報処理装置、サービス提供方法
US10917611B2 (en) * 2015-06-09 2021-02-09 Avaya Inc. Video adaptation in conferencing using power or view indications
JP6304300B2 (ja) * 2016-04-14 2018-04-04 株式会社リコー 送信装置、通信方法、プログラムおよび受信装置
TWI628953B (zh) * 2017-08-03 2018-07-01 鴻海精密工業股份有限公司 電子設備及視訊框排列方法

Also Published As

Publication number Publication date
EP3346702A1 (en) 2018-07-11
JP2018110354A (ja) 2018-07-12
US11558431B2 (en) 2023-01-17
US20180191787A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
JP6907861B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7095361B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7164831B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP2019180027A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2019054322A (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP7151316B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
JP2020155847A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7006356B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP6992338B2 (ja) 通信システム、通信管理方法、プログラム、システム及び通信方法
JP7567980B2 (ja) 通信端末、通信方法及びプログラム
JP7354733B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7279825B2 (ja) 通信端末、通信システム、通信方法、表示制御方法及びプログラム
JP7210892B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7205323B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7371369B2 (ja) 通信端末および画像通信システム
JP2025087231A (ja) 通信端末、表示方法、及びプログラム
JP2021176221A (ja) 通信端末、通信システム、通信方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200810

R151 Written notification of patent or utility model registration

Ref document number: 6756269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151