Nothing Special   »   [go: up one dir, main page]

JP6816465B2 - 画像表示システム、通信システム、画像表示方法、及びプログラム - Google Patents

画像表示システム、通信システム、画像表示方法、及びプログラム Download PDF

Info

Publication number
JP6816465B2
JP6816465B2 JP2016222968A JP2016222968A JP6816465B2 JP 6816465 B2 JP6816465 B2 JP 6816465B2 JP 2016222968 A JP2016222968 A JP 2016222968A JP 2016222968 A JP2016222968 A JP 2016222968A JP 6816465 B2 JP6816465 B2 JP 6816465B2
Authority
JP
Japan
Prior art keywords
image
region
communication terminal
predetermined area
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016222968A
Other languages
English (en)
Other versions
JP2018082298A (ja
Inventor
修 小河原
修 小河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016222968A priority Critical patent/JP6816465B2/ja
Priority to US15/727,101 priority patent/US10609259B2/en
Publication of JP2018082298A publication Critical patent/JP2018082298A/ja
Priority to US16/788,517 priority patent/US11064095B2/en
Application granted granted Critical
Publication of JP6816465B2 publication Critical patent/JP6816465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/05Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像表示システム、通信システム、画像表示方法、及びプログラムに関する。
近年、一度の撮影でパノラマ画像を得るデジタルカメラが提供されている。撮影されたパノラマ画像は、撮影装置からスマートフォン等の通信端末を介して、SNS(Social Networking Service)等の管理システムへアップロードされる。他の通信端末は、管理システムへアクセスしてパノラマ画像をダウンロードすることができる。ところが、通信端末において、ダウンロードしたパノラマ画像をそのまま表示しても、ユーザには湾曲して見えるため、何の画像であるか把握できないことがある。
そこで、全天球パノラマ画像の一部を表示する通信端末が開示されている(特許文献1)。この通信端末において、ユーザがタッチパネルを利用して、ディスプレイに表示されている全天球パノラマ画像を拡大するように操作すると、全天球パノラマ画像の一部を所定領域画像として拡大表示する。
例えば、異なる時期に同じ対象が撮影された複数の画像を比較することで、ユーザは、対象における時期による採光の違いや、経時変化などを確認することができる。しかしながら、従来の画像表示システムによると、同じ位置で撮影された複数のパノラマ画像において表示する領域を変更するときに、同じ対象が表示されなくなるという課題が生じる。
請求項1に係る発明は、第1のパノラマ画像において予め定められた領域に対する第1の領域の相対位置、及び第2のパノラマ画像において予め定められた領域に対する第2の領域の相対位置を同期させる同期手段と、前記第1のパノラマ画像における前記第1の領域、及び前記第2のパノラマ画像における前記第2の領域の少なくとも一方を表示させる表示制御手段と、を有し、前記第1のパノラマ画像、及び前記第2のパノラマ画像は動画であり、前記同期手段は、前記第1の領域、又は前記第2の領域の変更に応じて、他方の領域を変更し、前記第1のパノラマ画像の再生時間、及び前記第2のパノラマ画像の再生時間を同期させる画像表示システムである。
以上説明したように本発明に係る画像表示システムによると、同じ位置で撮影された複数のパノラマ画像において表示する領域を変更しても、同じ対象が表示されるという効果を奏する。
(a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)はメルカトル図法により表された画像を示した図である。 (a)メルカトル画像で球を被う状態を示した概念図、(b)全天球パノラマ画像を示した図である。 全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は所定領域の画像を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末のハードウェア構成図である。 画像管理システム及び通信端末のハードウェア構成図である。 本実施形態の処理の概略を示した図である。 撮影装置、通信端末、及び画像管理システムの機能ブロック図である。 画像管理システム又は通信端末において管理される各管理テーブルを示す概念図である。 画像をアップロードする処理の一例を示すシーケンス図である。 視点、撮影方向、及び所定領域の画像の一例を示す概念図である。 通信端末が画像を取得する処理の一例を示すシーケンス図である。 画面の一例を示す概念図である。 通信端末において画像の表示を制御する処理の一例を示すフロー図である。 画面の一例を示す概念図である。 画面の一例を示す概念図である。 通信端末が画像の表示を制御する処理の一例を示すフロー図である。 通信端末が画像の表示を制御する処理の一例を示すフロー図である。 ディスプレイの表示例である。 通信端末が画像の表示を制御する処理の一例を示すフロー図である。 通信端末の処理の一例を示すシーケンス図である。 通信端末が画像の表示を制御する処理の一例を示すフロー図である。 画面の一例を示す概念図である。
以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、ユーザが片手で持つことができる大きさである。また、図1(a),(b),(c)に示されているように、撮影装置1の上部には、前側に撮像素子103a及び後側に撮像素子103bが設けられている。また、図1(b)に示されているように、撮影装置1の後側には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、3次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球パノラマ画像が、3次元の立体球CSで表わされている。全天球パノラマ画像における所定領域Tは、この全天球パノラマ画像における仮想カメラICの位置の所定領域情報によって特定される。この所定領域情報は、例えば、座標x(rH)、座標y(rV)、及び画角α(angle)によって示される。所定領域Tのズームは、画角αの範囲(円弧)を広げたり縮めたりすることで表現することができる。また、所定領域Tのズームは、仮想カメラICを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。
そして、図6(a)で示されているように、全天球パノラマ画像における所定領域Tの画像は、図6(b)に示されているように、所定のディスプレイに、所定領域画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報(x,y,α)によって表された画像である。
ここで、図7を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図7は、所定領域情報と所定領域画像との関係を示した図である。図7に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角線画角を2Lとした場合の中心点CPが、所定領域情報の(x,y)パラメータとなる。fは仮想カメラICから所定領域Tの中心点CPまでの距離である。そして、図7では、一般的に以下の式(1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
<画像通信システムの概略>
続いて、図8を用いて、本実施形態の画像通信システムの構成の概略について説明する。図8は、本実施形態の画像通信システムの構成の概略図である。
図8に示されているように、本実施形態の画像通信システムは、撮影装置1、通信端末3、無線ルータ9a、画像管理システム5、及び通信端末7によって構成されている。
このうち、撮影装置1は、上述のように、全天球(360°)パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置1は、一般的なデジタルカメラであっても良く、通信端末3にカメラが付いている場合は、通信端末3がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末3は、撮影装置1への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、通信端末3は、接点を介して撮影装置1とデータ通信を行なうことができると共に、無線ルータ9a及び通信ネットワーク9を介して画像管理システム5とデータ通信を行なうことができる。なお、通信ネットワーク9は、例えば、インターネットである。
また、画像管理システム5は、例えば、サーバコンピュータであり、通信ネットワーク9を介して、通信端末3,7とデータ通信を行なうことができる。画像管理システム5には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。なお、画像管理システム5は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。
また、通信端末7は、例えば、ノートPC(Personal Computer)であり、通信ネットワーク9を介して、画像管理システム5とデータ通信を行なうことができる。なお、通信端末7は、ノートPCだけでなく、デスクトップ型のPC等のパーソナルコンピュータであってもよく、更に、スマートフォン、タブレット型端末、又はスマートウォッチであってもよい。
一実施形態において、撮影装置1は、撮影者Xに利用され、通信端末7は撮影された画像の閲覧者Yに利用される。画像管理システム5は、各拠点の通信端末3から送られて来た撮影画像データに基づいて通信端末7に撮影画像データを提供したりするサービスを行なうサービス会社等に設置されている。
<実施形態のハードウェア構成>
次に、図9乃至図11を用いて、本実施形態の撮影装置1、通信端末3,7、及び画像管理システム5のハードウェア構成を詳細に説明する。
まず、図9を用いて、撮影装置1のハードウェア構成を説明する。なお、図9は、撮影装置のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全方位撮影装置とするが、撮像素子は3つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図9に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とはパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/FとなるネットワークI/F116を介して通信端末3等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFi(wireless fidelity)やNFC等の短距離無線技術によって、通信端末3等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータを通信端末3の外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
次に、図10を用いて、通信端末3のハードウェア構成を説明する。なお、図10は、無線通信機能を有したクレードルの場合の通信端末3のハードウェア構成図である。
図10に示されているように、通信端末3は、通信端末3全体の動作を制御するCPU301、基本入出力プログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM(Random Access Memory)303、CPU301の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)304、CPU301の制御に従って被写体を撮像し画像データを得る撮像素子としてのCMOSセンサ305を備えている。
なお、EEPROM304には、CPU301が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、CMOSセンサ305の代わりにCCDセンサを用いてもよい。
更に、通信端末3は、アンテナ313a、このアンテナ313aを利用して無線通信信号により、無線ルータ9a等と通信を行う通信部313、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって通信端末3の位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信部314、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。
図11を用いて、画像管理システム5及びノートPCの場合の通信端末7のハードウェア構成を説明する。なお、図11は、画像管理システム5及び通信端末7のハードウェア構成図である。画像管理システム5、及び通信端末7は、ともにコンピュータであるため、以下では、画像管理システム5の構成について説明し、通信端末7の構成の説明は省略する。
画像管理システム5は、画像管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、画像管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアI/F507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク9を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514、及び、上記各構成要素を図11に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<実施形態の処理の概略>
次に、図12を用いて、本実施形態の処理の概略について説明する。図12は、本実施形態の処理の概略を示した図である。
通信端末3は、撮影装置1から、撮影画像データ、所定領域情報、及び関連情報を取得する(ステップS1)。通信端末3は、取得した撮影画像データ、所定領域情報、及び関連情報を、画像管理システム5へ送信する(ステップS2)。画像管理システム5は、受信した撮影画像データ、所定領域情報、及び関連情報を記憶して管理する。画像管理システム5は、撮影画像データを取得するためのスクリプトが含まれたWEBページを生成する(ステップS3)。通信端末7は、WEBページの要求を画像管理システム5へ送信する(ステップS4)。画像管理システム5は、要求に応じて、スクリプトが含まれたWEBページを通信端末7へ送信する(ステップS5)。通信端末7のブラウザによりWEBページを読み込むと、WEBページに含まれるスクリプトが起動する。スクリプトに従って、通信端末7は、撮影画像データの要求を画像管理システム5へ送信する(ステップS6)。画像管理システム5は、要求に応じて、撮影画像データ、並びにこの撮影画像データに係る所定領域情報、及び関連情報を通信端末7へ送信する(ステップS7)。
<<実施形態の機能構成>>
本実施形態の機能構成について説明する。図13は、本実施形態の画像通信システムの一部を構成する、撮影装置1、通信端末3、画像管理システム5、及び通信端末7の各機能ブロック図である。図13では、画像管理システム5が、通信ネットワーク9を介して、通信端末3及び通信端末7とデータ通信することができる。
<撮影装置1の機能構成>
図13に示されているように、撮影装置1は、受付部12、撮像部13、集音部14、接続部18、及び記憶・読出部19を有している。これら各部は、図9に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図9に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000を有している。
(撮影装置1の各機能構成)
次に、図9及び図13を用いて、撮影装置1の各機能構成について更に詳細に説明する。
撮影装置1の受付部12は、主に、図9に示されている操作部115及びCPU111の処理によって実現され、ユーザからの操作入力を受け付ける。
撮像部13は、主に、図9に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14は、図9に示されているマイク108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1の周囲の音を収音する。
接続部18は、主に、電気接点、及びCPU111の処理によって実現され、通信端末3からの電源供給を受けると共に、データ通信を行う。
記憶・読出部19は、主に、図9に示されているCPU111の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000から各種データ(または情報)を読み出したりする。
<通信端末3の機能構成>
図13に示されているように、通信端末3は、送受信部31、接続部38、及び記憶・読出部39を有している。これら各部は、図10に示されている各構成要素のいずれかが、EEPROM304からRAM303上に展開された通信端末3用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、通信端末3は、図10に示されているROM302、RAM303、及びEEPROM304によって構築される記憶部3000を有している。
(通信端末3の各機能構成)
次に、図10及び図13を用いて、通信端末3の各機能構成について更に詳細に説明する。
通信端末3の送受信部31は、主に、図10に示されている通信部313及びCPU301の処理によって実現され、無線ルータ9a及び通信ネットワーク9を介して、画像管理システム5と各種データ(または情報)の送受信を行う。
接続部38は、主に、電気接点、及びCPU301の処理によって実現され、通信端末3に電源供給すると共に、データ通信を行う。
記憶・読出部39は、主に、図10に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<画像管理システムの機能構成>
画像管理システム5の各機能構成について説明する。画像管理システム5は、送受信部51、ページ生成部52、及び記憶・読出部59を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能である。
また、画像管理システム5は、図11に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、画像管理テーブルによって画像管理DB5004が構築されている。
(画像管理テーブル)
図14の(A)は、画像管理テーブルを示す概念図である。画像管理テーブルでは、撮影装置1の装置ID、撮影装置1により撮影された撮影画像データのURL(Uniform Resource Locator)、撮影日時、撮影された拠点の拠点名、撮影位置、撮影画像データの所定領域情報が関連付けて管理されている。このうち、撮影画像データのURLには、撮影画像データの識別情報としてファイル名が含まれている。
(画像管理システムの各機能構成)
次に、図11及び図13を用いて、画像管理システム5の各機能構成について詳細に説明する。
画像管理システム5の送受信部51は、主に、図11に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク9を介して通信端末3、又は通信端末7と各種データ(または情報)の送受信を行う。
ページ生成部52は、主に、図11に示されているCPU501の処理によって実現され、記憶部5000に記憶されている撮影画像データを取得するためのWEBページを生成する。なお、画像管理システム5は、WEBページを生成せず、任意の通信端末からWEBページのアップロードを受け付けて管理しても良い。
記憶・読出部59は、主に、図11に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<通信端末7の機能構成>
次に、図11及び図13を用いて、通信端末7の機能構成について詳細に説明する。通信端末7は、送受信部71、受付部72、表示制御部73、画像管理部74、及び、記憶・読出部79を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信端末7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信端末7は、図11に示されているRAM503、及びHD504によって構築される記憶部7000を有している。記憶部7000には、表示画像管理テーブルによって表示画像管理DB7001が構築される。
(表示画像管理テーブル)
図14の(B)は、表示画像管理テーブルを示す概念図である。表示画像管理テーブルでは、表示する撮影画像データの画像ID、画像が撮影された拠点の拠点名、撮影位置、撮影日時、撮影画像データにおいて基準となる所定領域T0を示す所定領域情報、及び撮影画像データにおいて現在表示している領域(所定領域Tc)を示す所定領域情報、及び撮影画像データが動画である場合、表示するフレームを特定するための再生時間が関連付けて管理されている。
(通信端末7の各機能構成)
次に、図13を用いて、通信端末7の各機能構成について詳細に説明する。
通信端末7の送受信部71は、主に、図11に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク9を介して画像管理システム5と各種データ(または情報)の送受信を行う。
受付部72は、主に、図11に示されているキーボード511及びマウス512、並びにCPU501の処理によって実現され、ユーザからの操作入力を受け付ける。
表示制御部73は、主に、図11に示されているCPU501の処理によって実現され、通信端末7のディスプレイ508に各種画像を表示させるための制御を行なう。
画像管理部74は、主に、図11に示されているCPU501の処理によって実現され、通信端末7において表示される画像を管理する。
記憶・読出部79は、主に、図11に示されているHDD505、及びCPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
なお、上記各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD504は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の処理>>
続いて、本実施形態の処理について説明する。まず、図15を用いて、画像をアップロードする処理について説明する。図15は、画像をアップロードする処理の一例を示すシーケンス図である。
撮影者Xは、拠点において、撮影装置1により全天球パノラマ画像を撮影する。被写体は、例えば、販売する不動産である。全天球パノラマ画像が撮影されると、撮影装置1の記憶・読出部19は、撮影画像データ、関連情報、所定領域情報、及び撮影装置1の装置IDを記憶部1000に記憶させる。関連情報は、拠点名、撮影位置、及び撮影日時を含む。所定領域情報は、撮影装置1の工場出荷時に予め設定されおり、或いは、工場出荷後に撮影者Xによって任意に設定されており、例えば、撮像素子103aにより撮影される画像の中心点から±15°の範囲を示す(rH0,rV0,30)である。
一実施形態において、同じ位置で撮影された複数の全天球パノラマ画像において、所定の同じ対象が撮影された領域は、基準となる所定領域T0として設定される。図16の(A)は、撮影位置としての視点、及び基準となる所定領域T0の方向Tc0の一例を示す概念図である。図16の(B)は、全天球パノラマ画像における所定領域T0の画像の一例を示す概念図である。図16の例では、室内の同じ視点V1で撮影された複数の全天球パノラマ画像において、所定の対象としてキッチンが撮影された領域は、基準となる所定領域T0として設定される。基準となる所定領域T0を設定する方法について説明する。
撮影者Xは、例えば、朝夕、異なる季節などに複数回、視点V1,V2,V3で撮影装置1により撮影する。第1の方法では、同じ視点での複数回の撮影において、撮影者Xは、撮影装置1の撮像素子103aを同じ方向に向ける。例えば、視点V1での複数回の撮影において、撮影者Xは、撮像素子103aをキッチンの方向Tc0に向ける。この場合、撮影装置1は、撮像素子103aにより撮影される画像の中心点から±15°の範囲を所定領域情報(rH0,rV0,30)として記録する。第1の方法では、撮影装置1によって自動的に記録される所定領域情報(rH0,rV0,30)を所定領域T0を示す所定領域情報とする。
第2の方法では、同じ視点での複数回の撮影において、撮影者Xは、撮影装置1を任意の方向を向ける。撮影後に、撮影装置1、通信端末3、又は画像管理システム5は、複数の全天球パノラマ画像において同じ対象が撮影された一の範囲の指定を受け付ける。撮影装置1、通信端末3、又は画像管理システム5は、指定された範囲を示す所定領域情報を、基準となる所定領域T0を示す所定領域情報として設定する。なお、一の範囲の指定は、ユーザが行っても、特徴点の比較などの画像処理の技術を用いて、装置で行っても良い。
なお、動画を撮影する場合、撮影者Xは、同じ視点V1に撮影装置1を固定して所定の時間、撮影しても良いし、同じ動線V1m上、同じ速度で視点V1を移動して複数回撮影しても良い。
以下、第1の方法で所定領域T0を設定する場合について説明する。撮影者Xは、撮影後、撮影装置1を通信端末3に接続する。接続後、通信端末3の接続部38は、撮影装置1の記憶部1000から通信端末3へ、撮影画像データ、関連情報、所定領域情報、及び撮影装置1の装置IDを転送させる(ステップS21)。転送された所定領域情報は、所定領域T0を示す所定領域情報として用いられる。関連情報には、撮影装置1の装置ID、撮影位置、撮影日時などが含まれている。
通信端末3の送受信部31は、画像の登録要求を画像管理システム5へ送信する(ステップS22)。画像の登録要求には、ステップS21で通信端末3へ転送された撮影画像データ、関連情報、所定領域T0を示す所定領域情報が含まれる。
画像管理システム5の送受信部51は、通信端末3によって送信された画像の登録要求を受信する。画像管理システム5の記憶・読出部59は、受信された撮影画像データに対して、URLを割り当てて記憶部5000に記憶させる(ステップS23)。
画像管理システム5の記憶・読出部59は、画像管理テーブルに対して、通信端末3から送られてきた撮影画像データごとに、ステップS23で割り当てられたURL、所定領域T0を示す所定領域情報、及び関連情報を記録する(ステップS24、図14の(A)参照)。関連情報には、装置ID、撮影日時、撮影位置が含まれている。
画像管理システム5のページ生成部52は、ステップS23でURLが割り当てられた撮影画像データを取得するスクリプトが含まれたWEBページを生成する(ステップS25)。画像管理システム5の記憶・読出部59は、生成されたWEBページに対してURLを割り当てて記憶部5000に記憶させる。
WEBページは、画像管理テーブル(図14の(A)参照)において管理される拠点名毎に生成される。WEBページの形式は、特に限定されないが、例えば、HTML(HyperText Markup Language)形式である。ページ生成部52は、拠点における視点を選択するためのユーザインタフェースを含めてWEBページを生成する。ユーザインタフェースは、例えば、不動産の見取り図上の文字、アイコン、又はプルダウンでる。また、ページ生成部52は、選択された視点の撮影画像データを取得するためのスクリプトをWEBページに含める。なお、ページ生成部52は、拠点ごとに一のスクリプトを生成しても、視点ごとに一のスクリプトを生成しても、画像ごとに一のスクリプトを生成しても良い。
続いて、通信端末7が画像管理システムから画像を取得する処理について説明する。図17は、通信端末7が画像を取得する処理の一例を示すシーケンス図である。
通信端末7においてブラウザが起動すると、表示制御部73は、ディスプレイ508にブラウザの画面を表示させる。ブラウザの入力欄において、ユーザにより物件AのWEBページのURLが入力されると、又は画面に表示されている物件AのWEBページへのリンクが選択されると、通信端末7の受付部72は、物件AのWEBページの取得要求を受け付ける(ステップS31)。受付部72において物件AのWEBページの取得要求が受け付けられると、通信端末7の送受信部71は、物件AのWEBページの取得要求を画像管理システム5へ送信する(ステップS32)。物件AのWEBページの取得要求には、物件AのWEBページのURLが含まれる。
画像管理システム5の送受信部51は、通信端末7によって送信された物件AのWEBページの取得要求を受信する。この取得要求に応じて画像管理システム5の記憶・読出部59は、取得要求に含まれているURLのWEBページを記憶部5000から読み出す(ステップS33)。画像管理システム5の送受信部51は、ステップS33で読み出されたWEBページを通信端末7へ送信する(ステップS34)。WEBページには、ステップS24で生成されるスクリプトが含まれる。
通信端末7の送受信部71は、画像管理システム5によって送信された物件AのWEBページを受信する。通信端末7の表示制御部73は、ブラウザの画面に物件AのWEBページを表示させる。図18は、表示される画面の一例を示す概念図である。物件AのWEBページには、撮影画像データにおける所定領域Tcを表示する領域I1,I2が含まれている。また、物件AのWEBページには、ユーザインタフェースUIとして、視点を選択するための見取り図上の文字、所定領域Tcを移動、拡大、縮小するためのボタン、表示する画像が動画である場合に、動画を再生、又は停止するボタンなどが含まれている。
通信端末7の受付部72が、ブラウザの画面からユーザによる視点V1の選択を受け付けると(ステップS35)、WEBページに含まれるスクリプトの処理は開始する。このスクリプトに従って、通信端末7の送受信部71は、画像管理システム5へ、物件Aの視点V1の撮影画像データの要求を送信する(ステップS36)。撮影画像データの要求には、視点V1の撮影画像のURL"http://example.co/i11.mp4"、又は"http://example.co/i21.mp4"が含まれている。なお、これらのURLは、WEBページのスクリプトに含まれていたものである。
画像管理システム5の送受信部51は、通信端末7によって送信された物件Aの視点V1の撮影画像データの要求を受信する。この要求に応じて画像管理システム5の記憶・読出部59は、撮影画像データの要求に含まれているURLの撮影画像データを記憶部5000から読み出す(ステップS37)。また、記憶・読出部59は、撮影画像データのURLを検索キーとして、画像管理テーブルを検索し(図14の(A)参照)、対応する、撮影日時、拠点名、撮影位置などの関連情報、及び所定領域T0の所定領域情報を読み出す(ステップS38)。画像管理システム5の送受信部51は、ステップS36で読み出された視点V1の撮影画像データ、並びにステップS37で読み出された関連情報、及び所定領域T0の所定領域情報を通信端末7へ送信する(ステップS39)。
通信端末7の送受信部71は、画像管理システム5によって送信された視点V1の撮影画像データ、関連情報、及び所定領域T0の所定領域情報を受信する。通信端末7の記憶・読出部79は、送受信部71によって受信された撮影画像データを記憶部7000に記憶させる。
また、通信端末7の送受信部71によって、視点V1の撮影画像データのうち一つ目の撮影画像データ、この撮影画像データに対応する関連情報、及び所定領域T0の所定領域情報が受信されると、画像管理部74は、受信された撮影画像データの画像ID、関連情報(拠点名、撮影位置、撮影日時)、及び所定領域T0の所定領域情報を含むレコードを表示画像管理テーブル(図14の(B)参照)に記録する(ステップS40)。撮影画像データの画像IDは、例えば、撮影画像データのファイル名である。また、画像管理部74は、上記のレコードに、現在視点の所定領域Tcとして、受信した所定領域T0の所定領域情報と同じ値を記録する。更に、撮影画像データが動画である場合、表示画像管理テーブルにおいて、この撮影画像データが管理されるレコードに、再生時間としてデフォルトの値"00:00"を記録する。
図19を用いて、通信端末7において画像の表示を制御する処理の一例を説明する。図19は、通信端末7において画像の表示を制御する処理の一例を示すフロー図である。
通信端末7の記憶・読出部79は、表示画像管理テーブルのレコードから画像ID、現在の所定領域Tcの所定領域情報、及び再生時間の組を読み出す(ステップS61)。例えば、記憶・読出部79は、図14の(B)の表示画像管理テーブルから、画像ID"i11"、所定領域Tcの所定領域情報(rH0, rV0, angle30)、及び再生時間"00:00"の組を読み出す。
通信端末7の表示制御部73は、ステップS61において読み出された画像ID"i11"の撮影画像データのうち、再生時間"00:00"におけるフレームから所定領域情報(rH0, rV0, angle30)で示される所定領域Tcの画像を抽出して、ブラウザの画面の領域I1に表示させる(ステップS62)。図20の(A)は、ステップS62における、ブラウザの画面の一例を示す概念図である。図20の(A)の見取り図上の方向Tc1は、所定領域Tcの方向を示す。
通信端末7の画像管理部74は、WEBページに含まれるスクリプトにおいて予め設定された自動操作のパターンに従って、又はユーザによる操作入力に従って、表示画像管理テーブルで管理されている画像の現在の所定領域Tcを変更する(ステップS63)。所定領域Tcの変更方法は、特に限定されないが、以下のものが例示される。なお、以下、所定量には負の値も含まれる。
(1)回転:所定領域Tcの所定領域情報(x(rH), y(rV))に、例えば、(1, 0)などの所定量を、ステップS63のループ処理ごとに加算する。
(2)移動:所定領域Tcの所定領域情報(x(rH), y(rV))に、例えば、(180, 0)などの所定量を加算する。
(3)ズーム:所定領域Tcの所定領域情報(angleα)に、例えば、1などの所定量を加算する。
(4)再生:動画における再生時間を、例えば、1コマ分などの所定量、ステップS63のループ処理ごとに進める。
(5)停止:動画における再生時間をデフォルトに戻す。
(6)(1)乃至(5)の組み合わせ:例えば、自動操作のパターンに従って、(1)の処理で所定領域Tcの所定領域情報(x(rH))が所定の閾値に達してから、(2)の処理で所定領域Tcの所定領域情報(x(rH), y(rV))に所定量を追加する。
スクリプトによる自動操作中にユーザインタフェースUIによる操作入力が受け付けられた場合、画像管理部74は、操作入力のみに基づいて所定領域Tcを変更しても、操作入力、及び自動操作の両方に基づいて所定領域Tcを変更しても良い。例えば、通信端末7において、所定領域Tcの所定領域情報(x(rH))に所定量を追加する自動操作による命令、及び所定領域Tcの所定領域情報(y(rV))に所定量を追加する操作入力が受け付けられた場合、画像管理部74は、所定領域情報(y(rV))のみに所定量を追加するか、所定領域情報(y(rV))に所定量を追加した上で、所定領域情報(x(rH))に所定量を追加する。
例えば、通信端末7の画像管理部74は、ステップS63において、図14の(B)の表示画像管理テーブルの画像ID"i11"が記録されたレコードから、所定領域Tcの所定領域情報(rH0, rV0, angle30)を読み出して、所定量(0, 0, 15)を追加する。通信端末7の記憶・読出部79は、表示画像管理テーブルにおいて、画像ID"i11"に関連付けて、変更後の所定領域Tcの所定領域情報(rH0, rV0, angle45)を記録する(ステップS64)。表1は、ステップS64の処理により更新された表示画像管理テーブルの一例を示す。
Figure 0006816465
通信端末7の送受信部71は、ステップS36で、WEBページのスクリプトに従って視点V1の複数の撮影画像データを1つずつ要求する。画像管理システム5の送受信部51は、ステップS39で、要求に応じて、視点V1の複数の撮影画像データを1つずつ送信する。これにより、通信端末7の送受信部71は、視点V1の複数の撮影画像データを1つずつ受信する。通信端末7の画像管理部74は、視点V1の複数の撮影画像データのうち、表示画像管理テーブルにおいて未だ管理されていない新たな撮影画像データが受信されたか判断する(ステップS65)。
ステップS65で新たな撮影画像データが受信された(YES)と判断された場合、通信端末7の画像管理部74は、新たな撮影画像データの画像ID、新たな撮影画像データと共に画像管理システム5から送られてきた撮影位置、拠点名、撮影日時、及び基準となる所定領域T0の所定領域情報を関連付けて、表示画像管理テーブルに記憶させる(ステップS66)。表2は、ステップS66で更新された表示画像管理テーブルの一例を示す。
Figure 0006816465
通信端末7の画像管理部74は、表示画像管理テーブルにおいて先に管理されている撮影画像データに係る現在の所定領域Tc、及び基準となる所定領域T0の所定領域情報の差分と、表示画像管理テーブルにおいて新たに管理される撮影画像データに係る現在の所定領域Tc、及び基準となる所定領域T0の所定領域情報の差分と、を同期させる(ステップS67)。例えば、画像管理部74は、表2の表示画像管理テーブルにおいて、先に管理されている画像ID"i11"の撮影画像データに係る、所定領域Tcの所定領域情報(rH0,rV0,angle45)、及び所定領域T0の所定領域情報(rH0,rV0,angle30)の差分Δ(0, 0, 15)を算出する。続いて、画像管理部74は、表2の表示画像管理テーブルにおいて、新たに画像ID"i21"が記録されるレコードの所定領域T0の所定領域情報(rH0,rV0,angle30)に、算出された差分Δ(0, 0, 15)を加算する。これにより、画像管理部74は、画像ID"i21"の撮影画像データに係る所定領域Tcの所定領域情報(rH0, rV0, angle45)を得る。更に、画像管理部74は、表示画像管理テーブルの先に画像ID"i11"が記録されたレコードにおける再生時間"00:00"を、画像ID"i21"の撮影画像データに係る再生時間に同期させる。
通信端末7の記憶・読出部79は、ステップS67により得られた画像ID"i21"の撮影画像データに係る所定領域Tcの所定領域情報(rH0,rV0,angle45)、及び再生時間"00:00"を表示画像管理テーブルに記録する(ステップS68)。表3は、ステップS68で更新された表示画像管理テーブルの一例を示す。
Figure 0006816465
ステップS65でNOと判断されてから、又はステップS68の処理が完了してから、通信端末7の記憶・読出部79は、ステップS61に戻って、更新された表示画像管理テーブルのレコードから画像ID、現在の所定領域Tcの所定領域情報、及び再生時間の組を読み出す。表示画像管理テーブルが表3のように更新された場合、記憶・読出部79は画像ID"i11"、所定領域Tcの所定領域情報(rH0, rV0, angle45)、及び再生時間"00:00"の組、及び画像ID"i21"、所定領域Tcの所定領域情報(rH0, rV0, angle45)、及び再生時間"00:00"の組を読み出す。
通信端末7の表示制御部73は、読み出された画像ID"i11"の撮影画像データのうち、再生時間"00:00"におけるフレームから所定領域情報(rH0, rV0, angle45)で示される所定領域Tcの画像を抽出してブラウザの画面の領域I1に表示させる。また、通信端末7の表示制御部73は、読み出された画像ID"i21"の撮影画像データのうち、再生時間"00:00"におけるフレームから所定領域情報(rH0, rV0, angle45)で示される所定領域Tcの画像を抽出して、ブラウザの画面の領域I2に表示させる(2回目のステップS62)。図20の(B)は、2回目のステップS62におけるブラウザ画面の一例を示す概念図である。図20の(B)の見取り図上の方向Tc2は、所定領域Tcの方向を示す。画像ID"i21"の撮影画像データは、画像ID"i11"の撮影画像データに対して遅れてスクリプトが適用されるにも関わらず、先のステップS67で、2つの画像の所定領域(Tc−T0)が同期されるので、視点V1から同じ方向の画像が表示される。
通信端末7の画像管理部74は、スクリプトにおいて予め設定された自動操作のパターンに従って、又はユーザによる操作入力に従って、表示画像管理テーブルで管理されている各撮影画像データに係る現在の所定領域Tcを変更する(2回目のステップS63)。2回目のステップS63の処理で、所定領域Tcの所定領域情報(rH, rV, α)に所定の値(180, 0, 0)を追加する場合について説明する。通信端末7の画像管理部74は、表3の表示画像管理テーブルにおいて、画像ID"i11"が記録されるレコードにおける所定領域Tcの所定領域情報(rH0, rV0, 0)に(180, 0, 0)を追加する。また、通信端末7の画像管理部74は、表3の表示画像管理テーブルにおいて、画像ID"i21"が記録されるレコードにおける所定領域Tcの所定領域情報(rH0, rV0, 0)に(180, 0, 0)を追加する。
通信端末7の記憶・読出部79は、表示画像管理テーブルにおいて、画像ID"i11"の撮影画像データに係る所定領域Tcの所定領域情報、及び画像ID"i21"の撮影画像データに係る所定領域Tcの所定領域情報として、2回目のステップS63で変更された値を記録する(2回目のステップS64)。表4は、ステップS64の処理により更新された表示画像管理テーブルの一例を示す。
Figure 0006816465
続いて3回目のループ処理では、通信端末7の記憶・読出部79は、表4の更新された表示画像管理テーブルの各レコードから画像ID、及び現在の所定領域Tcの所定領域情報の組を読み出す(3回目のステップS61)。
通信端末7の表示制御部73は、読み出された画像ID"i11"の撮影画像データのうち、再生時間"00:00"におけるフレームから所定領域情報(rH180, rV0, angle45)で示される所定領域Tcの画像を抽出して、ブラウザの画面の領域I1に表示させる。また、通信端末7の表示制御部73は、読み出された画像ID"i21"の撮影画像データのうち再生時間"00:00"におけるフレームから所定領域情報(rH180, rV0, angle45)で示される所定領域Tcの画像を抽出し、ブラウザの画面の領域I2に表示させる(3回目のステップS62)。図21の(A)は、3回目のステップS62における画面の一例を示す概念図である。図21の(A)の見取り図上の方向Tc3は、所定領域Tcの方向を示す。2回目のステップS63で、画像ID"i11"の撮影画像データに係る所定領域Tcの所定領域情報、及び画像ID"i21"の撮影画像データに係る所定領域Tcの所定領域情報に、同じ所定量が加算されることで、2つの画像の所定領域(Tc−T0)が同期されるので、視点V1から同じ方向の画像が表示される。
通信端末7において、WEBページが表示されている間、スクリプトに従って、上記ステップS61乃至S68のループ処理が繰り返し実行される。
なお、上記ではステップS63における変更方法が、ズーム、又は移動である場合について説明した。変更方法が回転である場合、ループ処理におけるステップS63の度に、所定領域Tcの所定領域情報に、所定量が加算される点を除き、移動と同様である。変更方法が再生である場合、ループ処理におけるステップS63の度に、表示画像管理テーブルのすべてのレコードの再生時間に、例えば、1コマ分の時間加算される点を除き、移動の処理と同様である。図21の(B)は、変更が再生である場合のステップS62における、画面の一例を示す概念図である。図21の(B)の見取り図上の方向Tc4は、所定領域Tcの方向である。同じ動線を同じ速度で移動して撮影した撮影画像データを再生した場合には、任意の再生時間において、同じ視点V1から、同じ方向Tc4の複数の画像が表示される。
<<<実施形態の変形例A>>>
続いて、実施形態の変形例Aについて上記実施形態と異なる点を説明する。図22は、変形例Aにおいて、通信端末7が画像の表示を制御する処理の一例を示すフロー図である。なお、ステップS62で最初に受信される画像を表示するまでの処理は上記実施形態と同様である。
ステップS62で最初に受信される画像が表示されてから、通信端末7の画像管理部74は、視点V1の複数の撮影画像データのうち、未だ通信端末7が受信していない撮影画像データがあるか判断する(ステップSA1)。
ステップSA1で、未受信の撮影画像データがある(YES)と判断された場合、通信端末7の画像管理部74は、すでに受信した撮影画像データの現在の所定領域Tcの変更の開始を待機する(ステップSA2)。すなわち、スクリプトにおいて自動操作のパターンが予め設定されていても、或いはユーザによる操作入力が受け付けられても、画像管理部74は、撮影画像データの現在の所定領域Tcを変更しない。
通信端末7の画像管理部74は、未受信の撮影画像データを受信したか判断する(ステップSA3)。ステップSA3で未受信の撮影画像データを受信していない(NO)と判断されると、画像管理部74は、所定領域Tcの変更の開始を待機する。
ステップSA3で未受信の撮影画像データを受信した(YES)と判断されると、通信端末7の画像管理部74は、新たに受信した撮影画像データの画像ID、新たに受信した撮影画像データと共に画像管理システム5から送られてきた関連情報(撮影位置、拠点名、撮影日時)、及び基準となる所定領域T0の所定領域情報を関連付けて、表示画像管理テーブルに記憶させる(ステップSA4)。また、画像管理部74は、受信した撮影画像データに対して、現在視点の所定領域Tcとして、受信した所定領域T0の所定領域情報と同じ値を記録し、再生時間としてデフォルトの値"00:00"を表示画像管理テーブルに記録する。
受信したすべての撮影画像データに係るレコードが表示画像管理テーブルに記録されると、通信端末7の画像管理部74は、現在の所定領域Tcの変更を開始する(ステップS63)。所定領域Tcを変更する処理、及び以降の変更された所定領域Tcを管理する処理(ステップS64)、次のループ処理で、変更された所定領域Tcを読み出す処理(ステップS61)、変更された所定領域Tcを表示する処理(ステップS62)は、上記の実施形態と同様であるので説明を省略する。
実施形態の変形例Aでは、通信端末7が要求したすべての撮影画像データを受信するまで、画像管理部74は、所定領域Tcの変更を待機する。これにより、通信端末7が要求した撮影画像データのうち一部だけ所定領域Tcが変更されることを防ぐことができるので、すべての撮影画像データの所定領域(Tc−T0)を同期させることができる。
<<<実施形態の変形例B>>>
続いて、実施形態の変形例Bについて上記実施形態と異なる点を説明する。図23は、変形例Bにおいて、通信端末7が画像の表示を制御する処理の一例を示すフロー図である。変形例Bでは、通信端末7は、図19、又は図22におけるステップS62の画像の所定領域Tcを表示する処理において、以下の切り換え処理を加える。
変形例Bでは、通信端末7の表示制御部73は、画像管理システム5から受信した複数の撮影画像データのうち、まず、予め定められた一方の撮影画像データに係る所定領域Tcをブラウザの領域I1に表示させる(ステップS62B−1)。一方の画像は、例えば、画像ID"i11"の撮影画像データである。図24の(A)は、ステップS62B−1における、ブラウザの画面の一例を示す概念図である。図24の(A)の見取り図上の方向Tc5は、所定領域Tcの方向である。
続いて、通信端末7の表示制御部73は、画像を切り換えるイベントが発生したか判断する(ステップS62B−2)。画像を切り換えるイベントは、ユーザによる操作入力であっても良いし、通信端末7がスタートさせたタイマーのタイムアウトであっても良い。ユーザによる操作入力は、例えば、ボタンなどのユーザインタフェースの選択によるものであっても良い。
ステップS62B−2において、画像を切り換えるイベントが発生していない(NO)と判断された場合、通信端末7の表示制御部73は、ステップS62B−1に戻って、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、一方の撮影画像データに係る所定領域Tcを表示させる。
ステップS62B−2において、画像を切り換えるイベントが発生した(YES)と判断された場合、通信端末7の表示制御部73は、一方の撮影画像データの所定領域Tcが非表示になるよう制御する(ステップS62B−3)。
続いて、通信端末7の表示制御部73は、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、画像管理システム5から受信した複数の撮影画像データのうち、一方の撮影画像データとは異なる他方の撮影画像データに係る所定領域Tcをブラウザの画面の領域I1に表示させる(ステップS62B−4)。なお、他方の撮影画像データは例えば、画像ID"i21"の撮影画像データである。図24の(B)は、ステップS62B−4における、ブラウザの画面の一例を示す概念図である。図24の(B)の見取り図上の方向Tc6は、所定領域Tcの方向である。先のステップS62B−1で一方の画像を表示してからステップS62B−4で表示を他方の画像に切り換えるまでの間に、ステップS63の所定領域Tcを変更する処理が実行された場合、ステップS62B−4では、他方の撮影画像データに係る変更された所定領域Tcが表示される。
続いて、通信端末7の表示制御部73は、ステップS62B−2と同様に、画像を切り換えるイベントが発生したか判断する(ステップS62B−5)。
ステップS62B−5において、画像を切り換えるイベントが発生していない(NO)と判断された場合、通信端末7の表示制御部73は、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、ステップS62B−4に戻って、他方の画像の所定領域Tcを表示させる。
ステップS62B−5において、画像を切り換えるイベントが発生した(YES)と判断された場合、通信端末7の表示制御部73は、他方の撮影画像データに係る所定領域Tcが非表示になるよう制御する(ステップS62B−6)。
続いて、通信端末7の表示制御部73は、ステップS62B−1の処理に戻って、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、画像管理システム5から受信した複数の撮影画像データのうち、一方の撮影画像データに係る所定領域Tcを表示させる。
<<<実施形態の変形例C>>>
続いて、実施形態の変形例Cについて実施形態の変形例Bと異なる点を説明する。図25は、変形例Cにおいて、通信端末7が画像の表示を制御する処理の一例を示すフロー図である。変形例Cでは、変形例BにおけるステップS62B−1乃至S62−B−6の処理を以下のように変更する。
通信端末7の表示制御部73は、画像管理システム5から受信した画像のうち、予め定められた一方の撮影画像データに係る所定領域Tcをブラウザの画面の領域I1に表示させ、他方の撮影画像データに係る所定領域Tcをブラウザの画面の領域I2に表示させる(ステップS62C−1)。図26の(A)は、ステップS62C−1における、ブラウザの画面の一例を示す概念図である。図26の(A)の見取り図上の方向Tc7は、所定領域Tcの方向である。図26の(A)において、一方の撮影画像データは例えば、画像ID"i11"の撮影画像データであり、他方の撮影画像データは例えば、画像ID"i21"の撮影画像データである。図26の(A)において、領域I1は、領域I2よりも大きいサイズに設定されている。
続いて、通信端末7の表示制御部73は、領域を切り換えるイベントが発生したか判断する(ステップS62C−2)。領域を切り換えるイベントは、ユーザによる操作入力であっても良いし、通信端末7がスタートさせたタイマーのタイムアウトであっても良い。ユーザによる操作入力は、例えば、ボタンなどのユーザインタフェースの選択によるものであっても良い。
ステップS62C−2において、領域を切り換えるイベントが発生していない(NO)と判断された場合、通信端末7の表示制御部73は、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、ステップS62C−1に戻って、一方の撮影画像データの所定領域Tcを領域I1に表示させ、他方の撮影画像データの所定領域Tcを領域I2に表示させる。
ステップS62C−2において、領域を切り換えるイベントが発生した(YES)と判断された場合、通信端末7の表示制御部73は、一方の撮影画像データ、及び他方の撮影画像データに係る所定領域Tcが非表示になるよう制御する(ステップS62C−3)。
続いて、通信端末7の表示制御部73は、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、画像管理システム5から受信した画像のうち、他方の撮影画像データに係る所定領域Tcを領域I1に表示させ、一方の撮影画像データに係る所定領域Tcを領域I2に表示させる(ステップS62C−4)。図26の(B)は、ステップS62C−4における、ブラウザの画面の一例を示す概念図である。図26の(B)の見取り図上の方向Tc8は、所定領域Tcの方向である。先のステップS62C−1で画像を表示してからステップS62C−4で領域を切り換えるまでの間に、ステップS63の所定領域Tcを変更する処理が実行された場合、ステップS62C−4では、一方の撮影画像データ、及び他方の撮影画像データに係るステップS63で変更された所定領域Tcが表示される。
続いて、通信端末7の表示制御部73は、ステップS62C−2と同様に、領域を切り換えるイベントが発生したか判断する(ステップS62C−5)。
ステップS62C−5において、領域を切り換えるイベントが発生していない(NO)と判断された場合、通信端末7の表示制御部73は、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、ステップS62C−4に戻って、他方の撮影画像データに係る所定領域Tcを領域I1に表示させ、一方の撮影画像データに係る所定領域Tcを領域I2に表示させる。
ステップS62C−5において、領域を切り換えるイベントが発生した(YES)と判断された場合、通信端末7の表示制御部73は、一方の撮影画像データ、及びの撮影画像データに係る所定領域Tcが非表示になるよう制御する(ステップS62C−6)。
続いて、通信端末7の表示制御部73は、ステップS62C−1の処理に戻って、図19、又は図22におけるループ処理で次に画像を表示させるタイミングに、一方の撮影画像データに係る所定領域Tcを領域I1に表示させ、他方の撮影画像データに係る所定領域Tcを領域I2に表示させる。
<<<実施形態の変形例D>>>
続いて、実施形態の変形例Dについて上記実施形態と異なる点を説明する。図27は、変形例Dにおいて、通信端末7が画像の表示を制御する処理の一例を示すフロー図である。変形例Dでは、通信端末7は、図19、又は図22における処理に並行して以下のように処理する。
図19、又は図22におけるループ処理が開始してから、通信端末7の受付部72は、現在表示している画像の視点V1とは異なる視点(V2、又はV3)の選択を受け付ける。他の視点として、例えば、視点V2が選択されると(ステップSDのYES)、視点V2の撮影画像データを取得するためのスクリプトに従った処理は開始する。この処理で、通信端末7の送受信部71は、ステップS36に戻って、画像管理システム5へ、物件Aの視点V2の撮影画像データの要求を送信する(ステップS36)。撮影画像データの要求には、複数の視点V2の撮影画像データの各URLが含まれている。
以下、上記実施形態と同様の処理により、通信端末7は、物件Aの視点V2の複数の撮影画像データを取得し、所定領域(Tc−T0)を同期させてから、複数の撮影画像データに係る所定領域Tcを表示する。
<<<実施形態の変形例E>>>
続いて、実施形態の変形例Eについて実施形態の変形例Cと異なる点を説明する。実施形態の変形例Cにおいて通信端末7はスマートフォンである。
ステップS25で、画像管理システム5のページ生成部52は、PC等の通信端末で動作するブラウザ用の物件AのWEBページとは別に、スマートフォン等の通信端末で動作するブラウザ用の物件AのWEBページを生成する。この場合、ページ生成部52は、領域I2、及び物件Aの見取り図Pが領域I1に重畳して表示されるように物件AのWEBページを生成する。
ステップS32で画像管理システム5の送受信部51がスマートフォン等のブラウザから物件AのWEBページの取得要求を受信した場合、ステップS33で記憶・読出部59は、物件AのWEBページのうち、スマートフォン等のブラウザ用のWEBページを記憶部5000から読み出す。
画像管理システム5の送受信部51は、ステップS33で読み出されたスマートフォン等のブラウザ用の物件AのWEBページを通信端末7へ送信する(ステップS34)。以後の処理は、実施形態の変形例Cと同様である。
図28の(A)は、ステップS62C−1における、ブラウザの画面の一例を示す概念図である。図28の(B)は、ステップS62C−4における、ブラウザの画面の一例を示す概念図である。これらのステップで、通信端末7の表示制御部73は、スマートフォン等のブラウザ用の物件AのWEBページに従って、領域I2、及び物件Aの見取り図Pが領域I1に重畳して表示されるように制御する。
<<実施形態の補足>>
通信端末7が取得して表示する画像は、全天球パノラマ画像に限らず、任意のパノラマ画像であっても良い。上記の画像が、360°撮像された全天球パノラマ画像あるいは、180°撮像されたパノラマ画像である場合、画像を緯度又は経度により分割して座標を設定できるので、複数の画像において所定領域T0に対する所定領域Tcの相対位置の算出が容易になる。他のパノラマ画像を用いる場合には、通信端末7は、複数のパノラマ画像について、それぞれ撮影範囲の画角を取得することが好ましい。これにより、通信端末7は、複数の画像のそれぞれに対し、パノラマ画像を経度、及び緯度で表すときの座標(rH, rV)を設定し、所定領域T0に対する所定領域Tcの相対位置を算出することができる。
通信端末7の受付部72は、複数の全天球パノラマ画像における所定領域(Tc−T0)の同期の開始及び停止を受け付けても良い。受付部72によって、同期の開始が受け付けられると、通信端末7は、図19、及び図22のループ処理により、複数の全天球パノラマ画像における所定領域(Tc−T0)を同期させる。また、受付部72によって、同期の停止が受け付けられると、通信端末7は、図19、及び図22のステップS63において、複数の全天球パノラマ画像の所定領域Tcの両方を変更する代わりに、複数の全天球パノラマ画像のうち一の全天球パノラマ画像の所定領域Tcを変更させ、新たな撮影画像データが受信されても、ステップS67で所定領域(Tc−T0)を同期する処理を実行しない。
上記実施形態では、通信端末7は、2つの全天球パノラマ画像における所定領域(Tc−T0)を同期させる処理について説明したが、3つ以上の全天球パノラマ画像における所定領域(Tc−T0)を上記実施形態による処理と同様に同期させても良い。この場合、通信端末7の表示制御部73は、3つ以上の全天球パノラマ画像のうち1以上の任意の数の全天球パノラマ画像における所定領域Tcを表示させても良い。
<<本実施形態の主な効果>>
上記実施形態の画像表示方法において、通信端末7(画像表示システムの一例)の画像管理部74(同期手段の一例)は、第1の撮影画像データ(第1のパノラマ画像の一例)に係る基準となる所定領域T0(予め定められた領域の一例)に対する現在の所定領域Tc(第1の領域の一例)の相対位置、及び第2の撮影画像データ(第2のパノラマ画像の一例)において基準となる所定領域T0(予め定められた領域の一例)に対する現在の所定領域Tc(第2の領域の一例)の相対位置を同期させる(同期処理の一例)。通信端末7の表示制御部73(表示制御手段の一例)は、第1の撮影画像データに係る現在の所定領域Tc、及び第2の撮影画像データに係る現在の所定領域Tcの少なくとも一方を表示させる(表示制御処理の一例)。通信端末7の画像管理部74は、第1の撮影画像データに係る現在の所定領域Tc、又は第2の撮影画像データに係る現在の所定領域Tcの変更に応じて、他方の所定領域Tcを変更する。通信端末7によると、同じ位置で撮影された複数のパノラマ画像において表示する領域を変更しても、同じ対象が表示されるという効果を奏する。
通信端末7の表示制御部73によって、第1の撮影画像データが表示されてから、第2の撮影画像データが表示されるまで、画像管理部74(停止手段の一例)は、ステップSA3の処理により、第1の撮影画像データに係る所定領域Tcの変更を停止させる。これにより、通信端末7は、複数の撮影画像データの表示が開始するときに、所定領域Tcを同期させることができる。
第1の撮影画像データ、及び第2の撮影画像データは動画であり、通信端末7の画像管理部74は、第1の撮影画像データに係る再生時間、及び第2の撮影画像データに係る再生時間を同期させる。第1の撮影画像データ、及び第2の撮影画像データが、例えば、同じ動線を同じ速度で移動しながら撮影した動画である場合、通信端末7は、動線上の任意の視点における複数の撮影画像データに係る所定領域Tcを同期させて表示させることができる。
通信端末7は、第1の撮影画像データに係る所定領域Tc、又は第2の撮影画像データに係る所定領域Tcの移動、回転、拡大、又は縮小に応じて、他方の所定領域Tcを移動、回転、拡大、又は縮小する。これにより、通信端末7において、複数の撮影画像データの所定領域Tcの移動、回転、拡大、又は縮小時に、複数の撮影画像データの所定領域Tcを同期させることができる。
通信端末7の表示制御部73は、第1の撮影画像データに係る所定領域Tcの表示、及び第2の撮影画像データに係る所定領域Tcの表示を切り換える。これにより、通信端末7は、ディスプレイ508の画面が小さい場合でも、複数の撮影画像データを切り換えて表示させることができる。
通信端末7の表示制御部73は、第1の撮影画像データに係る所定領域Tcの表示位置、及び第2の撮影画像データに係る所定領域Tcの表示位置を切り換える。このとき、例えば、一の表示位置のサイズを大きくすることで、通信端末7は、複数の撮影画像データのうち一の撮影画像データの表示を強調することができる。
通信端末7の受付部72(受付手段の一例)は、同期の開始を受け付ける。通信端末7の画像管理部74は、受付部72による同期の開始の受けに応じて、第1の撮影画像データに係る所定領域(Tc−T0)、及び第2の撮影画像データに係る所定領域(Tc−T0)を同期させ、第1の撮影画像データに係る所定領域Tc、又は第2の撮影画像データに係る所定領域Tcの変更に応じて、他方の領域を変更する。これにより、通信端末7は、複数の撮影画像データに係る所定領域Tcを独立して変更するか、同期させるか切り換えることができる。
画像通信システムの画像管理システム5は、通信端末7へ、第1の撮影画像データ、及び第2の撮影画像データを取得するためのスクリプトを通信端末7へ送信する。これにより、通信端末7は、画像管理システム5から複数の撮影画像データを取得することができる。
1 撮影装置
3 通信端末
5 画像管理システム
7 通信端末
9 通信ネットワーク
51 送受信部
59 記憶・読出部
71 送受信部
72 受付部
73 表示制御部
74 画像管理部
79 記憶・読出部
508 ディスプレイ
5000 記憶部
5004 画像管理DB
5000 記憶部
7001 表示画像管理DB
特開2014−6880号公報

Claims (9)

  1. 第1のパノラマ画像において予め定められた領域に対する第1の領域の相対位置、及び第2のパノラマ画像において予め定められた領域に対する第2の領域の相対位置を同期させる同期手段と、
    前記第1のパノラマ画像における前記第1の領域、及び前記第2のパノラマ画像における前記第2の領域の少なくとも一方を表示させる表示制御手段と、を有し、
    前記第1のパノラマ画像、及び前記第2のパノラマ画像は動画であり、
    前記同期手段は、前記第1の領域、又は前記第2の領域の変更に応じて、他方の領域を変更し、前記第1のパノラマ画像の再生時間、及び前記第2のパノラマ画像の再生時間を同期させ
    画像表示システム。
  2. 前記表示制御手段によって、前記第1のパノラマ画像が表示されてから、前記第2のパノラマ画像が表示されるまで、前記第1の領域の変更を停止させる停止手段
    を有する請求項1に記載の画像表示システム。
  3. 前記同期手段は、前記第1の領域、又は前記第2の領域の移動、回転、拡大、又は縮小に応じて、他方の領域を移動、回転、拡大、又は縮小する
    請求項1又は2に記載の画像表示システム。
  4. 前記表示制御手段は、前記第1のパノラマ画像における前記第1の領域の表示、及び前記第2のパノラマ画像における前記第2の領域の表示を切り換える
    請求項1乃至のいずれか一項に記載の画像表示システム。
  5. 前記表示制御手段は、前記第1のパノラマ画像における前記第1の領域の表示位置、及び前記第2のパノラマ画像における前記第2の領域の表示位置を切り換える
    請求項1乃至のいずれか一項に記載の画像表示システム。
  6. 同期の開始を受け付ける受付手段を有し、
    前記同期手段は、前記受付手段による前記同期の開始の受けに応じて、前記第1の領域の相対位置、及び前記第2の領域の相対位置を同期させ、前記第1の領域、又は前記第2の領域の変更に応じて、他方の領域を変更する
    請求項1乃至のいずれか一項に記載の画像表示システム。
  7. 請求項1乃至のいずれか一項に記載の画像表示システムと、
    前記第1のパノラマ画像、及び前記第2のパノラマ画像を取得するためのスクリプトを前記画像表示システムへ送信する画像管理システムと、
    を有する通信システム。
  8. 画像表示システムに、
    第1のパノラマ画像において予め定められた領域に対する第1の領域の相対位置、及び第2のパノラマ画像において予め定められた領域に対する第2の領域の相対位置を同期させる同期処理と、
    前記第1のパノラマ画像における前記第1の領域、及び前記第2のパノラマ画像における前記第2の領域の少なくとも一方を表示させる表示制御処理と、を実行させ、
    前記第1のパノラマ画像、及び前記第2のパノラマ画像は動画であり、
    前記同期処理で、前記第1の領域、又は前記第2の領域の変更に応じて、他方の領域を変更し、前記第1のパノラマ画像の再生時間、及び前記第2のパノラマ画像の再生時間を同期させ
    画像表示方法。
  9. 画像表示システムに、
    第1のパノラマ画像において予め定められた領域に対する第1の領域の相対位置、及び第2のパノラマ画像において予め定められた領域に対する第2の領域の相対位置を同期させる同期処理と、
    前記第1のパノラマ画像における前記第1の領域、及び前記第2のパノラマ画像における前記第2の領域の少なくとも一方を表示させる表示制御処理と、を実行させ、
    前記第1のパノラマ画像、及び前記第2のパノラマ画像は動画であり、
    前記同期処理で、前記第1の領域、又は前記第2の領域の変更に応じて、他方の領域を変更し、前記第1のパノラマ画像の再生時間、及び前記第2のパノラマ画像の再生時間を同期させ
    プログラム。
JP2016222968A 2016-11-16 2016-11-16 画像表示システム、通信システム、画像表示方法、及びプログラム Active JP6816465B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016222968A JP6816465B2 (ja) 2016-11-16 2016-11-16 画像表示システム、通信システム、画像表示方法、及びプログラム
US15/727,101 US10609259B2 (en) 2016-11-16 2017-10-06 Image displaying system, communication system, and method for image displaying
US16/788,517 US11064095B2 (en) 2016-11-16 2020-02-12 Image displaying system, communication system, and method for image displaying

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222968A JP6816465B2 (ja) 2016-11-16 2016-11-16 画像表示システム、通信システム、画像表示方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018082298A JP2018082298A (ja) 2018-05-24
JP6816465B2 true JP6816465B2 (ja) 2021-01-20

Family

ID=62108784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222968A Active JP6816465B2 (ja) 2016-11-16 2016-11-16 画像表示システム、通信システム、画像表示方法、及びプログラム

Country Status (2)

Country Link
US (2) US10609259B2 (ja)
JP (1) JP6816465B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6816465B2 (ja) * 2016-11-16 2021-01-20 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム
US10701263B2 (en) 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
EP3461124B1 (en) 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
US20210158493A1 (en) * 2019-11-21 2021-05-27 GM Global Technology Operations LLC Generation of composite images using intermediate image surfaces
JP7467262B2 (ja) * 2020-07-01 2024-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像情報生成装置、方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4879603A (en) * 1988-08-15 1989-11-07 Kaiser Aerospace & Electronics Corp. Multiple image, single display system and method
US5111409A (en) * 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation
JPH0962861A (ja) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置
US6173317B1 (en) * 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
JPH11136584A (ja) * 1997-10-30 1999-05-21 Toshiba Tec Corp パノラマ撮像システム
US6801205B2 (en) * 2000-12-06 2004-10-05 Evans & Sutherland Computer Corporation Method for reducing transport delay in a synchronous image generator
US7176848B1 (en) * 2003-04-14 2007-02-13 Ati Technologies, Inc. Method of synchronizing images on multiple display devices with different refresh rates
JP4622814B2 (ja) * 2005-11-07 2011-02-02 株式会社島津製作所 X線検査装置
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
US8446462B2 (en) * 2009-10-15 2013-05-21 At&T Intellectual Property I, L.P. Method and system for time-multiplexed shared display
JP5407762B2 (ja) * 2009-10-30 2014-02-05 ヤマハ株式会社 画像プロセッサの制御方法およびプログラム
EP2510458A1 (en) * 2009-12-07 2012-10-17 SK Telecom Americas, Inc. System and method for synchronizing static images with dynamic multimedia contents
JPWO2011086653A1 (ja) * 2010-01-14 2013-05-16 パナソニック株式会社 映像出力装置、映像表示システム
DE112011102392B4 (de) * 2010-07-21 2019-01-10 Sony Corporation Synchronisation von Shutter-Signalen für mehrere 3D-Wiedergabegeräte/Vorrichtungen
US8704732B2 (en) * 2010-09-29 2014-04-22 Qualcomm Incorporated Image synchronization for multiple displays
JP2013200775A (ja) * 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP2017040687A (ja) 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP6816465B2 (ja) * 2016-11-16 2021-01-20 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム

Also Published As

Publication number Publication date
US11064095B2 (en) 2021-07-13
US10609259B2 (en) 2020-03-31
US20180139361A1 (en) 2018-05-17
JP2018082298A (ja) 2018-05-24
US20200186681A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP2022031324A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6186775B2 (ja) 通信端末、表示方法、及びプログラム
JP6075066B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP5920057B2 (ja) 送信装置、画像共有システム、送信方法、及びプログラム
JP6816465B2 (ja) 画像表示システム、通信システム、画像表示方法、及びプログラム
JP7420126B2 (ja) システム、管理システム、画像管理方法、及びプログラム
JP2018110375A (ja) 表示装置、プログラム、表示方法
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
JP2022130180A (ja) 画像処理方法、プログラム、画像処理装置および画像処理システム
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP6011117B2 (ja) 受信装置、画像共有システム、受信方法、及びプログラム
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP6304300B2 (ja) 送信装置、通信方法、プログラムおよび受信装置
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2022186117A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
JP2018026642A (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
JP7020523B2 (ja) 画像表示システム、画像表示方法、及びプログラム
JP6586819B2 (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP5942637B2 (ja) 付加情報管理システム、画像共有システム、付加情報管理方法、及びプログラム
JP6508288B2 (ja) システム、画像共有システム、通信方法、及びプログラム
JP2017201743A (ja) 画像管理システム、画像管理装置、プログラム及び情報端末
CN112887663A (zh) 图像显示方法、图像通信系统、摄影装置、以及存储介质
JP2021097326A (ja) 通信端末、撮影システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151