JP5298214B2 - Virtual moving display device - Google Patents
Virtual moving display device Download PDFInfo
- Publication number
- JP5298214B2 JP5298214B2 JP2012073628A JP2012073628A JP5298214B2 JP 5298214 B2 JP5298214 B2 JP 5298214B2 JP 2012073628 A JP2012073628 A JP 2012073628A JP 2012073628 A JP2012073628 A JP 2012073628A JP 5298214 B2 JP5298214 B2 JP 5298214B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting
- unit
- images
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影された撮影位置情報付きの画像から撮影者の行動を地図画像上に再現する仮想移動表示装置に関する。 The present invention relates to a virtual moving display device that reproduces a photographer's action on a map image from a photographed image with photographing position information.
近年、グーグル(登録商標)マップのように、3次元(3D)画像によって地図表示を行うサービスが各種提案されている。また、現実画像にCG画像を重畳して表示できるシステムも各種提案されている。例えば、特許文献1においては、カメラによって撮影された画像の撮影位置を3D地図空間上で特定している。そして、この3D地図と撮影時のカメラ位置、カメラ角度等から、撮影画像上に見えているはずの構造物の名称を特定し、該構造物の名称に係る画像をカメラによって撮影された画像に重畳するようにしている。
個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、その撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りにくいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行うことは困難であると考えられる。 In personal camera photography, there are cases where a user takes a picture taken by himself / herself in an album or the like and relives the time of photography. Here, in general, it is considered that the memory about the photograph taken by the user himself is likely to remain, and the memory regarding the photograph which has not been photographed is difficult to remain. Therefore, it is considered difficult to have a re-experience about scenery that was not taken at that time.
本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a virtual moving display device that can relive the situation at the time of photographing including scenery that was not photographed at the time of photographing. .
上記の目的を達成するために、本発明の第1の態様の仮想移動表示装置は、撮影位置情報が付加された画像を複数記録する画像記録部と、前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想風景画像として表示する仮想風景作成部とを具備し、前記仮想風景作成部は、前記移動経路の間の撮影日時の変化によって特定される移動手段に応じた枠又はアバターを前記仮想風景画像に合成して表示することを特徴とする。 In order to achieve the above object, a virtual moving display device according to a first aspect of the present invention includes an image recording unit that records a plurality of images to which shooting position information is added, and shooting from among the recorded images. A selection unit for selecting a previous image and a subsequent image having different positions, map data, and the selected image from the shooting position related to the previous image based on the shooting position information added to the previous image and the subsequent image. A virtual landscape creation unit that identifies a travel route to the shooting position according to the image and displays an image that is visible when facing the traveling direction in the identified travel route as a virtual landscape image , A frame or avatar corresponding to a moving means specified by a change in shooting date and time during the moving route is combined with the virtual landscape image and displayed.
本発明によれば、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験
することができる仮想移動表示装置を提供することができる。
ADVANTAGE OF THE INVENTION According to this invention, the virtual moving display apparatus which can relive the situation at the time of imaging | photography including the scenery etc. which were not image | photographed at the time of imaging | photography can be provided.
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システムの構成を示す図である。図1に示す仮想移動表示システムは、カメラ100と、サーバ200とが通信回線300を介して通信自在に接続されて構成されている。ここで、通信回線300はインターネット回線等の汎用の通信回線である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a virtual movement display system including a virtual movement display apparatus according to an embodiment of the present invention. The virtual mobile display system shown in FIG. 1 is configured such that a
カメラ100は、制御部101と、操作入力部102と、撮像部103と、位置検出部104と、時計部105と、記録部106と、表示部107と、通信部108とを有している。
The
制御部101は、カメラ100の全体の動作を制御する。この制御部101は、ユーザによる操作入力部102の操作状態に従って各種の処理を制御する。操作入力部102は、カメラ100の電源をオンオフするための電源スイッチ、カメラ100の撮影実行の指示を与えるためのレリーズボタン、画像の通常再生指示を与えるための再生ボタン、画像の思い出再生(詳細は後述)指示を与えるための思い出再生ボタン、カメラ100における各種選択操作を行うための十字キー等、ユーザがカメラ100の操作を行うための各種の操作部材を含んで構成されている。
The
撮像部103は、制御部101の制御の下で被写体を撮影して画像を取得する。位置検出部104は、例えばGPS等で構成され、撮影時のカメラ100の位置(緯度・経度)を検出する。時計部105は、撮影日時を検出する。
The
ここで、位置検出部104や時計部105は必ずしもカメラ100に内蔵する必要はない。例えば、GPS内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させることで、これらによって検出される位置情報や時間情報をカメラ100において取得するようにしても良い。
Here, the
記録部106は、例えばカメラ100に対して着脱自在に構成されたメモリカードであり、撮像部103を介して取得された画像を、位置検出部104で検出された撮影位置及び時計部105で検出された撮影日時と関連付けて記録する。表示部107は、制御部101の下で記録部106に記録された画像等の各種画像を表示する。
The
通信部108は、制御部101の制御の下、サーバ200との通信に係る各種処理を行う。
The
サーバ200は、制御部201と、操作入力部202と、画像記録部203と、年代別地図データベース(DB)204と、ルート探索部205と、仮想風景作成部206と、通信部207とを有している。サーバ200は、様々な地方の地図画像を記録できるように巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるようにインターネットに接続されていることが望ましいが、カメラ100にサーバ200の機能を持たせるようにしても良い。
The
制御部201は、サーバ200における各種処理を制御する。この制御部201は、操作入力部202が操作された場合には、その操作内容に従った処理も行う。操作入力部202は、サーバ200の操作を行うための各種の操作部材を含んで構成されている。
The
画像記録部203は、カメラ100から通信回線300を介して送信された画像を記録する。画像記録部203は、カメラ100の記録部106に比して大容量の記録容量を有するハードディスク等から構成されている。ここで、本実施形態における画像記録部203は、位置年代記録部203aとしての記録領域を有している。位置年代記録部203aは、画像記録部203に記録されている各画像の撮影位置と撮影日時(撮影年代)とを関連付けて記録しておくための記録領域である。
The
年代別地図DB204は、撮影年代毎の2D及び3D地図画像を記録したデータベースである。ここで、年代別地図DB204は、画像記録部203とは別の記録媒体内に構築しても良いし、画像記録部203内に構築しても良い。
The age-specific map DB 204 is a database that records 2D and 3D map images for each shooting age. Here, the age-
ルート探索部205は、ユーザによって選択される2枚(またはそれ以上)の画像から、それら2枚の画像の撮影の間にユーザが移動したと考えられる移動経路を特定する。仮想風景作成部206は、ルート探索部205によって特定された移動経路に従った地図画像(2D地図画像若しくは3D地図画像)を作成し、さらに、作成した地図画像に、ユーザの分身としてのキャラクタ画像であるアバターを合成する。
The
通信部207は、制御部201の制御の下、カメラ100との通信に係る各種処理を行う。
The
以下、図1に示す仮想移動表示システムの動作の概略について説明する。図2は、仮想移動表示システムの動作の概略について示す図である。 The outline of the operation of the virtual moving display system shown in FIG. 1 will be described below. FIG. 2 is a diagram showing an outline of the operation of the virtual movement display system.
本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状態で画像が記録部106に記録される。
In this embodiment, when shooting is performed, an image is recorded in the
そして、ユーザの操作入力部102の操作により、カメラ100の動作モードが思い出画像再生モードに設定され、その後に、カメラ100の記録部106に記録されている画像の中の少なくとも2枚の画像が選択されると、選択された画像がサーバ200に送信される。図2の例では、11時30分に緯度A、経度Bの位置で撮影された画像401と、12時20分に緯度C、経度Dの位置で撮影された画像402とが選択された例を示している。
Then, the operation mode of the
2枚の画像401、402が受信されると、年代別地図DB204から画像401の撮影位置と画像402の撮影位置とを含む2D地図画像403が取得される。なお、画像401の撮影位置と画像402の撮影位置との距離が遠い場合には、両画像が含まれるように地図画像の縮尺が拡大される。その後、ルート探索部205において、ユーザがどのように画像401の撮影位置と画像402の撮影位置との間を移動したのかが、移動時間(撮影日時の差)と移動距離(撮影位置の差)とから特定される。
When the two
移動経路の特定がなされると、仮想風景作成部206において、特定された移動経路内における複数の風景画像(仮想風景画像)404〜406が3D地図画像をもとに作成される。さらに、作成された仮想風景画像404〜406に必要に応じてアバター407が合成される。
When the movement route is identified, the virtual
以上のようにして仮想風景画像を作成することにより、実際には画像401の撮影位置と画像402の撮影位置の2点でしか撮影を行っていなくとも、その2点の撮影位置の間の位置の画像を鑑賞することが可能である。例えば、図2に示すような一連の画像を見ることにより、画像404(画像401)の位置で建物を撮影してから、画像406(画像402)の位置で山を撮影するまでの状況を再現できる。このような一連の画像を見て、ユーザは、撮影当時はあんな風景だった、坂道を歩いた、階段だった、大きく迂回した等の撮影当時の様々な出来事を想起することが可能となる。
By creating a virtual landscape image as described above, a position between the two shooting positions is actually taken even if shooting is performed only at two shooting points of the shooting position of the
ここで、画像404〜画像406の代わりに2D地図画像403を表示させるようにしても良い。また、2D地図画像403と画像404〜画像406とを並列して表示できるようにしても良い。
Here, instead of the
以下、図1の仮想移動表示システムの具体的な動作について説明する。
図3は、図1に示す仮想移動表示システムにおけるカメラ100の動作を示すフローチャートである。ユーザによる操作入力部102の電源スイッチの操作によってカメラ100の電源がオンされることで図3の処理が開始される。
Hereinafter, a specific operation of the virtual moving display system of FIG. 1 will be described.
FIG. 3 is a flowchart showing the operation of the
電源のオン後、制御部101は、撮像部103を動作させ、撮像部103を介して得られる画像を表示部107に逐次表示させるスルー画表示を行う(ステップS1)。スルー画表示の後、制御部101は、ユーザによる操作入力部102のレリーズボタンの操作によって画像撮影指示がなされたかを判定する(ステップS2)。
After the power is turned on, the
ステップS2の判定において、画像撮影指示がなされた場合に、制御部101は、被写体の撮影を実行する(ステップS3)。即ち、制御部101は、撮像部103を動作させて被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。その後、制御部101は、撮影実行時に時計部105において検出された撮影日時情報を取得するとともに(ステップS4)、撮影実行時に位置検出部104において検出された撮影位置情報を取得する(ステップS5)。次に、制御部101は、撮影によって得られた画像と撮影日時情報及び撮影位置情報とを関連付けて記録部106に記録する(ステップS6)。
If it is determined in step S2 that an image shooting instruction has been issued, the
また、ステップS2の判定において、画像撮影指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の再生ボタンの操作によって通常の画像再生指示がなされたかを判定する(ステップS7)。ステップS7の判定において、通常の画像再生指示がなされた場合に、制御部101は、通常の画像の再生に関する処理を行う(ステップS8)。即ち、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させ、ユーザによって選択されたサムネイル画像に対応した画像を表示部107に表示させる。なお、サーバ200の画像記録部203に記録されている画像をカメラ100で再生できるようにしても良い。この場合には、カメラ100からサーバ200に対して画像の再生要求がなされる。これを受けてサーバ200に記録されている画像のサムネイル画像が表示部107に表示される。何れかのサムネイル画像がユーザによって選択された場合、そのサムネイル画像に対応した画像がサーバ200からカメラ100に送信され、この送信された画像が表示部107に表示される。
Further, in the determination in step S2, if no image shooting instruction has been issued, the
また、ステップS7の判定において、通常の画像再生指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の思い出再生ボタンの操作によって思い出再生指示がなされたかを判定する(ステップS9)。ステップS9の判定において、思い出再生指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の操作により画像送信指示がなされたかを判定する(ステップS10)。ステップS10の判定において、画像送信指示がなされていない場合に、処理がステップS1に戻り、制御部101は、スルー画表示を再び行う。一方、ステップS10の判定において、画像送信指示がなされた場合に、制御部101は画像送信に関する処理を行う(ステップS11)。即ち、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ200に送信する。
Further, in the determination in step S7, when a normal image reproduction instruction has not been given, the
また、ステップS9の判定において、思い出再生指示がなされた場合に、制御部101は思い出再生に係る処理を実行する。まず、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させる(ステップS12)。次に、制御部101は、ユーザによる操作入力部102の操作によってサムネイル画像中の少なくとも2画像が選択されるのを待つ(ステップS13)。ここで選択する画像の枚数は、ユーザが適宜設定できるものである。また、ここで選択される画像は、それぞれ、撮影日時が近く(撮影年代が同じ)、且つ撮影位置が異なる画像である。
In the determination of step S9, when a memory playback instruction is given, the
以後の説明においては、2画像が選択されたものとして説明を続ける。ステップS13において2画像の選択がなされた後、制御部101は、思い出再生モードにおける画像選択以外の設定の入力を待つ(ステップS14)。この設定は、後述する思い出再生モードにおいて表示部107に表示される地図画像を表示させる際の視点方向の設定(地図画像を2D表示とするか3D表示とするか)、或いは地図画像にアバターを合成するか等の設定である。
In the following description, the description will be continued assuming that two images are selected. After two images are selected in step S13, the
その後、制御部101は、ユーザによる操作入力部102の操作によって決定指示がなされたかを判定する(ステップS15)。ステップS15の判定において、決定指示がなされていない場合には、処理がステップS13に戻って、制御部101は2画像の選択及びその他の設定入力の変更を待つ。一方、ステップS15の判定において、決定指示がなされた場合に、制御部101は、ユーザによって選択された2画像をサーバ200に送信し、サーバ200に対して思い出再生要求を送信する。この際、ステップS14で設定された各種の設定情報もサーバ200に送信する(ステップS16)。この後、後述するサーバ200の処理において、思い出再生用の画像ファイルが生成される。
Thereafter, the
その後、制御部101は、サーバ200において生成された思い出再生用の画像ファイルを受信したかを判定する(ステップS17)。ステップS17において、サーバ200から画像ファイルを受信するまで待機する。ステップS17の判定において、サーバ200から画像ファイルが受信された場合に、制御部101は、ユーザにその旨を通知する。ユーザによって思い出画像ファイルの再生指示がなされたかを判定する(ステップS18)。ステップS18の判定において、思い出画像ファイルの再生指示がなされた場合に、制御部101は、サーバ200から送信された画像ファイル内の各画像を、ユーザの操作入力部102の操作に従って表示部107に表示させる(ステップS19)。ここでの表示はスライドショーのような形態で画像ファイル内の各画像を再生するようにしても良い。また、所定の再生スピードに従って各画像を自動的に再生するようにしても良い。
Thereafter, the
また、ステップS18の判定において、思い出画像ファイルの再生指示がなされなかった場合に、制御部101は、ステップS19の処理をスキップする。
Also, in the determination in step S18, if no instruction to reproduce the memory image file is given, the
ステップS18又はステップS19の後、制御部101ユーザの操作入力部102の操作により画像ファイルの記録指示がなされたかを判定する(ステップS20)。ステップS20の判定において、画像ファイルの記録指示がなされた場合に、制御部101は画像ファイルを記録部106に記録する(ステップS21)。また、ステップS20の判定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部101は、ステップS21の処理をスキップする。
After step S18 or step S19, it is determined whether an instruction to record an image file is given by the operation of the operation input unit 102 of the
図4は、図1に示す仮想移動表示システムにおけるサーバ200の動作を示すフローチャートである。制御部201は、思い出再生要求がなされていない状態でカメラ100からの画像を受信したかを判定する(ステップS31)。ステップS31の判定において、画像を受信した場合に、制御部201は、受信した画像を画像記録部203に記録する(ステップS32)。その後、制御部201は、カメラ100からの画像の受信が終了したかを判定する(ステップS33)。ステップS33の判定において、画像の受信が終了していない場合に、処理がステップS31に戻り、制御部201は、カメラ100からの次の画像の受信を待つ。
FIG. 4 is a flowchart showing the operation of the
また、ステップS31の判定において、画像の受信がない場合に、制御部201は、カメラ100から2枚の画像とともに思い出再生要求がなされたかを判定する(ステップS34)。ステップS34の判定において、思い出再生要求がなされていない場合に、制御部201は、カメラ100から通常の画像の再生要求がなされたかを判定する(ステップS35)。ステップS35の判定において、通常の画像の再生要求がなされた場合に、制御部201はユーザによって選択された画像をカメラ100に転送する。これにより、カメラ100の表示部107において画像再生が行われる(ステップS36)。
If no image is received in the determination in step S31, the
また、ステップS34の判定において、思い出再生要求がなされた場合に、制御部201はカメラ100から送られてきた2画像を取得する(ステップS37)。次に、制御部201は、2画像の撮影日時と撮影位置をルート探索部205に送る。ルート探索部205は、2画像の撮影日時の差と2画像の撮影位置の差とから、2画像の撮影位置間の移動の際の移動速度Vを算出する(ステップS38)。また、制御部201は、取得した2画像にそれぞれ付加されている撮影日時と撮影位置の情報に基づき、年代別地図DB204から2画像の撮影日時と同年代で且つ2画像の撮影位置を含む2D地図画像を選択し(ステップS39)、選択した2D地図画像をルート探索部205に送る。ここで、2画像の撮影位置間の距離が遠く、1枚の地図画像内に収まらない場合には地図の縮尺を拡大する。逆に2画像の撮影位置間の距離が近い場合には地図の縮尺を縮小しても良い。
In the determination in step S34, when a memory playback request is made, the
その後、ルート探索部205は、移動速度Vと2D地図画像とから2画像の撮影位置間の移動ルート及び撮影時におけるユーザの進行方向を特定する(ステップS40)。
Thereafter, the
ここで、ステップS40の移動速度Vによる移動ルートの特定処理について説明する。ステップS39においては、移動速度Vを算出する際に、2画像の撮影日時差及び2画像の撮影位置差を用いている。ここで、2画像の撮影位置差は、図5に示すような、2画像の撮影位置a−b間の直線距離を示すものである。実際には、ユーザの移動ルートは必ずしも直線であるとは限らず、図5のルートR1、R2のように曲線を含む場合も考えられる。また、ユーザの移動手段によっては同じ距離(同じルート)の移動であっても移動時間は異なるものとなる。例えば、撮影位置a−b間を徒歩で移動するのと自動車で移動するのとでは、自動車で移動するほうが、移動時間が短くなる。 Here, the movement route specifying process based on the movement speed V in step S40 will be described. In step S39, when the moving speed V is calculated, the difference in shooting date / time of the two images and the difference in shooting position of the two images are used. Here, the difference between the shooting positions of the two images indicates a linear distance between the shooting positions ab of the two images as shown in FIG. Actually, the moving route of the user is not necessarily a straight line, and it may be possible to include a curve like the routes R1 and R2 in FIG. Further, depending on the moving means of the user, even if the movement is the same distance (same route), the movement time is different. For example, when moving between the shooting positions a and b on foot and moving by automobile, the movement time is shorter when moving by automobile.
本実施形態では、ステップS38で算出した移動速度VとステップS39で選択された2D地図画像とから、撮影時の移動ルート及び移動手段を特定する。また、進行方向は、特定された移動ルートに対し、撮影日時が先の撮影位置から撮影日時が後の撮影位置に向かう方向となる。 In the present embodiment, the moving route and moving means at the time of shooting are specified from the moving speed V calculated in step S38 and the 2D map image selected in step S39. Further, the traveling direction is a direction in which the shooting date and time is directed from the previous shooting position to the subsequent shooting position with respect to the specified moving route.
図6は、移動ルート探索処理について示すフローチャートである。ルート探索部205は、制御部201によって選択された2D地図画像において、2画像の撮影位置を結ぶルート(道路等)を移動ルートの候補とする(ステップS61)。次に、ルート探索部205は、ルート候補の中の何れかを選択し、選択したルートの距離Lを算出する(ステップS62)。初回は、例えば最短距離のルートの距離Lを算出する。
FIG. 6 is a flowchart showing the movement route search process. In the 2D map image selected by the
次に、ルート探索部205は、移動速度Vと撮影日時差Δtとの積が距離Lと等しいかを判定する(ステップS63)。
Next, the
例えば、図5の例のように2D地図画像上に距離の異なる2ルートがある場合、撮影時にユーザがルートR1を移動していた場合には、移動速度Vと撮影日時差Δtとの積がL1となる。また、ユーザがルートR2を移動していた場合には、移動速度Vで撮影日時差Δtとの積がL2となる。このような考え方によって撮影時の移動ルートを特定することが可能である。 For example, when there are two routes with different distances on the 2D map image as in the example of FIG. 5, if the user is moving along the route R1 at the time of shooting, the product of the moving speed V and the shooting date difference Δt is L1. Further, when the user is moving along the route R2, the product of the moving speed V and the photographing date difference Δt is L2. It is possible to specify a moving route at the time of shooting based on such a concept.
ステップS63の判定において、移動速度Vと撮影日時差Δtとの積が距離Lと等しい場合には、現在選択されているルートが撮影時の移動ルートであると考えられる。この場合に、ルート探索部205は、移動速度Vが5km/h未満であるかを判定する(ステップS64)。ここで、5km/hは徒歩の移動速度を示す。ステップS64の判定において、移動速度Vが5km/h未満である場合に、ルート探索部205は、撮影時の移動手段が徒歩であったと判定する(ステップS65)。そして、思い出再生時に合成されるアバターを図2の参照符号407で示すような徒歩用のものとするとともに、思い出再生時の再生スピードを徒歩に即したものとする(ステップS66)。
If it is determined in step S63 that the product of the moving speed V and the photographing date / time difference Δt is equal to the distance L, the currently selected route is considered to be the moving route at the time of photographing. In this case, the
また、ステップS64の判定において、移動速度Vが5km/h以上である場合に、ルート探索部205は、移動速度Vが100km/h未満であるかを判定する(ステップS67)。ステップS67の判定において、移動速度Vが100km/h未満である場合に、ルート探索部205は、撮影時の移動手段が自動車であったと判定する(ステップS68)。そして、思い出再生時に合成されるアバターを図7の参照符号408で示すような
自動車用(例えば、自動車のフロントガラスのような枠を表示させる)のものとするとともに、思い出再生時の再生スピードを移動速度Vに即したものとする。
Moreover, in the determination of step S64, when the moving speed V is 5 km / h or more, the
ここで、本実施形態では移動手段を徒歩と自動車に限定しているがそれに限るものではない。例えば、移動ルートが海上である場合には、船等をアバターとするようにしても良い。 Here, in this embodiment, the moving means is limited to walking and automobiles, but is not limited thereto. For example, when the moving route is at sea, a ship or the like may be used as an avatar.
ステップS63の判定において移動速度Vと撮影日時差Δtとの積がLに等しくない場合又はステップS67の判定において移動速度Vが100km/h以上である場合に、ルート探索部205は、次のルート候補があるかを判定する(ステップS69)。ステップS69の判定において、次のルート候補がない場合に、処理がステップS68に移行して、ルート探索部205は撮影時の移動手段が自動車であったと判定する。
When the product of the moving speed V and the photographing date difference Δt is not equal to L in the determination in step S63 or when the moving speed V is 100 km / h or more in the determination in step S67, the
また、ステップS69の判定において、次のルート候補がある場合に、ルート探索部205は次のルート候補を選択した後(ステップS70)、ステップS62に戻って次のルート候補に対する処理を行う。
If it is determined in step S69 that there is a next route candidate, the
以上のようなルート探索処理により、地図上に複数の移動ルートの候補がある場合でも正しく撮影時の移動ルートを探索でき、また撮影時の移動手段に応じたアバターを画像に合成することが可能である。 Through the route search process as described above, even when there are multiple candidate travel routes on the map, it is possible to correctly search the travel route at the time of shooting, and it is possible to combine the avatar according to the moving means at the time of shooting with the image It is.
以下、図4のフローチャートについてさらに説明する。移動ルート探索処理の終了後、制御部201は、移動ルート上の特定位置に対応した画像(複数でも良い)を3D地図画像から選択する(ステップS41)。即ち、探索された移動ルートを移動した場合に、各特定位置において見えるべき画像を仮想風景画像として3D地図画像から選択する。この際、選択した特定位置に対応する画像の仮想的な撮影日時(移動速度Vから推定)を推定して関連付けしておく。
Hereinafter, the flowchart of FIG. 4 will be further described. After the travel route search process is completed, the
ここで、特定位置に対応した画像を、衛星写真や航空写真等から合成して取得するようにしても良い。また、他のユーザがルート上の特定位置で撮影を行っていれば、その画像を利用するようにしても良い。 Here, an image corresponding to a specific position may be obtained by being synthesized from a satellite photograph or an aerial photograph. If another user is shooting at a specific position on the route, the image may be used.
その後、制御部201は、カメラ100から思い出再生時にアバターを合成するように要求されているかを判定する(ステップS42)。ステップS42の判定において、アバターの合成をするように要求されていない場合に、制御部201は、受信した2画像の間にルート上の特定位置に対応する画像を配置する(ステップS43)。特定位置に対応する画像が複数存在する場合には、その配置順は移動ルートの進行方向に従う。その後、制御部201は、ユーザから送信された2画像と、各特定位置に対応する画像とにより構成される画像群から1つの画像ファイルを生成する(ステップS44)。また、思い出画像を2D地図表示するように設定されている場合には、ステップS39で選択した2D地図画像も画像ファイルに含めるようにする。画像ファイルの生成後、制御部201は、生成した画像ファイルをカメラ100に送信する(ステップS45)。
Thereafter, the
また、ステップS42の判定において、アバターの合成をするように要求されている場合に、制御部201は、受信した2画像のうち、撮影日時が先の画像(以下、先画像と称する)を選択する(ステップS46)。次に、制御部201は、先画像に写っている地形から、先画像の撮影時の撮影方向(視点方向)を特定し(ステップS47)、この撮影方向の情報を仮想風景作成部206に送る。仮想風景作成部206は、思い出再生時において、先画像の撮影位置に対応して表示させるべき画像を仮想風景画像として3D地図画像から作成する(ステップS48)。この仮想風景画像は、先画像の撮影位置において、ユーザがステップS40で探索された移動ルートにおける進行方向を向いたときに見えるべき画像である。なお、先画像の撮影方向が進行方向と一致している場合には、作成される仮想風景画像は先画像と同一となる。
In the determination of step S42, when it is requested to synthesize an avatar, the
その後、仮想風景作成部206は、作成した仮想風景画像の前景部にアバターを合成する(ステップS49)。作成した仮想風景画像にアバターを合成することにより、よりリアリティのある画像の再生が可能である。次に、仮想風景作成部206は、ステップS40において特定された進行方向に沿った特定位置に対応した仮想風景画像を3D地図画像から作成する(ステップS50)。さらに、仮想風景作成部206は、作成した仮想風景画像にアバターを合成する(ステップS51)。その後、移動ルートに従って3D地図画像の進行方向を切り換えて次の位置を選択する(ステップS52)。
Thereafter, the virtual
3D地図画像の進行方向の切り換え後、仮想風景作成部206は、選択した位置が、受信された画像のうちで撮影日が後の画像(以下、後画像と称する)に対応した位置であるかを判定する(ステップS53)。ステップS53の判定において、選択した位置が後画像に対応した位置でない場合に、処理がステップS50に戻り、仮想風景作成部206は、選択した位置に対応した仮想風景画像を作成する。一方、ステップS53の判定において、選択した位置が後画像に対応した位置である場合に、仮想風景作成部206は、後画像の位置に対応した仮想風景画像を作成する(ステップS54)。その後、仮想風景作成部206は、作成した仮想風景画像にアバターを合成する(ステップS55)。その後、処理がステップS44に移行してアバターが合成された各仮想風景画像から1つの画像ファイルが生成され、生成された画像ファイルがカメラ100に送信される。この画像ファイルをカメラ100において再生することにより図2で示したような思い出再生を行うことが可能である。
After switching the traveling direction of the 3D map image, the virtual
以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなかった風景等の画像を3D地図画像から作成することにより、撮影と撮影の間の行動をも追体験することが可能である。 As described above, according to the present embodiment, it is possible to relive the action between photographing by creating an image of a landscape or the like that was not photographed by the user at the time of photographing from the 3D map image. Is possible.
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
例えば、上述の実施形態では、思い出再生用の画像ファイルの生成の際に、3D地図画像から生成される一連の画像を非圧縮で1つの画像ファイルとする例を示しているが、一連の画像を動画像圧縮に用いられるコマ間圧縮を用いて圧縮してから1つの画像ファイルとしても良い。このようにしたほうが、ファイルの容量を小さくできるため、通信時間を短くし、またファイルの記録に必要な容量も節約できる。 For example, in the above-described embodiment, an example in which a series of images generated from a 3D map image is uncompressed into one image file when generating an image file for replaying memories is shown. May be compressed using the inter-frame compression used for moving image compression, and then converted into one image file. In this way, the capacity of the file can be reduced, so that the communication time can be shortened and the capacity necessary for recording the file can be saved.
また、先画像と後画像については、必ずしもカメラ100からの通信によってサーバ200に入力する必要はなく、カメラ100以外の機器から入力できるようにしても良い。
Further, the front image and the rear image are not necessarily input to the
さらに、上述の実施形態では、カメラ100とサーバ200とで構成されるシステムについて説明しているが、カメラ100の代わりにPCや携帯電話機等を用いても良い。即ち、少なくとも画像の表示機能を備える機器であれば、カメラ100の代わりに用いることが可能である。
Furthermore, in the above-described embodiment, a system including the
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
100…カメラ、101…制御部、102…操作入力部、103…撮像部、104…位置検出部、105…時計部、106…記録部、107…表示部、108…通信部、200…サーバ、201…制御部、202…操作入力部、203…画像記録部、203a…位置年代記録部、204…年代別地図データベース(DB)、205…ルート探索部、206…仮想風景作成部、207…通信部、300…通信回線
DESCRIPTION OF
Claims (2)
前記記録された画像の中から、撮影位置の異なる先画像、後画像を選択するための選択部と、
地図データと、選択された前記先画像、後画像に付加されている撮影位置情報に基づき、先画像に係る撮影位置から後画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の進行方向を向いた時に見える画像を仮想風景画像として表示する仮想風景作成部と、
を具備し、
前記仮想風景作成部は、前記移動経路の間の撮影日時の変化によって特定される移動手段に応じた枠又はアバターを前記仮想風景画像に合成して表示することを特徴とする仮想移動表示装置。 An image recording unit for recording a plurality of images with shooting position information added thereto;
A selection unit for selecting a first image and a second image having different shooting positions from the recorded images;
Based on the map data and the selected shooting position information added to the previous image and the subsequent image, a moving path from the shooting position related to the previous image to the shooting position related to the subsequent image is specified, and the specified moving path A virtual landscape creation unit that displays an image that is visible when facing in the traveling direction as a virtual landscape image ;
Comprising
The virtual landscape creation unit is characterized in that a frame or avatar corresponding to a moving means specified by a change in shooting date and time during the travel route is combined with the virtual landscape image and displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012073628A JP5298214B2 (en) | 2012-03-28 | 2012-03-28 | Virtual moving display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012073628A JP5298214B2 (en) | 2012-03-28 | 2012-03-28 | Virtual moving display device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008025429A Division JP4965475B2 (en) | 2008-02-05 | 2008-02-05 | Virtual moving display device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013121690A Division JP5690376B2 (en) | 2013-06-10 | 2013-06-10 | Image file creation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012164328A JP2012164328A (en) | 2012-08-30 |
JP5298214B2 true JP5298214B2 (en) | 2013-09-25 |
Family
ID=46843603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012073628A Expired - Fee Related JP5298214B2 (en) | 2012-03-28 | 2012-03-28 | Virtual moving display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5298214B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3469410B2 (en) * | 1996-11-25 | 2003-11-25 | 三菱電機株式会社 | Wellness system |
JP2000075779A (en) * | 1998-08-31 | 2000-03-14 | Kumagai Gumi Co Ltd | Building view simulated experience device |
JP2001070473A (en) * | 1999-09-09 | 2001-03-21 | Sekisui House Ltd | Method for generating/displaying cg image |
JP3694663B2 (en) * | 2001-10-05 | 2005-09-14 | 国新産業株式会社 | Mobile simulation experience apparatus and method |
JP2004139575A (en) * | 2002-09-27 | 2004-05-13 | Fuji Photo Film Co Ltd | Device, method and program for preparing album |
JP2005277670A (en) * | 2004-03-24 | 2005-10-06 | Hiroo Iwata | Omniazimuth video image generating apparatus, map interlocked omniazimuth video recording / display apparatus, and map interlocked omniazimuth video image utilizing apparatus |
JP2007133489A (en) * | 2005-11-08 | 2007-05-31 | Sony Corp | Virtual space image display method and device, virtual space image display program and recording medium |
-
2012
- 2012-03-28 JP JP2012073628A patent/JP5298214B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012164328A (en) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4965475B2 (en) | Virtual moving display device | |
US10027931B2 (en) | Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program | |
JPH11122638A (en) | Image processor, image processing method, and computer-readable information recording medium recorded with image processing program | |
JP5393237B2 (en) | Image display apparatus, control method therefor, program, and storage medium | |
JP5596844B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2005020607A (en) | Composite image output device and composite image output processing program | |
JP2015069313A (en) | Electronic album device | |
JP2024133610A (en) | Image processing device and image processing method | |
WO2015033446A1 (en) | Running assistance system and head mount display device used in same | |
JP2009230635A (en) | Image data generating device, image data generating method and image data generating program | |
JP5298214B2 (en) | Virtual moving display device | |
JP5690376B2 (en) | Image file creation device | |
TWI453373B (en) | A method and preview system for previewing video files | |
JP5409852B2 (en) | Virtual landscape display device and virtual landscape display method | |
JP4363318B2 (en) | Navigation album system | |
JP5088051B2 (en) | Electronic camera and program | |
JP5058842B2 (en) | Virtual landscape display device | |
JP2020067716A (en) | Information processing apparatus, control method and program | |
JP2017084161A (en) | Image processing device, display device, and method for controlling the same | |
JP2002269590A (en) | Image producing device and method | |
WO2021181965A1 (en) | Image processing device, image processing method, and program | |
JP2023125032A (en) | video creation program | |
JP2004138474A (en) | Method of guidance using portable terminal and guidance program | |
JP2023145573A (en) | Image generation device, image generation method, image generation program, and recording medium | |
JP2024028904A (en) | Video playback device, video playback method, video playback program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130430 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5298214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |