Nothing Special   »   [go: up one dir, main page]

CN117372655A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN117372655A
CN117372655A CN202211658415.9A CN202211658415A CN117372655A CN 117372655 A CN117372655 A CN 117372655A CN 202211658415 A CN202211658415 A CN 202211658415A CN 117372655 A CN117372655 A CN 117372655A
Authority
CN
China
Prior art keywords
virtual space
dimensional
data
camera
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211658415.9A
Other languages
English (en)
Inventor
田畑端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jeep Games Co ltd
Original Assignee
Jeep Games Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jeep Games Co ltd filed Critical Jeep Games Co ltd
Publication of CN117372655A publication Critical patent/CN117372655A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本申请提供一种能够基于二维图像描绘虚拟空间图像的信息处理装置,具备:获取捕捉了拍摄对象物或者风景的二维图像数据的获取部、基于二维图像数据生成包含拍摄对象物或者风景的三维虚拟空间数据的数据生成部、基于三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像的描绘处理部。数据生成部三维虚拟空间数据生成为三维模型。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开涉及信息处理装置、信息处理方法以及程序。
背景技术
在专利文献1中公开了能够使与对象物对应的显示物出现在虚拟空间的图像生成系统。
现有技术文献
专利文献
专利文献1:日本特开2020-107252号公报
发明内容
然而,在专利文献1中,没有具体公开关于虚拟空间的生成方法,尤其是没有公开关于基于照片等的二维图像描绘虚拟空间图像的技术。
因此,在一个侧面中,本发明的目的在于,提供一种能够基于二维图像描绘虚拟空间图像的信息处理装置。
在一方式中,提供一种信息处理装置,具备:
获取部,获取捕捉了拍摄对象物或者风景的二维图像数据;
数据生成部,基于所述二维图像数据生成包含所述拍摄对象物或者风景的三维虚拟空间数据;以及
描绘处理部,基于所述三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像。
发明效果
在一个侧面中,根据本发明,能够基于二维图像描绘虚拟空间图像。
附图说明
图1是表示包含本实施例的信息处理装置的信息处理系统的构成的图。
图2是说明应用摄影测量法(photogrammetry)时的相机位置的图。
图2A是说明应用摄影测量法时的相机位置的图。
图3是例示在三维虚拟空间内描绘的人物等的画面的图。
图4是表示与人物ー的移动相配合切换虚拟相机的位置的样子的图。
图5是例示360度的全景照片的图。
图6是表示将服装零售店的店内作为虚拟空间描绘的例子的图。
图6A是表示将服装零售店的店内作为虚拟空间描绘的例子的图。
图6B是表示将服装零售店的店内作为虚拟空间描绘的例子的图。
图7是表示将街道作为虚拟空间描绘的例子的图。
图7A是表示将街道作为虚拟空间描绘的例子的图。
具体实施方式
以下,参照附图关于实施例进行详细地说明。
(信息处理装置的构成例)
图1是表示包含本实施例的信息处理装置的信息处理系统的构成的图。
本发明的信息处理系统将基于捕捉了拍摄对象物或者风景的照片等的二维图像数据描绘从虚拟相机看到的虚拟空间图像作为特征。通过将实际上存在的拍摄对象物或者风景作为虚拟空间图像描绘,能够以各种各样的方式利用虚拟空间图像。
如图1所示,信息处理装置10具备获取捕捉拍摄对象物或者风景的二维图像数据的获取部11、基于二维图像数据生成包含拍摄对象物或者风景的三维虚拟空间数据的数据生成部12、基于三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像的描绘处理部13、存储通过相机20拍摄的图像或由获取部11、数据生成部12以及描绘处理部13操作的处理中的图像数据等的图像数据存储部14。通过相机20拍摄的照片(二维图像)适时存储于图像数据存储部14。此外,由获取部11、数据生成部12以及描绘处理部13操作的处理中的图像数据等适时存储于图像数据存储部14,并且适时由获取部11、数据生成部12以及描绘处理部13利用。
信息处理装置10的硬件构成是任意的。例如,信息处理装置10能够由一个或者多个移动终端、一个或者多个计算机构成,也能够组合一个或者多个移动终端和一个或者多个计算机而构成。也可以由移动终端、或者能够与其他计算机连接的一个或者多个服务器(计算机)构成信息处理装置10的一部分。图像数据存储部14能够使用设置于移动终端的存储介质、设置于包含服务器的计算机的存储介质、存储卡及其他外置存储设备等构成。
获取部11、数据生成部12以及描绘处理部13的功能例如能够由实装于移动终端或计算机的应用软件(程序)实现。
捕捉拍摄对象物或者风景的二维图像数据能基于由相机20拍摄拍摄对象物或者风景从而得到的图像数据生成。获取部11获取通过由相机20的拍摄得到的图像数据,执行后述的各种的处理,从而生成应当向数据生成部12传递的二维图像数据。
通过相机20拍摄的拍摄对象物或者风景是任意的,例如包含公园或商店、旅游景点、主题公园等。通过从各种各样的角度拍摄三维虚拟空间内的拍摄对象物或者风景,能够提高三维虚拟空间的真实性。特别是,为了如后述那样通过摄影测量法或其他方法重现三维虚拟空间中的物体的三维形状,需要从不同的多个方向拍摄同一物体。
拍摄所使用的相机20的种类是任意的,能够使用移动终端所具备的相机、数码单镜头反光相机、全景相机(360度相机)等。为了正确稳定地固定相机20,希望使用三脚架或水平仪等。
获取部11基于通过相机20拍摄的影像(照片)生成二维图像数据。获取部11的功能能够由实装于移动终端或计算机(个人电脑)的应用软件构建。
获取部11对于通过由相机20的拍摄得到的图像实施生成向数据生成部12传递的图像数据所需要的处理。例如,为了向二维图像数据施加适当的色调渐变,在拍摄时,也可以在多个阶段切换曝光量(快门速度)并在相同拍摄位置以及拍摄方向拍摄多次,获取曝光量不同的多个图像数据。在这种情况下,通过获取部11的功能、从多个图像数据合成一个图像数据(相当于一张照片),从而能够得到从背阴等的暗部位到太阳的直射光照射的明亮的部位的与广范围的亮度对应的色调渐变。
此外,获取部11也可以执行调整二维图像数据的色调的处理。在这种情况下,为了得到合适的色调而希望使用彩色图表。例如,希望在按照拍摄中使用的相机20的种类或照明光(例如,太阳光、白炽灯泡的光等)等的拍摄状况不同而映入彩色图表的状态下拍摄。由此,能够通过获取部11的功能,能够根据相机20的种类或拍摄状况执行颜色校正以重现彩色图表的颜色,并使颜色的重现性提高。此外,希望在对彩色图表的整体照射均匀的光,例如直射日光的状态下拍摄彩色图表。
使用全景相机(360度相机)得到的鱼眼照片通过转换为所谓全景照片,从而能够作为二维图像数据使用。在这种情况下,也能够通过实装应用软件,使获取部11带有将鱼眼照片转换为全景照片的功能。
除此之外,获取部11也可以相对于由相机20拍摄的影像(照片)或处理中的各阶段的图像,适当实施使用了色温或色覆盖校正、曝光量的校正处理。这样的处理也可以不限定于实现最终的二维图像数据的最适化的情况,考虑用户的作业方便而执行。
数据生成部12基于通过获取部11获取的二维图像数据生成包含拍摄对象物或者风景的三维虚拟空间数据。
例如,数据生成部12执行将使用全景相机(360度相机)得到的全景照片与和相机20的拍摄位置相同的虚拟相机的位置建立关联的处理。即,在本实施例中,三维虚拟空间数据不限定于使用后述的摄影测量法等生成的、所谓的三维模型。在本公开中,“三维虚拟空间数据”作为与相机20的位置建立关联的、实质上包含二维图像数据的概念使用。在这种情况下,在使虚拟相机的位置与相机20的位置一致的条件之下,描绘处理部13能够描绘正确的虚拟空间图像。根据该方法,能够抑制图像数据的数据量并且有效地描绘虚拟空间图像。
在该方法中,为了确保切换虚拟相机的位置时的描绘的连续性,需要适当地保持相机20的拍摄位置的间隔。当相机20的拍摄位置的间隔过广时,存在在切换虚拟相机的位置时,难以识别视角移动的连续性的可能性。
此外,该方法不以全景相机(360度相机)的使用为前提,例如,通过相机20,在某种程度上,如果能够在广角下拍摄,则能够有效地利用。
此外,数据生成部12能够基于通过获取部11获取的二维图像数据生成包含拍摄对象物或者风景的三维虚拟空间数据。具体来说,数据生成部12例如使用摄影测量法,从被摄体共通的多个二维图像数据生成该被摄体的三维模型。由此,得到例如表示地面的形状(地形)或建筑物的形状的三维模型。摄影测量法能够通过实装应用软件来执行。例如,在作为三维模型生成景观的情况下,当物体或移动体绕到构造物的背面等时,能够通过构造物正确地遮挡物体或移动体。
然而,为了通过摄影测量法从拍摄对象物的二维图像(照片)获取拍摄对象物的三维模型,原则上,需要以不同的角度拍摄相同的拍摄对象物的多个图像。
图2以及图2A是说明应用摄影测量法时的相机位置的图。
在摄影测量法中,例如,从连续拍摄的前后的照片识别相同的形状,基于该相同的形状的部位的移动量反向计算拍摄時的相机20的位置以及姿势,并且基于来自该相机20的位置的二维图像作出三维模型。因此,需要从不同的相机20的位置拍摄相同的拍摄范围而得到的两个以上的图像,即,具有视觉差的两个以上的图像。如图2所示那样,由于通过按每个镜头不同错开相机20的位置而产生视觉差,所以能够将二维照片三维化。与此相对,如图2A所示那样,即使按每个镜头不同而相机20的拍摄角度不同,在从相同位置拍摄的情况下,也不会产生视觉差,不能生成三维模型。
在广范围内应用摄影测量法的情况下,在拍摄范围从不同的相机位置重叠的拍摄条件中,需要依次拍摄的多张图像。在这种情况下,在前后图像之间或者指定的图像之间,通过不间断地确保在拍摄范围内充分重叠,能够构建基于摄影测量法的三维模型。当在前后图像之间拍摄的对象区别较大时,识别共通的形状失败,不能进行基于摄影测量法的处理。
一般来说,在通过摄影测量法生成三维模型的情况下,虽然需要多次照片拍摄,但是能够将广范围构建为三维模型。此外,根据拍摄条件不同,也能够对应分离的场所或高处,并且也能够对应细致的造型。因此,在室外或宽广的会场(体育馆或音乐厅等)内等、可以远眺的地方或者想要确保较广的移动范围的情况、或者需要详细的三维模型的情况等中,摄影测量法是适合的。此外,如森林中的从树叶空隙照进来的阳光的表现那样,到高高的树木的茂密部分需要三维模型时、或切换视角时,想要到远处的景色的立体感时,摄影测量法是适合的。
另一方面,作为摄影测量法的缺点,存在拍摄花费时间且生成三维模型的步骤也容易变多的点、在黑暗地方的拍摄较难且在三维模型的生成中容易失败的点。而且,作为摄影测量法的缺点,存在用于识别素色的白墙等的面的特征点较少而难以生成三维模型的点、由于生成的三维模型不反映实际比例而需要调整模型大小的作业的点等。
也能够代替摄影测量法,使用带实装了三维扫描应用的相机的移动终端等进行三维模型的生成。在这种情况下,获取部11代替摄影测量法的处理,基于红外线等的扫描,生成拍摄对象物的三维模型。在这种情况下,例如,用于通过在带相机的移动终端或由相机获取拍摄图像的计算机等中实装规定的应用软件,生成三维模型的处理是可能的。通过进行基于红外线的拍摄,能够扫描用摄影测量法难以对应的黑暗场所或素色的白墙等,也能够对这些对象获取三维模型。作为使用三维扫描应用的情况的其他优点,存在不需要像基于摄影测量法的情况那样拍摄花费时间而能够轻松地获得三维模型,并且与摄影测量法不同,由于三维模型的大小与实际比例一致,所以不需要重新调整大小等。另一方面,作为使用三维扫描应用的情况的缺点,存在难以识别暗部分的物体的形状的点、难以识别细微的形状或薄的物体的形状的点、离开的地方或高的地方不能拍摄的点等。
通过三维扫描应用生成三维模型的方法除了想要实现拍摄的省力化的情况以外,不需要远或高的地方的模型,适合生成室内或小公园或庭园等的地形模型。此外,作为用于使通过摄影测量法生成的三维模型符合实际尺寸的向导,能够使用通过三维扫描应用生成的三维模型。在这种情况下,即使在仅对拍摄对象的一部分应用三维扫描应用的情况下,也能够将该三维模型作为有效的向导利用。
此外,数据生成部12能够将稳定地重现现场的光照(照明、光射状况)状态的光照施加于三维模型,或者演出三维模型的阴影。
描绘处理部13基于通过数据生成部12生成的三维虚拟空间数据,描绘从虚拟相机看到的虚拟空间图像。
虚拟相机的位置能够包含捕捉与通过获取部11获取的二维图像数据对应的拍摄对象物或者风景的相机20的位置。在虚拟相机的位置与相机20的位置一致的情况下,描绘处理部13能够描绘与通过相机20捕捉的拍摄对象物或者风景对应的虚拟空间图像。例如,描绘处理部13使用基于全景相机(360度相机)拍摄的全景照片、或者较为广角的照片描绘从虚拟相机看到的虚拟空间图像。在这种情况下,通过使虚拟相机的位置与全景相机(360度相机)等的相机20的位置一致,能够将全景照片直接且有效地用于虚拟空间图像。
此外,如果得到三维模型,能够将虚拟相机的位置设置在与捕捉拍摄对象物或者风景的相机20不一致的位置。在这种情况下,描绘处理部13能够基于通过数据生成部12生成的三维虚拟空间数据算出虚拟空间图像并描绘。例如,描绘处理部13使用通过摄影测量法得到的、或者通过其他方法得到的三维模型描绘虚拟空间图像。在这种情况下,描绘处理部13能够基于三维模型,从位于任意的位置的虚拟相机生成虚拟空间图像。即,虚拟相机的位置不限定于相机20的拍摄位置。虚拟相机的位置以及角度能够按照例如用户的操作控制,用户能够体验从任意的虚拟相机的位置看到的虚拟空间。
进而,描绘处理部13能够将作为三维模型生成的物体或人物等的移动体配置于虚拟空间内,或者使其在虚拟空间内移动。
通过描绘处理部13描绘的虚拟空间图像的景观基于通过数据生成部12生成的三维模型,物体或移动体的位置也通过相同的三维坐标管理。由此,能够将虚拟相机的坐标作为基准,掌握物体或移动体相对于景观位于近前侧,或者位于背后侧,并反映在虚拟空间图像中。例如,在物体或移动体与景观相比位于近前侧的图像区域中,景观被物体或移动体的图像覆盖。相反,在景观与物体或移动体相比位于近前侧的图像区域中,物体或移动体被景观的图像覆盖。
通过描绘处理部13描绘的虚拟空间图像能够在各种各样的用途中使用。
例如,进入在线上构建的虚拟空间的用户能够使与移动体相当的自己的化身(分身)参加虚拟空间。此外,例如,通过使化身在准备了360度的视野的虚拟空间内自由移动,能够模拟体验实际存在的公园、旅游景点等。在这种情况下,描绘处理部13通过将背景(作为二维图像数据捕捉的拍摄对象物或者风景)与化身重合而描绘,能够将化身在虚拟空间内移动的样子作为虚拟空间图像进行描绘。描绘处理部13能够如化身映入虚拟空间图像内那样,根据化身的位置依次选择虚拟相机的位置以及拍摄方向。
在多个化身在共通的虚拟空间中参加的情况下,经由在虚拟空间参加的化身,用户之间能够进行交流。在这种情况下,能够实现在实际存在的场所的用户之间才能进行的交流。
此外,也能够在各种各样的经济活动中利用虚拟空间。例如,在商店的虚拟空间中,也可以将商品设为能够购买。在这种情况下,用户不仅能够购买目标商品,还能够进行在实际商店中购物的体验。
此外,也能够在广告中利用虚拟空间。例如,能够将商品(包含劳务)表现为活生生存在的化身,与作为用户的分身的化身进行交流。由此,例如,如代表商品的化身与用户能够通过共通的体验将成为朋友一样的感觉提供给用户,能够提高广告的效果。
通过将旅行目的地的街道或设施构建为虚拟空间,也能够使用户模拟体验旅行。通过将虚拟相机的位置以及方向设为用户能够操作,用户能够模拟体验旅行目的地的街道或设施的风景等。或者,扮成化身的用户能够进行在旅行目的地的街道或设施中自由地行走的模拟体验。这样的模拟体验例如由于能够提高用户对旅行的兴趣,所以作为旅行公司等的广告有效地发挥功能。
接着,示出使用基于全景相机(360度相机)的拍摄图像生成公园景观的例子。在该例中,通过用户操作作为三维模型的移动人物,能够对用户提供如在实际存在的公园内散步的体验。
图3是例示在三维虚拟空间内描绘的人物等的画面的图,图4是表示与人物ー的移动相配合切换虚拟相机的位置的样子的图。在图4中,分别表示虚拟相机的位置不同的五张捕捉画面。此外,图5是例示360度的全景照片的图。
在该例中,通过由全景相机(360度相机)拍摄公园生成公园的景观,描绘与景观重叠且在公园内移动的人物ー101。公园的景观投影至后述的地面的三维模型,人物ー101也在地面的三维模型上移动。人物ー101与相对于游戏中的人物ー的操作同样,通过游戏垫等操作。
首先,景观通过全景相机(360度相机)在多个相机位置拍摄,转换为如图5所示那样的全景照片。
游戏中的三维虚拟空间内的虚拟相机的位置固定于基于全景相机(360度相机)的相机位置。即,虚拟相机的位置从拍摄时的全景相机(360度相机)的多个相机位置之中依次选择,但能够从选择的虚拟相机的各位置360度自由地观看景观。在切换视角(虚拟相机的位置)时,通过使来自视角的景观交叉渐变,即,从切换前的景观平滑地变化至切换后的景观,能够平滑地移动视角。此外,图3中的标记102A以及标记102B以及图4中的标记102表示向地面投影的视角位置。
此外,景观的全景照片(图5)也能够用作为了重现现场的光照而使用的基于图像的光照(IBL)用的图像。
如图3所示那样,在人物ー101中,能够施加稳定地重现现场的光照状态那样的光照,使人物ー101与景观融合。作为光照,能够设定基于图像的光照(IBL)和定向光,与视角的切换相配合使光照平滑地变化。此外,通过应用专用的阴影贴图,能够避免对景观附加多余的阴影。如图3所示的人物ー101的阴影101a与太阳光的阴影等对应,阴影101a能够基于三维地形模型与地形相配合而向地面投影。此外,基于图像的光照(IBL)不仅适用于室外,也适用于室内的光照。
三维虚拟空间内的三维地形模型例如能够使用带实装了三维扫描应用的相机的移动终端等生成。根据该方法,与基于摄影测量法的情况比较,存在能够轻松地拍摄,也能够减轻用于三维模型化的作业负担的优点。
生成的三维地形模型用作基于全景照片投影景观的对象。人物ー101能够沿着向该地形模型投影的地面的起伏走路或跑步。
此外,三维虚拟空间内的三维地形模型能够例如基于由与全景相机(360度相机)不同的其他相机拍摄的地形的图像,通过摄影测量法生成。在应用摄影测量法的情况下,虽然在拍摄或三维化的处理中花费时间或精力,但在想要得到精密的三维模型的情况等下是合适的。
此外,也能够通过利用规定的应用,利用拍摄了景观的上述全景照片生成三维地形模型。在这种情况下,可以复原将相机位置作为基准的地形。然而,为了得到正确的地形模型,需要增加拍摄点(相机位置),作业负担増大。
生成的三维地形模型例如也能够用作用于演出人物ー101的移动或脚步声的碰撞模型。也可以与地形模型分别准备碰撞模型,在物理模型中附加脚步声等。
除了人物ー101以外,也能够将通过摄影测量法生成的三维模型配置在虚拟空间内。例如,在将图3中的物体103配置在虚拟空间内的情况下,通过摄影测量法等生成物体103的三维模型,指定虚拟空间内的设置位置和设置方向即可。如果物体103为移动体,也可以通过用户控制物体103的位置或朝向。针对物体103的光照和阴影应用与针对人物ー101的光照或阴影同样的方法而重现。例如,在图3中,通过在针对物体103的光照中人物ー101的阴影101b向物体103投影,物体103的阴影103a向地面投影。
图6~图6B是表示将服装零售店的店内作为虚拟空间描绘的例子的图。在该例中,通过获取部11以及数据生成部12的功能,基于由相机20拍摄的店内的照片生成三维模型,处理部13基于该三维模型将店内的样子描绘为虚拟空间描绘。
如图6~图6B所示那样,作为移动体的化身201(用户的分身)能够按照用户的操作自由地在店内移动。此外,如图6B所示那样,除了化身201以外,店员或其他客人也表现为移动体202a~202c。
此外,发现想要购买的商品的用户能够在虚拟空间内购买该商品。例如,当用户选择图6A中的商品203a或商品203b时,描绘了与各自的商品对应的显示框204a以及显示框204b。用户能够通过对这些显示框204a、204b进行操作,购买对应的商品。虚拟空间由于不仅重现了实际的店内,也再现了放置在店内的商品,所以用户能够体验真实店内的样子。
如此,用户能够作为化身201在店内自由地行走并且找寻商品。用户通过进入虚拟空间,不仅能够购买商品,也能够轻松地体验例如远离用户自家的商店等实际上不能去的场所的购物。
图7~图7A是表示将街道作为虚拟空间描绘的例子的图。在该例子中,通过获取部11以及数据生成部12的功能,基于由相机拍摄的街道的照片生成三维模型,描绘处理部13基于该三维模型将街道的样子描绘为虚拟空间。
如图7~图7A所示那样,作为移动体的化身301(用户的分身)能够按照用户的操作自由地在店内移动。除了化身301以外,其他的行人也表现为移动体302等。
此外,在图7~图7A的例子中,与映入画面的显示要素例如建筑物或设施等建立关联标注标签305。该标签305表示说明该显示要素的信息,包含映入画面的商业设施的名称。这样的标签305例如相对于通过相机20拍摄的照片、即通过获取部11获取的照片的显示要素,通过使用了人工智能的图像识别自动标注。标签305由获取部11与显示要素建立关联而获取,与该显示要素建立关联而存储于图像数据存储部14。描绘处理部13在描绘该显示要素的情况下,从图像数据存储部14获取与该显示要素建立关联的标签305,与该显示要素的显示位置相配合显示标签305。在图7~图7A的例子中,控制使标签305与画面上的该商业设施的规定部位的位置相配合移动,当该规定部位从画面脱离时,标签305的显示也从画面消失。
在图7~图7A的例中,示出将街道作为虚拟空间描绘的例子,但例如能够将旅游景点或各种设施、主题公园等实际存在的地点作为广泛的虚拟空间描绘。用户只要访问虚拟空间,就能够轻松地体验在实际存在的地点上自由漫步。
在上述实施例中,示出基于实际存在的风景等生成虚拟空间的例子,例如,也能够通过将由三维CG制作的所谓CG电影、CG动画、CG游戏的舞台置换为虚拟空间,体验该电影或动画、游戏的世界。
此外,能够将产生虚拟空间的本发明的技术简化为如普通人处理,并且构筑能够将拍摄的照片数据作为虚拟空间数据上传的方案。由此,许多人能够轻松地利用本发明的技术,例如,由住在地方的学生进行的故乡风景的元空间化等的能够有助于与地域发展相关联的活动。
如以上说明那样,根据本实施例的信息处理装置10,能够基于二维图像描绘虚拟空间图像。因此,能够轻松地体验虚拟空间。例如,能够基于实际存在的场所的照片,向用户提供访问该场所的体验。此外,由描绘处理部13描绘的虚拟空间图像能够在各种各样的用途中使用,经由化身(分身)或人物参加虚拟空间自不必说,也适用于经济活动或广告的利用。
此外,根据本实施例的信息处理装置10,在生成虚拟空间时,能够使用实际的照片。在这种情况下,与作为与照片同等的、所谓的高品质的三维CG数据生成虚拟空间相比,能够大幅度地抑制作业时间以及作业成本。
以上,关于各实施例进行了详细说明,但并不限定于特定的实施例,在权利要求书的范围所记载的范围内,能够进行各种变形以及变更。此外,也能够组合全部或者多个前述实施例的构成要素。
附图标记的说明
10信息处理装置
11获取部
12数据生成部
13描绘处理部
14图像数据存储部
20相机。

Claims (9)

1.一种信息处理装置,具备:
获取部,获取捕捉了拍摄对象物或者风景的二维图像数据;
数据生成部,基于所述二维图像数据生成包含所述拍摄对象物或者风景的三维虚拟空间数据;以及
描绘处理部,基于所述三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像。
2.根据权利要求1所述的信息处理装置,其中,
所述数据生成部将所述三维虚拟空间数据生成为三维模型。
3.根据权利要求1所述的信息处理装置,其中,
所述数据生成部将所述三维虚拟空间数据生成为与捕捉了拍摄对象物或者风景的相机一致的位置建立关联的图像的数据,
所述描绘处理部基于所述三维虚拟空间数据描绘从配置于该位置的虚拟相机看到的虚拟空间图像。
4.根据权利要求1所述的信息处理装置,其中,
所述描绘处理部基于用户的操作控制所述虚拟相机的位置或者角度。
5.根据权利要求1所述的信息处理装置,其中,
所述数据生成部生成物体或者移动体的三维模型,
所述描绘处理部将由所述数据生成部生成的所述三维模型与所述虚拟空间图像重叠地进行描绘。
6.根据权利要求5所述的信息处理装置,其中,
所述描绘处理部与所述移动体在所述虚拟空间内的位置相应地切换所述虚拟相机的位置。
7.根据权利要求1所述的信息处理装置,其中,
所述描绘处理部将与所述二维图像数据所包含的显示要素建立关联的标签与所述虚拟空间图像内的所述显示要素建立关联并进行显示。
8.一种信息处理方法,具备:
获取步骤,获取捕捉了拍摄对象物或者风景的二维图像数据;
数据生成步骤,基于所述二维图像数据生成包含所述拍摄对象物或者风景的三维虚拟空间数据;以及
描绘处理步骤,基于所述三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像。
9.一种程序,使计算机执行如下步骤:
获取步骤,获取捕捉了拍摄对象物或者风景的二维图像数据;
数据生成步骤,基于所述二维图像数据生成包含所述拍摄对象物或者风景的三维虚拟空间数据;以及
描绘处理步骤,基于所述三维虚拟空间数据描绘从虚拟相机看到的虚拟空间图像。
CN202211658415.9A 2022-07-07 2022-12-22 信息处理装置、信息处理方法以及程序 Pending CN117372655A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022109933 2022-07-07
JP2022-109933 2022-07-07

Publications (1)

Publication Number Publication Date
CN117372655A true CN117372655A (zh) 2024-01-09

Family

ID=85158985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211658415.9A Pending CN117372655A (zh) 2022-07-07 2022-12-22 信息处理装置、信息处理方法以及程序

Country Status (2)

Country Link
JP (2) JP7218979B1 (zh)
CN (1) CN117372655A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024200063A1 (en) * 2023-03-24 2024-10-03 Interdigital Ce Patent Holdings, Sas Avatar metadata representation
JP7556484B1 (ja) 2024-02-06 2024-09-26 Toppanホールディングス株式会社 情報処理装置、情報処理プログラム、および、情報処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4983494B2 (ja) * 2007-09-07 2012-07-25 カシオ計算機株式会社 合成画像出力装置および合成画像出力処理プログラム
JP6201170B2 (ja) * 2013-03-29 2017-09-27 株式会社コナミデジタルエンタテインメント アプリケーション制御プログラム、アプリケーション制御方法、アプリケーション制御装置
JP6856572B2 (ja) * 2018-04-04 2021-04-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2020144748A (ja) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2024008779A (ja) 2024-01-19
JP7218979B1 (ja) 2023-02-07
JP2024008803A (ja) 2024-01-19

Similar Documents

Publication Publication Date Title
CN100534158C (zh) 产生虚拟图像和真实图像的合成图像
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
US20030202120A1 (en) Virtual lighting system
EP1074943A2 (en) Image processing method and apparatus
CN117372655A (zh) 信息处理装置、信息处理方法以及程序
US20080316432A1 (en) Digital Image Projection System
US20110001935A1 (en) Digital image projection system
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
KR102435185B1 (ko) 360°vr촬영 기반의 3차원 이미지 생성 및 360°vr 콘텐츠 서비스 제공 방법
JP2015506030A (ja) ビデオムービーを撮影するためのシステム
JP2020035392A (ja) 遠隔コミュニケーションシステム等
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
JP2015099545A (ja) 画像生成システム及び画像生成プログラム
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
Takatori et al. Large-scale projection-based immersive display: The design and implementation of largespace
TWI515691B (zh) 現場動態情境重建之合成錄像拍製方法
JP3387856B2 (ja) 画像処理方法、画像処理装置および記憶媒体
JP3392078B2 (ja) 画像処理方法、画像処理装置および記憶媒体
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
JP7447403B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2022093262A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
Woodward et al. Case Digitalo-A range of virtual and augmented reality solutions in construction application
Lee Wand: 360∘ video projection mapping using a 360∘ camera
KR102516780B1 (ko) 사용자 업로드 vr 시스템
Benítez Iglesias et al. Multi-Camera Workflow Applied to a Cultural Heritage Building: Alhambra’s Torre de la Cautiva from the Inside

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40105180

Country of ref document: HK