TW201911240A - 影像處理裝置及方法、檔案生成裝置及方法、以及程式 - Google Patents
影像處理裝置及方法、檔案生成裝置及方法、以及程式 Download PDFInfo
- Publication number
- TW201911240A TW201911240A TW107116907A TW107116907A TW201911240A TW 201911240 A TW201911240 A TW 201911240A TW 107116907 A TW107116907 A TW 107116907A TW 107116907 A TW107116907 A TW 107116907A TW 201911240 A TW201911240 A TW 201911240A
- Authority
- TW
- Taiwan
- Prior art keywords
- information
- image
- masked
- mpd file
- preamble
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 240
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005540 biological transmission Effects 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 32
- 230000000873 masking effect Effects 0.000 description 118
- 230000008569 process Effects 0.000 description 49
- 238000005259 measurement Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001180649 Myrcia group Species 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
- Image Processing (AREA)
Abstract
本技術係有關於,能夠獲得適切的遮蔽影像的影像處理裝置及方法、檔案生成裝置及方法、以及程式。 影像處理裝置具備:MPD檔案處理部,係基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從MPD檔案所表示的複數遮蔽影像中,選擇要取得的遮蔽影像。本技術係可適用於客戶端裝置。
Description
本技術係有關於影像處理裝置及方法、檔案生成裝置及方法、以及程式,尤其是有關於,能夠獲得適切的遮蔽影像的影像處理裝置及方法、檔案生成裝置及方法、以及程式。
先前,360度之各方向,亦即水平方向和垂直方向之全方位的影像(映像)也就是全天球影像,已經為人所知。
在全天球影像的再生中,若只利用紋理資訊,就可體驗從全天球之中心往周圍環顧來觀看畫(映像)。然後在全天球影像的再生中若使用紋理資訊以及景深資訊,則可實現映像的立體視覺或運動視差。藉此,可使被攝體的運動更貼近現實的運動,可提升臨場感而難以暈眩。以下,尤其將由全天球影像的紋理資訊與景深資訊所成之影像資訊,也稱為主影像。
又,在全天球影像的再生中,藉由利用主影像以及遮蔽影像,就可除了體驗從全天球之中心(以下亦稱為原點O)往周圍環顧的體驗以外,也還可以進行從原點O起移動視聽者也就是使用者之視點位置的伸頭探視之顯示。
此處,所謂遮蔽影像,係以原點O為視點位置之主影像的紋理資訊中所不存在的被攝體,亦即從原點O看不見的被攝體之領域也就是遮蔽領域的紋理資訊,和表示關於該遮蔽領域的縱深方向之位置(距離)的景深資訊,所成的影像資訊。
例如在MPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)中,可將如以上的主影像與遮蔽影像,傳輸至客戶端裝置(例如參照非專利文獻1)。
尤其是,在MPEG-DASH中係可傳輸複數遮蔽影像,在客戶端裝置中,藉由使用已取得之複數遮蔽影像之中的相應於使用者之視點位置的適切的遮蔽影像,就可實現伸頭探視之顯示。 [先前技術文獻] [非專利文獻]
[非專利文獻1]ISO/IEC 23009-1 Information technology -Dynamic adaptive streaming over HTTP(DASH)-Part1:Media presentation description and segment formats,Apr.2012
[發明所欲解決之課題]
然而,在上述的技術中,有時候在客戶端裝置上無法獲得適切的遮蔽影像。
例如於MPEG-DASH中,在傳輸頻寬不足時,客戶端裝置上係只會取得主影像、或只取得主影像的紋理資訊,進行其中一者,而不會取得遮蔽影像。
此情況下,即使傳輸頻寬仍有餘裕可以只取得複數遮蔽影像之中的全天球影像之顯示時所被使用的一部分之遮蔽影像時,客戶端裝置係仍無法取得遮蔽影像。因此,客戶端裝置,係無法隨著傳輸頻寬的狀態而取得必要的遮蔽影像,而會無法進行伸頭探視之顯示。
本技術係有鑑於此種狀況而研發,目的在於能夠獲得適切的遮蔽影像。 [用以解決課題之手段]
本技術之第1側面的影像處理裝置,係具備:MPD檔案處理部,係基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。
本技術之第1側面的影像處理方法或程式,係含有以下步驟:基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。
於本技術的第1側面中,基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,要取得的前記遮蔽影像會被選擇。
本技術之第2側面的檔案生成裝置,係具備:MPD檔案生成部,係針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案;和通訊部,係發送前記MPD檔案。
本技術之第2側面的檔案生成方法或程式,係含有以下步驟:針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案;發送前記MPD檔案。
在本技術的第2側面中,針對複數遮蔽影像,含有前記遮蔽影像之視點位置的相關資訊的MPD檔案會被生成,前記MPD檔案會被發送。 [發明效果]
若依據本技術的第1側面及第2側面,則可獲得適切的遮蔽影像。
此外,並非一定限定於這裡所記載的效果,亦可為本揭露中所記載之任一效果。
以下,參照圖面,說明適用了本技術的實施形態。
<第1實施形態> <關於本技術> 本技術係於使用了MPEG-DASH的全天球影像的配訊中,在除了主影像還配訊複數遮蔽影像之際,即使在傳輸頻寬不足,無法傳輸全部的遮蔽影像的情況下,仍可於客戶端裝置中使其獲得一部分的適切的遮蔽影像。
尤其是,此處是將表示遮蔽影像之視點位置的座標資訊、和遮蔽領域之景深位準的相關資訊,同時對客戶端裝置予以訊令,於客戶端裝置中使其可選擇適切的遮蔽影像。
此外,以下是針對,表示遮蔽影像之視點位置的座標資訊或遮蔽領域之景深位準的相關資訊等,用來選擇遮蔽影像所需之資訊是被包含在MPD(Media Presentation Description)檔案中的例子,加以說明。
可是,不限於將用來選擇遮蔽影像所需之資訊以MPD檔案進行訊令的方法,亦可藉由其他任何方法,把用來選擇遮蔽影像所需之資訊,訊令給客戶端裝置。例如伺服器等亦可有別於MPD檔案而只把用來選擇遮蔽影像所需之資訊供給至客戶端裝置。
接下來,以下就來說明本技術。此外,此處雖然是假設全天球影像係為動態影像來進行說明,但全天球影像係亦可為靜止影像。又,在本技術中處理之對象的影像係不限於全方位之影像,亦可為半球之影像等,可為全方位之影像的一部分之影像等。
首先,主影像係由作為全天球影像的動態影像也就是紋理資訊、和該全天球影像之景深資訊所成。
藉由主影像的紋理資訊而被再生的全天球影像係為,例如從預先決定之座標系(以下亦稱為全天球座標系)的原點O觀看的360度之各方向,亦即水平方向和垂直方向之全方位的影像等。
此處,原點O之位置係為全天球影像的假想螢幕也就是全天球的中心位置,在全天球影像的再生開始時,觀看(視聽)該全天球影像的使用者之視點位置,亦即使用者之頭部的中心位置係假設是落在原點O。
又,主影像的景深資訊係為表示從原點O至位於全天球影像上(紋理資訊)之各領域中的被攝體之位置為止之距離的資訊,亦即表示全天球影像之各被攝體的縱深方向之位置的資訊。
接著,說明伸頭探視顯示與遮蔽影像。
例如如圖1的箭頭A11所示,在空間上作為全天球影像之被攝體係有圓柱H11和立方體H12,將從箭頭V11所示的方向來拍攝圓柱H11與立方體H12所得到的影像,當作主影像的紋理資訊。又,藉由攝影所得的紋理資訊,和對該紋理資訊所得的景深資訊,係被編碼成為主影像。
此情況下,作為主影像的紋理資訊,圖中左下所示的紋理影像PV11,會被當成主影像的紋理資訊而獲得。
現在假設從原點O起,亦即從箭頭V11之方向來觀看圓柱H11和立方體H12的使用者,將視點位置從原點O起稍微往圖中左側之位置改變而從箭頭V12之方向,亦即從左側來伸頭探視般地觀看圓柱H11和立方體H12。
此情況下,基於主影像來生成,從使用者移動後之視點所看到的,亦即從箭頭V12之方向所看到的全天球影像。
例如從箭頭V12之方向觀看圓柱H11和立方體H12時的影像(紋理資訊),係為圖中右下所示的紋理影像PV12。亦即,使用者從左側伸頭探視來觀看圓柱H11和立方體H12時,這些被攝體看起來應該像是如紋理影像PV12所示。
於紋理影像PV12中,標示斜線的領域R11係為含有無法從主影像的紋理資訊也就是紋理影像PV11所獲得之被攝體之資訊的領域,該領域係為遮蔽領域。
亦即,紋理影像PV12上的領域R11係從箭頭V11之方向是被其他被攝體等所遮住而無法看見,是在紋理影像PV11上所不存在的領域。
如此屬於遮蔽領域的領域R11之資訊,係不包含在主影像的紋理資訊也就是紋理影像PV11、和主影像的景深資訊中。
因此,若只使用主影像來生成從箭頭V12所示之方向觀看的紋理影像PV12,則遮蔽領域也就是領域R11之部分的資訊係會欠缺。因此,在客戶端裝置中,例如會將遮蔽領域以黑色來顯示,或是可以使用遮蔽領域附近的像素資訊來預測遮蔽領域之像素的像素值等等,但如此所得的影像並非實際拍攝被攝體的影像,因此會產生異樣感。
於是,藉由生成至少含有遮蔽領域之部分之資訊的紋理資訊和景深資訊之影像來作為遮蔽影像,就可不只使用主影像而還可使用遮蔽影像,而可將主影像所欠缺的遮蔽領域正確地顯示。藉此,在進行伸頭探視之顯示時,亦即把不同於原點O的位置當作使用者之視點位置而進行全天球影像之顯示時,也可高臨場感地顯示影像。
例如在圖1所示的例子中,把箭頭V12所示之方向所對應之視點位置當作遮蔽影像之視點位置(以下亦稱為原點O’)時,可將紋理影像PV12本身,當作遮蔽影像的紋理資訊。
在如此情況下,作為紋理資訊的紋理影像PV12,和表示該紋理影像PV12上之各位置的被攝體所對應之縱深方向之距離的景深資訊所成之影像資訊,係被視為遮蔽影像。
此外,遮蔽影像的紋理資訊,係亦可為像是紋理影像PV12這種把原點O’當作視點位置時的全方位的全天球影像,也可為只有遮蔽領域也就是領域R11之部分的影像。亦即,遮蔽影像的紋理資訊,係只要至少含有遮蔽領域之影像資訊(紋理資訊)即可。
又,遮蔽影像的視點位置也就是原點O’,有時候係和全天球座標系的原點O相同。
例如如圖2所示,在空間上假設有物件OB1、物件OB2、及物件OB3。
在此例中,若從全天球座標系的原點O來看,物件OB2之一部分之領域是被物件OB1所遮住而無法看見,物件OB3之一部分之領域是被物件OB1及物件OB2所遮住而無法看見。
在如此的情況下,例如主影像的紋理資訊係為,在有物件OB1乃至物件OB3存在的狀態下,將原點O當作視點位置所拍攝到的影像。
因此,在所得到的主影像的紋理資訊中,物件OB1乃至物件OB3雖然是被拍攝成為被攝體,但物件OB2的一部分之領域、和物件OB3的一部分之領域,係為遮住而看不見的狀態。
又,把原點O當作原點O’,把在沒有物件OB1的狀態下拍攝所得的影像,當作遮蔽影像1的紋理資訊。
此情況下,在遮蔽影像1的紋理資訊中,物件OB1係不被映出成為被攝體,物件OB2之全領域、和物件OB3的一部分之領域係為看得到的狀態。亦即,物件OB3的一部分之領域係被物件OB2所遮住而為看不見的狀態。
在如此的遮蔽影像1的紋理資訊中,主影像的紋理資訊中所未含有的,物件OB2的一部分之領域之資訊,是被當作遮蔽領域之資訊而含有。
再者,把原點O當作原點O’,把在沒有物件OB1及物件OB2的狀態下拍攝所得的影像,當作遮蔽影像2的紋理資訊。
此情況下,在遮蔽影像2的紋理資訊中,物件OB1及物件OB2係不被映出成為被攝體,物件OB3之全領域係為看得到的狀態。
在如此的遮蔽影像2的紋理資訊中,主影像或遮蔽影像1的紋理資訊中所未含有的,物件OB3的一部分之領域之資訊,是被當作遮蔽領域之資訊而含有。
此外,更詳言之,這些遮蔽影像1或遮蔽影像2的紋理資訊,係基於把原點O、或異於原點O的其他位置等,彼此互異的複數位置當作視點來拍攝物件OB1乃至物件OB3所得之影像,而被生成。亦即,基於彼此視點位置互異的複數影像,遮蔽影像的紋理資訊會被生成。
順便一提,有時候,遮蔽影像會對1個主影像而為複數。
作為如此的例子係考慮例如:把全天球座標系中的與主影像之原點O不同的複數位置之每一者當作原點O’的遮蔽影像之每一者係為存在的情況。此情況下,這些複數遮蔽影像中係含有例如:在主影像中無法作為被攝體而被看見之領域的資訊。
又,作為對1個主影像而有複數遮蔽影像存在的其他例係考慮,把全天球座標系中的相同位置當作原點O’的複數遮蔽影像係為存在的情況。
亦即,考慮例如把主影像的原點O之位置當作原點O’的遮蔽影像係有複數,在這些遮蔽影像中,含有在主影像中係為遮蔽領域之領域的資訊的情況。此時,例如參照圖2所說明,在某個遮蔽影像中也含有:在其他遮蔽影像中係為遮蔽領域之領域的資訊。
對主影像而有複數遮蔽影像存在的情況下,想定例如在如以下的使用案例中做運用。
使用案例U1 只存在有把主影像的原點O之位置當作原點O’的遮蔽影像的情況 使用案例U2 把主影像的原點O以外之位置當作原點O’的遮蔽影像係為複數存在,各遮蔽影像的原點O’係為彼此互異之位置的情況 使用案例U3 把主影像的原點O之位置當作原點O’的遮蔽影像、和把原點O以外之位置當作原點O’的遮蔽影像係為存在,只有位於原點O之位置上有複數遮蔽影像存在的情況 使用案例U4 把主影像的原點O之位置當作原點O’的遮蔽影像、和把原點O以外之位置當作原點O’的遮蔽影像係為存在,在原點O之位置及不同於原點O之位置,分別有複數遮蔽影像存在的情況
例如在使用案例U1中,亦可為,在原點O以外之位置上遮蔽影像係不存在,在原點O之位置上係有複數遮蔽影像。又,在使用案例U2中,在原點O之位置上遮蔽影像係不存在。
甚至,例如使用案例U3係為,使用案例U1與使用案例U2所組合而成的使用案例。
作為這些使用案例U1乃至使用案例U4之例子,考慮例如圖3所示的例子。此外,圖3中x軸、y軸、及z軸係表示全天球座標系的軸。又,雖然此處沒有圖示但全天球座標系的原點O上係有主影像存在。
再者,圖3中的圓圈「○」係表示把該圓圈之位置當作視點位置(原點O’)的1個遮蔽影像係為存在,雙重的圓圈「◎」係表示把該雙重的圓圈之位置當作原點O’的2個遮蔽影像係為存在。
例如在箭頭A21所示的例子中,主影像所存在的原點O之位置上係有2個遮蔽影像存在,此例係相當於上述的使用案例U1。
又,在箭頭A22所示的例子中,異於原點O的複數各位置上係有1個遮蔽影像存在,此例係相當於使用案例U2。尤其是,此處係在x軸、y軸、及z軸之各軸上的複數位置上,係有遮蔽影像存在。
在箭頭A23所示的例子中,在原點O之位置上係有2個遮蔽影像存在,在異於原點O的x軸、y軸、及z軸之各軸上的複數各位置上,係有1個遮蔽影像存在。亦即,在箭頭A23所示的例子中箭頭A21所示之例子的遮蔽影像、和箭頭A22所示之例子的遮蔽影像之雙方係為存在,此例係相當於使用案例U3。
在箭頭A24所示的例子中,在原點O之位置上係有2個遮蔽影像存在,在異於原點O的x軸、y軸、及z軸之各軸上的複數位置之每一者上也有2個遮蔽影像存在。箭頭A24所示的例子係相當於使用案例U4。
現在考慮,使用MPEG-DASH而將主影像和遮蔽影像配訊給客戶端裝置的情況。
作為具體例,考慮例如在上述的使用案例U1中,在原點O上有2個遮蔽影像存在的情況,假設有把原點O當作視點位置也就是原點O’的遮蔽影像1及遮蔽影像2存在。
此處,遮蔽影像1係為,含有在主影像中係為遮蔽領域之領域之資訊的影像資訊。又,遮蔽影像2係為,含有在主影像中係為遮蔽領域,而且在遮蔽影像1中也是遮蔽領域之領域之資訊的影像資訊。
如上述,主影像,係由該主影像的紋理資訊與景深資訊所成,同樣地遮蔽影像1及遮蔽影像2也是,由這些遮蔽影像的紋理資訊及景深資訊所成。
用來獲得具有如此的遮蔽影像1及遮蔽影像2的主影像所需之檔案,亦即含有主影像之後設資料的MPD檔案,係例如如圖4所示。
圖4係表示使用案例U1中的例子,在圖4中係在箭頭Q11所示部分描述有主影像的紋理資訊(texture資訊)的相關資訊,在箭頭Q12所示部分係描述有主影像的景深資訊(depth資訊)的相關資訊。
又,在箭頭Q13所示部分係描述有遮蔽影像1的紋理資訊的相關資訊,在箭頭Q14所示部分係描述有遮蔽影像1的景深資訊的相關資訊。
再者,在箭頭Q15所示部分係描述有遮蔽影像2的紋理資訊的相關資訊,在箭頭Q16所示部分係描述有遮蔽影像2的景深資訊的相關資訊。
箭頭Q11乃至箭頭Q16之每一者所示的部分,係相當於1個AdaptationSet。
在例如箭頭Q11所示部分中,作為主影像的紋理資訊的Representation之id是被描述有「vt1」。
同樣地,在箭頭Q13所示部分中作為遮蔽影像1的紋理資訊的Representation之id是被描述有「vot1」,在箭頭Q15所示部分中作為遮蔽影像2的紋理資訊的Representation之id是被描述有「vot2」。
又,在景深資訊的相關部分也就是箭頭Q12所示部分、或箭頭Q14所示部分、箭頭Q16所示部分中係於MPEG-DASH的EssentialProperty中,schemeIdUri之部分是被設成「schemeIdUri=“urn:mpeg:dash:depth:2015”」。
亦即主影像、遮蔽影像1、及遮蔽影像2之每一者的景深資訊的AdaptationSet中,schemeIdUri是被設定成「urn:mpeg:dash:depth:2015」。藉由這些schemeIdUri之描述,可以特定出箭頭Q12所示部分或箭頭Q14所示部分、箭頭Q16所示部分是有關於景深資訊的描述。
又,在景深資訊的Representation中,associationId會被使用而景深資訊所對應之紋理資訊之id係被描述,藉此可特定出景深資訊是對應於哪個紋理資訊。
例如在箭頭Q12所示部分中是被描述有「associationId=“vt1”」,表示了箭頭Q11所示部分的主影像的紋理資訊、與箭頭Q12所示部分的主影像的景深資訊之關係(關連)。
同樣地,例如在箭頭Q14所示部分,箭頭Q13所示部分中所被描述的id「vot1」係被使用而被描述有「associationId=“vot1”」,在箭頭Q16所示部分,箭頭Q15所示部分中所被描述的id「vot2」係被使用而被描述有「associationId=“vot2”」。
藉此,針對主影像、遮蔽影像1、及遮蔽影像2,就可正確地特定出紋理資訊和景深資訊。
再者,是否為有關於遮蔽影像的紋理資訊,係例如箭頭Q13所示部分或箭頭Q15所示部分所被描述般地,於EssentialProperty中將schemeIdUri之部分設成「“urn:mpeg:dash:occlusion:2015”」,藉此就可判別之。
亦即遮蔽影像1及遮蔽影像2之每一者的紋理資訊的AdaptationSet中,schemeIdUri是被設定成「urn:mpeg:dash:occlusion:2015」。藉由這些schemeIdUri之描述,可以特定出箭頭Q13所示部分或箭頭Q15所示部分是有關於遮蔽影像之紋理資訊的描述。
若使用如以上所示的含有遮蔽影像的相關資訊的MPD檔案,則在MPEG-DASH的客戶端裝置中,如以下的實作係為可能。亦即,可執行以下的處理TR1乃至處理TR3。
處理TR1 將主影像、遮蔽影像1、及遮蔽影像2全部加以取得而進行全天球影像的再生 處理TR2 只取得主影像的紋理資訊和景深資訊而進行全天球影像的再生 處理TR3 只取得主影像的紋理資訊而進行全天球影像的再生
此情況下,例如在處理TR2中,雖然主影像的景深資訊會被取得因此可實現立體視覺或運動視差,但由於遮蔽影像係未被取得,因此在進行伸頭探視之顯示時,無法正確地顯示遮蔽之領域。
又,在處理TR3中,由於主影像的景深資訊未被取得,因此無法實現立體視覺或運動視差。
客戶端裝置,係在自身與配訊主影像等的伺服器之間的傳輸頻寬不足,從伺服器無法將主影像、遮蔽影像1、及遮蔽影像2全部取得的情況下,就會選擇處理TR2或處理TR3之任一者。
具體而言,客戶端裝置,係先計測傳輸頻寬並且作為要從伺服器取得的資訊而選擇主影像的紋理資訊。
接著,客戶端裝置,係基於傳輸頻寬之計測結果而有可以取得主影像的景深資訊的傳輸頻寬時,則也選擇主影像的景深資訊來作為要取得的資訊。
相對於此,客戶端裝置,係在傳輸頻寬不足時則只取得主影像的紋理資訊。
又,客戶端裝置,係在作為要取得的資訊是選擇了主影像的紋理資訊和景深資訊的情況下,基於傳輸頻寬之計測結果,判定是否有足夠取得遮蔽影像1與遮蔽影像2的傳輸頻寬。
然後,在判定為有足夠傳輸頻寬的情況下,則客戶端裝置,作為要取得的資訊,是將主影像、遮蔽影像1、及遮蔽影像2之各影像的紋理資訊和景深資訊,選擇成為要從伺服器取得的資訊。
又,在判定為沒有足夠傳輸頻寬的情況下,則客戶端裝置,作為要取得的資訊,是將主影像的紋理資訊和景深資訊,選擇成為要從伺服器取得的資訊。
一旦如此要從伺服器取得的資訊係被選擇,則客戶端裝置係將所選擇的資訊,從伺服器加以取得而進行全天球影像的再生。藉此,就結果而言,上述的處理TR1乃至處理TR3之任一者會被進行。
尤其是,在沒有足夠取得遮蔽影像1及遮蔽影像2的傳輸頻寬的情況下,會進行處理TR2或處理TR3之任一者。
然而,隨著傳輸頻寬,也會有除了主影像還能夠傳輸遮蔽影像1或遮蔽影像2之任意一方的情況。
又,在全天球影像的再生時,可以只利用複數遮蔽影像之中的一部分之遮蔽影像。
例如,若在複數遮蔽影像之中的一部分之遮蔽影像中含有全天球影像之顯示時所必要的遮蔽領域之資訊,則只要利用含有該必要之遮蔽領域之資訊的遮蔽影像即可。
因此,只選擇性地取得並利用複數遮蔽影像之中的一部分之遮蔽影像,是有用的。
在此例中,遮蔽影像2中係含有,在遮蔽影像1中也未含有的遮蔽領域之資訊,因此在遮蔽影像1與遮蔽影像2中,遮蔽影像1的利用價值比較高。
亦即,例如假設此處所謂的遮蔽影像1是參照圖2所說明的遮蔽影像1,遮蔽影像2是參照圖2所說明的遮蔽影像2。
在此例中,在遮蔽影像1中,係相較於遮蔽影像2中的情況,還含有了位於較靠面前側(原點O側)的被攝體(物件OB2)的遮蔽領域之資訊。因此,在全天球影像再生時,與其遮蔽影像2,不如先利用遮蔽影像1,可說是比較有效果的。換言之,在2個遮蔽影像之中,相較於遮蔽影像2,遮蔽影像1係為就取得(利用)而言是較為適切的遮蔽影像。
可是,在客戶端裝置中,要選擇(特定出)遮蔽影像1與遮蔽影像2之中的哪個遮蔽影像是較為適切的,亦即優先度較高,是困難的。這是因為在現狀下,在客戶端裝置中,無法獲得用來選擇適切的遮蔽影像所需之資訊。
不只以上所說明的使用案例U1,就連使用案例U2或使用案例U3、使用案例U4中也同樣地,在遮蔽影像有多數存在的情況下,從這些遮蔽影像之中選擇出適切的1或複數遮蔽影像,是困難的。
因此,在客戶端裝置中,當傳輸頻寬不足時,無法獲得適切的遮蔽影像。
於是,在本技術中,係使得從複數遮蔽影像之中選擇出適切的一部分之遮蔽影像並加以取得這件事情成為可能,藉此而可較有效率地利用傳輸頻寬。
具體而言,在本技術中,作為用來選擇遮蔽影像所需之資訊,是利用表示全天球座標系中的遮蔽影像之視點位置,亦即原點O’之位置的遮蔽座標資訊、和表示遮蔽影像之景深位準的景深位準資訊。
此處,景深位準資訊(以下亦記作depth level),係為基於從遮蔽影像的景深資訊所表示的原點O’起至遮蔽影像上的被攝體為止之距離(景深)的資訊。亦即,景深位準資訊,係為遮蔽影像的被攝體的縱深方向之距離(景深)的相關資訊。
若如此利用遮蔽座標資訊和景深位準資訊,則即使在對主影像在全天球座標系中的複數位置上有遮蔽影像的情況下,仍可隨應於使用者的視點位置,來選擇應從伺服器取得之適切的遮蔽影像。
具體而言,例如上述的使用案例U2,亦即例如圖3的箭頭A22所示之位置上有遮蔽影像的情況下,假設使用者的視點位置是落在全天球座標系的x軸上之正方向之位置,顯示從使用者的視點位置觀看的全天球影像。
此時,用來生成顯示用的全天球影像所必須的遮蔽領域之資訊係被包含在,位於全天球座標系的x軸上之正方向之位置的遮蔽影像中。
另一方面,位於全天球座標系的x軸上之負方向之位置的遮蔽影像中係不包含有,相應於使用者之視點位置的全天球影像之顯示時所必須的遮蔽領域之資訊。
又,位於全天球座標系的y軸上或z軸上之位置的遮蔽影像中,雖然有可能會包含有全天球影像之顯示時所必須的遮蔽領域之資訊,但其資訊量係應該會比位於x軸上之正方向之位置的遮蔽影像還少。
因此可知,隨著使用者之視點位置不同,從複數遮蔽影像之中所應選擇的遮蔽影像也不同。
為了選擇全天球影像之生成時所必須之適切的遮蔽影像,必須要得知遮蔽影像是否位於主影像之位置,亦即從原點O之位置觀看位於哪個位置。
作為可以特定出各遮蔽影像之位置(原點O’)是位於從主影像之位置亦即原點O來看的哪個位置的資訊,係只要使用上述的遮蔽座標資訊即可。
遮蔽座標資訊,係為遮蔽影像之視點位置的相關資訊。例如遮蔽座標資訊係被設成,將全天球座標系中的主影像的原點O之位置之座標設成(0,0,0)時的各遮蔽影像的原點O’之位置之座標,各軸方向之座標之單位係被設成公尺等。
因此,例如於全天球座標系中從原點O起在x軸之正方向上位於X公尺之距離,從原點O起在y軸之正方向上位於Y公尺之距離,從原點O起在z軸之正方向上位於Z公尺之距離的位置之座標,係為(X,Y,Z)。
若有如此的遮蔽座標資訊,則可根據使用者之視點位置與遮蔽座標資訊來選擇適切的遮蔽影像。
亦即,基於遮蔽座標資訊,從複數遮蔽影像之中,按照遮蔽座標資訊所表示的遮蔽影像之視點位置,是較靠近於使用者之視點位置起,依序地選擇來作為要取得的遮蔽影像即可。
換言之,只要按照遮蔽影像的視點位置與使用者的視點位置之間的距離由短而長的順序,選擇成為要取得的遮蔽影像即可。
此外,在相同位置上有複數遮蔽影像存在的情況下,則只要按照遮蔽影像中所含之遮蔽領域之全天球座標系中的位置,是較靠近於主影像之被攝體之位置起,依序加以選擇(利用)即可。這是因為,如上述般地,遮蔽領域之位置越靠近主影像的被攝體之位置,則利用價值越高。
為了從把相同位置當作原點O’的複數遮蔽影像之中,選擇出遮蔽領域之位置是較靠近於主影像之被攝體之位置的遮蔽影像,係只要利用景深位準資訊即可。
景深位準資訊(depth level),係基於遮蔽影像的景深資訊而被生成,係為遮蔽影像中的遮蔽領域之景深(深度)的相關資訊。
此處,遮蔽影像中的遮蔽領域位於距離原點O’越遠的位置,則遮蔽領域之深度(景深)就越深。
此情況下,遮蔽影像的景深位準資訊係為例如,在位於相同位置的複數遮蔽影像之中,表示該遮蔽影像之遮蔽領域之深度是第幾個淺的此一深度之順序的資訊等。
具體而言,例如位於同位置的複數遮蔽影像之中,遮蔽領域之深度最淺(不深)的遮蔽影像的depth level是被設成1,再來按照遮蔽領域之深度由淺而深的順序而depth level逐一被設成2、3、・・・。
被景深位準資訊(depth level)所示的深度之順序之決定時,係求出遮蔽影像的紋理資訊的所定之畫格中的各位置之景深值的合計,亦即全天球座標系中的從原點O’至位於該位置的被攝體為止之距離的合計。
然後,位於同位置的複數遮蔽影像之中,景深值的合計值越小的遮蔽影像,depth level就會越小。亦即,例如景深值的合計值最小的遮蔽影像的景深位準資訊(depth level)係被設成1。
此外,此處雖然是針對,基於各位置上的景深值的合計值而決定depth level的例子加以說明,但不限於此,亦可基於各位置上的景深值之平均值等,表示各遮蔽影像之遮蔽領域之深度(景深)的資訊,來決定之。
例如基於遮蔽影像之各位置上的景深值之平均值來決定depth level的情況下,則平均值越小的遮蔽影像depth level之值就越小地,亦即深度之順序就越小即可。此外,以下,亦將表示遮蔽影像之各位置上的景深值之平均值的資訊,稱為景深平均值資訊。
若使用如此的景深位準資訊(depth level),則即使在相同位置有複數遮蔽影像存在的情況下,於客戶端裝置側仍可選擇適切的遮蔽影像。亦即,在相同位置有複數遮蔽影像存在的情況下,則只要按照景深位準資訊之值由小而大的順序來選擇遮蔽影像即可。
若有如以上的遮蔽座標資訊和景深位準資訊,則在各使用案例U1乃至使用案例U4中,就可選擇適切的遮蔽影像。
此處說明,於MPEG-DASH中將遮蔽座標資訊和景深位準資訊訊令至客戶端裝置的方法之例子。
具體而言,例如於MPD檔案中定義了,針對遮蔽影像而可設定遮蔽座標資訊和景深位準資訊的新的EssentialProperty。
亦即,在圖4所示的例子中,針對遮蔽影像的紋理資訊的EssentialProperty中,schemeIdUri之部分是被設成「“urn:mpeg:dash:occlusion:2015”」。
取而代之,在本技術中,schemeIdUri之部分是被設成「“urn:mpeg:dash:occlusion:2017”」,在schemeIdUri的value中係描述有遮蔽座標資訊之值(x,y,z)、和景深位準資訊depth level之值。具體而言,value之值係被逗點所區隔而被設成「“x,y,z,depth level”」。
因此,例如遮蔽座標資訊為(0,0,0),景深位準資訊depth level之值為1時,EssentialProperty之部分係被設成<EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion:2017” value=“0,0,0,1”>。
如此在MPD檔案中含有各遮蔽影像的遮蔽座標資訊和景深位準資訊的情況下,例如對應於圖4所示的MPD檔案,適用了本技術的MPD檔案,係如圖5所示。此外,圖5中,和圖4對應的部分之說明係為重複,因此適宜省略。
圖5所示的MPD檔案,係只有箭頭Q21及箭頭Q22所示部分,是和圖4所示的MPD檔案不同。
亦即,於圖5中在遮蔽影像1的紋理資訊的AdaptationSet中,如箭頭Q21所示般地schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值是被設成「“0,0,0,1”」。
因此可知,遮蔽影像1的遮蔽座標資訊係為(0,0,0),景深位準資訊depth level之值係為1。
同樣地在遮蔽影像2的紋理資訊的AdaptationSet中,如箭頭Q22所示般地schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值是被設成「“0,0,0,2”」。藉此可知,遮蔽影像2的遮蔽座標資訊係為(0,0,0),景深位準資訊depth level之值係為2。
因此可知,在此例中,對主影像係有2個遮蔽影像1及遮蔽影像2存在,這些遮蔽影像的原點O’之位置係皆為主影像之位置也就是原點O。
又,若傳輸頻寬之計測的結果,是只足夠取得這些遮蔽影像1與遮蔽影像2之中的任一方的情況下,則由於這些遮蔽影像之位置係為相同,因此只要選擇景深位準資訊之值較小的遮蔽影像1即可。
如以上若依據本技術,則藉由以MPD檔案來將各遮蔽影像的遮蔽座標資訊和景深位準資訊加以訊令,就可選擇適切的遮蔽影像。其結果為,可效率較佳地利用傳輸頻寬。
<檔案生成裝置之構成例> 接下來,說明適用了本技術的,較具體的實施形態。
圖6係適用了本技術之檔案生成裝置的一實施形態之構成例的圖。
圖6所示的檔案生成裝置11,係具有控制部21及檔案生成部22。該檔案生成裝置11,係將藉由MPEG-DASH等而被配訊的內容之動態影像的區段檔案與MPD檔案加以生成並上傳至伺服器。此外,這裡所謂的內容之動態影像,係為由上述的主影像、和關於該主影像的遮蔽影像所生成的顯示用的全天球影像。
控制部21,係控制檔案生成裝置11的全體動作。例如控制部21,係控制檔案生成部22,而生成內容之動態影像也就是全天球影像等所被儲存的區段檔案、或含有該內容之後設資料的MPD檔案,或是將這些區段檔案或MPD檔案予以上傳等等。
檔案生成部22,係依照控制部21之控制而生成區段檔案或MPD檔案,並且將這些區段檔案或MPD檔案透過網路而上傳(發送)至伺服器。
檔案生成部22係具有:資料輸入部31、資料編碼・生成部32、MPD檔案生成部33、記錄部34、及上傳部35。
資料輸入部31,係將主影像、或該主影像所相關之遮蔽影像之生成時所必要的影像資料、及遮蔽座標資訊或景深位準資訊等之MPD檔案之生成時所必要的後設資料加以取得,並供給至資料編碼・生成部32及MPD檔案生成部33。
資料編碼・生成部32,係基於從資料輸入部31所被供給的影像資料,而生成主影像或遮蔽影像所被儲存之區段檔案,供給至記錄部34。
資料編碼・生成部32係具有:前處理部41、編碼部42、及區段檔案生成部43。
前處理部41,係基於從資料輸入部31所被供給的影像資料,進行將影像接合的縫合處理以生成主影像及遮蔽影像,並供給至編碼部42。編碼部42,係將從前處理部41所被供給的主影像及遮蔽影像予以編碼,將所得到的編碼資料,供給至區段檔案生成部43。
區段檔案生成部43,係基於從資料輸入部31所被供給的後設資料等,將從編碼部42所被供給的編碼資料以區段單位進行檔案化,將其結果所得之區段檔案,供給至記錄部34。藉此可獲得,主影像的紋理資訊之編碼資料所被儲存之區段檔案、主影像的景深資訊之編碼資料所被儲存之區段檔案、遮蔽影像之編碼資料所被儲存之區段檔案。
MPD檔案生成部33,係基於從資料輸入部31所被供給的後設資料,生成含有主影像或遮蔽影像之相關資訊的MPD檔案,供給至記錄部34。此外,MPD檔案生成部33,係亦可將MPD檔案之生成時所必須的後設資料,從區段檔案生成部43加以取得。
記錄部34,係將從MPD檔案生成部33所被供給的MPD檔案、及從區段檔案生成部43所被供給的區段檔案,予以記錄。
上傳部35,係從記錄部34讀出內容的MPD檔案及區段檔案並上傳至伺服器。亦即,上傳部35係成為,將MPD檔案及區段檔案發送至伺服器的通訊部而發揮機能。
此外,此處雖然說明,檔案生成裝置11係成為將MPD檔案及區段檔案上傳伺服器的裝置而發揮機能的例子,但檔案生成裝置11亦可成為伺服器而發揮機能。如此情況下,檔案生成裝置11的上傳部35,係透過網路而將MPD檔案及區段檔案發送至客戶端裝置。
<上傳處理之說明> 接著,說明檔案生成裝置11之動作。亦即,以下,參照圖7的流程圖,說明檔案生成裝置11所做的上傳處理。
於步驟S11中,資料輸入部31,係將主影像或遮蔽影像之生成時所必須的影像資料、和遮蔽座標資訊或景深位準資訊等之後設資料加以取得,並供給至前處理部41、區段檔案生成部43、及MPD檔案生成部33。
於步驟S12中,資料編碼・生成部32係生成區段檔案。
亦即,前處理部41,係基於從資料輸入部31所被供給的影像資料,進行縫合處理以生成主影像及遮蔽影像,並供給至編碼部42。編碼部42,係將從前處理部41所被供給的主影像及遮蔽影像予以編碼,將所得到的編碼資料,供給至區段檔案生成部43。
區段檔案生成部43,係基於從資料輸入部31所被供給的後設資料等,將從編碼部42所被供給的編碼資料進行檔案化,將其結果所得之區段檔案,供給至記錄部34。
於步驟S13中,MPD檔案生成部33,係基於從資料輸入部31所被供給的後設資料而生成MPD檔案,供給至記錄部34。
此處,在MPD檔案中係按照每一遮蔽影像而含有遮蔽座標資訊及景深位準資訊。具體而言,例如圖5所示的MPD檔案會被生成。
於步驟S14中,記錄部34,係將從MPD檔案生成部33所被供給的MPD檔案、及從區段檔案生成部43所被供給的區段檔案,予以記錄。
於步驟S15中,上傳部35,係在任意之時序上從記錄部34讀出MPD檔案及區段檔案並上傳至伺服器,結束上傳處理。
此外,MPD檔案及區段檔案的上傳之時序,係只要這些MPD檔案及區段檔案被記錄至記錄部34之後,則無論哪種時序均可。
如以上,檔案生成裝置11,係將MPD檔案及區段檔案予以生成,並上傳之。
尤其是,在檔案生成裝置11中係生成,含有每一遮蔽影像的遮蔽座標資訊及景深位準資訊的MPD檔案。藉此,在客戶端裝置中,可使用MPD檔案中所含的遮蔽座標資訊及景深位準資訊,選擇適切的遮蔽影像並取得之。
<客戶端裝置之構成例> 接下來,說明將已被檔案生成裝置11所上傳之MPD檔案或區段檔案從伺服器加以取得而進行內容之再生的客戶端裝置。適用了本技術的客戶端裝置,係例如圖8所示般地被構成。
圖8的客戶端裝置71係具有控制部81及再生處理部82。
控制部81,係控制客戶端裝置71的全體動作。例如控制部81,係控制再生處理部82,令其從伺服器取得MPD檔案或區段檔案,並且基於區段檔案而令內容之動態影像也就是全天球影像被再生。
再生處理部82係依照控制部81之控制而將全天球影像予以再生。再生處理部82係具有:計測部91、MPD檔案取得部92、MPD檔案處理部93、區段檔案取得部94、顯示控制部95、資料解析・解碼部96、及顯示部97。
計測部91,係計測客戶端裝置71與伺服器之間的網路之傳輸頻寬,將其計測結果供給至MPD檔案處理部93。MPD檔案取得部92,係從伺服器取得MPD檔案並供給至MPD檔案處理部93。
MPD檔案處理部93,係基於從計測部91所被供給的計測結果、和從MPD檔案取得部92所被供給的MPD檔案、和從顯示控制部95所被供給的使用者之視點位置,來選擇主影像的紋理資訊、主影像的景深資訊、及1或複數個遮蔽影像之中的要取得之資訊,將其選擇結果,供給至區段檔案取得部94。
更具體而言,MPD檔案處理部93,係針對遮蔽影像,基於從MPD檔案及使用者之視點位置所得之選擇順序清單、和傳輸頻寬之計測結果,而選擇相應於傳輸頻寬之個數的遮蔽影像,來作為要取得的遮蔽影像。此外,關於選擇順序清單係於後述。
區段檔案取得部94,係基於從MPD檔案處理部93所被供給的選擇結果,將內容再生時所必須的主影像或遮蔽影像等之資訊所被儲存之區段檔案,從伺服器加以取得,並供給至資料解析・解碼部96。
顯示控制部95,係控制內容之動態影像也就是全天球影像的再生(顯示)。例如顯示控制部95,係將視聽全天球影像的使用者之視點位置或視線方向之偵測結果加以取得,並供給至MPD檔案處理部93及資料解析・解碼部96。
資料解析・解碼部96,係基於從區段檔案取得部94所被供給的區段檔案,生成內容之動態影像,亦即再生用(顯示用)之全天球影像,供給至顯示部97。
資料解析・解碼部96係具有:區段檔案處理部111、解碼部112、及顯示資訊生成部113。
區段檔案處理部111,係從區段檔案取得部94所被供給的區段檔案中,抽出主影像或遮蔽影像之編碼資料,並供給至解碼部112。解碼部112,係將從區段檔案處理部111所被供給的編碼資料予以解碼,將其結果所得之主影像或遮蔽影像,供給至顯示資訊生成部113。
顯示資訊生成部113,係基於從顯示控制部95所被供給的使用者之視點位置或視線方向之偵測結果、和從解碼部112所被供給的主影像或遮蔽影像,而生成使用者之視點位置及視線方向所相應之顯示用的全天球影像,更詳言之係為全天球影像之影像資料,並供給至顯示部97。
顯示部97,係由例如液晶顯示面板等所成,將從顯示資訊生成部113所被供給的全天球影像予以顯示(再生)。
<選擇順序清單生成處理之說明> 接著,說明客戶端裝置71之動作。
首先,參照圖9的流程圖,說明客戶端裝置71所進行的選擇順序清單生成處理。
於步驟S41中,MPD檔案取得部92,係從伺服器取得MPD檔案並供給至MPD檔案處理部93。亦即,已被伺服器所發送之MPD檔案,會被MPD檔案取得部92所接收。
於步驟S42中,MPD檔案處理部93係將選擇順序清單予以初期化。
在客戶端裝置71中,係在對主影像有複數遮蔽影像存在的情況下,生成表示各遮蔽影像之優先順位,亦即選擇作為應取得者的順序(以下亦稱為選擇順序)的選擇順序清單,依照該選擇順序清單而選擇要取得的遮蔽影像。
在選擇順序清單中,表示各遮蔽影像的資訊,是按照優先順位較高的順序,從上往下排列。因此,例如選擇順序清單的第1個,亦即最上面的遮蔽影像係為優先順位最高,是應該第一個被選擇作為要被取得的遮蔽影像。
於步驟S42中,藉由將如此的選擇順序清單中所含之表示遮蔽影像的資訊予以抹除,以進行選擇順序清單之初期化。
於步驟S43中,MPD檔案處理部93,係從顯示控制部95取得使用者之視點位置。
例如顯示控制部95,係從未圖示的感測器等,取得使用者之視點位置及視線方向之偵測結果,供給至MPD檔案處理部93及顯示資訊生成部113。MPD檔案處理部93,係藉由如此取得從顯示控制部95所被輸出的資訊,以獲得使用者之視點位置。例如使用者之視點位置,係被設成全天球座標系中的使用者之視點位置之座標資訊等。
於步驟S44中,MPD檔案處理部93,係基於從MPD檔案取得部92所被供給的MPD檔案,而判定是否還有尚未處理的遮蔽影像。
例如在MPD檔案中,AdaptationSet中的EssentialProperty的schemeIdUri若是被設成「“urn:mpeg:dash:occlusion:2017”」,則可特定出該AdaptationSet係為有關於遮蔽影像的紋理資訊。
MPD檔案處理部93,係在MPD檔案內還有尚未被當成處理對象的遮蔽影像的紋理資訊的AdaptationSet的情況下,則於步驟S44中判定為還有尚未處理的遮蔽影像。
於步驟S44中判定為還有尚未處理的遮蔽影像的情況下,則MPD檔案處理部93,係將尚未處理的遮蔽影像當作新的處理對象之遮蔽影像,處理係往步驟S45前進。
於步驟S45中,MPD檔案處理部93係算出,處理對象的遮蔽影像之位置(原點O’)、與步驟S43中所被取得的使用者之視點位置之間的距離。
此處,遮蔽影像之位置,亦即遮蔽座標資訊係可從MPD檔案內中的該遮蔽影像的紋理資訊的位於AdaptationSet的EssentialProperty的schemeIdUri的value之值獲得。
MPD檔案處理部93,係基於如此所得之遮蔽座標資訊、和使用者之視點位置,而算出全天球座標系上的從使用者之視點位置到遮蔽影像之位置為止之距離。
於步驟S46中,MPD檔案處理部93係基於步驟S45之處理中所得之距離、和遮蔽影像的景深位準資訊,而更新選擇順序清單。
亦即,MPD檔案處理部93係於選擇順序清單中,以使得表示各遮蔽影像的資訊會按照步驟S45中所算出之距離較小(短)起依序排列的方式,將表示處理對象之遮蔽影像的資訊,新追加至選擇順序清單。藉此,步驟S45中所算出之距離越小的遮蔽影像,選擇順序就越小(優先順位越高)。
此時,步驟S45中所被算出之距離為相同的遮蔽影像是有複數存在的情況下,於選擇順序清單中,係使這些遮蔽影像是按照景深位準資訊depth level之值為較小起依序排列的方式,選擇順序清單會被更新。亦即,景深位準資訊depth level之值越小的遮蔽影像,選擇順序就越小(優先順位越高)。
此外,遮蔽影像的景深位準資訊,係和遮蔽座標資訊同樣地,可從遮蔽影像的紋理資訊的位於AdaptationSet的EssentialProperty的schemeIdUri的value之值獲得。
一旦如此選擇順序清單被更新,則其後,處理係回到步驟S44,重複進行上述之處理。
在以上的步驟S44乃至於步驟S46中,基於遮蔽影像之視點位置的相關資訊也就是遮蔽座標資訊、和遮蔽影像之景深的相關資訊也就是景深位準資訊,而生成選擇順序清單。換言之,應取得之遮蔽影像會被選擇。
又,於步驟S44中,若判定為沒有尚未處理的遮蔽影像,亦即判定為全部的遮蔽影像都已經處理的情況下,含有MPD檔案所表示的全部的遮蔽影像之資訊的選擇順序清單會被獲得(被生成),因此選擇順序清單生成處理係結束。
如以上,客戶端裝置71,係從MPD檔案與使用者之視點位置,生成用來依序選擇優先度較高,亦即較適切的遮蔽影像所需之選擇順序清單。藉由如此生成選擇順序清單,客戶端裝置71,係即使傳輸頻寬不足情況下仍可選擇適切的遮蔽影像並取得之。
<檔案取得處理之說明> 又,一旦選擇順序清單被生成,則客戶端裝置71,係基於已被獲得之選擇順序清單來選擇遮蔽影像,進行取得已選擇之遮蔽影像或主影像的檔案取得處理。以下,參照圖10的流程圖,說明客戶端裝置71所做的檔案取得處理。
於步驟S71中,計測部91,係計測客戶端裝置71與伺服器之間的傳輸頻寬,將其計測結果供給至MPD檔案處理部93。
於步驟S72中,MPD檔案處理部93,係將圖9的步驟S41之處理中所取得的MPD檔案所表示的主影像的紋理資訊,選擇作為要取得的資訊。
於步驟S73中,MPD檔案處理部93係基於步驟S71中所被獲得,從計測部91所被供給的傳輸頻寬之計測結果,而判定是否有用來取得主影像的景深資訊的頻寬。
於步驟S73中若沒有用以取得主影像的景深資訊的頻寬,亦即判定為傳輸頻寬不足的情況,其後,處理係往步驟S74前進。
此情況下,MPD檔案處理部93,作為要取得之資訊的選擇結果,將只表示主影像的紋理資訊的選擇結果供給至區段檔案取得部94,指示區段檔案之取得。
如此一來,於步驟S74中,區段檔案取得部94,係基於從MPD檔案處理部93所被供給的選擇結果,而從伺服器只取得主影像的紋理資訊。
亦即,區段檔案取得部94,係依照從MPD檔案處理部93所被供給的選擇結果,而向伺服器要求主影像的紋理資訊所被儲存之區段檔案之送訊。然後,區段檔案取得部94,係將回應該要求而從伺服器所被發送過來的區段檔案予以接收並供給至區段檔案處理部111,檔案取得處理係結束。
相對於此,於步驟S73中若判定為有用以取得主影像的景深資訊的頻寬,則其後,處理係往步驟S75前進。
於步驟S75中,MPD檔案處理部93,係將圖9的步驟S41之處理中所取得的MPD檔案所表示的主影像的景深資訊,選擇作為要取得的資訊。
於步驟S76中,MPD檔案處理部93係將表示處理對象之遮蔽影像的計數器設成i=1。亦即,計數器i之值係被設成1。
此處,計數器i所表示的遮蔽影像,係為參照圖9所說明的選擇順序清單的第i個,亦即從上數來第i個遮蔽影像。換言之,計數器i所表示的遮蔽影像,係於選擇順序清單中選擇順序(優先順位)為第i個的遮蔽影像。
於步驟S77中,MPD檔案處理部93,係基於步驟S71中所得之傳輸頻寬之計測結果,來判定是否取得第i個遮蔽影像。
例如根據傳輸頻寬之計測結果,若頻寬還有餘裕是可取得主影像的紋理資訊及景深資訊,還可取得第i個遮蔽影像的情況下,則判定為要取得第i個遮蔽影像。
又,例如第i個遮蔽影像不在選擇順序清單中的情況下,亦即針對選擇順序清單中所含之全部的遮蔽影像都已經進行過處理的情況下,則判定為不取得第i個遮蔽影像。
於步驟S77中判定為要取得第i個遮蔽影像的情況下,於步驟S78中,MPD檔案處理部93,係將第i個遮蔽影像選擇作為要取得的資訊。
於步驟S79中,MPD檔案處理部93係將計數器i之值增值1。
一旦步驟S79之處理被進行,則其後,處理係回到步驟S77,重複進行上述的處理。
藉由以上的步驟S77乃至步驟S79之處理,相應於傳輸頻寬之個數的遮蔽影像,會被選擇作為要取得之遮蔽影像。亦即,從優先順位較高者起依序選擇遮蔽影像,直到達到由傳輸頻寬所決定的可取得之個數。
又,於步驟S77中,若判定為不取得第i個遮蔽影像的情況下,則由於全部的遮蔽影像會被選擇,或因為傳輸頻寬就是沒有取得遮蔽影像的餘裕,因此其後,處理係往步驟S80前進。
此情況下,MPD檔案處理部93,作為要取得之資訊的選擇結果,將表示主影像的紋理資訊及景深資訊、和步驟S78中所選擇之遮蔽影像的選擇結果,供給至區段檔案取得部94,指示區段檔案之取得。此外,步驟S77中不取得第1個遮蔽影像,亦即遮蔽影像就連1個都不取得的情況下,則表示主影像的紋理資訊及景深資訊的選擇結果會被供給至區段檔案取得部94。
於步驟S80中,區段檔案取得部94,係基於從MPD檔案處理部93所被供給的選擇結果,而從伺服器取得主影像和已選擇之遮蔽影像。
亦即,區段檔案取得部94,係依照從MPD檔案處理部93所被供給的選擇結果,而向伺服器要求主影像的紋理資訊所被儲存之區段檔案、及主影像的景深資訊所被儲存之區段檔案之送訊。又,區段檔案取得部94,係在步驟S78中遮蔽影像已被選擇的情況下,則也向伺服器要求已被選擇之遮蔽影像所被儲存之區段檔案之送訊。
然後,區段檔案取得部94,係將回應該要求而從伺服器所被發送過來的區段檔案予以接收並供給至區段檔案處理部111,檔案取得處理係結束。
如以上,客戶端裝置71,係基於傳輸頻寬之計測結果和選擇順序清單而選擇適切的遮蔽影像,將已選擇之遮蔽影像從伺服器加以取得。藉此,即使在用來取得全部的遮蔽影像的傳輸頻寬為不足時,仍可取得全天球影像的再生上所必須的適切的遮蔽影像,可有效率地利用傳輸頻寬。
此外,以上雖然說明了使用選擇順序清單,來選擇要取得的遮蔽影像的例子,但就算沒有特地生成選擇順序清單,仍可選擇取得對象之適切的遮蔽影像。
此種情況下,MPD檔案處理部93,係只要基於傳輸頻寬之計測結果、使用者之視點位置、遮蔽座標資訊、及景深位準資訊,而依序選擇要取得之遮蔽影像達到相應於傳輸頻寬之個數即可。
此時,關於要選擇哪個遮蔽影像,係和利用選擇順序清單的情況同樣地,從視點位置(原點O’)較靠近使用者之視點位置的遮蔽影像起依序選擇即可。又,在相同位置有複數遮蔽影像時,則只要從景深位準資訊之值較小起依序選擇遮蔽影像即可。
於以上所說明的選擇順序清單的生成手法,係在有使用者所致之微小的視點位置之移動的情況下,亦即進行伸頭探視之顯示的情況下,對於決定遮蔽影像之選擇順序來說,特別有用。
又,該手法,係在不進行伸頭探視之顯示的情況,亦即使用者之視點位置是位於原點O的情況下,在傳輸頻寬有餘裕時,對於先將位於原點O附近的遮蔽影像加以取得的預讀而言,也是有用的。
此情況下,雖然會進行參照圖9所說明的選擇順序清單生成處理,但在步驟S43中作為使用者之視點位置會變成是取得(0,0,0)。藉由進行如此的預讀,其後,在發生使用者所致之伸頭探視、亦即視點位置之移動時,就可使用預先取得的遮蔽影像而立刻進行伸頭探視之顯示。
<再生處理之說明> 如以上一旦從伺服器取得區段檔案,則客戶端裝置71,係基於已被取得之區段檔案來進行將全天球影像予以再生的再生處理。以下,參照圖11的流程圖,說明客戶端裝置71所進行的再生處理。
於步驟S111中,區段檔案處理部111,係從區段檔案取得部94所被供給的區段檔案中抽出主影像或遮蔽影像之編碼資料,供給至解碼部112。
於步驟S112中,解碼部112,係將從區段檔案處理部111所被供給的編碼資料予以解碼,將其結果所得之主影像或遮蔽影像,供給至顯示資訊生成部113。
於步驟S113中,顯示資訊生成部113,係基於從顯示控制部95所被供給的使用者之視點位置或視線方向之偵測結果、和從解碼部112所被供給的主影像或遮蔽影像,而生成使用者之視點位置及視線方向所相應之顯示用的全天球影像,供給至顯示部97。
例如圖10所示的檔案取得處理中進行了步驟S74之處理的情況下,則在步驟S111中係只取得主影像的紋理資訊,因此在步驟S113中會只使用主影像的紋理資訊來生成顯示用的全天球影像。
又,例如在圖10所示的檔案取得處理的步驟S80中,只有主影像的紋理資訊和景深資訊之區段檔案是已被取得的情況下,則在步驟S111中會只取得主影像的紋理資訊和景深資訊。因此,在步驟S113中會只使用主影像的紋理資訊和景深資訊來生成顯示用的全天球影像。
甚至,例如在圖10所示的檔案取得處理的步驟S80中,主影像的紋理資訊、主影像的景深資訊、及遮蔽影像之各區段檔案是已被取得的情況下,則在步驟S111中係會取得主影像的紋理資訊及景深資訊、和遮蔽影像。因此,在步驟S113中會使用主影像和遮蔽影像來生成顯示用的全天球影像。
於步驟S114中,顯示部97,係將從顯示資訊生成部113所被供給的顯示用的全天球影像予以顯示(再生),再生處理係結束。
如以上,客戶端裝置71,係基於已取得之區段檔案而生成顯示用的全天球影像,並再生之。藉此,在得到遮蔽影像時,可顯示即使使用者之視點位置有移動而對主影像係為遮蔽的領域仍可被顯示的高品質的全天球影像。
如以上,本技術係在遮蔽影像是有複數存在的情況下,傳輸頻寬有限時,對於選擇性地取得一部分之適切的遮蔽影像而言,是有用的。
尤其是在第1實施形態所說明的手法中,在上述的使用案例U1乃至使用案例U4之全部的情況中,為了能夠選擇適切的遮蔽影像,而從伺服器對客戶端裝置71將遮蔽座標資訊和景深位準資訊予以訊令。
在該手法中,無論哪個使用案例,當使用者之視點位置是位於原點O的情況下,亦即不進行伸頭探視的情況下,則藉由預先選擇位於離主影像的原點O較近位置的遮蔽影像,就可使顯示能夠立刻追上使用者的視點位置之移動。
又,使用者之視點位置是原點O以外之位置的情況下,亦即有進行伸頭探視的情況下,則可使用遮蔽座標資訊或景深位準資訊,來選擇含有較多顯示時所必須的遮蔽領域之資訊的遮蔽影像。
<第2實施形態> <關於遮蔽影像之選擇> 順便一提,將遮蔽座標資訊和景深位準資訊予以訊令的手法中,於客戶端裝置71中,會需要同時利用這些遮蔽座標資訊和景深位準資訊的,是只有在特定的情況下。
具體而言,若不同時利用遮蔽座標資訊和景深位準資訊就無法選擇適切的遮蔽影像,係只有在原點O之位置及原點O以外之位置上有遮蔽影像存在,且在相同位置上有複數遮蔽影像存在的情況。亦即,只有圖3所示的使用案例U4的情況。
在上述的使用案例U1的情況下,由於只在原點O之位置上有遮蔽影像存在,因此遮蔽影像之選擇時只要有景深位準資訊即可,不需要遮蔽座標資訊。
又,在使用案例U2的情況下,由於在相同位置上沒有複數遮蔽影像存在,因此遮蔽影像之選擇時只要有遮蔽座標資訊即可,不需要景深位準資訊。
在使用案例U3的情況下,在原點O之位置上有複數遮蔽影像,在其他位置上係只存在有1個遮蔽影像。因此,在使用案例U3中,在使用者之視點位置係為原點O之位置的情況下則只要有景深位準資訊即可,在原點O以外之位置的情況下則只要有遮蔽座標資訊即可,因此亦可不必同時利用景深位準資訊與遮蔽座標資訊。
如此在使用案例U1乃至使用案例U3中,即使對客戶端裝置71將遮蔽座標資訊和景深位準資訊予以訊令,這些資訊之中為必要的係只有其中任意一方。因此,若能夠較有效率地進行訊令,則可削減MPD檔案的資料量。
又,將遮蔽座標資訊和景深位準資訊予以訊令的手法中,於客戶端裝置71中,遮蔽影像之選擇時必須要求出從使用者之視點位置至遮蔽影像之位置為止的距離。
如此的到遮蔽影像之位置為止之距離,係在使用案例U2、使用案例U3、及使用案例U4中會被利用。
在選擇遮蔽影像之際,為了選擇位於靠近使用者之視點位置之位置的遮蔽影像,每次使用者之視點位置有變化時,就必須要計算出所有的各遮蔽影像之位置與使用者之視點位置之間的距離。
因此,遮蔽影像係為多數,使用者之視點位置之變化是頻繁發生的情況下,則必須每次都要算出距離,導致計算量變多。
於是,為了更有效率地訊令遮蔽影像之選擇時所使用的資訊,亦可藉由旗標資訊也就是選擇資訊flag來切換要訊令之資訊,紙漿遮蔽影像之選擇時所必須的資訊以MPD檔案來加以傳輸。
又,為了削減從使用者之視點位置起算之距離的計算量,作為遮蔽影像之視點位置的相關資訊,亦可取代遮蔽座標資訊,改為使用遮蔽方向資訊、或遮蔽方向資訊與遮蔽距離資訊。
此處,遮蔽方向資訊係為表示,以全天球座標系中的原點O為基準,亦即從基準的主影像之位置所看到的,遮蔽影像的原點O’之位置所位處之方向的指標。
作為一例,遮蔽方向資訊係為例如圖12所示般地,是表示全天球座標系中的x方向、y方向、z方向、 -x方向、-y方向、及-z方向的合計6個方向之中之哪一者的資訊。此外,圖12所示的以原點O為基準的座標系,係和圖3所示的座標系為相同的全天球座標系。
在此例中,例如x方向係表示全天球座標系的x軸之正方向,遮蔽方向資訊係為x方向時,則表示了遮蔽影像是從原點O觀看而位於x軸之正方向。又,例如-x方向,係表示全天球座標系的x軸之負方向。
但是,此處係假設,各遮蔽影像的遮蔽方向資訊,是6方向之中的其中任1個方向。因此,遮蔽影像不是位於全天球座標系之軸上時,則遮蔽方向資訊係為表示,從原點O來看遮蔽影像的大致之方向的資訊。
此情況下,雖然無法藉由遮蔽方向資訊而特定出遮蔽影像所位處的正確之方向,但藉由將遮蔽方向資訊所表示的方向限定成6方向,就可較簡單地進行遮蔽影像之選擇。
又,遮蔽距離資訊係為表示,從全天球座標系中的主影像之位置也就是原點O起,到遮蔽影像的原點O’之位置為止之距離的資訊。
在上述的第1實施形態中,是在客戶端裝置71中求出從使用者之視點位置到遮蔽影像的原點O’為止之距離。
相對於此,在利用遮蔽方向資訊和遮蔽距離資訊來選擇遮蔽影像的情況下,則只要在客戶端裝置71中,求出從原點O來看的使用者之視點位置之方向(以下亦稱為視點位置方向)、和從原點O到使用者之視點位置為止之距離(以下亦稱為視點位置距離)即可。此外,視點位置方向也是設成上述的6方向之中任一方向即可。
在遮蔽影像之選擇時,係只要在複數遮蔽影像之中,選擇遮蔽方向資訊所表示之方向是與視點位置方向一致,更詳言之是與視點位置方向較近之方向的遮蔽影像即可。
又,遮蔽方向資訊所表示之方向是與視點位置方向為相同方向的遮蔽影像是有複數存在時,則只要從這些遮蔽影像之中,依序選擇出遮蔽距離資訊所表示之距離是較靠近於視點位置距離者即可。即使如此,仍可從原點O’是較靠近於使用者之視點位置者起,依序選擇遮蔽影像。
在使用遮蔽距離資訊的情況下,相較於求出從使用者之視點位置到遮蔽影像的原點O’為止之距離,只需要遮蔽距離資訊與視點位置距離之比較處理即可,因此可減低計算量。
在此實施形態中,如以上的選擇資訊flag、遮蔽方向資訊、及遮蔽距離資訊會被利用。此外,在此實施形態中,遮蔽影像之配置是想定為使用案例U1、使用案例U2、或使用案例U3的情況。
具體而言,例如如圖13所示般地藉由選擇資訊flag,來切換景深位準資訊(depth level)、景深平均值資訊(depth平均值)、遮蔽方向資訊、及遮蔽方向資訊和遮蔽距離資訊,可使訊令之效率提升,可減低客戶端裝置71中的計算量。
在圖13的例子中,選擇資訊flag係為表示,景深位準資訊、景深平均值資訊、遮蔽方向資訊、及遮蔽方向資訊與遮蔽距離資訊之中的哪個資訊是被含有的資訊。
此處,若選擇資訊flag之值為「00」,則會被訊令的,藉由選擇資訊flag而被選擇的資訊(以下亦稱為選擇資訊值),係為景深位準資訊(depth level)。亦即,選擇資訊flag之值為「00」的情況下,對客戶端裝置71係只有景深位準資訊會被傳輸。此處,選擇資訊值係為用來選擇遮蔽影像所需之資訊。
又,選擇資訊flag之值為「01」的情況下,選擇資訊值,係被視為景深平均值資訊(depth平均值)。此處,景深平均值資訊,係為表示景深位準資訊所對應之遮蔽影像之景深的資訊,係為表示遮蔽影像的各位置上的景深值之平均值的資訊。
選擇資訊flag之值為「10」的情況下,則選擇資訊值係被視為遮蔽方向資訊,選擇資訊flag之值為「11」的情況下,則選擇資訊值係被視為遮蔽方向資訊及遮蔽距離資訊。
此處說明,實際於MPEG-DASH中使用到選擇資訊flag來進行訊令的情況。
此種情況下,例如圖4所示的MPD檔案中的遮蔽影像的紋理資訊的AdaptationSet中,schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值中係被描述選擇資訊flag與選擇資訊值。
具體而言,value之值係被逗點所區隔而被設成「“選擇資訊flag,選擇資訊值”」。
又,選擇資訊flag之值為「11」,遮蔽方向資訊與遮蔽距離資訊是被設成選擇資訊值時,則以空白做區隔而描述遮蔽方向資訊與遮蔽距離資訊之值。
亦即,例如假設遮蔽方向資訊之值為「x」,遮蔽距離資訊之值為「0.5」。此情況下,EssentialProperty之部分係被設成<EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion:2017” value=“11,x 0.5”>。
根據如此的value之值,可知藉由選擇資訊flag之值「11」,在該AdaptationSet中,遮蔽方向資訊與遮蔽距離資訊是被當作選擇資訊值而含有。又,可知遮蔽方向資訊所表示之方向係為x方向,遮蔽距離資訊所表示之距離係為0.5m。
又,例如在使用案例U1的情況下,對應於圖4所示的MPD檔案,適用了本技術的MPD檔案係如圖14所示。此外,圖14中,和圖4對應的部分之說明係為重複,因此適宜省略。
圖14所示的MPD檔案,係只有箭頭Q31及箭頭Q32所示部分,是和圖4所示的MPD檔案不同。
亦即,於圖14中在遮蔽影像1的紋理資訊的AdaptationSet中,如箭頭Q31所示般地schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值係為「“00,1”」。
因此,關於遮蔽影像1可知,選擇資訊flag之值為「00」,作為選擇資訊值是含有景深位準資訊,其景深位準資訊之值,亦即depth level係為「1」。
同樣地在遮蔽影像2的紋理資訊的AdaptationSet中,如箭頭Q32所示般地schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值係為「“00,2”」。
因此,關於遮蔽影像2可知,選擇資訊flag之值為「00」,作為選擇資訊值是含有景深位準資訊,其景深位準資訊之值係為「2」。
因此,在客戶端裝置71中,可得知與其遮蔽影像2不如先選擇遮蔽影像1即可。
<選擇順序清單生成處理之說明> 如以上所述,在MPD檔案中含有選擇資訊flag與選擇資訊值的情況下,在檔案生成裝置11和客戶端裝置71中,會進行如以下的處理。
亦即,在檔案生成裝置11中,係於圖7的上傳處理的步驟S13中,MPD檔案生成部33係生成,在各遮蔽影像的紋理資訊的AdaptationSet中含有這些遮蔽影像之選擇資訊flag與選擇資訊值的MPD檔案。
又,在客戶端裝置71中,會進行圖15所示的選擇順序清單生成處理,生成選擇順序清單。以下,參照圖15的流程圖,說明客戶端裝置71所做的選擇順序清單生成處理。
此外,步驟S141乃至步驟S143之處理,係和圖9之步驟S41乃至步驟S43之處理相同,因此省略其說明。
於步驟S144中,MPD檔案處理部93,係基於已被步驟S143之處理所被取得之使用者之視點位置,而求出使用者之視點位置方向及視點位置距離。
於步驟S145中,MPD檔案處理部93,係基於從MPD檔案取得部92所被供給的MPD檔案,而判定是否還有尚未處理的遮蔽影像。在步驟S145中,進行和圖9之步驟S44相同之處理。
於步驟S145中判定為還有尚未處理的遮蔽影像的情況下,則MPD檔案處理部93,係將尚未處理的遮蔽影像當作新的處理對象之遮蔽影像,處理係往步驟S146前進。
於步驟S146中,MPD檔案處理部93係判定,MPD檔案中的處理對象之遮蔽影像的選擇資訊flag之值是否為「00」或「01」。
於步驟S146中判定為選擇資訊flag之值是「00」或「01」的情況下,亦即作為選擇資訊值是含有景深位準資訊(depth level)或景深平均值資訊(depth平均值)的情況下,處理係往步驟S147前進。
於步驟S147中,MPD檔案處理部93,係基於MPD檔案中作為選擇資訊值而含有的景深位準資訊或景深平均值資訊,以使得遮蔽影像會依照選擇資訊值是由小而大之順序而排列的方式,更新選擇順序清單。
亦即,MPD檔案處理部93係於選擇順序清單中,以使得表示各遮蔽影像的資訊會按照景深位準資訊或景深平均值資訊之值由小而大的順序從上而下排列的方式,將表示處理對象之遮蔽影像的資訊,新追加至選擇順序清單。
一旦如此選擇順序清單被更新,則其後,處理係回到步驟S145,重複進行上述之處理。
又,於步驟S146中,若判定為選擇資訊flag之值並非「00」或「01」,亦即判定選擇資訊flag之值為「10」或「11」的情況下,則處理係往步驟S148前進。
此情況下,作為MPD檔案中的處理對象之遮蔽影像的選擇資訊值是只含有遮蔽方向資訊,或含有遮蔽方向資訊與遮蔽距離資訊。
於步驟S148中,MPD檔案處理部93,係基於MPD檔案中作為選擇資訊值而含有的遮蔽方向資訊,而選擇遮蔽方向資訊所表示之方向是與視點位置方向一致者而更新選擇順序清單。
亦即,MPD檔案處理部93,係在處理對象之遮蔽影像之遮蔽方向資訊所表示之方向,是與步驟S144中所求出的使用者之視點位置方向一致的情況下,藉由將表示該處理對象之遮蔽影像的資訊追加至選擇順序清單,以更新選擇順序清單。
此外,視點位置方向並非被設成上述的6方向之中的任一方向,而是被設成從原點O觀看的使用者之視點位置之方向時,在遮蔽方向資訊所表示之方向、與視點位置方向所夾的角度是所定之閾值以下的情況下,則只要判定為遮蔽方向資訊所表示之方向、與視點位置方向係為一致即可。
又,遮蔽方向資訊所表示之方向、與視點位置方向為一致的遮蔽影像,有時候也會有複數個。此種情況下,選擇資訊flag之值為「11」,MPD檔案中含有遮蔽距離資訊時,則只要也使用遮蔽距離資訊與視點位置距離來更新選擇順序清單即可。
亦即,MPD檔案處理部93,係以使得遮蔽方向資訊所表示之方向、與視點位置方向為一致的遮蔽影像,按照遮蔽距離資訊所表示之距離與視點位置距離之差分為由小而大的順序排列的方式,更新選擇順序清單。
再者,針對遮蔽方向資訊所表示之方向、與視點位置方向為不一致的遮蔽影像,係亦可使其不被包含在選擇順序清單中,亦可把選擇順序設成下位之順位而被包含在選擇順序清單中。
一旦如此選擇順序清單被更新,則其後,處理係回到步驟S145,重複進行上述之處理。
例如在上述的使用案例U1中,由於原點O上有2個遮蔽影像因此各遮蔽影像的選擇資訊flag之值是被設成「00」或「01」,步驟S147之處理會被進行而生成選擇順序清單即可。
又,在使用案例U2中,由於在相同位置上沒有複數遮蔽影像存在,因此各遮蔽影像的選擇資訊flag之值被設成「10」或「11」,步驟S148之處理會被進行而生成選擇順序清單即可。
在使用案例U3中,在原點O上有2個遮蔽影像,在其他位置上係有1個遮蔽影像存在。
因此,在使用案例U3中,例如關於位於原點O的遮蔽影像係可將選擇資訊flag之值設成「00」或「01」,關於原點O以外之位置的遮蔽影像係可將選擇資訊flag之值設成「10」或「11」。
此情況下,關於原點O以外之位置的遮蔽影像係進行步驟S148而更新選擇順序清單即可。又,關於位於原點O的遮蔽影像,係例如讓這些遮蔽影像係只使用在預讀,而於步驟S147中追加至選擇順序清單的最下位之選擇順序的位置。反之,位於原點O的遮蔽影像亦可被追加至選擇順序清單的最上位之選擇順序的位置。
如以上所述,於步驟S146乃至步驟S148中,基於遮蔽方向資訊或遮蔽距離資訊這類遮蔽影像之視點位置的相關資訊、和景深位準資訊或景深平均值資訊這類遮蔽影像之景深的相關資訊的至少任意一方,來選擇遮蔽影像,生成選擇順序清單。
又,於步驟S145中,若判定為沒有尚未處理的遮蔽影像,亦即判定為全部的遮蔽影像都已經處理的情況下,選擇順序清單會被獲得(被生成),因此選擇順序清單生成處理係結束。
如以上,客戶端裝置71,係基於選擇資訊值而生成用來依序選擇適切的遮蔽影像所需之選擇順序清單。藉由如此生成選擇順序清單,客戶端裝置71,係即使傳輸頻寬不足情況下仍可選擇適切的遮蔽影像並取得之。
尤其是,由於是使MPD檔案中含有選擇資訊flag與選擇資訊值,因此可以只取得遮蔽影像之選擇時所必須的資訊而有效率地生成選擇順序清單。又,基於遮蔽距離資訊與視點位置距離而生成選擇順序清單時,相較於使用使用者之視點位置與原點O’之距離的情況,可減低選擇順序清單生成時的計算量。
一旦如此生成選擇順序清單,則其後,在客戶端裝置71中,會進行參照圖10所說明的檔案取得處理、和參照圖11所說明的再生處理。
此外,以上是針對,遮蔽方向資訊所表示之方向是預先決定之6方向之中的任一方向的例子,加以說明。
可是,遮蔽方向資訊所表示之方向,係不限於此而亦可為例如:-xyz方向、-xy方向、-xy-z方向、-xz方向、-x方向、-x-z方向、-x-yz方向、-x-y方向、-x-y-z方向、yz方向、y方向、y-z方向、z方向、-z方向、-yz方向、-y方向、-y-z方向、xyz方向、xy方向、xy-z方向、xz方向、x方向、x-z方向、x-yz方向、x-y方向、及x-y-z方向的合計26方向等。此處,例如-xy-z方向係為,將-x方向之單位向量、與y方向之單位向量、與-z方向之單位向量進行加算所得之向量的方向。
又,6個方向或26個方向等,為了表示遮蔽方向資訊之各方向,亦可使用yaw角或pitch角。
此處,所謂yaw角,係例如圖12所示的全天球座標系的以y軸為中心的旋轉角度,從y軸的正方向觀看原點O時的反時鐘方向係為yaw角的正方向。又,所謂pitch角,係圖12所示的全天球座標系的以x軸為中心的旋轉角度,從x軸的正方向觀看原點O時的反時鐘方向係為pitch角的正方向。
因此,例如若將x方向、y方向、z方向、-x方向、-y方向、及-z方向使用yaw角與pitch角來表示,則會變成如圖16所示。亦即,例如x方向係為,yaw角為90度且pitch角為0度的方向。
再者,作為遮蔽距離資訊,亦可不是利用具體的距離本身之值,而是利用表示距離之範圍的帶有距離之範圍群組。
例如所謂帶有距離之範圍群組,係將從原點O到遮蔽影像的原點O’為止之距離,分成從0m至0.5m為止之範圍的群組、從0.5m至1.0m為止之範圍的群組等之時的距離之範圍的群組。
此情況下,遮蔽距離資訊係被設成,事先準備的複數帶有距離之範圍群組之中的從原點O至原點O’為止之距離所隸屬的帶有距離之範圍群組的最大的距離之值等。因此,例如從原點O至原點O’為止之距離是隸屬於從0.5m至1.0m為止之範圍的群組的情況下,遮蔽距離資訊之值係被設成「1.0」等。
其他,遮蔽距離資訊係亦可被設成,表示是複數遮蔽影像的從原點O至原點O’為止之距離之中的第幾小(短)之距離的距離順位。又,遮蔽距離資訊係亦可為,表示從原點O至原點O’為止之距離是隸屬於複數帶有距離之範圍群組之中的第幾小(短)之範圍的帶有距離之範圍群組的帶有距離之範圍群組之順位。
甚至,在以上說明的第2實施形態中,雖然並未使用遮蔽座標資訊,但作為選擇資訊值亦可將遮蔽座標資訊對客戶端裝置71予以訊令。在此種情況下,在以其他資訊來做遮蔽影像之選擇會有困難的情況下,只要使用作為選擇資訊值的遮蔽座標資訊來選擇遮蔽影像即可。亦即,只要使用遮蔽座標資訊來生成選擇順序清單即可。
在以上的第2實施形態所說明的手法中,藉由只把遮蔽影像之選擇時所必須的資訊予以訊令,相較於第1實施形態所說明的手法,可削減進行訊令的資訊之資訊量。
又,亦可不是使用遮蔽座標資訊,而是使用遮蔽方向資訊或遮蔽距離資訊,就可以更少的計算量來進行遮蔽影像之選擇。這是因為,可根據使用者之視點位置求出視點位置方向,選擇遮蔽方向資訊所表示之方向是與視點位置方向一致的遮蔽影像,然後可從該處起使用遮蔽距離資訊來選擇與視點位置距離接近的遮蔽影像。這些遮蔽影像之選擇時的計算,係都比求出全部的遮蔽影像之位置與使用者之視點位置之間的距離,還要簡單地就可進行。
<第3實施形態> <關於遮蔽影像之選擇> 此外,在上述的第1實施形態或第2實施形態中,例如在使用案例U2中,使用者之視點位置是全天球座標系的原點O的情況下,亦即使用者並未做伸頭探視的情況下,若能事前取得遮蔽影像,則在使用者之視點位置移動時就可立刻顯示移動後之視點的全天球影像。
此情況下,例如按照使用者之視點位置與遮蔽影像之位置之間的距離為較短起之順序、或從原點O至原點O’為止之距離是與使用者之視點位置距離較接近起之順序來逐一選擇遮蔽影像,相同距離的遮蔽影像有時候會被複數選擇。又,在第2實施形態中,一旦相同距離之遮蔽影像是有複數個,則這些遮蔽影像之選擇順序就無法決定。
因此,例如對內容也就是全天球影像而具有注目度高之視點位置的方向是存在時,則可優先取得位於該方向上的遮蔽影像。
於是,亦可使用例如:表示遮蔽影像是否為應被優先選擇的優先flag。
例如優先flag之值「1」係表示這是應優先選擇的遮蔽影像,優先flag之值「0」係表示這並非應優先選擇的遮蔽影像。
藉由使用如此的優先flag,在客戶端裝置71中,從原點O位於相同距離的遮蔽影像是有複數個時,藉由將優先flag之值為「1」的遮蔽影像優先地加以取得,就可適切地選擇遮蔽影像。
又,亦可不用優先flag,而是設定遮蔽影像之優先度順序。具體而言,例如將優先度最高的遮蔽影像之優先度順序設成1,優先度越高的則優先度順序之值就越小的方式,對各遮蔽影像來決定優先度順序。
此情況下,在客戶端裝置71中,例如從原點O位於相同距離的遮蔽影像是有複數個時,則只要從這些複數遮蔽影像,按照優先度順序之值較小起之順序來做選擇即可。
如此的優先flag或優先度順序,係為遮蔽影像之優先度的相關資訊。作為將優先flag或優先度順序對客戶端裝置71進行訊令的方法,係可考慮例如和第2實施形態同樣地利用選擇資訊flag。
亦即,例如如圖17所示,只要對選擇資訊flag之各值預先決定好選擇資訊值即可。
在圖17所示的例子中,選擇資訊flag之值為「1000」時,選擇資訊值係被視為優先flag之值,選擇資訊flag之值為「1001」時,選擇資訊值係被視為優先度順序之值。
此處說明,實際於MPEG-DASH中使用選擇資訊flag來進行優先flag與優先度順序的訊令的情況。
此種情況下,例如圖4所示的MPD檔案中的遮蔽影像的紋理資訊的AdaptationSet中,schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值中係被描述圖17所示的選擇資訊flag與選擇資訊值。具體而言,value之值係被逗點所區隔而被設成「“選擇資訊flag,選擇資訊值”」。例如選擇資訊flag之值為「1001」,優先度順序之值為「2」的情況下,EssentialProperty之部分係被設成<EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion:2017” value =“1001,2”>。
可將優先flag或優先度順序,與第2實施形態所說明的景深位準資訊等組合而同時使用。
此種情況下,例如圖15的步驟S147或步驟S148之處理之後,可還使用優先flag或優先度順序來決定遮蔽影像的較為正確的選擇順序。
優先flag或優先度順序之訊令、與景深位準資訊等之訊令是同時進行的情況下,例如各遮蔽影像的紋理資訊的AdaptationSet中,至少會描述有2個EssentialProperty。
然後,一方之EssentialProperty中係描述有圖13所示的選擇資訊flag與選擇資訊值,他方之EssentialProperty中係描述有圖17所示的選擇資訊flag與選擇資訊值。
如此在MPD檔案中含有圖13所示的選擇資訊flag及選擇資訊值、和圖17所示的選擇資訊flag及選擇資訊值的情況下,在檔案生成裝置11與客戶端裝置71中,可進行如下的處理。
亦即,在檔案生成裝置11中,係於圖7的上傳處理的步驟S13中,MPD檔案生成部33係生成,在各遮蔽影像的紋理資訊的AdaptationSet中含有這些遮蔽影像之選擇資訊flag與選擇資訊值的MPD檔案。
此時,在各遮蔽影像的紋理資訊的AdaptationSet中係設有,圖13所示的選擇資訊flag與選擇資訊值所被描述之EssentialProperty、和圖17所示的選擇資訊flag與選擇資訊值所被描述之EssentialProperty。
<選擇順序清單生成處理之說明> 又,在客戶端裝置71中,會進行圖18所示的選擇順序清單生成處理,生成選擇順序清單。以下,參照圖18的流程圖,說明客戶端裝置71所做的選擇順序清單生成處理。
此外,步驟S171乃至步驟S178之處理,係和圖15之步驟S141乃至步驟S148之處理相同,因此省略其說明。
此外,在步驟S176乃至於步驟S178中,MPD檔案中的圖13所示的選擇資訊flag及選擇資訊值會被使用而進行處理。
步驟S177或步驟S178的處理一旦被進行,則於步驟S179中,MPD檔案處理部93係判定,MPD檔案中的處理對象之遮蔽影像的選擇資訊flag之值是否為「1000」。
此處係基於,處理對象之遮蔽影像的紋理資訊的AdaptationSet中所含之,與步驟S176中所被使用的選擇資訊flag所被描述之EssentialProperty不同的其他EssentialProperty中所被描述之選擇資訊flag之值,來進行判定處理。此情況下,選擇資訊flag之值,係為「1000」或「1001」之任一者。
於步驟S179中,選擇資訊flag之值被判定為「1000」的情況下,亦即,value之值中被描述了優先flag來作為選擇資訊值的情況,處理係往步驟S180前進。
於步驟S180中,MPD檔案處理部93,係基於MPD檔案中所含之,處理對象之遮蔽影像的優先flag而進一步更新於步驟S177或步驟S178中所得之選擇順序清單。
例如步驟S177之處理被進行時,假設景深位準資訊或景深平均值資訊係為相同的遮蔽影像,是有複數個存在。此情況下,MPD檔案處理部93,係在這些複數遮蔽影像之中,使得優先flag之值為「1」者的選擇順序,會變成比優先flag之值為「0」者的選擇順序還要上位之選擇順序的方式,來更新選擇順序清單。
同樣地,步驟S178被進行而得到選擇順序清單的情況下也是,遮蔽方向資訊所表示之方向、與視點位置方向為一致的遮蔽影像係有複數,遮蔽距離資訊所表示之距離與視點位置距離之差分為相同者有時候也會是複數。此種情況下,在步驟S180中,係在這些複數遮蔽影像之中,使得優先flag之值為「1」者的選擇順序,會變成比優先flag之值為「0」者的選擇順序還要上位之選擇順序的方式,來更新選擇順序清單。
一旦步驟S180之處理被進行而更新選擇順序清單,則其後,處理係回到步驟S175,重複進行上述的處理。
又,於步驟S179中,選擇資訊flag之值被判定為不是「1000」的情況下,亦即,選擇資訊flag之值為「1001」,value之值中被描述了優先度順序來作為選擇資訊值的情況下,則處理係往步驟S181前進。
於步驟S181中,MPD檔案處理部93,係基於MPD檔案中所含之,處理對象之遮蔽影像的優先度順序而進一步更新於步驟S177或步驟S178中所得之選擇順序清單。
在步驟S181中,係和步驟S180的情況同樣地,於步驟S177或步驟S178中選擇資訊值為相同等,而無法決定選擇順序,亦即有選擇順序為相同的複數遮蔽影像存在的情況下,則亦可讓這些遮蔽影像按照優先度順序而排列般地更新選擇順序清單。亦即,優先度順序較小的遮蔽影像之選擇順序會變成較小。
一旦步驟S181之處理被進行而更新選擇順序清單,則其後,處理係回到步驟S175,重複進行上述的處理。
如以上所述,客戶端裝置71,係也使用作為選擇資訊值的優先flag或優先度順序來生成選擇順序清單。藉由如此生成選擇順序清單,客戶端裝置71,係即使傳輸頻寬不足情況下仍可選擇適切的遮蔽影像並取得之。
此外,以上說明了,將優先flag或優先度順序、與景深位準資訊等,以不同的EssentialProperty進行訊令的例子。可是,於MPEG-DASH中,亦可將這些資訊以相同的1個EssentialProperty進行訊令。
此種情況下,只要例如如圖19所示般地決定選擇資訊flag與選擇資訊值即可。
在圖19所示的例子中,選擇資訊flag之值為「000」的情況下,選擇資訊值係被視為景深位準資訊(depth level)及優先flag。亦即,選擇資訊flag之值為「000」的情況下,對客戶端裝置71中傳輸景深位準資訊與優先flag。此情況下,在EssentialProperty的value中,景深位準資訊與優先flag是以空白而被區隔而描述。
又,選擇資訊flag之值為「001」的情況下,選擇資訊值係被視為景深位準資訊及優先度順序,在EssentialProperty的value中,景深位準資訊與優先度順序是以空白而被區隔而描述。
此外,於以下的說明中也是,在value中有2個以上的選擇資訊值被描述時,則這些選擇資訊值是以空白而被區隔而描述。
選擇資訊flag之值為「010」的情況下,選擇資訊值係被視為景深平均值資訊(depth平均值)及優先flag,選擇資訊flag之值為「011」的情況下,選擇資訊值係被視為景深平均值資訊及優先度順序。
選擇資訊flag之值為「100」的情況下,則選擇資訊值係被視為遮蔽方向資訊及優先flag,選擇資訊flag之值為「101」的情況下,則選擇資訊值係被視為遮蔽方向資訊及優先度順序。
再者,選擇資訊flag之值為「110」的情況下,選擇資訊值係被視為遮蔽方向資訊、遮蔽距離資訊、及優先flag,選擇資訊flag之值為「111」的情況下,選擇資訊值係被視為遮蔽方向資訊、遮蔽距離資訊、及優先度順序。
如此景深位準資訊等連同優先flag或優先度順序是以1個EssentialProperty而被訊令的情況下也是,進行和參照圖18所說明的選擇順序清單生成處理相同之處理。
但是,此情況下,在步驟S176中,會判定選擇資訊flag之值是否為「000」、「001」、「010」、或「011」,若被判定為是「000」、「001」、「010」、或「011」的情況,則會進行步驟S177之處理。
另一方面,若被判定為選擇資訊flag之值並非「000」、「001」、「010」、或「011」,亦即選擇資訊flag之值被判定為是「100」、「101」、「110」、或「111」的情況下,則會進行步驟S178之處理。
再者,在步驟S179中,會判定選擇資訊flag之值是否為「000」、「010」、「100」、或「110」,若被判定為是「000」、「010」、「100」、或「110」的情況下,則會進行步驟S180之處理。
相對於此,若被判定為選擇資訊flag之值是「001」、「011」、「101」、或「111」的情況下,則會進行步驟S181之處理。
如以上所述,即使在選擇順序為相同的遮蔽影像是有複數存在時,只要使用優先flag或優先度順序,就可決定這些遮蔽影像之選擇順序。
又,若使用將優先flag或優先度順序予以訊令的機制,就可指定內容作成者所意圖的遮蔽影像之選擇順序。例如,可使含有內容作成者想要讓使用者觀看的遮蔽領域的遮蔽影像被優先取得,作為伸頭探視顯示時的建議而進行利用。
<第4實施形態> <關於顯示範圍外通知> 順便一提,在全天球影像顯示時,若使用者之視點位置,與遮蔽影像之位置(原點O’)離得太遠,則有時候會無法獲得顯示時所必須的遮蔽領域之資訊。一旦如此無法獲得的遮蔽領域之資訊增加,則顯示用的全天球影像中無法顯示之部分的領域就會增加。
此情況下,針對位於原點O以外之位置的遮蔽影像,係使用者之視點位置、與遮蔽影像所位處之位置之間的距離越長,亦即使用者之視點位置離遮蔽影像之位置越遠,則無法顯示之部分的領域就會越為增加。
例如針對全天球影像中的無法進行顯示的領域,亦即無法獲得資訊的遮蔽領域,係會顯示出黑色的影像,或是把附近領域之影像進行複製而被顯示等等。
如此在顯示用的全天球影像中無法顯示之領域增加的情況下,是否繼續進行全天球影像之顯示,或是否進行某種其他的顯示,或是否通知視點位置不能繼續移動下去之意旨,係根據客戶端裝置71之實作而改變。
可是,有的時候,內容作成者,係由於全天球影像之顯示中會產生異樣感,因此不希望使用者之視點位置從原點O跑到想定以上的距離。
因此,亦可使得比內容作成者所想定之視點位置還遠的位置無法被當成視點位置而進行全天球影像之顯示,而表示各個遮蔽影像到哪個視點位置為止係為有效的遮蔽影像。
將表示遮蔽影像是有效領域之範圍的資訊,亦即表示從原點O起算之有效距離的資訊,往客戶端裝置71側進行訊令的情況下,例如如圖20所示般地可使用選擇資訊flag。
在圖20所示的例子中,選擇資訊flag之值為「10000」的情況下,選擇資訊值係被視為視點位置最大值資訊。
此處,視點位置最大值資訊係為表示,使用遮蔽影像可進行適切的顯示的從原點O至使用者之視點位置為止之距離的最大值的資訊。換言之,視點位置最大值資訊係為表示,可有效利用遮蔽影像的,使用者之視點位置之範圍的資訊。
亦即,在利用遮蔽影像的情況下,從原點O至使用者之視點位置為止之距離,是比視點位置最大值資訊所表示之距離還長的視點位置上,不希望利用遮蔽影像進行全天球影像之顯示。
此處說明,實際於MPEG-DASH中使用選擇資訊flag來進行視點位置最大值資訊之訊令的情況。
此種情況下,例如圖4等所示的MPD檔案中的遮蔽影像的紋理資訊的AdaptationSet中,schemeIdUri是被設成「“urn:mpeg:dash:occlusion:2017”」,其value之值中係被描述圖20所示的選擇資訊flag與選擇資訊值。
具體而言,value之值係被逗點所區隔而被設成「“選擇資訊flag,選擇資訊值”」。例如選擇資訊flag之值為「10000」,視點位置最大值資訊所表示之距離為1.0m的情況下,EssentialProperty之部分係被設成<EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion:2017” value=“10000,1.0”>。
此情況下,使用者之視點位置是從原點O起算1.0m以內之距離時,係使用到遮蔽影像的全天球影像之顯示中不會發生不良情形,但不希望使用者之視點位置會變成從原點O起算比1.0m還遠的位置。
此外,視點位置最大值資訊,係當然也可以和上述的景深位準資訊或景深平均值資訊、遮蔽方向資訊、遮蔽距離資訊、優先flag、優先度順序等,同時進行訊令。此種情況下,與亦即其他資訊同時將視點位置最大值資訊進行訊令的情況下,例如只要在遮蔽影像的紋理資訊的AdaptationSet中,按照要進行訊令的每一資訊而設置EssentialProperty即可。
如此在MPD檔案中含有每一遮蔽影像的視點位置最大值資訊的情況下,係在圖7的步驟S13中,各遮蔽影像的視點位置最大值資訊是作為選擇資訊值而被描述在value中的MPD檔案,係被MPD檔案生成部33所生成。
又,例如在參照圖9或圖15、圖18所說明的選擇順序清單生成處理中,視點位置最大值資訊也會被使用而生成選擇順序清單。
亦即,MPD檔案處理部93,係基於正在進行選擇順序清單生成處理的時點,亦即現時點上的使用者之視點位置,而求出從原點O至使用者之視點位置為止之距離來作為視點位置距離。
然後,MPD檔案處理部93,係在MPD檔案所表示的1或複數個遮蔽影像之中,將視點位置最大值資訊所表示之距離是比視點位置距離還短者予以除外而生成選擇順序清單。
藉此,只會使用滿足視點位置最大值資訊所表示之距離係為視點位置距離以上的此一條件的遮蔽影像來生成選擇順序清單。
換言之,是從全遮蔽影像之中的,使用者之視點位置,是落在藉由視點位置最大值資訊所表示之距離所決定的範圍內之位置的遮蔽影像之中,依序選擇應取得之遮蔽影像。
因此,例如圖9所示的選擇順序清單生成處理被進行時,係於步驟S43中藉由MPD檔案處理部93而求出視點位置距離。
然後,在步驟S44乃至步驟S46中,只把視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像視為對象,而生成選擇順序清單。亦即,使得視點位置最大值資訊所表示之距離未滿視點位置距離的遮蔽影像之資訊,不會被包含在選擇順序清單中。
藉由如此設計,就只會取得能夠利用的遮蔽影像來生成顯示用的全天球影像。
又,例如圖18所示的選擇順序清單生成處理被進行時,會使用步驟S174中所算出的視點位置距離來生成選擇順序清單。亦即,在步驟S175乃至步驟S181中,只把視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像視為對象,而生成選擇順序清單。
甚至,在沒有能夠利用的遮蔽影像的情況下,亦即視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像是不存在的情況下,則亦可對使用者提示,表示使用者之視點位置是落在顯示範圍外的顯示資訊。
此種情況下,例如參照圖9或圖15、圖18所說明的選擇順序清單生成處理中,MPD檔案處理部93係在視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像是不存在時,將該意旨通知給顯示資訊生成部113。
如此一來,顯示資訊生成部113,係隨應於來自MPD檔案處理部93之通知,例如於圖11的再生處理的步驟S113中,生成用來顯示使用者之視點位置是落在可顯示適切全天球影像(內容)之範圍外之意旨的顯示範圍外通知。然後,顯示資訊生成部113係將顯示範圍外通知供給(輸出)至顯示部97而令其被顯示。
顯示部97,係於步驟S114中,將從顯示資訊生成部113所被供給的顯示範圍外通知予以顯示。此時,顯示範圍外通知,係可與全天球影像同時被顯示,也可不顯示全天球影像而只顯示顯示範圍外通知。
藉由如此顯示出顯示範圍外通知,使用者就可掌握自身之視點位置離原點O太遠之事實。
此外,此處是針對,把視點位置最大值資訊的選擇資訊flag,當成是與景深位準資訊等的選擇資訊flag、或優先flag等的選擇資訊flag為不同東西的例子,加以說明。可是,例如亦可連同圖13所示的選擇資訊值或圖19所示的選擇資訊值,而也將視點位置最大值資訊當作選擇資訊值而同時加以訊令。
例如連同圖13所示的選擇資訊值,也把視點位置最大值資訊當作選擇資訊值而同時加以訊令的情況下,只要如圖21所示般地決定選擇資訊flag與選擇資訊值即可。
在圖21所示的例子中,選擇資訊flag之值為「10000」的情況下,選擇資訊值係被視為景深位準資訊(depth level)及視點位置最大值資訊。亦即,選擇資訊flag之值為「10000」的情況下,對客戶端裝置71中傳輸景深位準資訊與視點位置最大值資訊。此情況下,在EssentialProperty的value中,景深位準資訊與視點位置最大值資訊是以空白而被區隔而描述。
又,選擇資訊flag之值為「10001」的情況下,選擇資訊值係被視為景深平均值資訊(depth平均值)及視點位置最大值資訊,在EssentialProperty的value中,景深平均值資訊與視點位置最大值資訊是以空白而被區隔而描述。
此外,於以下的說明中也是,在value中有2個以上的選擇資訊值被描述時,則這些選擇資訊值是以空白而被區隔而描述。
選擇資訊flag之值為「10010」的情況下,則選擇資訊值係被視為遮蔽方向資訊及視點位置最大值資訊,選擇資訊flag之值為「10011」的情況下,則選擇資訊值係被視為遮蔽方向資訊、遮蔽距離資訊、及視點位置最大值資訊。
如此景深位準資訊或景深平均值資訊、遮蔽方向資訊、遮蔽距離資訊連同視點位置最大值資訊一起被訊令的情況下也是,進行和參照圖15所說明的選擇順序清單生成處理相同之處理。
但是,此情況下,在步驟S146中,會判定選擇資訊flag之值是否為「10000」或「10001」,若被判定為是「10000」或「10001」的情況,則會進行步驟S147之處理。
另一方面,若被判定為選擇資訊flag之值並非「10000」或「10001」,亦即選擇資訊flag之值被判定為是「10010」或「10011」的情況下,則會進行步驟S148之處理。
此外,在步驟S147或步驟S148中,只把視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像視為對象,而生成選擇順序清單。又,MPD檔案處理部93,係在視點位置最大值資訊所表示之距離為視點位置距離以上的遮蔽影像是不存在時,將該意旨通知給顯示資訊生成部113。
如以上所述,只要每一遮蔽影像地規定視點位置最大值資訊,於客戶端裝置71中就可選擇適切的遮蔽影像。亦即,在客戶端裝置71中,可選擇視點位置距離不超過視點位置最大值資訊所表示之距離的遮蔽影像。
又,例如在內容作成者側,可對客戶端裝置71,表示可利用遮蔽影像來進行全天球影像之顯示的使用者之視點位置。亦即,藉由將顯示範圍外通知予以顯示,可誘導使用者在適切的視點位置上觀看全天球影像。
<第5實施形態> <關於優先flag或優先度順序之訊令> 此外,第3實施形態所說明的,表示遮蔽影像之優先度的優先flag或優先度順序,係有可能隨著內容之內容而在時間方向上有所變化。
例如,在設定注目度高的物體(物件)之遮蔽影像為優先的優先flag的情況下,一旦物體移動,則該物體所關連之遮蔽影像也會變化。因此,欲將優先flag之值設成「1」的遮蔽影像,想定也會隨著時間而變化。
如此,各遮蔽影像的優先flag或優先度順序係也有可能隨著時間而變化。可是,如第3實施形態所說明般地將優先flag或優先度順序當作選擇資訊值而在MPD檔案中做描述的情況下,難以對應優先flag或優先度順序的時間性變化。
於是,亦可例如作為ISO(International Organization for Standardization) base media file format的Quality資訊而將優先flag或優先度順序予以傳輸(訊令),藉此就可對應優先flag或優先度順序的時間性變化。
例如優先flag或優先度順序,係被使用於顯示用的全天球影像之生成,因為是再生對象之內容也就是全天球影像之品質所涉及之資訊,所以可以是Quality資訊。
作為在複數時刻上將不同的Quality資訊予以傳輸的手法,係有ISO/IEC(International Electrotechnical Commission) 23001-10所揭露的手法。
在ISO/IEC 23001-10中係可使用ISO base media file format而將Quality資訊儲存在區段檔案中。亦即,在ISO/IEC 23001-10中,例如如圖22所示般地,於區段檔案(MP4檔案)中定義有QualityMetricsSampleEntry。
然後,區段檔案的各Sample(樣本)中係以field_size_bytes所表示的大小,含有以metric_count之個數的被metric_code所表示之種類的Quality資訊。此外,Sample係對應於全天球影像的畫格。亦即,在區段檔案中,係按照全天球影像的每一畫格而含有遮蔽影像的Quality資訊。
此處,在現況下,field_size_bytes、metric_count、及metric_code,係如同圖23所示。
亦即,field_size_bytes係表示Sample中所含的Quality資訊的每1個(1Quality資訊)之大小(size),metric_count係表示所被儲存的Quality資訊之數量。又,metric_code係表示所被儲存的Quality資訊之種類。
基於如此傳輸Quality資訊的手法,把遮蔽影像的優先flag或優先度順序當作新種類的Quality資訊而用metric_code就可加以訊令,藉此就可利用,作為全天球影像之動態影像的每一畫格(Sample)地,亦即每一時刻而被規定的優先flag或優先度順序。
此情況下,表示優先flag或優先度順序的metric_code,係可像是例如圖24所示般地規定。
在圖24所示的例子中,metric_code為「ocpf」的情況下,作為Quality資訊是儲存了用8位元而被描述的優先flag。於此情況下也是,當優先flag之值為「1」時,係表示這是應優先選擇的遮蔽影像,當優先flag之值為「0」時,係表示這並非應優先選擇的遮蔽影像。
又,在metric_code為「ocpn」的情況下,作為Quality資訊是儲存了不帶符號的8位元之資料也就是優先度順序。
表示這些「ocpf」或「ocpn」的metric_code,係可說是表示優先flag或優先度順序等之遮蔽影像之優先度的相關資訊之種類的識別資訊。
作為具體的例子,例如上述的使用案例U1的情況下,對應於圖4所示的MPD檔案的,適用了本技術的MPD檔案,係如圖25所示。此外,圖25中,和圖4對應的部分之說明係為重複,因此適宜省略。
圖25所示的MPD檔案,係只有箭頭Q51及箭頭Q52所示部分,是和圖4所示的MPD檔案不同。亦即,在該MPD檔案中,含有Quality值(Quality資訊)的ISO base media file(區段檔案),是每一遮蔽影像地用AdaptationSet而被指定。
於圖25中箭頭Q51所示部分,係為有關於遮蔽影像1之優先度,亦即有優先flag或優先度順序所相關之Quality資訊的AdaptationSet。
在該AdaptationSet中,在codecs之部分中作為圖24所示的metric_code是被描述有「ocpn」,根據該描述可知,該AdaptationSet所對應的,關於遮蔽影像1的Quality資訊之區段檔案中,係含有優先度順序。亦即,藉由codecs之部分,就可將表示優先flag或優先度順序的metric_code,加以訊令。
又,在該AdaptationSet,係為了能夠掌握與遮蔽影像1的紋理資訊之關係(關連),而在Representation中設定associationId。此處,在Representation的associationId中,遮蔽影像1的紋理資訊之id「vot1」係被使用而被描述有「associationId=“vot1”」,藉此可知,該AdaptationSet所對應的Quality資訊,係為有關於遮蔽影像1者。
和箭頭Q51所示部分同樣地,箭頭Q52所示部分也是有關於遮蔽影像之優先度所相關之Quality資訊的AdaptationSet。在該部分中,根據codecs之部分中的「ocpn」、和Representation中的「associationId=“vot2”」,可知該AdaptationSet係為有關於遮蔽影像2所相關之Quality資訊的AdaptationSet,Quality資訊的區段檔案中係含有優先度順序。
此外,雖然此處是說明了在圖4所示的MPD檔案中追加有關於Quality資訊的AdaptationSet的例子,但當然也可在圖14所示的MPD檔案等中,追加有關於Quality資訊的AdaptationSet。
又,此處係說明,對於全天球影像之每一畫格,亦即遮蔽影像之每一畫格,都有準備優先flag或優先度順序的例子。亦即說明,以1畫格為時間單位,而對各畫格而規定了優先flag或優先度順序的例子。可是,這些優先flag或優先度順序係亦可每數畫格地(例如每一區段地)等,每任意之時間單位地而被準備。
<選擇順序清單生成處理之說明> 如此藉由MPD檔案而將metric_code加以訊令的情況下,客戶端裝置71,係在MPD檔案之取得後,取得各遮蔽影像的Quality資訊所被儲存之區段檔案。
藉此,客戶端裝置71,係可每一畫格地獲得各遮蔽影像之優先度所相關之Quality資訊,亦即獲得優先flag或優先度順序,可使用如此所得的優先flag或優先度順序來生成選擇順序清單。
藉由MPD檔案而將metric_code加以訊令的情況下,在檔案生成裝置11中,係於參照圖7所說明的上傳處理的步驟S12中,區段檔案生成部43,係也生成各遮蔽影像的Quality資訊所被儲存之區段檔案。在該區段檔案中,作為Quality資訊,是含有優先flag或優先度順序。又,於步驟S13中,MPD檔案生成部33係生成,含有各遮蔽影像的Quality資訊的metric_code所被描述之AdaptationSet的MPD檔案。
然後,在客戶端裝置71中,會進行圖26所示的選擇順序清單生成處理。亦即,以下,參照圖26的流程圖,說明客戶端裝置71所做的選擇順序清單生成處理。
此外,步驟S211之處理,係和圖18之步驟S171之處理相同,因此省略其說明。但是,這裡所被取得的MPD檔案中,係除了圖13所示的選擇資訊flag與選擇資訊值以外,也還含有各遮蔽影像的Quality資訊的metric_code。
一旦MPD檔案被取得,則MPD檔案處理部93係基於已被取得之MPD檔案,對區段檔案取得部94,指示各遮蔽影像的Quality資訊所被儲存之區段檔案的取得。
於步驟S212中,區段檔案取得部94係依照MPD檔案處理部93之指示而透過網路從伺服器取得各遮蔽影像的Quality資訊所被儲存之區段檔案,供給至區段檔案處理部111。
藉此,作為內容亦即全天球影像之品質的相關資訊也就是Quality資訊,優先flag或優先度順序所被儲存之區段檔案會被取得。
區段檔案處理部111,係從區段檔案取得部94所被供給的區段檔案中,每一遮蔽影像地,抽出各畫格(各時刻)的Quality資訊,供給至MPD檔案處理部93。
MPD檔案處理部93,係藉由MPD檔案中所被描述之各遮蔽影像的metric_code,就可特定出,從區段檔案處理部111所被供給的Quality資訊,是優先flag或優先度順序之何者。
一旦步驟S212之處理被進行,則其後,步驟S213至步驟S219之處理會被進行,但這些處理係和圖18的步驟S172乃至步驟S178之處理相同,因此省略其說明。
步驟S218或步驟S219的處理一旦被進行,則於步驟S220中,MPD檔案處理部93係判定,從區段檔案所得之Quality資訊是否為優先flag。
於步驟S220中,若判定為是優先flag,則處理係往步驟S221前進。然後,於步驟S221中,進行和圖18的步驟S180相同之處理,其後,處理係返回步驟S216,重複進行上述的處理。
相對於此,於步驟S220中,若判定為並非優先flag、亦即是優先度順序時,則處理係往步驟S222前進。然後,於步驟S222中,進行和圖18的步驟S181相同之處理,其後,處理係返回步驟S216,重複進行上述的處理。
此外,在步驟S212中是針對各遮蔽影像,每一畫格地獲得Quality資訊,因此步驟S213乃至步驟S222之處理係按照遮蔽影像之每一畫格,亦即全天球影像之每一畫格地而被進行。此情況下,每一畫格地生成選擇順序清單,於其後所被進行的參照圖10所說明的檔案取得處理中,就會使用針對各畫格所得到的選擇順序清單來進行處理。又,亦可由複數畫格所成之每一區段地進行步驟S213乃至步驟S222之處理。
如以上所述般地,客戶端裝置71係預先取得Quality資訊,基於所得之Quality資訊來生成選擇順序清單。藉此就可對應於優先flag或優先度順序的時間性變化,可選擇較適切的遮蔽影像。
<第5實施形態之變形例1> <關於優先flag或優先度順序之訊令> 此外,在第5實施形態中係說明了,各畫格的優先flag或優先度順序是被當成Quality資訊而儲存在區段檔案中的例子。可是,各時刻的優先flag或優先度順序係亦可被描述在MPD檔案中。
在上述的第5實施形態中,必須要取得ISO base media file format之區段檔案,從該區段檔案獲得Quality資訊,因此處理會變得複雜。
於是,藉由將各時刻的優先flag或優先度順序直接描述在MPD檔案中,雖然MPD檔案的大小會變大,但是可以只從MPD檔案就能獲得各時刻的優先flag或優先度順序。
例如在MPD檔案中描述各時刻的優先flag或優先度順序的情況下,除了選擇資訊flag及選擇資訊值之外,亦可還描述有選擇資訊值為有效的區段或子區段之個數。
具體而言,例如在關於優先flag或優先度順序的AdaptationSet中,EssentialProperty的schemeIdUri是被設成「“urn:mpeg:dash:occlusion-dynamic:2017”」,在該value之值中係被描述有選擇資訊flag與選擇資訊值和區段(或子區段)之個數。
此時,value之值,係被逗點所區隔而被設成「“選擇資訊flag,選擇資訊值,區段(或子區段)之個數”」。
此處,value中所被描述的,亦即value中所含之區段(或子區段)之個數係為表示,將1個相同之優先flag或優先度順序所被使用的期間予以構成的,由1或複數個畫格所成之區段(或子區段)之數量的資訊。換言之,value中所含之區段(或子區段)之個數係為表示,1個相同之優先flag或優先度順序所被使用的由1或複數個區段(或子區段)所成之期間的資訊。
於AdaptationSet中,藉由複數設定如此的EssentialProperty,例如可對由1或複數個區段(或子區段)所成之每一期間(時間),作為選擇資訊值而指定優先flag或優先度順序。此外,此處,選擇資訊flag與選擇資訊值,係為圖17所示者。
例如,假設對某個遮蔽影像的紋理資訊的AdaptationSet,設定以下之3個EssentialProperty。
<EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion-dynamic:2017” value=“1001,2,100”> <EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion-dynamic:2017” value=“1001,1,50”> <EssentialProperty schemeIdUri=“urn:mpeg:dash:occlusion-dynamic:2017” value=“1001,2,70”>
此情況下,第1個EssentialProperty係表示,從開頭起100個區段(或子區段)之優先度順序係為「2」,第2個EssentialProperty係表示,接下來的50個,亦即第101個至第150個區段(或子區段)之優先度順序係為「1」。然後,第3個EssentialProperty係表示,再接下來的70個,亦即第151個至第220個區段(或子區段)之優先度順序係為「2」。
如此在MPD檔案中,即使針對由數個區段(畫格)所成之每一期間而設置EssentialProperty,而描述各時刻(期間)的優先flag或優先度順序,仍可對應於優先flag或優先度順序的時間性變化,可選擇適切的遮蔽影像。
在如此的情況下,在檔案生成裝置11中,係於圖7的步驟S13中,圖17所示的選擇資訊flag及選擇資訊值、和表示期間的區段之個數是被包含在value中的EssentialProperty所被描述之MPD檔案,會被MPD檔案生成部33所生成。
又,在客戶端裝置71中,會進行和參照圖26所說明的選擇順序清單生成處理相同的處理。但是,步驟S212之處理係不被進行,從步驟S211所取得的MPD檔案,讀出各區段(畫格)中的優先flag或優先度順序。
如以上的第5實施形態或第5實施形態之變形例1中,藉由將優先flag或優先度順序當成ISO Base media file的Quality資訊而同時配訊,或以MPD檔案而每一區段(或子區段)地將優先flag或優先度順序予以配訊等,就可隨每一時間地使優先flag或優先度順序做改變。藉此,在客戶端裝置71中,可隨每一時間地選擇適切的遮蔽影像。
又,例如關於內容的再生開始時的使用者之視點位置所相應之遮蔽影像,係亦可將遮蔽影像儲存在MPD檔案中然後供給至客戶端裝置71。
此種情況下,例如客戶端裝置71,係生成含有現時刻的使用者之視點位置,並要求MPD檔案之送訊的送訊請求,發送至伺服器。
如此一來,從客戶端裝置71收到送訊請求的伺服器,係在所保持的複數遮蔽影像之中,選擇位於該送訊請求中所含之使用者之視點位置附近位置的數個遮蔽影像。
然後,伺服器係生成含有已選擇之遮蔽影像的MPD檔案,發送至客戶端裝置71。藉由如此設計,客戶端裝置71,係在內容再生剛開始後,不必在客戶端裝置71側進行遮蔽影像之選擇,就可獲得適切的遮蔽影像。此外,其後,客戶端裝置71,係藉由上述的各實施形態所說明的手法來選擇遮蔽影像,從伺服器取得之。
此外,生成含有遮蔽影像的MPD檔案的處理,係亦可被檔案生成裝置11所進行。此種情況下,上傳部35係接收含有視點位置的送訊請求,MPD檔案生成部33係生成含有遮蔽影像的MPD檔案,該MPD檔案是由上傳部35而發送至客戶端裝置71。
<電腦之構成例> 順便一提,上述一連串處理,係可藉由硬體來執行,也可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖27係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於電腦中,CPU(Central Processing Unit) 501、ROM(Read Only Memory)502、RAM(Random Access Memory)503,係藉由匯流排504而被彼此連接。
在匯流排504上係還連接有輸出入介面505。輸出入介面505上係連接有:輸入部506、輸出部507、記錄部508、通訊部509、及驅動機510。
輸入部506,係由鍵盤、滑鼠、麥克風、攝像元件等所成。輸出部507係由顯示器、揚聲器等所成。記錄部508,係由硬碟或非揮發性記憶體等所成。通訊部509係由網路介面等所成。驅動機510係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記錄媒體511。
在如以上構成的電腦中,藉由CPU501而例如將記錄部508中所被記錄的程式透過輸出入介面505及匯流排504,而載入至RAM503裡並加以執行,就可進行上述一連串處理。
電腦(CPU501)所執行的程式,係可記錄在例如封裝媒體等之可移除式記錄媒體511中而提供。又,程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。
在電腦中,程式係藉由將可移除式記錄媒體511裝著至驅動機510,就可透過輸出入介面505,安裝至記錄部508。又,程式係可透過有線或無線之傳輸媒體,以通訊部509接收之,安裝至記錄部508。除此以外,程式係可事前安裝在ROM502或記錄部508中。
此外,電腦所執行的程式,係可為依照本說明書所說明之順序而在時間序列上進行處理的程式,也可平行地,或呼叫進行時等必要之時序上進行處理的程式。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,本技術係亦可將1個機能透過網路而分擔給複數台裝置,採取共通進行處理的雲端運算之構成。
又,上述的流程圖中所說明的各步驟,係可由1台裝置來執行以外,亦可由複數台裝置來分擔執行。
甚至,若1個步驟中含有複數處理的情況下,該1個步驟中所含之複數處理,係可由1台裝置來執行以外,也可由複數台裝置來分擔執行。
甚至,本技術係亦可採取以下構成。
(1) 一種影像處理裝置,其特徵為, 具備:MPD檔案處理部,係基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。 (2) 如(1)所記載之影像處理裝置,其中, 前記MPD檔案處理部,係選擇相應於傳輸頻寬之個數的前記遮蔽影像。 (3) 如(1)或(2)所記載之影像處理裝置,其中, 還具備:取得部,係取得已被前記MPD檔案處理部所選擇之前記遮蔽影像。 (4) 如(1)乃至(3)之任一項所記載之影像處理裝置,其中, 前記MPD檔案處理部,係按照前記遮蔽影像之視點位置是較靠近使用者之視點位置起依序選擇前記遮蔽影像。 (5) 如(1)乃至(4)之任一項所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示前記遮蔽影像之視點位置的座標資訊。 (6) 如(1)乃至(4)之任一項所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示從基準位置看去的前記遮蔽影像之視點位置之方向的方向資訊。 (7) 如(6)所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為前記方向資訊、及表示從前記基準位置至前記遮蔽影像之視點位置為止之距離的距離資訊。 (8) 如(1)乃至(7)之任一項所記載之影像處理裝置,其中, 前記MPD檔案處理部,係基於前記遮蔽影像之視點位置的相關資訊、及前記MPD檔案中所含之前記遮蔽影像之景深的相關資訊的至少任意一方,來選擇前記遮蔽影像。 (9) 如(8)所記載之影像處理裝置,其中, 前記MPD檔案中,係按照每一前記遮蔽影像,含有表示前記遮蔽影像之視點位置的相關資訊及前記遮蔽影像之景深的相關資訊之中的哪一資訊是被含有的選擇資訊、和被前記選擇資訊所表示的資訊。 (10) 如(1)乃至(9)之任一項所記載之影像處理裝置,其中, 前記MPD檔案處理部,係還使用前記遮蔽影像之優先度的相關資訊來選擇前記遮蔽影像。 (11) 如(10)所記載之影像處理裝置,其中, 前記MPD檔案處理部,係使用按照每一時刻而被決定的前記遮蔽影像之優先度的相關資訊,來選擇各時刻的前記遮蔽影像。 (12) 如(11)所記載之影像處理裝置,其中, 在前記MPD檔案中,係針對各前記遮蔽影像,按照複數期間之每一者,含有表示前記期間的資訊、和前記期間中的前記遮蔽影像之優先度的相關資訊。 (13) 如(11)所記載之影像處理裝置,其中, 前記遮蔽影像之優先度的相關資訊係被包含在,前記遮蔽影像所被使用而被再生之內容之品質的相關資訊所被儲存的檔案中。 (14) 如(1)乃至(13)之任一項所記載之影像處理裝置,其中, 前記MPD檔案中係含有:可利用前記遮蔽影像的,表示使用者之視點位置之範圍的視點位置資訊; 前記MPD檔案處理部,係基於前記視點位置資訊,而從前記複數前記遮蔽影像之中的前記使用者之視點位置是落在前記範圍內的前記遮蔽影像之中,選擇出要取得的前記遮蔽影像。 (15) 如(14)所記載之影像處理裝置,其中, 還具備:顯示資訊生成部,係在沒有前記使用者之視點位置是落在前記範圍內的前記遮蔽影像的情況下,生成並輸出前記使用者之視點位置是落在前記遮蔽影像所被使用而被再生之內容的顯示範圍外之意旨的顯示資訊。 (16) 一種影像處理方法,係含有以下步驟: 基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。 (17) 一種程式,係令電腦執行包含以下步驟之處理: 基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。 (18) 一種檔案生成裝置,係具備: MPD檔案生成部,係針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案;和 通訊部,係發送前記MPD檔案。 (19) 如(18)所記載之檔案生成裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示前記遮蔽影像之視點位置的座標資訊。 (20) 如(18)所記載之檔案生成裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示從基準位置看去的前記遮蔽影像之視點位置之方向的方向資訊。 (21) 如(20)所記載之檔案生成裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為前記方向資訊、及表示從前記基準位置至前記遮蔽影像之視點位置為止之距離的距離資訊。 (22) 如(18)乃至(21)之任一項所記載之檔案生成裝置,其中, 在前記MPD檔案中,係按照每一前記遮蔽,含有表示前記遮蔽影像之視點位置的相關資訊、及前記遮蔽影像之景深的相關資訊的至少任一方。 (23) 如(22)所記載之檔案生成裝置,其中, 前記MPD檔案中,係按照每一前記遮蔽影像,含有表示前記遮蔽影像之視點位置的相關資訊及前記遮蔽影像之景深的相關資訊之中的哪一資訊是被含有的選擇資訊、和被前記選擇資訊所表示的資訊。 (24) 如(18)乃至(23)之任一項所記載之檔案生成裝置,其中, 在前記MPD檔案中係含有:前記遮蔽影像之優先度的相關資訊。 (25) 如(24)所記載之檔案生成裝置,其中, 在前記MPD檔案中,係針對各前記遮蔽影像,按照複數期間之每一者,含有表示前記期間的資訊、和前記期間中的前記遮蔽影像之優先度的相關資訊。 (26) 如(18)乃至(25)之任一項所記載之檔案生成裝置,其中, 前記MPD檔案中係含有:可利用前記遮蔽影像的,表示使用者之視點位置之範圍的視點位置資訊。 (27) 一種檔案生成方法,係含有以下步驟: 針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案; 發送前記MPD檔案。 (28) 一種程式,係令電腦執行包含以下步驟之處理: 針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案; 發送前記MPD檔案。
11‧‧‧檔案生成裝置
21‧‧‧控制部
22‧‧‧檔案生成部
31‧‧‧資料輸入部
32‧‧‧資料編碼・生成部
33‧‧‧MPD檔案生成部
34‧‧‧記錄部
35‧‧‧上傳部
41‧‧‧前處理部
42‧‧‧編碼部
43‧‧‧區段檔案生成部
71‧‧‧客戶端裝置
81‧‧‧控制部
82‧‧‧再生處理部
91‧‧‧計測部
92‧‧‧MPD檔案取得部
93‧‧‧MPD檔案處理部
94‧‧‧區段檔案取得部
95‧‧‧顯示控制部
96‧‧‧資料解析・解碼部
97‧‧‧顯示部
111‧‧‧區段檔案處理部
112‧‧‧解碼部
113‧‧‧顯示資訊生成部
501‧‧‧CPU
502‧‧‧ROM
503‧‧‧RAM
504‧‧‧匯流排
505‧‧‧輸出入介面
506‧‧‧輸入部
507‧‧‧輸出部
508‧‧‧記錄部
509‧‧‧通訊部
510‧‧‧驅動機
511‧‧‧可移除式記錄媒體
H11‧‧‧圓柱
H12‧‧‧立方體
O‧‧‧原點
OB1‧‧‧物件
OB2‧‧‧物件
OB3‧‧‧物件
PV11‧‧‧紋理影像
PV12‧‧‧紋理影像
[圖1]遮蔽的說明圖。 [圖2]遮蔽影像的說明圖。 [圖3]遮蔽影像之位置的說明圖。 [圖4]MPD檔案之例子的圖示。 [圖5]MPD檔案之例子的圖示。 [圖6]檔案生成裝置之構成例的圖示。 [圖7]上傳處理的說明用流程圖。 [圖8]客戶端裝置之構成例的圖示。 [圖9]選擇順序清單生成處理的說明用流程圖。 [圖10]檔案取得處理的說明用流程圖。 [圖11]再生處理的說明用流程圖。 [圖12]遮蔽方向資訊的說明圖。 [圖13]選擇資訊flag與選擇資訊值之例子的圖示。 [圖14]MPD檔案之例子的圖示。 [圖15]選擇順序清單生成處理的說明用流程圖。 [圖16]遮蔽方向資訊之標示的說明圖。 [圖17]選擇資訊flag與選擇資訊值之例子的圖示。 [圖18]選擇順序清單生成處理的說明用流程圖。 [圖19]選擇資訊flag與選擇資訊值之例子的圖示。 [圖20]選擇資訊flag與選擇資訊值之例子的圖示。 [圖21]選擇資訊flag與選擇資訊值之例子的圖示。 [圖22]Quality資訊之訊令的說明圖。 [圖23]Quality資訊之訊令的說明圖。 [圖24]Quality資訊之訊令的說明圖。 [圖25]MPD檔案之例子的圖示。 [圖26]選擇順序清單生成處理的說明用流程圖。 [圖27]電腦之構成例的圖示。
Claims (20)
- 一種影像處理裝置,其特徵為, 具備:MPD檔案處理部,係基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。
- 如請求項1所記載之影像處理裝置,其中, 前記MPD檔案處理部,係選擇相應於傳輸頻寬之個數的前記遮蔽影像。
- 如請求項1所記載之影像處理裝置,其中, 還具備:取得部,係取得已被前記MPD檔案處理部所選擇之前記遮蔽影像。
- 如請求項1所記載之影像處理裝置,其中, 前記MPD檔案處理部,係按照前記遮蔽影像之視點位置是較靠近使用者之視點位置起依序選擇前記遮蔽影像。
- 如請求項1所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示前記遮蔽影像之視點位置的座標資訊。
- 如請求項1所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為表示從基準位置看去的前記遮蔽影像之視點位置之方向的方向資訊。
- 如請求項6所記載之影像處理裝置,其中, 前記遮蔽影像之視點位置的相關資訊,係為前記方向資訊、及表示從前記基準位置至前記遮蔽影像之視點位置為止之距離的距離資訊。
- 如請求項1所記載之影像處理裝置,其中, 前記MPD檔案處理部,係基於前記遮蔽影像之視點位置的相關資訊、及前記MPD檔案中所含之前記遮蔽影像之景深的相關資訊的至少任意一方,來選擇前記遮蔽影像。
- 如請求項8所記載之影像處理裝置,其中, 前記MPD檔案中,係按照每一前記遮蔽影像,含有表示前記遮蔽影像之視點位置的相關資訊及前記遮蔽影像之景深的相關資訊之中的哪一資訊是被含有的選擇資訊、和被前記選擇資訊所表示的資訊。
- 如請求項1所記載之影像處理裝置,其中, 前記MPD檔案處理部,係還使用前記遮蔽影像之優先度的相關資訊來選擇前記遮蔽影像。
- 如請求項10所記載之影像處理裝置,其中, 前記MPD檔案處理部,係使用按照每一時刻而被決定的前記遮蔽影像之優先度的相關資訊,來選擇各時刻的前記遮蔽影像。
- 如請求項11所記載之影像處理裝置,其中, 在前記MPD檔案中,係針對各前記遮蔽影像,按照複數期間之每一者,含有表示前記期間的資訊、和前記期間中的前記遮蔽影像之優先度的相關資訊。
- 如請求項11所記載之影像處理裝置,其中, 前記遮蔽影像之優先度的相關資訊係被包含在,前記遮蔽影像所被使用而被再生之內容之品質的相關資訊所被儲存的檔案中。
- 如請求項1所記載之影像處理裝置,其中, 前記MPD檔案中係含有:可利用前記遮蔽影像的,表示使用者之視點位置之範圍的視點位置資訊; 前記MPD檔案處理部,係基於前記視點位置資訊,而從前記複數前記遮蔽影像之中的前記使用者之視點位置是落在前記範圍內的前記遮蔽影像之中,選擇出要取得的前記遮蔽影像。
- 如請求項14所記載之影像處理裝置,其中, 還具備:顯示資訊生成部,係在沒有前記使用者之視點位置是落在前記範圍內的前記遮蔽影像的情況下,生成並輸出前記使用者之視點位置是落在前記遮蔽影像所被使用而被再生之內容的顯示範圍外之意旨的顯示資訊。
- 一種影像處理方法,係含有以下步驟: 基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。
- 一種程式,係令電腦執行包含以下步驟之處理: 基於MPD檔案中所含之遮蔽影像之視點位置的相關資訊,從前記MPD檔案所表示的複數前記遮蔽影像中,選擇要取得的前記遮蔽影像。
- 一種檔案生成裝置,係具備: MPD檔案生成部,係針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案;和 通訊部,係發送前記MPD檔案。
- 一種檔案生成方法,係含有以下步驟: 針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案; 發送前記MPD檔案。
- 一種程式,係令電腦執行包含以下步驟之處理: 針對複數遮蔽影像,生成含有前記遮蔽影像之視點位置的相關資訊的MPD檔案; 發送前記MPD檔案。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017106233 | 2017-05-30 | ||
JP2017-106233 | 2017-05-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201911240A true TW201911240A (zh) | 2019-03-16 |
Family
ID=64455430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107116907A TW201911240A (zh) | 2017-05-30 | 2018-05-18 | 影像處理裝置及方法、檔案生成裝置及方法、以及程式 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11394943B2 (zh) |
EP (1) | EP3633628B1 (zh) |
JP (1) | JP7200935B2 (zh) |
KR (1) | KR20200014281A (zh) |
CN (1) | CN110546688B (zh) |
BR (1) | BR112019024597A2 (zh) |
RU (1) | RU2019137581A (zh) |
TW (1) | TW201911240A (zh) |
WO (1) | WO2018221211A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3416371A1 (en) * | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method for displaying, on a 2d display device, a content derived from light field data |
EP3416381A1 (en) | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method and apparatus for providing information to a user observing a multi view content |
US11129042B2 (en) * | 2019-09-16 | 2021-09-21 | Nec Corporation Of America | Path crossing detection based on wireless signals travel time |
KR102216956B1 (ko) * | 2019-11-26 | 2021-02-19 | 서울과학기술대학교 산학협력단 | 다중 시점 영상의 프리로드 시스템 및 방법 |
WO2022244131A1 (ja) * | 2021-05-19 | 2022-11-24 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002430A (en) | 1994-01-31 | 1999-12-14 | Interactive Pictures Corporation | Method and apparatus for simultaneous capture of a spherical image |
RU2143718C1 (ru) | 1998-05-15 | 1999-12-27 | Институт автоматики и электрометрии СО РАН | Способ и устройство отображения пространственных объектов |
JP5008703B2 (ja) * | 2009-08-18 | 2012-08-22 | 株式会社ソニー・コンピュータエンタテインメント | コンテンツ作成支援装置、画像処理装置、コンテンツ作成支援方法、画像処理方法、および画像表示コンテンツのデータ構造 |
RU2551789C2 (ru) * | 2009-10-02 | 2015-05-27 | Конинклейке Филипс Электроникс Н.В. | Выбор точек обзора для формирования дополнительных видов в 3d видео |
CN101742349B (zh) * | 2010-01-05 | 2011-07-20 | 浙江大学 | 一种对三维场景的表达方法及其电视系统 |
EP2869579B1 (en) | 2012-07-02 | 2017-04-26 | Sony Corporation | Transmission apparatus, transmission method, and network apparatus for multi-view video streaming using a meta file including cache priority or expiry time information of said video streams |
US9618747B2 (en) * | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
WO2015008775A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および方法 |
US20170127073A1 (en) * | 2014-06-30 | 2017-05-04 | Sony Corporation | Information processing device and method |
JP2016049102A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社リコー | 圃場管理システム、圃場管理方法、プログラム |
US10127714B1 (en) * | 2015-01-27 | 2018-11-13 | Google Llc | Spherical three-dimensional video rendering for virtual reality |
US10880535B2 (en) * | 2016-02-17 | 2020-12-29 | Lg Electronics Inc. | Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video |
US10225546B2 (en) * | 2016-02-26 | 2019-03-05 | Qualcomm Incorporated | Independent multi-resolution coding |
CN117336499A (zh) * | 2016-05-26 | 2024-01-02 | Vid拓展公司 | 视窗自适应360度视频传送的方法和设备 |
US10547879B2 (en) * | 2016-07-14 | 2020-01-28 | Mediatek Inc. | Method and apparatus for streaming video content |
KR102264028B1 (ko) * | 2016-08-25 | 2021-06-11 | 엘지전자 주식회사 | 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치 |
WO2018068236A1 (zh) * | 2016-10-10 | 2018-04-19 | 华为技术有限公司 | 一种视频流传输方法、相关设备及系统 |
CN109792563B (zh) * | 2016-10-12 | 2022-01-25 | 皇家Kpn公司 | 基于感兴趣区域处理球面视频数据 |
US10261749B1 (en) * | 2016-11-30 | 2019-04-16 | Google Llc | Audio output for panoramic images |
US10595069B2 (en) * | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
US10620441B2 (en) * | 2016-12-14 | 2020-04-14 | Qualcomm Incorporated | Viewport-aware quality metric for 360-degree video |
AU2017387754A1 (en) * | 2016-12-28 | 2019-07-18 | Sony Corporation | Generation device, identification information generation method, reproduction device, and image generation method |
US10805650B2 (en) * | 2017-03-27 | 2020-10-13 | Qualcomm Incorporated | Signaling important video information in network video streaming using mime type parameters |
US10819645B2 (en) * | 2017-09-20 | 2020-10-27 | Futurewei Technologies, Inc. | Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming |
WO2019194434A1 (ko) * | 2018-04-05 | 2019-10-10 | 엘지전자 주식회사 | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 |
WO2020027349A1 (ko) * | 2018-07-31 | 2020-02-06 | 엘지전자 주식회사 | 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치 |
KR102640664B1 (ko) * | 2019-08-16 | 2024-02-26 | 엘지전자 주식회사 | Vr 디바이스 및 vr 디바이스 제어 방법 |
-
2018
- 2018-05-16 JP JP2019522097A patent/JP7200935B2/ja active Active
- 2018-05-16 CN CN201880026631.7A patent/CN110546688B/zh active Active
- 2018-05-16 EP EP18809776.0A patent/EP3633628B1/en active Active
- 2018-05-16 US US16/609,305 patent/US11394943B2/en active Active
- 2018-05-16 BR BR112019024597A patent/BR112019024597A2/pt not_active IP Right Cessation
- 2018-05-16 WO PCT/JP2018/018842 patent/WO2018221211A1/ja active Application Filing
- 2018-05-16 KR KR1020197033637A patent/KR20200014281A/ko not_active Application Discontinuation
- 2018-05-16 RU RU2019137581A patent/RU2019137581A/ru unknown
- 2018-05-18 TW TW107116907A patent/TW201911240A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
KR20200014281A (ko) | 2020-02-10 |
BR112019024597A2 (pt) | 2020-06-09 |
RU2019137581A (ru) | 2021-05-24 |
EP3633628B1 (en) | 2021-04-07 |
RU2019137581A3 (zh) | 2021-08-24 |
US20200059635A1 (en) | 2020-02-20 |
CN110546688A (zh) | 2019-12-06 |
EP3633628A4 (en) | 2020-04-08 |
EP3633628A1 (en) | 2020-04-08 |
US11394943B2 (en) | 2022-07-19 |
CN110546688B (zh) | 2023-11-17 |
JPWO2018221211A1 (ja) | 2020-05-21 |
JP7200935B2 (ja) | 2023-01-10 |
WO2018221211A1 (ja) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11653065B2 (en) | Content based stream splitting of video data | |
US12015787B2 (en) | Predicting and verifying regions of interest selections | |
TW201911240A (zh) | 影像處理裝置及方法、檔案生成裝置及方法、以及程式 | |
US10440398B2 (en) | Probabilistic model to compress images for three-dimensional video | |
US10909761B1 (en) | 2D video with option for projected viewing in modeled 3D space | |
CN107888987B (zh) | 一种全景视频播放方法及装置 | |
US20180332317A1 (en) | Adaptive control for immersive experience delivery | |
EP3748573A1 (en) | Digital model repair system and method | |
US11055917B2 (en) | Methods and systems for generating a customized view of a real-world scene | |
JP2019118026A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230018560A1 (en) | Virtual Reality Systems and Methods | |
WO2019118028A1 (en) | Methods, systems, and media for generating and rendering immersive video content | |
CN112639870B (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
CN108920598B (zh) | 全景图浏览方法、装置、终端设备、服务器及存储介质 | |
TW202031040A (zh) | 映像再生裝置、再生方法、及程式 | |
US20190052868A1 (en) | Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor | |
GB2566478A (en) | Probability based 360 degree video stabilisation | |
US20210289194A1 (en) | System, method, and computer program for generating volumetric video |