KR20140092211A - 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 - Google Patents
미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20140092211A KR20140092211A KR20130132249A KR20130132249A KR20140092211A KR 20140092211 A KR20140092211 A KR 20140092211A KR 20130132249 A KR20130132249 A KR 20130132249A KR 20130132249 A KR20130132249 A KR 20130132249A KR 20140092211 A KR20140092211 A KR 20140092211A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- region
- virtual camera
- viewport
- media content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006870 function Effects 0.000 title description 13
- 238000004091 panning Methods 0.000 claims description 9
- 235000010627 Phaseolus vulgaris Nutrition 0.000 claims description 2
- 244000046052 Phaseolus vulgaris Species 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
Description
도 2는 연산 형식에서 비디오의 각 프레임을 변환하는 방법의 실시 예를 나타내는 흐름도이다.
도 3은 원본 관심 영역에 최적으로 매칭되는 뷰포트(viewport)의 신규 위치를 결정하는 방법을 나타내는 흐름도이다.
도 4는 선택된 관심 영역에서 가상의 카메라 패닝(panning)을 수행하는 방법을 나타내는 흐름도이다.
도 5는 선택된 관심 영역에서 가상의 카메라 줌-인 및 줌-아웃을 수행하는 방법을 나타내는 흐름도이다.
도 6은 관심 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 7은 관심 영역을 표현하는 방법을 설명하기 위한 도면이다.
도 8은 프레임 샘플링이 수행되는 방식과 관심 영역 궤적 추정이 각 샘플에서 조절되는 방식을 설명하기 위한 도면이다.
도 9a 및 도 9b는 선택된 관심 영역의 궤적 추정을 설명하기 위한 도면이다.
도 10은 컴퓨팅 장치의 구성을 나타내는 도면이다.
Claims (14)
- 가상 카메라 기능을 수행하는 방법에 있어서,
미디어 컨텐츠 재생 중에 관심 영역을 선택하는 과정;
상기 선택된 관심 영역을 다른 추정의 앙상블(ensemble)로 표시하는 과정;
상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하는 과정;
상기 식별된 관심 영역으로 가상 카메라 작업을 수행하는 과정; 및
상기 가상 카메라로 관심 영역을 재생하는 과정을 포함하는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 관심 영역은,
관심 객체를 포함하며,
상기 관심 객체는 고정된 프레임 또는 변화하는 프레임인 것을 특징으로 하는 방법. - 제 2 항에 있어서, 상기 관심 영역을 선택하는 과정은,
미디어 컨텐츠 재생 중에 상기 관심 영역을 선택하는 제스처를 검출하는 과정;
제스처에 대응하여 상기 미디어 컨텐츠를 느리게 재생하는 과정;
상기 관심 영역에 포함된 관심 객체가 움직이는 경우 재생 중인 미디어 컨텐츠를 정지하는 과정을 포함하며,
상기 관심 영역은 스폿-줌(spot-zoom), 핀치 줌(pinch zoom), 스타일러스-펜 중 적어도 하나에 의해 선택되는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 다른 추정의 앙상블(ensemble)로 표시하는 과정은,
상기 선택된 관심 영역을 다중 이미지 채널들로부터 얻어진 픽셀 변화 패턴 및 색상으로 표시하는 과정;
상기 관심 영역 내의 픽셀들을 선택함으로써 관심 영역의 표현을 생성하는 과정으로 이루어지는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 관심 영역을 식별하는 과정은,
상기 프레임에서 상기 다른 추정들을 조합하여 최적으로 매칭된 관심 영역을 결정하는 과정;
상기 결정된 관심 영역을 뷰포트(viewport)로 설정 및 뷰포트 위치와 크기를 결정하는 과정을 포함하며,
상기 관심 영역은 히스토그램 빈(histogram bin) 및 크로스 빈(cross bin)의 비교를 통해 평가한 분기 측정으로 결정하는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 가상 카메라 작업을 수행하는 과정은,
과거의 뷰포트 위치 및 크기 정보와 현재 뷰포트 위치 및 크기 정보를 기반으로 새로운 뷰포트 위치와 크기를 결정 및 표시하는 과정;
상기 표시되는 뷰포트에 포함된 관심 객체 이동 감지 시, 이동 궤적을 추정하여 뷰포트의 화면 위치 및 크기를 재조정하여 표시하는 과정을 포함하는 것을 특징으로 하는 방법. - 제 6 항에 있어서,
상기 관심 객체 이동 감지 시, 줌-인, 줌-아웃, 패닝 작업을 수행하는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 프레임은,
분할 화면, 화면 내 화면 또는 썸네일 뷰 중 적어도 하나로 표시되는 것을 특징으로 하는 방법. - 가상 카메라 기능을 수행하는 장치에 있어서,
미디어 컨텐츠를 렌더링하는 가상 카메라 제어 모듈;
미디어 컨텐츠 재생 중에 관심 영역 선택하고 상기 선택된 관심 영역을 다른 추정의 앙상블로 표시하도록 제어하고, 상기 추정에 따라 샘플링된 연속적인 프레임에서 관심 영역을 식별하고, 상기 식별된 관심 영역으로 가상 카메라 작업을 수행하고, 상기 가상 카메라로 관심 영역을 재생하도록 제어하는 프로세서로 구성되는 것을 특징으로 하는 컴퓨팅 장치. - 제 9 항에 있어서, 상기 프로세서는,
미디어 컨텐츠 재생 중에 상기 관심 영역을 선택하는 제스처를 검출하고 상기 제스처에 대응하여 상기 미디어 컨텐츠를 느리게 재생하고, 상기 관심 영역에 포함된 관심 객체가 움직이는 경우 재생 중인 미디어 컨텐츠를 정지하는 것을 특징으로 하는 컴퓨팅 장치. - 제 9 항에 있어서, 상기 프로세서는,
상기 선택된 관심 영역을 다중 이미지 채널들로부터 얻어진 픽셀 변화 패턴 및 색상으로 표시하도록 제어하고, 상기 관심 영역 내의 픽셀들을 선택함으로써 관심 영역의 표현을 생성하여 다른 추정의 앙상블로 표시하는 것을 특징으로 하는 컴퓨팅 장치. - 제 9 항에 있어서, 상기 프로세서는,
상기 프레임에서 상기 다른 추정들을 조합하여 최적으로 매칭된 관심 영역을 결정하고, 상기 결정된 관심 영역을 뷰포트로 설정 및 뷰포트 위치와 크기를 결정하고, 히스토그램 빈 및 크로스 빈의 비교를 통해 평가한 분기 측정으로 관심 영역을 결정하는 것을 특징으로 하는 컴퓨팅 장치. - 제 9 항에 있어서, 상기 프로세서는,
과거의 뷰포트 위치 및 크기 정보와 현재 뷰포트 위치 및 크기 정보에 따라 새로운 뷰포트 위치와 크기를 결정 및 표시하도록 제어하고, 상기 뷰포트에 포함된 관심 객체의 이동 감지 시, 이동 궤적을 추정하여 뷰포트의 화면 위치 및 크기를 재조정하여 표시하도록 제어하는 것을 특징으로 하는 컴퓨팅 장치. - 제 9 항에 있어서, 상기 가상 카메라 제어 모듈은,
상기 관심 영역을 줌-인, 줌-아웃, 패닝 작업을 수행하는 것을 특징으로 하는 컴퓨팅 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN200/CHE/2013 | 2013-01-15 | ||
IN200CH2013 | 2013-01-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140092211A true KR20140092211A (ko) | 2014-07-23 |
Family
ID=51165206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130132249A KR20140092211A (ko) | 2013-01-15 | 2013-11-01 | 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9826276B2 (ko) |
KR (1) | KR20140092211A (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170030420A (ko) * | 2015-09-09 | 2017-03-17 | 주식회사 아이티엑스엠투엠 | 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 |
US9967446B2 (en) | 2015-09-09 | 2018-05-08 | Itx-M2M Co., Ltd. | Personalized shopping mall system using virtual camera |
WO2019124922A1 (ko) * | 2017-12-22 | 2019-06-27 | 삼성전자 주식회사 | 360 비디오에서 poi(point of interest) 정보를 제공하기 위한 장치 및 방법 |
KR20190107501A (ko) * | 2018-03-12 | 2019-09-20 | 주식회사 엘지유플러스 | 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6182885B2 (ja) * | 2013-02-05 | 2017-08-23 | ノーリツプレシジョン株式会社 | 画像処理プログラム及び画像処理装置 |
CN105592285B (zh) * | 2014-10-21 | 2020-04-21 | 华为技术有限公司 | Roi视频实现方法及装置 |
JP6624958B2 (ja) * | 2016-02-03 | 2019-12-25 | キヤノン株式会社 | 通信装置、通信システム、通信制御方法およびコンピュータプログラム |
US10841557B2 (en) * | 2016-05-12 | 2020-11-17 | Samsung Electronics Co., Ltd. | Content navigation |
US10939139B2 (en) | 2018-11-29 | 2021-03-02 | Apple Inc. | Adaptive coding and streaming of multi-directional video |
JPWO2020184188A1 (ko) * | 2019-03-08 | 2020-09-17 | ||
US11956295B2 (en) | 2019-09-27 | 2024-04-09 | Apple Inc. | Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8934709B2 (en) * | 2008-03-03 | 2015-01-13 | Videoiq, Inc. | Dynamic object classification |
WO2010006334A1 (en) * | 2008-07-11 | 2010-01-14 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
US10140301B2 (en) * | 2010-09-01 | 2018-11-27 | Apple Inc. | Device, method, and graphical user interface for selecting and using sets of media player controls |
US8379999B2 (en) * | 2011-01-18 | 2013-02-19 | Chanan Gabay | Methods, circuits, devices, apparatuses and systems for providing image composition rules, analysis and improvement |
US8565523B2 (en) * | 2011-06-02 | 2013-10-22 | Apple Inc. | Image content-based color balancing |
US8737729B2 (en) * | 2011-09-30 | 2014-05-27 | Ebay Inc. | Re-ranking item recommendations based on image feature data |
US20130345967A1 (en) * | 2012-06-21 | 2013-12-26 | Qualcomm Incorporated | Routability graph with predetermined number of weighted edges for estimating a trajectory of a mobile device |
-
2013
- 2013-11-01 KR KR20130132249A patent/KR20140092211A/ko not_active Application Discontinuation
-
2014
- 2014-01-15 US US14/156,353 patent/US9826276B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170030420A (ko) * | 2015-09-09 | 2017-03-17 | 주식회사 아이티엑스엠투엠 | 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 |
KR20170030419A (ko) * | 2015-09-09 | 2017-03-17 | 주식회사 아이티엑스엠투엠 | 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 |
KR20170030422A (ko) * | 2015-09-09 | 2017-03-17 | 주식회사 아이티엑스엠투엠 | 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 |
US9967446B2 (en) | 2015-09-09 | 2018-05-08 | Itx-M2M Co., Ltd. | Personalized shopping mall system using virtual camera |
WO2019124922A1 (ko) * | 2017-12-22 | 2019-06-27 | 삼성전자 주식회사 | 360 비디오에서 poi(point of interest) 정보를 제공하기 위한 장치 및 방법 |
KR20190076176A (ko) * | 2017-12-22 | 2019-07-02 | 삼성전자주식회사 | 360 비디오에서 POI(Point of Interest) 정보를 제공하기 위한 장치 및 방법 |
US11622097B2 (en) | 2017-12-22 | 2023-04-04 | Samsung Electronics Co., Ltd. | Apparatus and method for providing point of interest (POI) information in 360 video |
KR20190107501A (ko) * | 2018-03-12 | 2019-09-20 | 주식회사 엘지유플러스 | 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법 |
Also Published As
Publication number | Publication date |
---|---|
US9826276B2 (en) | 2017-11-21 |
US20140199043A1 (en) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9826276B2 (en) | Method and computing device for performing virtual camera functions during playback of media content | |
US11750918B2 (en) | Assist for orienting a camera at different zoom levels | |
US9357117B2 (en) | Photographing device for producing composite image and method using the same | |
WO2017181556A1 (zh) | 游戏直播方法及装置 | |
US9373187B2 (en) | Method and apparatus for producing a cinemagraph | |
WO2022111198A1 (zh) | 视频处理方法、装置、终端设备及存储介质 | |
KR101969424B1 (ko) | 촬영된 이미지를 표시하는 촬영 장치 및 그 촬영 방법 | |
US20170024110A1 (en) | Video editing on mobile platform | |
CN106657780B (zh) | 图像预览方法和装置 | |
US9749541B2 (en) | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device | |
US20180270445A1 (en) | Methods and apparatus for generating video content | |
US20150332091A1 (en) | Device and method of processing image | |
US9396519B2 (en) | Content aware video resizing | |
CN107888984B (zh) | 短视频播放方法及装置 | |
KR20160041842A (ko) | 사진을 획득하기 위한 방법 및 장치 | |
KR20230109174A (ko) | 핸드헬드 디바이스로 가로 모드에서 비디오를 캡처링하는 기술 | |
WO2017054142A1 (zh) | 获取视频数据的方法、装置、系统及计算机可读存储介质 | |
US20240348927A1 (en) | Systems and methods for horizon leveling videos | |
CN114422692A (zh) | 视频录制方法、装置及电子设备 | |
CN111078011A (zh) | 手势控制方法、装置、计算机可读存储介质及电子设备 | |
CN105323491A (zh) | 图像拍摄方法及装置 | |
CN108986117B (zh) | 视频图像分割方法及装置 | |
WO2021057359A1 (zh) | 图像处理方法、电子设备及可读存储介质 | |
US20180220120A1 (en) | Method and system for constructing view from multiple video streams | |
WO2018192094A1 (zh) | 场景展示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20131101 |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20181101 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20131101 Comment text: Patent Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190729 Patent event code: PE09021S01D |
|
E90F | Notification of reason for final refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20200207 Patent event code: PE09021S02D |
|
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20201006 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20200207 Comment text: Final Notice of Reason for Refusal Patent event code: PE06011S02I Patent event date: 20190729 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |