Nothing Special   »   [go: up one dir, main page]

RU2010123652A - Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником - Google Patents

Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником Download PDF

Info

Publication number
RU2010123652A
RU2010123652A RU2010123652/07A RU2010123652A RU2010123652A RU 2010123652 A RU2010123652 A RU 2010123652A RU 2010123652/07 A RU2010123652/07 A RU 2010123652/07A RU 2010123652 A RU2010123652 A RU 2010123652A RU 2010123652 A RU2010123652 A RU 2010123652A
Authority
RU
Russia
Prior art keywords
image
depth
pixel
images
disparity
Prior art date
Application number
RU2010123652/07A
Other languages
English (en)
Inventor
Артём Константинович Игнатов (RU)
Артём Константинович Игнатов
Original Assignee
Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR)
Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR), Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." filed Critical Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR)
Priority to RU2010123652/07A priority Critical patent/RU2010123652A/ru
Priority to US13/105,938 priority patent/US20110304708A1/en
Publication of RU2010123652A publication Critical patent/RU2010123652A/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. Способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающий выполнение следующих операций: ! - выполняют начальную оценку диспарантности/глубины для исходного стереоизображения; ! - подстраивают параметры восприятия глубины; ! - формируют новое стереоизображение в соответствии с параметрами восприятия глубины; ! - выполняют пост-обработку нового стереоизображения с помощью пространственного фильтра дизоклюзий; ! - формируют многовидовые изображения в соответствии с параметрами восприятия глубины и сформированным стереоизображением; ! - выполняют пост-обработку многовидовых изображений с помощью пространственного фильтра дизоклюзий. ! 2. Способ по п.1, отличающийся тем, что параметры восприятия глубины подстраивают с помощью пользовательского управления. ! 3. Способ по п.1, отличающийся тем, что параметр восприятия глубины представляют параметром D, который изменяется от -0,5 до 0,5, причем значение D ниже 0 соответствует увеличению стереоскопического параллакса между изображениями для левого глаза и правого глаза, а значение D выше 0 соответствует уменьшению стереоскопического параллакса между изображениями для левого глаза и правого глаза. ! 4. Способ по п.1, отличающийся тем, что новое стереоизображение синтезируют путем визуализации виртуального изображения для левого глаза из исходного изображения для левого глаза, а визуализацию виртуального изображения для правого глаза осуществляют из исходного изображения для правого глаза. ! 5. Способ по п.1, отличающийся тем, что для нов�

Claims (17)

1. Способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающий выполнение следующих операций:
- выполняют начальную оценку диспарантности/глубины для исходного стереоизображения;
- подстраивают параметры восприятия глубины;
- формируют новое стереоизображение в соответствии с параметрами восприятия глубины;
- выполняют пост-обработку нового стереоизображения с помощью пространственного фильтра дизоклюзий;
- формируют многовидовые изображения в соответствии с параметрами восприятия глубины и сформированным стереоизображением;
- выполняют пост-обработку многовидовых изображений с помощью пространственного фильтра дизоклюзий.
2. Способ по п.1, отличающийся тем, что параметры восприятия глубины подстраивают с помощью пользовательского управления.
3. Способ по п.1, отличающийся тем, что параметр восприятия глубины представляют параметром D, который изменяется от -0,5 до 0,5, причем значение D ниже 0 соответствует увеличению стереоскопического параллакса между изображениями для левого глаза и правого глаза, а значение D выше 0 соответствует уменьшению стереоскопического параллакса между изображениями для левого глаза и правого глаза.
4. Способ по п.1, отличающийся тем, что новое стереоизображение синтезируют путем визуализации виртуального изображения для левого глаза из исходного изображения для левого глаза, а визуализацию виртуального изображения для правого глаза осуществляют из исходного изображения для правого глаза.
5. Способ по п.1, отличающийся тем, что для нового стереоизображения устанавливают уменьшенный стереоскопический параллакс и соответственно уменьшенное восприятие глубины в сравнении с исходным стереоизображением за счет формирования виртуального изображения для левого глаза в отрицательном направлении оси Х исходного изображения для левого глаза и формирования виртуального изображения для правого глаза в положительном направлении оси Х исходного изображения для правого глаза, причем центр координат системы координат для исходных изображений для левого и правого глаза помещают в левом нижнем углу изображений.
6. Способ по п.1, отличающийся тем, что для нового
стереоизображения устанавливают увеличенный стереоскопический параллакс и соответственно увеличенное восприятие глубины в сравнении с исходным стереоизображением за счет формирования виртуального изображения для левого глаза в положительном направлении оси Х исходного изображения для левого глаза и формирования виртуального изображения для правого глаза в отрицательном направлении оси Х исходного изображения для правого глаза, причем центр координат системы координат для исходных изображений для левого и правого глаза помещают в левом нижнем углу изображений.
7. Способ по любому из пп.5 и 6, отличающийся тем, что виртуальное изображение формируют в отрицательном направлении оси Х опорного изображения при помощи фильтра отображения виртуального изображения на основе карты диспарантности как
Figure 00000001
,
где v - сформированное виртуальное изображение; S(x, y) - пиксел RGB из опорного изображения с координатами (x, y); Dcr - значение диспарантности для пикселя (x, y) опорного изображения; width - ширина изображения; height - высота изображения; Ph(x, y) - размер ядра фильтра отображения виртуального изображения для пикселя опорного изображения с координатами (x, y), причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
8. Способ по п.7, отличающийся тем, что размер ядра Ph(x, y) фильтра отображения виртуального изображения для пикселя (x, y) определяют как
Figure 00000002
где Dpr - значение диспарантности для пикселя (х-1, y);
Dcr - значение диспарантности для пикселя (x, y).
9. Способ по любому из пп.5 и 6, отличающийся тем, что маску для фильтра дизоклюзии формируют по нижеприведенной формуле, если виртуальное изображение должно быть визуализировано в отрицательном направлении оси Х опорного изображения
Figure 00000003
где m - бинарная маска, в которой 0 обозначает область дизоклюзии, и 1 обозначает область нормального пикселя;
Е(х, y) пиксел из бинарного изображения I, в котором все пиксели установлены на 1;
Dcr - вектор диспарантности для текущего пикселя (х, y) на карте диспарантности d;
width - ширина изображения; и height - высота изображения, причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
10. Способ по любому из пп.5 и 6, отличающийся тем, что виртуальное изображение формируют в положительном направлении оси Х опорного изображения при помощи фильтра отображения виртуального изображения на основе карты диспарантности как
Figure 00000004
где v - сформированное виртуальное изображение; S(х, y) - пиксел RGB из опорного изображения координатами (х, y); Dcr - значение диспарантности для пикселя (х, y) опорного изображения; width - ширина изображения; height - высота изображения; Ph(х, y) - размер ядра фильтра отображения виртуального изображения для пикселя опорного изображения с координатами (х, y), причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
11. Способ по п.10, отличающийся тем, что размер ядра Ph(х, y) фильтра отображения виртуального изображения для пикселя (х, y) определяют как
Figure 00000005
где Dpr - значение диспарантности для пикселя (х-1, y);
Dcr - значение диспарантности для пикселя (х, y).
12. Способ по любому из пп.5 и 6, отличающийся тем, что маску для фильтра дизоклюзии формируют по нижеприведенной формуле, если виртуальное изображение должно быть визуализировано в положительном направлении оси Х опорного изображения
Figure 00000006
,
где m - бинарная маска, в которой 0 обозначает область дизоклюзии, и 1 обозначает область нормального пикселя;
Е(х, y) - пиксель из бинарного изображения I, в котором все пиксели установлены на 1;
Dcr - вектор диспарантности для текущего пикселя (х, y) на карте диспарантности d;
width - ширина изображения; и height - высота изображения, причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
13. Способ по п.1, отличающийся тем, что в процесс постобработки виртуального изображения включают фильтрацию для областей дизоклюзии, для которых бинарная маска m=0
Figure 00000007
,
где SpatialFilter () является функцией для вычисления отфильтрованного значения для пикселей RGB по соседству с пикселем (х, y);
I(х, y) - пиксель виртуального изображения.
14. Способ по п.13, отличающийся тем, что для пост-обработки используют Гауссовский фильтр.
15. Способ по п.1, отличающийся тем, что крайнее виртуальное изображение для левого глаза и крайнее виртуальное изображение для правого глаза формируют вместе с их картой глубины для визуализации последовательности многовидовых изображений, с последующей визуализацией промежуточных виртуальных изображений, причем промежуточные виртуальные изображения формируют с использованием крайних изображений и их карт глубин.
16. Система визуализации стереоизображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающая в себя: блок 102 оценки диспарантности, блок 103 управления глубиной, блок 104 визуализации, при этом первый выход блока 102 оценки диспарантности связан с первым входом блока 104 визуализации изображения, и второй выход блока 102 оценки диспарантности связан с входом блока 103 управления глубиной, выход которого связан со вторым входом блока 104 визуализации изображения.
17. Система визуализации многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающая в себя блок 202 оценки диспарантности, блок 203 управления глубиной, блок 204 визуализации изображения, при этом первый выход блока 202 оценки диспарантности связан с первым входом блока 204 визуализации изображения, и второй выход 202 блока оценки диспарантности связан со входом блока 203 управления глубиной, выход которого связан со вторым входом блока 204 визуализации изображения.
RU2010123652/07A 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником RU2010123652A (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US13/105,938 US20110304708A1 (en) 2010-06-10 2011-05-12 System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником

Publications (1)

Publication Number Publication Date
RU2010123652A true RU2010123652A (ru) 2011-12-20

Family

ID=45095931

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником

Country Status (2)

Country Link
US (1) US20110304708A1 (ru)
RU (1) RU2010123652A (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530660C1 (ru) * 2013-02-26 2014-10-10 Владимир Николаевич Антипов Способ выявления диапазона условий восприятия глубины образов плоскостных изображений

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013013356A2 (pt) * 2010-12-03 2016-09-13 Sharp Kk dispositivo de processamento de imagem, método de processamento de imagem e programa de processamento de imagem
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
KR101961967B1 (ko) 2011-05-11 2019-03-25 아이큐브드 연구소 주식회사 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
WO2013025151A1 (en) * 2011-08-12 2013-02-21 Telefonaktiebolaget L M Ericsson (Publ) Signaling of camera and/or depth parameters
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP6113411B2 (ja) * 2011-09-13 2017-04-12 シャープ株式会社 画像処理装置
WO2013049388A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9392251B2 (en) * 2011-12-29 2016-07-12 Samsung Electronics Co., Ltd. Display apparatus, glasses apparatus and method for controlling depth
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3d 영상을 출력하기 위한 장치 및 방법
EP2831752A4 (en) 2012-03-30 2015-08-26 Intel Corp METHOD OF QUALITY CONTROL IN MEDIA
US20130265395A1 (en) * 2012-04-10 2013-10-10 John D. Vala System and Method for Generation of Stereo Imagery
US9106908B2 (en) * 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US20140160256A1 (en) * 2012-12-10 2014-06-12 Daniel Avrahami Apparatus and techniques to provide variable depth display
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
EP2981060A4 (en) * 2013-03-29 2016-09-28 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND RECORDING MEDIUM
US9866813B2 (en) 2013-07-05 2018-01-09 Dolby Laboratories Licensing Corporation Autostereo tapestry representation
KR102130123B1 (ko) * 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
EP2950269A1 (en) * 2014-05-27 2015-12-02 Thomson Licensing Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
CN104185011B (zh) * 2014-08-26 2016-06-01 四川虹微技术有限公司 一种多视点图像融合装置
CN104717514B (zh) * 2015-02-04 2018-03-02 四川长虹电器股份有限公司 多视点图像渲染系统及方法
CN108141593B (zh) * 2015-07-31 2022-05-03 港大科桥有限公司 用于针对深度视频的高效帧内编码的基于深度不连续的方法
US11463676B2 (en) * 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US9681801B1 (en) 2017-01-09 2017-06-20 Marvin Efron Efron stereopter
EP3593530A4 (en) * 2017-03-07 2020-12-16 8259402 Canada Inc. PROCESS FOR ORDERING A VIRTUAL IMAGE IN A DISPLAY DEVICE
KR102594063B1 (ko) 2017-03-17 2023-10-24 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
EP3827299A4 (en) * 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
CN110827394B (zh) * 2018-08-10 2024-04-02 宏达国际电子股份有限公司 脸部表情建构方法、装置及非暂态电脑可读取记录媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0918439B1 (en) * 1996-07-18 2008-12-24 SANYO ELECTRIC Co., Ltd. Device for converting two-dimensional video into three-dimensional video
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
JP3942789B2 (ja) * 2000-02-22 2007-07-11 独立行政法人科学技術振興機構 背景付き立体像再生装置
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
JP2004070793A (ja) * 2002-08-08 2004-03-04 Ge Medical Systems Global Technology Co Llc 3次元空間フィルタ装置および方法
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 3d 영상의 깊이감 조정 장치 및 방법
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530660C1 (ru) * 2013-02-26 2014-10-10 Владимир Николаевич Антипов Способ выявления диапазона условий восприятия глубины образов плоскостных изображений

Also Published As

Publication number Publication date
US20110304708A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
RU2010123652A (ru) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US9401039B2 (en) Image processing device, image processing method, program, and integrated circuit
WO2011052389A1 (ja) 画像処理装置及び画像処理方法
EP2469870A2 (en) Image processing device, image processing method, and program
KR20130079580A (ko) 사용자 선호도들에 기초하여 3d 비디오 렌더링을 조정하기 위한 3d 비디오 제어 시스템
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
US9596445B2 (en) Different-view image generating apparatus and different-view image generating method
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
KR101956353B1 (ko) 영상 처리 장치 및 3d 영상 생성 방법
CN102368826A (zh) 双视点视频到多视点视频的实时自适应生成方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
EP2498501A2 (en) 3D image display method and apparatus thereof
Li et al. 3D synthesis and crosstalk reduction for lenticular autostereoscopic displays
JP2015012429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5210416B2 (ja) 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
JP2014506768A (ja) 三次元シーンの深さデータの処理
US20130187907A1 (en) Image processing apparatus, image processing method, and program
CN103037236A (zh) 图像处理方法以及装置
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101329069B1 (ko) 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치
JP2012034336A (ja) 立体画像生成装置及び方法
US9888222B2 (en) Method and device for generating stereoscopic video pair
CN103501433B (zh) 一种3d书画显示方法及装置
Kim 2D-to-3D conversion using color and edge

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20120210