KR101894092B1 - Stereoscopic image subtitle processing method and subtitle processing unit using the same - Google Patents
Stereoscopic image subtitle processing method and subtitle processing unit using the same Download PDFInfo
- Publication number
- KR101894092B1 KR101894092B1 KR1020110116591A KR20110116591A KR101894092B1 KR 101894092 B1 KR101894092 B1 KR 101894092B1 KR 1020110116591 A KR1020110116591 A KR 1020110116591A KR 20110116591 A KR20110116591 A KR 20110116591A KR 101894092 B1 KR101894092 B1 KR 101894092B1
- Authority
- KR
- South Korea
- Prior art keywords
- disparity
- value
- average value
- calculating
- subtitle
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 입체영상 자막처리방법과 이를 이용한 자막처리부에 관한 것이다. 본 발명의 실시예에 따른 입체영상 자막처리방법은 디스패리티 계산 알고리즘을 이용하여 3D 영상 데이터로부터 디스패리티 맵을 산출하는 단계; 상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 단계; 상기 자막표시부분의 디스패리티 최대값을 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인지를 판단하는 단계; 및 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값보다 작은 경우, 자막 디스패리티를 상기 디스패리티 평균값으로 산출하는 단계를 포함한다.The present invention relates to a stereoscopic image caption processing method and a caption processing unit using the same. According to another aspect of the present invention, there is provided a stereoscopic image caption processing method comprising: calculating a disparity map from 3D image data using a disparity calculation algorithm; Calculating a disparity average value of the subtitle display portion in the disparity map; Calculating a maximum disparity value of the subtitle display portion and determining whether a difference between the maximum disparity value and the disparity average value is equal to or greater than a predetermined threshold value; And calculating the caption disparity as the disparity average value when the difference between the maximum disparity value and the disparity average value is smaller than a predetermined threshold value.
Description
본 발명은 입체영상 자막처리방법과 이를 이용한 자막처리부에 관한 것이다.
The present invention relates to a stereoscopic image caption processing method and a caption processing unit using the same.
최근 입체 영화와 같은 입체 컨텐츠(contents)가 늘어나면서 많은 사람들이 입체 영상에 관심을 갖게 되었다. 입체영상 제작 기술은 한 쌍의 영상을 인간의 양안에 각각의 영상을 보여주는 양안 시차 방식을 기반으로 한다. 이러한 양안 시차 방식의 입체영상이 다른 언어를 사용하는 지역에서 상영되기 위해서는 자막(subtitle)이 필요하다.Recently, stereoscopic images have become increasingly popular with stereoscopic movies. The stereoscopic image production technology is based on a binocular parallax system that displays each pair of images in human eyes. In order for such a binocular parallax stereoscopic image to be displayed in an area using a different language, a subtitle is required.
도 1a 및 도 1b는 종래 입체영상과 자막이 표시되는 영상을 보여주는 예시도면들이다. 도 1a 및 도 1b를 참조하면, 입체영상은 시청자의 좌안과 우안의 시차에 의해 실제 스크린(Screen)보다 앞쪽에 또는 뒤쪽에 허상(I)으로 표시된다. 먼저, 종래에는 도 1a와 같이 자막에 어떠한 깊이감(depth)을 주지 않고 스크린(Screen)에 표시하였다. 이 경우, 실제 스크린(Screen)보다 앞쪽에 허상(I)이 표시되는 경우, 허상(I)에 의해 자막 'TEXT'의 일부가 가려지게 되므로, 시청자가 자막 'TEXT'를 제대로 읽을 수 없는 문제가 발생하였다. 이러한 문제를 해결하기 위해, 종래에는 도 1b와 같이 자막에 소정의 깊이감(depth)을 주어 실제 스크린(Screen)의 앞쪽에 표시되는 허상(I)보다 더 앞쪽에 자막 'TEXT'가 표시되도록 하였다. 이로 인해, 허상(I)에 의해 자막 'TEXT'가 가려지는 문제는 해결되었다. 다만, 도 2를 참조하면, 입체영상에서의 깊이 영역(depth of field, ΔD)은 시청자와 허상 간의 거리(L)와 시청자와 스크린(Screen) 간의 거리(S)에 의해 수학식 1과 같이 정의된다.FIGS. 1A and 1B are exemplary views showing a conventional stereoscopic image and an image in which a caption is displayed. 1A and 1B, a stereoscopic image is displayed as a virtual image I in front of or behind a real screen due to a parallax between the left and right eyes of a viewer. First, as shown in FIG. 1A, a caption is displayed on a screen without any depth. In this case, when the virtual image I is displayed ahead of the actual screen, a part of the subtitle 'TEXT' is hidden by the virtual image I, so that the viewer can not properly read the subtitle 'TEXT' Respectively. In order to solve this problem, a subtitle 'TEXT' is displayed in front of a virtual image (I) displayed on the front side of an actual screen (Screen) by giving a predetermined depth to the caption as shown in FIG. 1B . As a result, the problem that the subtitle 'TEXT' is blocked by the virtual image I is solved. 2, the depth of field (DELTA D) in the stereoscopic image is defined by the distance L between the viewer and the virtual image and the distance S between the viewer and the screen, as shown in Equation (1) do.
한편, 도 2를 참조하면, 스크린(Screen)보다 뒤쪽에 허상(I1)이 표시되는 경우, 시청자와 허상(I1) 간의 거리(L)는 L1이 되고, 스크린(Screen)보다 앞쪽에 허상(I2)이 표시되는 경우, 시청자와 허상(I2) 간의 거리(L)는 L2가 된다.2, when the virtual image I1 is displayed behind the screen, the distance L between the viewer and the virtual image I1 becomes L1 and the virtual image I2 ) Is displayed, the distance L between the viewer and the
결국, 도 1b와 같이 자막에 소정의 깊이감(depth)을 주어 실제 스크린(Screen)의 앞쪽에 표시되는 허상보다 더 앞쪽에 자막이 표시되도록 하는 경우, 자막의 깊이감과 영상의 깊이 영역(ΔD)이 다르기 때문에, 시청자는 눈의 조절과 수렴의 반복으로 인해 쉽게 눈의 피로를 느끼게 된다.
1B, when a caption is displayed in front of a virtual image displayed in front of an actual screen (Screen) by giving a predetermined depth to the caption, the depth of the caption and the depth of the image DELTA D The viewer easily feels eye fatigue due to the control of eyes and the repetition of convergence.
본 발명은 입체영상에 의해 자막이 가려지는 것을 최소화할 뿐만 아니라, 사용자의 눈의 피로를 감소시킬 수 있는 입체영상 자막처리방법과 이를 이용한 자막처리부를 제공한다.
The present invention provides a stereoscopic image caption processing method and a caption processing section using the stereoscopic image, which can reduce the fatigue of a user's eyes as well as minimizing the caption of the caption by the stereoscopic image.
본 발명의 실시예에 따른 입체영상 자막처리방법은 디스패리티 계산 알고리즘을 이용하여 3D 영상 데이터로부터 디스패리티 맵을 산출하는 단계; 상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 단계; 상기 자막표시부분의 디스패리티 최대값을 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인지를 판단하는 단계; 및 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값보다 작은 경우, 자막 디스패리티를 상기 디스패리티 평균값으로 산출하는 단계를 포함한다.According to another aspect of the present invention, there is provided a stereoscopic image caption processing method comprising: calculating a disparity map from 3D image data using a disparity calculation algorithm; Calculating a disparity average value of the subtitle display portion in the disparity map; Calculating a maximum disparity value of the subtitle display portion and determining whether a difference between the maximum disparity value and the disparity average value is equal to or greater than a predetermined threshold value; And calculating the caption disparity as the disparity average value when the difference between the maximum disparity value and the disparity average value is smaller than a predetermined threshold value.
또한, 본 발명의 실시예에 따른 자막처리부는 디스패리티 계산 알고리즘을 이용하여 3D 영상 데이터로부터 디스패리티 맵을 산출하는 디스패리티 맵 산출부; 상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 디스패리티 평균값 계산부; 및 상기 자막표시부분의 디스패리티 최대값을 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인지를 판단하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값보다 작은 경우 자막 디스패리티를 상기 디스패리티 평균값으로 산출하는 자막 디스패리티 산출부를 포함한다.
Also, the caption processing unit according to an embodiment of the present invention includes a disparity map calculating unit for calculating a disparity map from 3D image data using a disparity calculation algorithm; A disparity average value calculation unit for calculating a disparity average value of the subtitle display portion in the disparity map; And determining a difference between the maximum value of the disparity and the average value of the disparity to be greater than or equal to a predetermined threshold value and if the difference between the maximum value of the disparity and the average value of the disparity exceeds a predetermined threshold value And a caption disparity calculating unit for calculating the caption disparity as the disparity average value.
본 발명은 자막표시부분의 디스패리티 평균값을 계산하고, 자막표시부분의 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인 경우 디스패리티 최대값에 소정의 알파 값을 합한 값을 자막 디스패리티로 산출하며, 소정의 문턱값보다 작은 경우 디스패리티 평균값을 자막 디스패리티로 산출한다. 그 결과, 본 발명은 입체영상에 의해 자막이 가려지는 것을 최소화할 뿐만 아니라, 사용자의 눈의 피로를 감소시킬 수 있다.
According to the present invention, when the difference between the maximum disparity value and the disparity average value in the subtitle display portion is equal to or greater than a predetermined threshold value, a value obtained by adding a predetermined alpha value to the maximum disparity value is subtracted from the subtitle disparity And calculates a disparity average value as a subtitle disparity when the threshold value is smaller than a predetermined threshold value. As a result, the present invention not only minimizes the occlusion of the caption by the stereoscopic image, but also can reduce fatigue of the user's eyes.
도 1a 및 도 1b는 종래 입체영상과 자막이 표시되는 영상을 보여주는 예시도면들.
도 2는 입체영상에서의 깊이 영역을 보여주는 도면.
도 3은 본 발명의 실시예에 따른 입체영상 자막처리방법을 상세히 보여주는 흐름도.
도 4a 및 도 4b는 3D 영상 데이터와 디스패리티 맵을 보여주는 예시도면들.
도 5는 자막표시부분의 디스패리티 좌표값을 보여주는 일 예시도면.
도 6은 본 발명의 실시예에 따른 자막처리부를 보여주는 블록도.FIGS. 1A and 1B illustrate conventional stereoscopic images and images in which subtitles are displayed. FIG.
2 is a view showing a depth region in a stereoscopic image;
3 is a flowchart illustrating a stereoscopic image caption processing method according to an exemplary embodiment of the present invention.
Figures 4A and 4B illustrate exemplary 3D image data and a disparity map.
FIG. 5 is an exemplary view showing disparity coordinate values of a subtitle display portion; FIG.
6 is a block diagram showing a subtitle processing unit according to an embodiment of the present invention;
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The component name used in the following description may be selected in consideration of easiness of specification, and may be different from the actual product name.
도 3은 본 발명의 실시예에 따른 입체영상 자막처리방법을 상세히 보여주는 흐름도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 입체영상 자막처리방법은 S101 내지 S105 단계를 포함한다.3 is a detailed flowchart illustrating a stereoscopic image caption processing method according to an embodiment of the present invention. Referring to FIG. 3, a stereoscopic image caption processing method according to an embodiment of the present invention includes steps S101 to S105.
첫 번째로, 3D 영상 데이터를 이용해 디스패리티 맵(disparity map)을 산출한다. 디스패리티(disparity)는 입체감을 형성하기 위해 쉬프트시키는 픽셀의 개수를 의미하며, 디스패리티가 클수록 입체감이 크게 형성된다. 디스패리티 맵은 공지의 여러 디스패리티 계산 알고리즘 중 어느 하나를 이용하여 3D 영상 데이터로부터 산출될 수 있다. 예를 들어, 3D 영상 데이터의 좌안 영상 데이터와 우안 영상 데이터에서 픽셀별로 쉬프트된 픽셀의 개수를 산출하고, 이를 이용하여 디스패리티 맵을 산출할 수 있다.First, a disparity map is calculated using 3D image data. The disparity means the number of pixels shifted in order to form a three-dimensional effect. The larger the disparity, the greater the three-dimensional effect is. The disparity map can be calculated from the 3D image data using any one of a variety of known disparity calculation algorithms. For example, the number of pixels shifted by pixels in the left eye image data and the right eye image data of the 3D image data may be calculated, and the disparity map may be calculated using the calculated number.
도 4a에는 입력된 3D 영상 데이터의 일 예가 나타나 있고, 도 4b에는 입력된 3D 영상 데이터를 이용하여 산출된 디스패리티 맵이 나타나 있다. 디스패리티는 도 4b와 같이 그레이 레벨(Gray level)로 표현될 수 있다. 그레이 레벨은 8 비트의 데이터의 경우 G0 내지 G255로 표현된다. 디스패리티는 도 4b와 같이 깊이가 깊을수록 블랙 계조(G0)에 가깝게 표현되고, 깊이가 얕을수록 화이트 계조(G255)에 가깝게 표현된다. (S101)FIG. 4A shows an example of input 3D image data, and FIG. 4B shows a disparity map calculated using input 3D image data. The disparity may be represented by a gray level as shown in FIG. 4B. The gray level is represented by G0 to G255 in the case of 8-bit data. The disparity is expressed closer to the black gradation G0 as the depth becomes deeper and closer to the white gradation G255 as the depth becomes shallower as shown in FIG. 4B. (S101)
두 번째로, 디스패리티 맵에서 자막표시부분(subtitle)의 디스패리티 평균값(disparity_average)을 계산한다. 도 4b에서 자막표시부분(subtitle)은 화면의 하단에 위치하는 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다.Secondly, the disparity average value (disparity_average) of the subtitle display portion (subtitle) in the disparity map is calculated. In FIG. 4B, although the subtitle display portion is located at the bottom of the screen, it should be noted that the subtitle display portion is not limited thereto.
자막표시부분(subtitle)의 디스패리티들 각각은 도 5와 같이 제1 내지 제i(i는 2 이상의 자연수) x축 방향 좌표값과 제1 내지 제j(j는 2 이상의 자연수) y축 방향 좌표값을 갖는다. 따라서, 자막표시부분(subtitle)의 디스패리티들 각각은 (x, y)(x는 1≤x≤i를 만족하는 자연수, y는 1≤y≤j를 만족하는 자연수) 좌표로 표시될 수 있다. 자막표시부분(subtitle)의 디스패리티 평균 값(disparity_average)은 수학식 2와 같이 계산된다. 즉, 자막표시부분(subtitle)의 디스패리티들 각각을 (x, y) 좌표로 설정하고, 상기 자막표시부분의 모든 (x, y) 좌표의 디스패리티들의 평균값을 계산하여 디스패리티 평균값(disparity_average)을 산출한다.5, each of the disparities of the subtitle display portion (subtitle) is divided into x-axis direction coordinate values and first to j-th (j is a natural number of 2 or more) y-axis direction coordinate values Lt; / RTI > Thus, each of the disparities of the subtitle display portion (subtitle) can be represented by coordinates (x, y) (x is a natural number satisfying 1? X? I and y is a natural number satisfying 1? . The disparity average value (disparity_average) of the subtitle display portion (subtitle) is calculated as shown in Equation (2). That is, each disparity of a subtitle display subtitle is set to (x, y) coordinates, and a disparity average value (disparity_average) is calculated by calculating an average value of disparities of all (x, y) .
세 번째로, 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)을 산출한다. 디스패리티는 깊이가 얕을수록 화이트 계조(G255)에 가깝게 표현되므로, 디스패리티 최대값(disparity_max)은 깊이가 가장 얕은 값을 의미한다. 그 다음, 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인지 판단한다. (S103)Third, the maximum disparity value (disparity_max) of the subtitle display portion (subtitle) is calculated. Since the disparity is expressed as being closer to the white gradation G255 as the depth is shallower, the disparity maximum value (disparity_max) means the shallowest depth value. Then, it is determined whether the difference between the disparity maximum value (disparity_max) and the disparity average value (disparity_average) of the subtitle display portion (subtitle) is equal to or greater than a predetermined threshold value TH. (S103)
자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인 경우, 자막 디스패리티(subtitle_disparity)는 수학식 3과 같이 디스패리티 최대값(disparity_max)에 소정의 알파 값(α)을 합한 값으로 산출된다.When the difference between the maximum disparity value (disparity_max) and the disparity average value (disparity_average) of the subtitle display portion (subtitle) is equal to or greater than the predetermined threshold value TH, the subtitle_disparity is calculated as the maximum disparity value disparity_max) to a predetermined alpha value (alpha).
수학식 3에서, 소정의 알파 값(α)은 디스패리티 최대값(disparity_max)을 갖는 영상보다 앞쪽에 자막을 위치시키기 위해 더해지는 값이다.In Equation (3), the predetermined alpha value alpha is a value added to position the caption in front of the image having the maximum disparity value (disparity_max).
자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인 경우, 자막 디스패리티(subtitle_disparity)를 디스패리티 평균값(disparity_average)으로 처리한다면, 자막이 여전히 디스패리티 최대값(disparity_max)을 갖는 영상에 의해 가려질 수 있다. 따라서, 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인 경우, 자막 디스패리티(subtitle_disparity)를 디스패리티 최대값(disparity_max)에 소정의 알파 값(α)을 합한 값으로 처리함으로써, 자막이 디스패리티 최대값(disparity_max)을 갖는 영상에 의해 가려지는 것을 방지할 수 있다. 한편, 소정의 문턱값(TH)은 자막을 기준으로 자막이 가려질 정도의 영상의 디스패리티 값으로 설정될 수 있으며, 이는 사전 실험을 통해 설정될 수 있다. (S104)If the difference between the maximum disparity value (disparity_max) and the disparity average value (disparity_average) of the subtitle display portion (subtitle) is equal to or greater than the predetermined threshold value TH and the subtitle_disparity is treated as the disparity average value (disparity_average) The subtitles may still be obscured by the image having the maximum disparity value (disparity_max). Therefore, when the difference between the disparity maximum value (disparity_max) and the disparity average value (disparity_average) of the subtitle display portion (subtitle) is equal to or larger than the predetermined threshold value TH, subtitle_disparity is set to the disparity maximum value disparity_max It is possible to prevent the subtitles from being obscured by the image having the maximum disparity value (disparity_max) by processing the alpha value alpha as a sum. On the other hand, the predetermined threshold value TH can be set as a disparity value of an image to which a subtitle is hidden based on the subtitle, which can be set through a preliminary experiment. (S104)
다섯 번째로, 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH)보다 작은 경우, 자막 디스패리티(subtitle_disparity)는 디스패리티 평균값(disparity_average)으로 산출된다.Fifth, when the difference between the maximum disparity value (disparity_max) of the subtitle display portion (subtitle) and the disparity average value (disparity_average) is smaller than the predetermined threshold value TH, the subtitle_disparity is the disparity average value ).
자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH)보다 작은 경우, 자막 디스패리티(subtitle_disparity)를 디스패리티 평균값(disparity_average)으로 처리하더라도, 자막이 디스패리티 최대값(disparity_max)을 갖는 영상에 의해 크게 가려지지 않을 것으로 판단된다. 따라서, 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH)보다 작은 경우, 자막 디스패리티(subtitle_disparity)를 디스패리티 평균값(disparity_average)로 처리함으로써, 시청자의 눈의 조절과 수렴의 반복으로 인한 눈의 피로를 줄일 수 있다. (S105)If the difference between the maximum disparity value (disparity_max) of the subtitle display portion (disparity_max) and the disparity average value (disparity_average) is smaller than the predetermined threshold value TH, even if the subtitle_disparity is treated as the disparity average value (disparity_average) , It is judged that the subtitles will not be greatly obscured by the image having the maximum disparity value (disparity_max). Therefore, when the difference between the disparity maximum value (disparity_max) and the disparity average value (disparity_verage) of the subtitle display portion (subtitle) is smaller than the predetermined threshold value TH, the subtitle disparity is calculated as the disparity average value The eye fatigue due to the adjustment of the eyes of the viewer and the repetition of convergence can be reduced. (S105)
여섯 번째로, 산출된 자막 디스패리티(subtitle_disparity)를 3D 영상 데이터에 적용하여 자막을 생성한다. 따라서, 본 발명의 실시예에 따른 입체영상 자막처리방법은 입체영상에 의해 자막이 가려지지 않을 뿐만 아니라, 입체영상 시청시 시청자의 눈의 피로를 감소시킬 수 있도록 자막을 표시할 수 있다. (S106)
Sixth, a subtitle is generated by applying the calculated subtitle disparity to 3D image data. Accordingly, the stereoscopic image caption processing method according to the embodiment of the present invention can not only hide the caption by the stereoscopic image but also display the caption to reduce fatigue of the viewer's eyes when viewing the stereoscopic image. (S106)
도 6은 본 발명의 실시예에 따른 자막처리부를 보여주는 블록도이다. 도 6을 참조하면, 본 발명의 실시예에 따른 자막처리부(100)는 디스패리티 맵 산출부(10), 디스패리티 평균값 계산부(20), 자막 디스패리티 산출부(30), 자막 생성부(40)를 포함한다.6 is a block diagram illustrating a subtitle processor according to an embodiment of the present invention. 6, the
디스패리티 맵 산출부(10)는 도 4a와 같이 입력된 3D 영상 데이터를 이용해 도 4b와 같이 디스패리티 맵(disparity map)을 산출한다. 디스패리티 맵 산출부(10)는 S101 단계에서 설명한 바와 같이 디스패리티 맵(disparity map)을 산출한다.The disparity
디스패리티 평균값 계산부(20)는 자막표시부분(subtitle)의 디스패리티 평균값(disparity_average)을 계산한다. 자막표시부분(subtitle)의 디스패리티들 각각은 (x, y) 좌표로 표시될 수 있으며, 자막표시부분(subtitle)의 디스패리티 평균 값(disparity_average)은 수학식 2와 같이 계산된다. 즉, 디스패리티 평균값 계산부(20)는 자막표시부분(subtitle)의 디스패리티들 각각을 (x, y) 좌표로 설정하고, 상기 자막표시부분의 모든 (x, y) 좌표의 디스패리티들의 평균값을 계산하여 디스패리티 평균값(disparity_average)을 산출한다.The disparity average
자막 디스패리티 산출부(30)는 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)을 산출한다. 자막 디스패리티 산출부(30)는 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인지 판단한다. 자막 디스패리티 산출부(30)는 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인 경우, 자막 디스패리티(subtitle_disparity)를 수학식 3과 같이 디스패리티 최대값(disparity_max)에 소정의 알파 값(α)을 합한 값으로 계산한다. 자막 디스패리티 산출부(30)는 자막표시부분(subtitle)의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH)보다 작은 경우, 자막 디스패리티(subtitle_disparity)를 디스패리티 평균값(disparity_average)으로 산출한다.The subtitle
자막 생성부(40)는 산출된 자막 디스패리티(subtitle_disparity)를 입체영상에 적용하여 자막을 생성한다. 따라서, 본 발명의 실시예에 따른 자막처리부(100)에 의해 자막처리를 하는 경우, 입체영상에 의해 자막이 가려지지 않을 뿐만 아니라, 입체영상 시청시 시청자의 눈의 피로를 감소시킬 수 있도록 자막을 표시할 수 있다.The
한편, 본 발명의 실시예에 따른 자막처리부(100)는 블루레이(blue ray), DVD 재생기, 및 CD 재생기와 같은 입체영상 재생기에 포함되어 입체영상의 자막을 생성할 수 있다. 또한, 본 발명의 실시예에 따른 자막처리부(100)는 입체영상 표시장치에 포함되거나, 입체영상을 제공해주는 단말기에 포함되어 입체영상의 자막을 생성할 수 있다.
Meanwhile, the
이상에서 살펴본 바와 같이, 본 발명은 자막표시부분(subtitle)의 디스패리티 평균값을 계산하고, 자막표시부분의 디스패리티 최대값(disparity_max)과 디스패리티 평균값(disparity_average)의 차가 소정의 문턱값(TH) 이상인 경우 디스패리티 최대값(disparity_max)에 소정의 알파 값(α)을 합한 값을 자막 디스패리티(subtitle_disparity)로 산출하며, 소정의 문턱값보다 작은 경우 디스패리티 평균값(disparity_average)을 자막 디스패리티(subtitle_disparity)로 산출하고, 산출된 자막 디스패리티(subtitile_disparity)를 입체영상에 적용하여 자막을 생성한다. 그 결과, 본 발명은 입체영상에 의해 자막이 가려지는 것을 최소화할 뿐만 아니라, 사용자의 눈의 피로를 감소시킬 수 있다.As described above, according to the present invention, a disparity average value of a subtitle display portion is calculated, and a difference between a disparity maximum value (disparity_max) and a disparity average value (disparity_average) A disparity average value (disparity_maverage) is calculated as a subtitle disparity (subtitle_disparity), and a disparity average value (disparity_average) is calculated as a subtitle_disparity ), And the subtitles are generated by applying the calculated subtitle_disparity to the stereoscopic image. As a result, the present invention not only minimizes the occlusion of the caption by the stereoscopic image, but also can reduce fatigue of the user's eyes.
이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
100: 자막처리부 10: 디스패리티 맵 산출부
20: 디스패리티 평균값 계산부 30: 자막 디스패리티 산출부
40: 자막 생성부100: caption processing section 10: disparity map calculating section
20: Disparity average value calculation unit 30: Caption disparity calculation unit
40:
Claims (8)
상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 단계;
상기 자막표시부분의 디스패리티 최대값을 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인지를 판단하는 단계; 및
상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값보다 작은 경우 자막 디스패리티를 상기 디스패리티 평균값으로 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 상기 소정의 문턱값 이상인 경우 상기 자막 디스패리티를 상기 디스패리티 최대값에 소정의 알파 값을 합한 값으로 산출하는 단계를 포함하는 입체영상 자막처리방법.Calculating a disparity map from 3D image data using a disparity calculation algorithm;
Calculating a disparity average value of the subtitle display portion in the disparity map;
Calculating a maximum disparity value of the subtitle display portion and determining whether a difference between the maximum disparity value and the disparity average value is equal to or greater than a predetermined threshold value; And
When the difference between the maximum value of the disparity and the average value of the disparity is less than a predetermined threshold value, the caption disparity is calculated as the disparity average value, and when the difference between the maximum disparity value and the disparity average value is greater than or equal to the predetermined threshold value, And calculating a disparity as a sum of a maximum value of the disparity and a predetermined alpha value.
상기 자막 디스패리티를 상기 3D 영상 데이터에 적용하여 자막을 생성하는 단계를 더 포함하는 입체영상 자막처리방법.The method according to claim 1,
And generating the caption by applying the caption disparity to the 3D image data.
상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 단계는,
상기 자막표시부분의 디스패리티들 각각을 (x, y)(x는 1≤x≤i를 만족하는 자연수, y는 1≤y≤j를 만족하는 자연수) 좌표로 설정하고, 상기 자막표시부분의 모든 (x, y) 좌표의 디스패리티들의 평균값을 계산하여 디스패리티 평균값을 산출하는 것을 특징으로 하는 입체영상 자막처리방법.The method according to claim 1,
Wherein the step of calculating the disparity average value of the subtitle display portion in the disparity map comprises:
Each of the disparities of the subtitle display portion is set as (x, y) (x is a natural number satisfying 1? X? I and y is a natural number satisfying 1? Y? J) Calculating a disparity average value by calculating an average value of disparities of all (x, y) coordinates.
상기 디스패리티 맵에서 자막표시부분의 디스패리티 평균값을 계산하는 디스패리티 평균값 계산부; 및
상기 자막표시부분의 디스패리티 최대값을 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값 이상인지를 판단하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 소정의 문턱값보다 작은 경우 자막 디스패리티를 상기 디스패리티 평균값으로 산출하고, 상기 디스패리티 최대값과 디스패리티 평균값의 차가 상기 소정의 문턱값 이상인 경우 상기 자막 디스패리티를 상기 디스패리티 최대값에 소정의 알파 값을 합한 값으로 산출하는 자막 디스패리티 산출부를 포함하는 자막처리부.A disparity map calculating unit for calculating a disparity map from the 3D image data using a disparity calculating algorithm;
A disparity average value calculation unit for calculating a disparity average value of the subtitle display portion in the disparity map; And
And determining whether a difference between the maximum value of the disparity and the average value of the disparity is greater than or equal to a predetermined threshold value and if the difference between the maximum value of the disparity and the average value of the disparity exceeds a predetermined threshold value The subtitle disparity is calculated as a mean value of the disparity, and when the difference between the maximum disparity value and the disparity average value is equal to or greater than the predetermined threshold value, the subtitle disparity is calculated by adding a predetermined alpha value to the maximum disparity value And a caption disparity calculating unit for calculating the caption disparity by the caption disparity calculating unit.
상기 자막 디스패리티를 상기 3D 영상 데이터에 적용하여 자막을 생성하는 자막 생성부를 더 포함하는 자막처리부.6. The method of claim 5,
And a caption generation unit for generating a caption by applying the caption disparity to the 3D image data.
상기 디스패리티 평균값 계산부는
상기 자막표시부분의 디스패리티들 각각을 (x, y)(x는 1≤x≤i를 만족하는 자연수, y는 1≤y≤j를 만족하는 자연수) 좌표로 설정하고, 상기 자막표시부분의 모든 (x, y) 좌표의 디스패리티들의 평균값을 계산하여 디스패리티 평균값을 산출하는 것을 특징으로 하는 자막처리부.6. The method of claim 5,
The disparity average value calculation unit
Each of the disparities of the subtitle display portion is set as (x, y) (x is a natural number satisfying 1? X? I and y is a natural number satisfying 1? Y? J) And calculates a disparity average value by calculating an average value of disparities of all (x, y) coordinates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110116591A KR101894092B1 (en) | 2011-11-09 | 2011-11-09 | Stereoscopic image subtitle processing method and subtitle processing unit using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110116591A KR101894092B1 (en) | 2011-11-09 | 2011-11-09 | Stereoscopic image subtitle processing method and subtitle processing unit using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130051315A KR20130051315A (en) | 2013-05-20 |
| KR101894092B1 true KR101894092B1 (en) | 2018-09-03 |
Family
ID=48661359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110116591A KR101894092B1 (en) | 2011-11-09 | 2011-11-09 | Stereoscopic image subtitle processing method and subtitle processing unit using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101894092B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101965404B1 (en) | 2017-11-09 | 2019-04-03 | 부경대학교 산학협력단 | Caption supporting apparatus and method of user viewpoint centric for Virtual Reality video contents |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010122775A1 (en) * | 2009-04-21 | 2010-10-28 | パナソニック株式会社 | Video processing apparatus and video processing method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101329065B1 (en) * | 2010-03-31 | 2013-11-14 | 한국전자통신연구원 | Apparatus and method for providing image data in an image system |
-
2011
- 2011-11-09 KR KR1020110116591A patent/KR101894092B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010122775A1 (en) * | 2009-04-21 | 2010-10-28 | パナソニック株式会社 | Video processing apparatus and video processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130051315A (en) | 2013-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7486817B2 (en) | Apparatus for and method of generating image, and computer program product | |
| US8294754B2 (en) | Metadata generating method and apparatus and image processing method and apparatus using metadata | |
| US8488869B2 (en) | Image processing method and apparatus | |
| KR101602904B1 (en) | A method of processing parallax information comprised in a signal | |
| RU2519433C2 (en) | Method and system for processing input three-dimensional video signal | |
| US9251621B2 (en) | Point reposition depth mapping | |
| JP4793451B2 (en) | Signal processing apparatus, image display apparatus, signal processing method, and computer program | |
| US9754379B2 (en) | Method and system for determining parameters of an off-axis virtual camera | |
| US20130038600A1 (en) | System and Method of Processing 3D Stereoscopic Image | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| CN110915206B (en) | System and method for generating virtual three-dimensional images | |
| US10110872B2 (en) | Method and device for correcting distortion errors due to accommodation effect in stereoscopic display | |
| US20130069934A1 (en) | System and Method of Rendering Stereoscopic Images | |
| JP2010259017A (en) | Display device, display method and display program | |
| KR101894092B1 (en) | Stereoscopic image subtitle processing method and subtitle processing unit using the same | |
| KR101172507B1 (en) | Apparatus and Method for Providing 3D Image Adjusted by Viewpoint | |
| EP2409279B1 (en) | Point reposition depth mapping | |
| KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
| Cheng et al. | 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System | |
| KR20140113066A (en) | Multi-view points image generating method and appararus based on occulsion area information | |
| Lee et al. | Eye tracking based glasses-free 3D display by dynamic light field rendering | |
| JP2012109725A (en) | Stereoscopic video processing device and stereoscopic video processing method | |
| Yoon et al. | Saliency-guided stereo camera control for comfortable vr explorations | |
| JP2010193409A (en) | Image presentation system, image processing apparatus, program and image presentation method | |
| Kang et al. | 53‐3: Dynamic Crosstalk Measurement for Augmented Reality 3D Head‐Up Display (AR 3D HUD) with Eye Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| GRNT | Written decision to grant |