WO2022254771A1 - Signal processing circuit, and program - Google Patents
Signal processing circuit, and program Download PDFInfo
- Publication number
- WO2022254771A1 WO2022254771A1 PCT/JP2022/001317 JP2022001317W WO2022254771A1 WO 2022254771 A1 WO2022254771 A1 WO 2022254771A1 JP 2022001317 W JP2022001317 W JP 2022001317W WO 2022254771 A1 WO2022254771 A1 WO 2022254771A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- processing circuit
- signal processing
- eye image
- signal
- pattern
- Prior art date
Links
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Definitions
- This technology relates to a signal processing circuit and a program applicable to 3D display and the like.
- Patent Document 1 discloses a display unit having a display area for displaying a two-dimensional image, and a device for separating an image displayed in the display area into images observed at predetermined observation positions horizontally spaced apart.
- a display device comprising an optical element having a plurality of structures is described.
- pixels are arranged in a matrix in the horizontal direction and the vertical direction in the display area, and the pixels with different planar shapes are arranged in each row at a constant cycle.
- the structure of the optical element is arranged so as to be inclined with respect to the vertical direction at an inclination that satisfies a predetermined condition.
- it is possible to reduce moire caused by the arrangement relationship of pixels in the display unit paragraphs [0037] to [0041] [0049] to [0053] FIGS. 1 and 3 of Patent Document 1). .
- Devices that display such images are in demand for technology that can provide a high-quality viewing experience.
- the purpose of this technology is to provide a signal processing circuit and program capable of realizing a high-quality viewing experience.
- a signal processing circuit includes a generator.
- the generator superimposes different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
- the pattern signal may include a random signal with respect to the pixel array.
- the different pattern signals may be signals that provide parallax to the right eye that views the right-eye image and the left eye that views the left-eye image.
- the different pattern signals may be signals having a parallax different from the parallax of the pixels of the right-eye image and the left-eye image to be superimposed.
- the generating unit may superimpose the pattern signal on a depth different from the depth range obtained from the right-eye image and the left-eye image.
- the generation unit may determine the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on depths obtained from the right-eye image and the left-eye image.
- the generation unit may temporally change the depth of the pattern signal superimposed on the right-eye image or the left-eye image.
- the generation unit may determine the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image.
- the pattern signal may be a display that displays the stereoscopic image and a pattern related to the pixel structure of the display.
- the generator may generate the pattern signal based on positional information of an observer viewing the display.
- the signal processing circuit further, based on the display information about the display, the pixel information about the pixel structure, and the position information, dark portions of display unevenness in the right-eye image and the left-eye image visually recognized by the observer are corrected.
- An estimation unit for estimating pixel positions may be provided.
- the generating unit may generate the pattern signal for correcting the bias of the dark portion by the estimating unit.
- the generating unit may generate the pattern signal that increases the luminance of pixels adjacent to the pixel position in the dark area.
- the generating unit may generate the pattern signal that reduces the luminance of a bright portion arranged at a pixel position different from the pixel position of the dark portion.
- the signal processing circuit may further include an acquisition unit that acquires position information of the observer with respect to the display.
- the generator may change the pattern signal based on the position information.
- the generator may multiply the pattern signal by a coefficient dependent on the observation angle of the observer.
- a program according to an embodiment of the present technology causes a computer system to execute the following steps.
- FIG. 10 is a schematic diagram showing a case where the brightness of a bright portion is lowered;
- FIG. 10 is a schematic diagram showing a case where the brightness of pixels around a dark portion is increased;
- FIG. 1 is a diagram illustrating the appearance of a display device and explanation of moire according to a first embodiment of the present technology.
- FIG. 1A is a schematic diagram of a display device 100 capable of displaying a stereoscopic image.
- the display device 100 has a display surface 1, an observer detection section (not shown), and the like.
- the display surface 1 displays a right-eye image and a left-eye image to the right and left eyes of an observer.
- an optical member such as a lenticular lens is attached to the display surface 1 so that an observer can view a stereoscopic image with the naked eye.
- the observer detection unit detects the position information of the observer.
- the position information includes the viewing angle and the position of the viewer on the display device 100 (display surface 1) of the viewer.
- the positions of the observer's left eye and right eye, the line-of-sight direction of the left eye, the line-of-sight direction of the right eye, the field of view of the observer, the posture of the observer, the face, etc. may be detected as the position information.
- the observer detection unit may be configured with a camera, a depth camera, a motion sensor, or the like, or may be realized with a configuration that can track the observer.
- FIG. 1B is a diagram schematically showing pixels seen through a lenticular lens.
- FIG. 1C is a diagram schematically showing a pixel structure in IPS (In Plane Switching) mode.
- FIG. 1D is a diagram schematically showing a lenticular lens.
- FIG. 1E is a diagram schematically showing pixels through a lenticular lens. Note that the brightness in FIG. 1 represents the color of the pixel (RGB, etc.).
- the IPS mode pixel structure has a tilted structure in which the tilt differs every other row.
- the lenticular lens 3 is tilted (eg, 11 degrees) in order to balance moiré reduction and horizontal/vertical resolution.
- the portion where the central axis 5 of the lenticular lens 3 and the phase of the black stripe 6 match appears as a dark portion (black dot 8) within the frame 7.
- black dot 8 the dark portion
- the display device 100 has a signal processing circuit (not shown) in this embodiment.
- the signal processing circuit superimposes different pattern signals on the right-eye image and the left-eye image forming a stereoscopic image. That is, the signal processing circuit adds a horizontal offset to the depth of the right-eye (left-eye) image so that the superimposed pattern signal (noise surface 2) is shifted in depth.
- references to offset refer to horizontal offset.
- the pattern signal is a random signal with respect to the pixel array.
- the pattern signal also provides parallax to the viewer's left and right eyes. That is, the pattern signal is a signal having a parallax different from the parallax in the pixels of the right-eye image and the left-eye image. As a result, it is possible to suppress deterioration in image quality and image fusion due to noise.
- pattern signals are superimposed on the right-eye image and the left-eye image so as to reduce bias in the dark regions determined by the pixel structure and the settings of the optical elements, thereby reducing moire.
- first method and second method there are the following first method and second method.
- the first method is to suppress the amplitude of the spatial frequency of the moire by superimposing a random noise signal on the row of pixels.
- the second method is to suppress periodic luminance changes that cause moiré based on the positional information of the observer with pattern signals related to the optical element (lenticular lens) and pixel structure.
- the signal processing circuit determines the offset based on the depth information (see FIG. 5).
- the signal processing circuit also determines the offset based on the time information (see FIG. 6).
- the signal processing circuit also determines the offset based on the image gradation (luminance) (see FIG. 7).
- the pixel position of the dark part is estimated from the tilt and pitch parameters obtained from the relationship between the lenticular lens and the pixel, and the pixel position of the observer's position information.
- a pattern signal is generated for increasing or decreasing the luminance value of a pixel at a suitable position different from the pixel position of the dark area.
- the signal processing circuit changes the amount of noise added to the pattern signal according to the viewing angle (see FIG. 4). Also, in this embodiment, the signal processing circuit adds a pattern signal that cancels moiré visible from the position of the observer.
- FIG. 2 is a schematic diagram showing the noise surface.
- FIG. 2A is a diagram showing an image when no noise surface is superimposed.
- FIG. 2B is a diagram showing a case where parallax is not provided on the noise surface.
- FIG. 2C is a diagram showing a case where parallax is provided on the noise surface.
- the right figures of FIGS. 2A to 2C are enlarged views of the left figures.
- a method of value noise, gradation noise, etc. in which the size of a two-dimensional noise surface is controlled by combining two-dimensional correction processing. is used.
- the coordinate values of the noise plane thus obtained as a function of time, it is possible to change the position of the brightness and darkness of the screen in the time direction as well.
- the noise plane is fixed to the display plane. As a result, if the display surface is recognized when expressing depth on a 3D display, fusion of the 3D content is disturbed, and the viewer's viewing experience is greatly impaired.
- depth can be imparted to the generated noise surface by offsetting the horizontal coordinate positions of the right-eye image and the left-eye image relative to each other. That is, by setting the offset of the noise surface to a value that is far from the depth of the displayed 3D content, fusion can be avoided as shown in FIG. 2C, and the observer recognizes noise. can be reduced.
- the depth of the noise surface that prevents the noise surface from being recognized is set as follows.
- set the depth away from the depth range of the displayed content For example, set the depth away from the depth range of the displayed content. In this case, assuming that the depth range of the content displayed on the display device 100 shown in FIG. can be done. Further, for example, when the display surface 1 of the display device 100 is tilted by 45 degrees to display a box-shaped space whose cross section is the display surface, a noise surface is set outside the box.
- the depth information of the displayed content For example, obtain the depth information of the displayed content and set it to a value different from that depth.
- the depth is set before or behind each depth position of the acquired content.
- a horizontal offset is added to the noise surface, and spatially thick noise can be realized by adding time information to the offset.
- the program that generates the noise surface may be set arbitrarily.
- an interpolating function that adjusts the two-dimensional noise size using a random number function may be used.
- FIG. 3 is a block diagram of the signal processing circuit 20. As shown in FIG. 3 to 7 are examples of signal processing circuits when implementing the first method described above.
- the signal processing circuit 20 has a position information acquisition section 21, a visual gain section 22, a noise generation section 23, an offset generation section 24, a synthesis section 25, and a stereoscopic display image generation section .
- the position information acquisition unit 21 acquires the position information of the observer.
- the observation angle of the observer is acquired from various sensors mounted on the display device 100 and supplied to the position information acquisition section 21 . Further, in this embodiment, the position information acquisition unit 21 supplies the observation angle of the observer to the visual gain unit 22 and the stereoscopic display image generation unit 26 .
- the visual gain unit 22 changes the noise addition amount (gain) of the pattern signal according to the observation angle of the observer.
- the visual gain unit 22 multiplies the pattern signal generated by the first method and the second method by a gain that suppresses the correction value. Further, in this embodiment, the gain from the visual gain section 22 is supplied to the noise generation section 23 .
- FIG. 4 is a diagram showing an example of gains with respect to observation angles.
- the position information acquisition unit 21 acquires the position and observation angle ⁇ of the observer 10 .
- the position of the observer 10 is defined by an absolute coordinate system (world coordinate system) (for example, XYZ coordinate values), or a predetermined point (for example, the display surface 1) as a reference (origin ) in a coordinate system defined by a local coordinate system (eg, xyz coordinate values or uvd coordinate values).
- FIG. 4B is a graph showing an example of the relationship between the observation angle and the observation angle gain.
- FIG. 4B shows a graph in which the horizontal axis is the viewing angle and the vertical axis is the viewing angle gain.
- the visual gain unit 22 multiplies the pattern signal by an observation angle gain corresponding to the observation angle based on the information supplied from the position information acquisition unit 21 . Note that in FIG. 4B, the angle at which the horizontal end position is viewed at the optimal viewing position is 1.
- an observation angle gain that suppresses the pattern signal is multiplied according to the observation angle, as shown in FIG. 4B. It is not limited to this, and may be multiplied by an observation angle gain such as a downward convex. These gains may be arbitrarily set based on the design of the display device.
- the noise generator 23 superimposes different pattern signals on the right-eye image (R) and the left-eye image (L) forming a stereoscopic image.
- the noise generator 23 generates a pattern signal based on image coordinates with a size determined by an optical element (lenticular lens) of a display (display surface).
- the noise generation unit 23 also multiplies each pixel of the generated pattern signal by the gain supplied by the visual gain unit 22 . Thereby, an increase in noise can be suppressed.
- the noise generator 23 supplies a pattern signal to the left eye image synthesizer 25 .
- the noise generator 23 also adds the offset generated by the offset generator 24 to the pattern signal, and supplies the pattern signal to the right-eye image synthesizer 25 . That is, by adding an offset to the right-eye image, a parallax different from the display of the position of the noise surface superimposed on the left-eye image is created.
- the offset generator 24 generates an offset in the generated pattern signal.
- the offset generation unit 24 adds an offset away from the depth range of the displayed content.
- a specific numerical value of the offset may be set in advance or may be set by the observer.
- the offset is supplied to the noise generator 23 of the right eye image.
- the synthesizer 25 synthesizes the pattern signal with the right-eye image and the left-eye image.
- the synthesizing unit 25 synthesizes the pattern signal with the right-eye image and the left-eye image at an appropriate ratio.
- the pattern signal synthesized with noise by the synthesizing unit 25 is supplied to the stereoscopic display image generating unit 26 .
- the stereoscopic display image generation unit 26 determines signals to be input to each sub-pixel based on the right-eye image and the left-eye image supplied from the synthesis unit 25 and the position information of the observer supplied from the position information acquisition unit 21. do.
- the stereoscopic image generated by the stereoscopic display image generator 26 is supplied to the display device and displayed via the display surface 1 .
- the position information acquisition unit 21 corresponds to an acquisition unit that acquires the position information of the observer with respect to the display.
- the visual gain unit 22, the noise generation unit 23, and the offset generation unit 24 function as generation units that superimpose different pattern signals on the right-eye image and the left-eye image forming the stereoscopic image.
- the gain that suppresses the correction value corresponds to a coefficient that depends on the angle of the observer.
- FIG. 5 is a block diagram of the signal processing circuit 30.
- description of blocks similar to those of the signal processing circuit 20 shown in FIG. 3 will be omitted.
- the signal processing circuit 30 has a depth detection section 31 in addition to each block of the signal processing circuit 20 of FIG.
- the depth detection unit 31 detects depth information of displayed content.
- the detected depth information is supplied to the offset generator 24 .
- the offset generator 24 generates an offset based on the detected depth information.
- the offset generation 24 generates an offset so that a noise plane is superimposed in front of or behind each depth position of the acquired content.
- the generated offset is supplied to the noise generator 23 for the right-eye image.
- FIG. 6 is a block diagram of the signal processing circuit 40.
- an offset is added based on time information.
- the offset generator 24 generates an offset based on time information.
- the offset generator 24 generates an offset that changes in the time direction with respect to the depth of the noise surface.
- the offset is generated such that it varies sinusoidally over time.
- the generated offset is supplied to the noise generator 23 for the right-eye image.
- the depth of the noise surface is thickened so that the noise is less noticeable than the noise surface whose depth is fixed.
- FIG. 7 is a block diagram of the signal processing circuit 50.
- an offset is added based on luminance information.
- the offset generation unit 24 generates an offset based on luminance information.
- the offset generation unit 24 acquires the right-eye image of the content and generates an offset based on luminance information such as brightness of the content.
- luminance information such as brightness of the content.
- the pattern signal is generated based on the positions of pixels with high brightness and the positions of pixels with low brightness in the content.
- the noise is less noticeable than the noise surface with a fixed depth.
- FIG. 8 is a schematic diagram explaining the second method.
- FIG. 8A is a diagram schematically showing pixels through a lenticular lens.
- FIG. 8B is a diagram of a simulated moire image.
- FIG. 8C is a diagram when the second method of correction is not performed.
- FIG. 8D is a diagram when the second method of correction is performed.
- the signal processing circuit comprises an estimator.
- the estimation unit estimates the pixel positions of the dark portions of the display unevenness in the right-eye and left-eye images viewed by the observer, based on the display information on the display, the pixel information on the pixel structure, and the position information on the observer.
- the noise generation unit generates a pattern signal for correcting bias in dark areas from the black stripe pixel positions estimated by the estimation unit.
- FIGS. 10 and 11 A specific example will be described with reference to FIGS. 10 and 11.
- FIG. 9 is a block diagram of the signal processing circuit 60.
- the signal processing circuit 60 has an estimation unit 61, a noise generation unit 62, a position information acquisition unit 21, a visual gain unit 22, and a stereoscopic display image generation unit 26.
- the estimation unit 61 estimates the pixel position of the dark area as described above.
- the pixel position of the dark portion estimated by the estimation unit 61 is supplied to the noise generation unit 62 .
- the estimating unit 61 assigns a viewpoint number to each sub-pixel based on the tilt obtained from the relationship between the lenticular lens and the pixel as the display information, the pitch parameter as the pixel information, and the position information of the observer. Estimate the pixel position of That is, by estimating the pixels to be corrected, bias in dark areas can be corrected.
- the noise generation unit 62 generates a pattern signal for correcting bias in dark areas.
- the noise generator 62 reduces the contrast of moire by lowering the brightness of the bright area.
- the estimating unit 61 estimates the pixel position of the dark portion of the display unevenness in the right-eye image and the left-eye image viewed by the observer based on the display information about the display, the pixel information about the pixel structure, and the position information. corresponds to the estimating part.
- FIG. 10 is a schematic diagram showing a case where the brightness of bright areas is lowered.
- FIG. 10A is a diagram schematically showing pixels through a lenticular lens.
- FIG. 10B is a diagram schematically showing pixels in which the brightness of the bright portion is lowered.
- FIG. 10C is a schematic diagram showing a lenticular lens.
- the estimating unit 61 estimates the pixel position of the dark part 70 . As shown in FIGS. 10A and 10C, the pixel where the dark portion 70 appears is when the tilt 72 of the lenticular lens 71 and the tilt direction of the pixel match, and in FIG.
- the noise generator 62 reduces the contrast of moire by reducing the brightness of the bright area.
- the bright portion refers to the pixels other than the dark portion in the even-numbered rows in which the dark portion appears.
- the bright portion is pixel 73 in the even row shown in FIG. 11C.
- it is effective to increase the effective aperture width of the even rows and reduce the brightness of the viewpoint around the dark area.
- the noise generation unit 62 also reduces moire contrast by increasing the brightness of pixels around the dark area.
- FIG. 11 is a schematic diagram showing a case where the brightness of pixels around a dark portion is increased.
- FIG. 11A is a diagram schematically showing pixels through a lenticular lens.
- FIG. 11B is a diagram schematically showing pixels in which the brightness of pixels around a dark portion is increased.
- FIG. 11C is a schematic diagram showing a lenticular lens.
- the noise generation unit 62 reduces moiré contrast by increasing the luminance of pixels around the dark portion 70 .
- the noise generation unit 62 increases the brightness of the pixels 75 in the even-numbered rows (row 2 in FIG. 11C) and the adjacent odd-numbered rows (rows 1 and 3 in FIG. 11C) that are dark areas.
- the signal processing circuit 20 superimposes different pattern signals on the right-eye image and the left-eye image forming a stereoscopic image. This makes it possible to achieve a high-quality viewing experience.
- the technique adds a horizontal offset to the pattern signal to place the noise plane at a different depth than the depths of the right- and left-eye images. Also, a pattern signal is added to increase or decrease the brightness of the pixels so as to cancel the moire visible from the position of the observer. Furthermore, the amount of added noise is changed according to the viewing angle of the observer. This makes it possible to reduce image quality deterioration due to noise while reducing moire. In addition, it is possible to prevent unnecessary deterioration of image quality due to noise at peripheral angles of view, and to make the noise inconspicuous to the observer.
- an offset was added to the noise plane of the right eye.
- an offset may be added to the noise surface superimposed on the left-eye image.
- an offset may be added to both noise planes.
- an offset is added according to depth information, time information, and image gradation.
- an upper limit may be set so that the offset value is superimposed within a predetermined range from the display surface.
- the signal processing circuit was mounted on the display device and the pattern signal was generated.
- the present technology may be realized by connecting an information processing apparatus having a signal processing circuit to a display device.
- the display device and the above information processing apparatus can be implemented not only in a computer system constituted by a single computer, but also in a computer system in which a plurality of computers operate in conjunction with each other.
- an information processing apparatus has hardware necessary for configuring a computer, such as processors such as CPU, GPU, and DSP, memories such as ROM and RAM, and storage devices such as HDD.
- processors such as CPU, GPU, and DSP
- memories such as ROM and RAM
- storage devices such as HDD.
- an arbitrary computer such as a PC can realize the information processing device.
- hardware such as FPGA and ASIC may be used.
- the CPU executes a predetermined program to configure the noise generator as a functional block.
- dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
- a program is installed in an information processing apparatus via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
- the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium may be used.
- a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
- execution of the signal processing circuit, information processing device, and signal processing method according to the present technology by a computer system for example, when visual gain, offset generation, pattern signal generation, etc. are executed by a single computer, and when each process is executed by a different computer. Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
- the signal processing circuit and program according to the present technology can also be applied to a cloud computing configuration in which a single function is shared by multiple devices via a network and processed jointly.
- a signal processing circuit comprising: a generator that superimposes different pattern signals on a right-eye image and a left-eye image that form a stereoscopic image.
- the signal processing circuit according to (1) The signal processing circuit, wherein the pattern signal includes a random signal with respect to the pixel array.
- the signal processing circuit according to (1), The different pattern signals are signals that give parallax to a right eye viewing the right eye image and a left eye viewing the left eye image.
- the signal processing circuit according to (3), The signal processing circuit, wherein the different pattern signals are signals having different parallaxes from pixels of the right-eye image and the left-eye image to be superimposed.
- the signal processing circuit according to (4) The signal processing circuit, wherein the generating unit superimposes the pattern signal on a depth different from a depth range obtained from the right-eye image and the left-eye image.
- the signal processing circuit according to (4) The signal processing circuit, wherein the generator determines the depth of the pattern signal superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image.
- the signal processing circuit according to (1) The pattern signal is a display that displays the stereoscopic image and a pattern related to a pixel structure of the display; A signal processing circuit, wherein the generating unit generates the pattern signal based on positional information of an observer observing the display.
- the signal processing circuit according to (11), The generating section generates the pattern signal for increasing the luminance of pixels adjacent to the pixel position in the dark portion.
- noise surface 3 lenticular lens 20 signal processing circuit 21 position information acquisition unit 22 visual gain unit 23 noise generation unit 24 offset generation unit 30 signal processing circuit 40 signal processing circuit 50 signal processing circuit 60 ... signal processing circuit 100 ... display device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
A signal processing circuit according to one embodiment of the present technology is equipped with a generation unit. The generation unit overlays different pattern signals respectively on a right-eye image and a left-eye image that form a stereoscopic image. Accordingly, a high-quality viewing experience can be achieved. Additionally, it is possible to limit the deterioration of image quality caused by noise, while reducing moiré. It is also possible to prevent the unnecessary deterioration of image quality caused by noise at a peripheral angle of view and reduce the noticeability of noise to an observer.
Description
本技術は、3D表示ディスプレイ等に適用可能な信号処理回路、及びプログラムに関する。
This technology relates to a signal processing circuit and a program applicable to 3D display and the like.
特許文献1には、2次元画像を表示する表示領域を有する表示部、及び表示領域に表示される画像を水平方向に間隔を空けて並ぶ所定の観察位置において観察される画像に分離するための構造体が複数配置されて成る光学素子を備える表示装置が記載される。この表示装置では、表示領域に水平方向及び垂直方向にマトリクス状に画素が配置され、かつ、平面形状の異なる画素が行毎に一定の周期で配置される。また光学素子の構造体は、垂直方向に対して所定の条件を満たす傾きで傾くように配置される。これにより、表示部の画素の配置関係に起因するモアレを軽減することが実現される(特許文献1の明細書段落[0037]~[0041][0049]~[0053]図1、3等)。
Patent Document 1 discloses a display unit having a display area for displaying a two-dimensional image, and a device for separating an image displayed in the display area into images observed at predetermined observation positions horizontally spaced apart. A display device comprising an optical element having a plurality of structures is described. In this display device, pixels are arranged in a matrix in the horizontal direction and the vertical direction in the display area, and the pixels with different planar shapes are arranged in each row at a constant cycle. Further, the structure of the optical element is arranged so as to be inclined with respect to the vertical direction at an inclination that satisfies a predetermined condition. As a result, it is possible to reduce moire caused by the arrangement relationship of pixels in the display unit (paragraphs [0037] to [0041] [0049] to [0053] FIGS. 1 and 3 of Patent Document 1). .
このような画像を表示するデバイスにおいて、高品質な視聴体験を実現することが可能な技術が求められている。
Devices that display such images are in demand for technology that can provide a high-quality viewing experience.
以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を実現することが可能な信号処理回路、及びプログラムを提供することにある。
In view of the circumstances described above, the purpose of this technology is to provide a signal processing circuit and program capable of realizing a high-quality viewing experience.
上記目的を達成するため、本技術の一形態に係る信号処理回路は、生成部を具備する。
前記生成部は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する。 In order to achieve the above object, a signal processing circuit according to one aspect of the present technology includes a generator.
The generator superimposes different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
前記生成部は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する。 In order to achieve the above object, a signal processing circuit according to one aspect of the present technology includes a generator.
The generator superimposes different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
この信号処理回路では、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号が重畳される。これにより、高品質な視聴体験を実現することが可能となる。
In this signal processing circuit, different pattern signals are superimposed on the right-eye image and the left-eye image forming a stereoscopic image. This makes it possible to achieve a high-quality viewing experience.
前記パターン信号は、画素配列に対してランダムな信号を含んでもよい。
The pattern signal may include a random signal with respect to the pixel array.
前記それぞれ異なるパターン信号は、前記右目画像を視認する右目及び前記左目画像を視認する左目に視差を与える信号であってもよい。
The different pattern signals may be signals that provide parallax to the right eye that views the right-eye image and the left eye that views the left-eye image.
前記それぞれ異なるパターン信号は、前記重畳される前記右目画像及び前記左目画像の画素における視差と異なる視差をもつ信号であってもよい。
The different pattern signals may be signals having a parallax different from the parallax of the pixels of the right-eye image and the left-eye image to be superimposed.
前記生成部は、前記右目画像及び前記左目画像から得られるデプスの範囲とは異なるデプスに前記パターン信号を重畳してもよい。
The generating unit may superimpose the pattern signal on a depth different from the depth range obtained from the right-eye image and the left-eye image.
前記生成部は、前記右目画像及び前記左目画像から得られるデプスに基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定してもよい。
The generation unit may determine the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on depths obtained from the right-eye image and the left-eye image.
前記生成部は、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを時間的に変更してもよい。
The generation unit may temporally change the depth of the pattern signal superimposed on the right-eye image or the left-eye image.
前記生成部は、前記右目画像及び前記左目画像に関する輝度情報に基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定してもよい。
The generation unit may determine the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image.
前記パターン信号は、前記立体画像を表示するディスプレイ、及び前記ディスプレイの画素構造に関連したパターンであってもよい。この場合、前記生成部は、前記ディスプレイを観察する観察者の位置情報に基づいて、前記パターン信号を生成してもよい。
The pattern signal may be a display that displays the stereoscopic image and a pattern related to the pixel structure of the display. In this case, the generator may generate the pattern signal based on positional information of an observer viewing the display.
前記信号処理回路であって、さらに、前記ディスプレイに関するディスプレイ情報、前記画素構造に関する画素情報、及び前記位置情報に基づいて、前記観察者の視認する前記右目画像及び前記左目画像における表示むらの暗部の画素位置を推定する推定部を具備してもよい。
In the signal processing circuit, further, based on the display information about the display, the pixel information about the pixel structure, and the position information, dark portions of display unevenness in the right-eye image and the left-eye image visually recognized by the observer are corrected. An estimation unit for estimating pixel positions may be provided.
前記生成部は、前記推定部による前記暗部の偏りを補正するための前記パターン信号を生成してもよい。
The generating unit may generate the pattern signal for correcting the bias of the dark portion by the estimating unit.
前記生成部は、前記暗部の前記画素位置と隣接する画素の輝度を上げる前記パターン信号を生成してもよい。
The generating unit may generate the pattern signal that increases the luminance of pixels adjacent to the pixel position in the dark area.
前記生成部は、前記暗部の前記画素位置とは異なる画素位置に配置される明部の輝度を下げる前記パターン信号を生成してもよい。
The generating unit may generate the pattern signal that reduces the luminance of a bright portion arranged at a pixel position different from the pixel position of the dark portion.
前記信号処理回路であって、さらに、前記ディスプレイに対する前記観察者の位置情報を取得する取得部を具備してもよい。この場合、前記生成部は、前記位置情報に基づいて、前記パターン信号を変更してもよい。
The signal processing circuit may further include an acquisition unit that acquires position information of the observer with respect to the display. In this case, the generator may change the pattern signal based on the position information.
前記生成部は、前記パターン信号に対して、前記観察者の観察角度に依存した係数を乗じてもよい。
The generator may multiply the pattern signal by a coefficient dependent on the observation angle of the observer.
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳するステップ。 A program according to an embodiment of the present technology causes a computer system to execute the following steps.
A step of superimposing different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳するステップ。 A program according to an embodiment of the present technology causes a computer system to execute the following steps.
A step of superimposing different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
以下、本技術に係る実施形態を、図面を参照しながら説明する。
Hereinafter, embodiments according to the present technology will be described with reference to the drawings.
<第1の実施形態>
[モアレの発生]
図1は、本技術の第1の実施形態に係る表示デバイスの外観及びモアレの説明を示す図である。 <First embodiment>
[Occurrence of Moire]
FIG. 1 is a diagram illustrating the appearance of a display device and explanation of moire according to a first embodiment of the present technology.
[モアレの発生]
図1は、本技術の第1の実施形態に係る表示デバイスの外観及びモアレの説明を示す図である。 <First embodiment>
[Occurrence of Moire]
FIG. 1 is a diagram illustrating the appearance of a display device and explanation of moire according to a first embodiment of the present technology.
図1Aは、立体画像を表示可能な表示デバイス100の模式図である。
FIG. 1A is a schematic diagram of a display device 100 capable of displaying a stereoscopic image.
例えば、表示デバイス100は、表示面1や観察者検出部(図示せず)等を有する。表示面1は、観察者の右目及び左目に対して、右目画像及び左目画像を表示する。本実施形態では、表示面1にはレンチキュラーレンズ等の光学部材がディスプレイに貼合され、観察者は裸眼で立体画像を視聴することが可能である。
観察者検出部は、観察者の位置情報を検出する。本実施形態では、位置情報は、観察者の表示デバイス100(表示面1)における観察角度及び観察者の位置を含む。それ以外にも、観察者の左目の位置及び右目の位置、左目の視線方向、右目の視線方向、観察者の視界、観察者の姿勢、顔等が位置情報として検出されてもよい。 For example, thedisplay device 100 has a display surface 1, an observer detection section (not shown), and the like. The display surface 1 displays a right-eye image and a left-eye image to the right and left eyes of an observer. In this embodiment, an optical member such as a lenticular lens is attached to the display surface 1 so that an observer can view a stereoscopic image with the naked eye.
The observer detection unit detects the position information of the observer. In this embodiment, the position information includes the viewing angle and the position of the viewer on the display device 100 (display surface 1) of the viewer. In addition, the positions of the observer's left eye and right eye, the line-of-sight direction of the left eye, the line-of-sight direction of the right eye, the field of view of the observer, the posture of the observer, the face, etc. may be detected as the position information.
観察者検出部は、観察者の位置情報を検出する。本実施形態では、位置情報は、観察者の表示デバイス100(表示面1)における観察角度及び観察者の位置を含む。それ以外にも、観察者の左目の位置及び右目の位置、左目の視線方向、右目の視線方向、観察者の視界、観察者の姿勢、顔等が位置情報として検出されてもよい。 For example, the
The observer detection unit detects the position information of the observer. In this embodiment, the position information includes the viewing angle and the position of the viewer on the display device 100 (display surface 1) of the viewer. In addition, the positions of the observer's left eye and right eye, the line-of-sight direction of the left eye, the line-of-sight direction of the right eye, the field of view of the observer, the posture of the observer, the face, etc. may be detected as the position information.
なお観察者検出部はカメラ、デプスカメラ、又は人感センサ等で構成されてもよいし、観察者をトラッキング可能な構成で実現されてもよい。
The observer detection unit may be configured with a camera, a depth camera, a motion sensor, or the like, or may be realized with a configuration that can track the observer.
図1Bは、レンチキュラーレンズ越しに見える画素を模式的に示す図である。図1Cは、IPS(In Plane Switching)モードの画素構造を模式的に示す図である。図1Dは、レンチキュラーレンズを模式的に示す図である。図1Eは、レンチキュラーレンズを通した画素を模式的に示す図である。なお図1の明暗は画素の色(RGB等)を表す。
FIG. 1B is a diagram schematically showing pixels seen through a lenticular lens. FIG. 1C is a diagram schematically showing a pixel structure in IPS (In Plane Switching) mode. FIG. 1D is a diagram schematically showing a lenticular lens. FIG. 1E is a diagram schematically showing pixels through a lenticular lens. Note that the brightness in FIG. 1 represents the color of the pixel (RGB, etc.).
図1Bに示すように、レンチキュラーレンズ3越しに見える画素は、レンチキュラーレンズ3下の画素の点線部4がレンチキュラーレンズ3のレンズ幅に拡大しているように見える。
一方、図1Cに示すように、IPSモードの画素構造は、1行おきに傾きが異なる傾斜構造となっている。また図1Dに示すように、レンチキュラーレンズ3は、モアレの軽減と解像度の水平垂直のバランスとを取るために傾斜されている(例えば11度)。
この場合、図1Eに示すように、レンチキュラーレンズ3の中央軸5とブラックストライプ6の位相とが合う箇所が枠7内の暗部(黒点8)として見える。この暗部の偏りがモアレを発生させる。 As shown in FIG. 1B , in pixels seen through thelenticular lens 3 , the dotted line portion 4 of the pixel under the lenticular lens 3 seems to expand to the lens width of the lenticular lens 3 .
On the other hand, as shown in FIG. 1C, the IPS mode pixel structure has a tilted structure in which the tilt differs every other row. Also, as shown in FIG. 1D, thelenticular lens 3 is tilted (eg, 11 degrees) in order to balance moiré reduction and horizontal/vertical resolution.
In this case, as shown in FIG. 1E, the portion where thecentral axis 5 of the lenticular lens 3 and the phase of the black stripe 6 match appears as a dark portion (black dot 8) within the frame 7. FIG. This bias in the dark area causes moire.
一方、図1Cに示すように、IPSモードの画素構造は、1行おきに傾きが異なる傾斜構造となっている。また図1Dに示すように、レンチキュラーレンズ3は、モアレの軽減と解像度の水平垂直のバランスとを取るために傾斜されている(例えば11度)。
この場合、図1Eに示すように、レンチキュラーレンズ3の中央軸5とブラックストライプ6の位相とが合う箇所が枠7内の暗部(黒点8)として見える。この暗部の偏りがモアレを発生させる。 As shown in FIG. 1B , in pixels seen through the
On the other hand, as shown in FIG. 1C, the IPS mode pixel structure has a tilted structure in which the tilt differs every other row. Also, as shown in FIG. 1D, the
In this case, as shown in FIG. 1E, the portion where the
このモアレを軽減させるために、本実施形態では、表示デバイス100は信号処理回路(図示せず)を有する。
信号処理回路は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する。すなわち、信号処理回路は、右目(左目)画像の奥行に対して、重畳されるパターン信号(ノイズ面2)の奥行(デプス)がずれるように水平方向のオフセットを加える。以下、オフセットの記載は水平方向のオフセットを指す。 In order to reduce this moire, thedisplay device 100 has a signal processing circuit (not shown) in this embodiment.
The signal processing circuit superimposes different pattern signals on the right-eye image and the left-eye image forming a stereoscopic image. That is, the signal processing circuit adds a horizontal offset to the depth of the right-eye (left-eye) image so that the superimposed pattern signal (noise surface 2) is shifted in depth. Hereinafter, references to offset refer to horizontal offset.
信号処理回路は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する。すなわち、信号処理回路は、右目(左目)画像の奥行に対して、重畳されるパターン信号(ノイズ面2)の奥行(デプス)がずれるように水平方向のオフセットを加える。以下、オフセットの記載は水平方向のオフセットを指す。 In order to reduce this moire, the
The signal processing circuit superimposes different pattern signals on the right-eye image and the left-eye image forming a stereoscopic image. That is, the signal processing circuit adds a horizontal offset to the depth of the right-eye (left-eye) image so that the superimposed pattern signal (noise surface 2) is shifted in depth. Hereinafter, references to offset refer to horizontal offset.
本実施形態では、パターン信号は、画素配列に対してランダムな信号である。またパターン信号は、観察者の左右の目に視差を与える。すなわちパターン信号は、右目画像及び左目画像の画素における視差と異なる視差をもつ信号である。これにより、ノイズ面による画質低下及び融像を抑えることが可能である。
In this embodiment, the pattern signal is a random signal with respect to the pixel array. The pattern signal also provides parallax to the viewer's left and right eyes. That is, the pattern signal is a signal having a parallax different from the parallax in the pixels of the right-eye image and the left-eye image. As a result, it is possible to suppress deterioration in image quality and image fusion due to noise.
本実施形態では、画素構造及び光学素子の設定で決まる暗部の偏りを軽減するように右目画像及び左目画像にパターン信号を重畳させ、モアレを軽減する。
重畳するパターンとして、以下の第1の方法と第2の方法とがある。 In the present embodiment, pattern signals are superimposed on the right-eye image and the left-eye image so as to reduce bias in the dark regions determined by the pixel structure and the settings of the optical elements, thereby reducing moire.
As patterns to be superimposed, there are the following first method and second method.
重畳するパターンとして、以下の第1の方法と第2の方法とがある。 In the present embodiment, pattern signals are superimposed on the right-eye image and the left-eye image so as to reduce bias in the dark regions determined by the pixel structure and the settings of the optical elements, thereby reducing moire.
As patterns to be superimposed, there are the following first method and second method.
第1の方法は、画素の並びに対してランダムなノイズ信号を重畳してモアレの空間周波数の振幅を抑える方法。
第2の方法は、光学素子(レンチキュラーレンズ)と画素構造に関連したパターン信号で観察者の位置情報に基づいて、モアレを発生する周期的輝度変化を抑える方法。 The first method is to suppress the amplitude of the spatial frequency of the moire by superimposing a random noise signal on the row of pixels.
The second method is to suppress periodic luminance changes that cause moiré based on the positional information of the observer with pattern signals related to the optical element (lenticular lens) and pixel structure.
第2の方法は、光学素子(レンチキュラーレンズ)と画素構造に関連したパターン信号で観察者の位置情報に基づいて、モアレを発生する周期的輝度変化を抑える方法。 The first method is to suppress the amplitude of the spatial frequency of the moire by superimposing a random noise signal on the row of pixels.
The second method is to suppress periodic luminance changes that cause moiré based on the positional information of the observer with pattern signals related to the optical element (lenticular lens) and pixel structure.
例えば、第1の方法として、信号処理回路は、デプス情報に基づいてオフセットを決定する(図5参照)。また信号処理回路は、時間情報に基づいて、オフセットを決定する(図6参照)。また信号処理回路は、画像階調(輝度)に基づいて、オフセットを決定する(図7参照)。
For example, as a first method, the signal processing circuit determines the offset based on the depth information (see FIG. 5). The signal processing circuit also determines the offset based on the time information (see FIG. 6). The signal processing circuit also determines the offset based on the image gradation (luminance) (see FIG. 7).
また例えば、第2の方法として、レンチキュラーレンズと画素との関係で求まる傾き、ピッチのパラメータ、及び観察者の位置情報暗部の画素位置から暗部の画素位置が推定され、信号処理回路は、推定された暗部の画素位置と異なる適当な位置の画素の輝度値を上げる、又は下げるパターン信号を生成する。
Further, for example, as a second method, the pixel position of the dark part is estimated from the tilt and pitch parameters obtained from the relationship between the lenticular lens and the pixel, and the pixel position of the observer's position information. A pattern signal is generated for increasing or decreasing the luminance value of a pixel at a suitable position different from the pixel position of the dark area.
また観察者の視聴角度でモアレの強度は異なるため、本実施形態では、信号処理回路は、視聴角度に応じてパターン信号のノイズ付加量を変更する(図4参照)。また本実施形態では、信号処理回路は、観察者の位置から見えるモアレを打ち消すパターン信号を付加する。
Also, since the intensity of moiré differs depending on the viewing angle of the observer, in this embodiment, the signal processing circuit changes the amount of noise added to the pattern signal according to the viewing angle (see FIG. 4). Also, in this embodiment, the signal processing circuit adds a pattern signal that cancels moiré visible from the position of the observer.
図2は、ノイズ面を示す模式図である。図2Aは、ノイズ面を重畳していない場合の画像を示す図である。図2Bは、ノイズ面に視差を設けない場合を示す図である。図2Cは、ノイズ面に視差を設けた場合を示す図である。図2A~Cの右図は、左図を拡大表示した図である。
FIG. 2 is a schematic diagram showing the noise surface. FIG. 2A is a diagram showing an image when no noise surface is superimposed. FIG. 2B is a diagram showing a case where parallax is not provided on the noise surface. FIG. 2C is a diagram showing a case where parallax is provided on the noise surface. The right figures of FIGS. 2A to 2C are enlarged views of the left figures.
図2A右図に示すように、ノイズ面を重畳しない場合、モアレが発生し観察者の視聴体験が大きく損なわれる。
As shown in the right diagram of FIG. 2A, if the noise surface is not superimposed, moire occurs and the viewer's viewing experience is greatly impaired.
また図2Bに示すように、例えば、座標値を用いて疑似的に乱数を発生させる手法として、2次元補正処理を組み合わせて2次元のノイズ面のサイズをコントロールしたバリューノイズ、グラデーションノイズの手法等が用いられる。これで得られたノイズ面の座標値に時間の関数を使って時間方向にも画面の明暗の位置を変化させることができる。
しかしこの場合、表示面にノイズ面が固定される。これにより、3Dディスプレイで奥行を表現する場合に表示面を認識してしまうと、3Dコンテンツの融像が妨害されるため観察者の視聴体験が大きく損なわれる。 Also, as shown in FIG. 2B, for example, as a method of pseudo-generating random numbers using coordinate values, a method of value noise, gradation noise, etc., in which the size of a two-dimensional noise surface is controlled by combining two-dimensional correction processing. is used. Using the coordinate values of the noise plane thus obtained as a function of time, it is possible to change the position of the brightness and darkness of the screen in the time direction as well.
However, in this case, the noise plane is fixed to the display plane. As a result, if the display surface is recognized when expressing depth on a 3D display, fusion of the 3D content is disturbed, and the viewer's viewing experience is greatly impaired.
しかしこの場合、表示面にノイズ面が固定される。これにより、3Dディスプレイで奥行を表現する場合に表示面を認識してしまうと、3Dコンテンツの融像が妨害されるため観察者の視聴体験が大きく損なわれる。 Also, as shown in FIG. 2B, for example, as a method of pseudo-generating random numbers using coordinate values, a method of value noise, gradation noise, etc., in which the size of a two-dimensional noise surface is controlled by combining two-dimensional correction processing. is used. Using the coordinate values of the noise plane thus obtained as a function of time, it is possible to change the position of the brightness and darkness of the screen in the time direction as well.
However, in this case, the noise plane is fixed to the display plane. As a result, if the display surface is recognized when expressing depth on a 3D display, fusion of the 3D content is disturbed, and the viewer's viewing experience is greatly impaired.
本実施形態では、生成されたノイズ面について、右目画像及び左目画像を相対的に水平方向の座標位置にオフセットを加えることで奥行を持たせることができる。すなわち、表示される3Dコンテンツの奥行から離れた奥行になる値にノイズ面のオフセットを設定することで、図2Cに示すように、融像を回避することができ、観察者がノイズを認識することを軽減できる。
In this embodiment, depth can be imparted to the generated noise surface by offsetting the horizontal coordinate positions of the right-eye image and the left-eye image relative to each other. That is, by setting the offset of the noise surface to a value that is far from the depth of the displayed 3D content, fusion can be avoided as shown in FIG. 2C, and the observer recognizes noise. can be reduced.
本実施形態では、ノイズ面を認識しないようにするノイズ面のデプスは以下のように設定される。
In this embodiment, the depth of the noise surface that prevents the noise surface from being recognized is set as follows.
例えば、表示されるコンテンツのデプスの範囲から離れたデプスに設定する。この場合、図1に示す表示デバイス100に表示されるコンテンツの奥行範囲が決まっているとすると、その範囲の外側にノイズ面の奥行(デプス)を設定することでノイズを認識しないようにすることができる。また例えば、表示デバイス100の表示面1を45度傾けて、その表示面を断面とする箱状の空間を表示する場合、箱の外側にノイズ面を設定する。
For example, set the depth away from the depth range of the displayed content. In this case, assuming that the depth range of the content displayed on the display device 100 shown in FIG. can be done. Further, for example, when the display surface 1 of the display device 100 is tilted by 45 degrees to display a box-shaped space whose cross section is the display surface, a noise surface is set outside the box.
例えば、表示されるコンテンツのデプス情報を取得して、そのデプスと異なる値のデプスに設定する。この場合、取得されたコンテンツの各デプスの位置より手前、又は奥にデプスが設定される。これにより、観察者がコンテンツを注視したときにその輻輳位置と異なった位置がノイズ面の輻輳位置となるためノイズ面を認識しないようにすることができる。
For example, obtain the depth information of the displayed content and set it to a value different from that depth. In this case, the depth is set before or behind each depth position of the acquired content. As a result, when the observer gazes at the content, a position different from the convergence position becomes the convergence position of the noise surface, so that the noise surface can be prevented from being recognized.
例えば、ノイズ面のデプスを時間的に変化するように設定する。本実施形態では、ノイズ面に水平方向のオフセットが加えられるが、そのオフセットに時間情報を付加することで空間的に厚みを持ったノイズが実現できる。
For example, set the depth of the noise surface to change over time. In the present embodiment, a horizontal offset is added to the noise surface, and spatially thick noise can be realized by adding time information to the offset.
なお、ノイズ面を生成するプログラムは任意に設定されてよい。例えば、乱数関数を用いて2次元のノイズサイズを調整する補間関数が用いられてもよい。
The program that generates the noise surface may be set arbitrarily. For example, an interpolating function that adjusts the two-dimensional noise size using a random number function may be used.
[信号処理回路]
図3は、信号処理回路20のブロック図である。図3~図7は、上記の第1の方法を実施する際の信号処理回路の例である。 [Signal processing circuit]
FIG. 3 is a block diagram of thesignal processing circuit 20. As shown in FIG. 3 to 7 are examples of signal processing circuits when implementing the first method described above.
図3は、信号処理回路20のブロック図である。図3~図7は、上記の第1の方法を実施する際の信号処理回路の例である。 [Signal processing circuit]
FIG. 3 is a block diagram of the
図3に示すように、信号処理回路20は、位置情報取得部21、視覚ゲイン部22、ノイズ生成部23、オフセット生成部24、合成部25、及び立体表示画像生成部26を有する。
As shown in FIG. 3, the signal processing circuit 20 has a position information acquisition section 21, a visual gain section 22, a noise generation section 23, an offset generation section 24, a synthesis section 25, and a stereoscopic display image generation section .
位置情報取得部21は、観察者の位置情報を取得する。本実施形態では、表示デバイス100に搭載される種々のセンサから観察者の観察角度が取得され、位置情報取得部21に供給される。
また本実施形態では、位置情報取得部21により観察者の観察角度を視覚ゲイン部22及び立体表示画像生成部26に供給する。 The positioninformation acquisition unit 21 acquires the position information of the observer. In this embodiment, the observation angle of the observer is acquired from various sensors mounted on the display device 100 and supplied to the position information acquisition section 21 .
Further, in this embodiment, the positioninformation acquisition unit 21 supplies the observation angle of the observer to the visual gain unit 22 and the stereoscopic display image generation unit 26 .
また本実施形態では、位置情報取得部21により観察者の観察角度を視覚ゲイン部22及び立体表示画像生成部26に供給する。 The position
Further, in this embodiment, the position
視覚ゲイン部22は、観察者の観察角度に応じて、パターン信号のノイズ付加量(ゲイン)を変更する。本実施形態では、視覚ゲイン部22は、上記の第1の方法及び第2の方法により生成されるパターン信号に対して補正値を抑えるゲインを乗ずる。
また本実施形態では、視覚ゲイン部22によるゲインは、ノイズ生成部23に供給される。 Thevisual gain unit 22 changes the noise addition amount (gain) of the pattern signal according to the observation angle of the observer. In this embodiment, the visual gain unit 22 multiplies the pattern signal generated by the first method and the second method by a gain that suppresses the correction value.
Further, in this embodiment, the gain from thevisual gain section 22 is supplied to the noise generation section 23 .
また本実施形態では、視覚ゲイン部22によるゲインは、ノイズ生成部23に供給される。 The
Further, in this embodiment, the gain from the
図4は、観察角度に対するゲインの一例を示す図である。
FIG. 4 is a diagram showing an example of gains with respect to observation angles.
図4Aに示すように、位置情報取得部21により、観察者10の位置及び観察角度θが取得される。なお、本実施形態では、観察者10の位置は、絶対座標系(ワールド座標系)により規定される座標値(例えばXYZ座標値)、あるいは、所定の点(例えば表示面1)を基準(原点)としたローカル座標系により規定される座標値(例えばxyz座標値又はuvd座標値)における位置を表す。
As shown in FIG. 4A, the position information acquisition unit 21 acquires the position and observation angle θ of the observer 10 . In this embodiment, the position of the observer 10 is defined by an absolute coordinate system (world coordinate system) (for example, XYZ coordinate values), or a predetermined point (for example, the display surface 1) as a reference (origin ) in a coordinate system defined by a local coordinate system (eg, xyz coordinate values or uvd coordinate values).
図4Bは、観察角度と観察角度ゲインとの関係の一例を示すグラフである。図4Bでは、横軸が観察角度、縦軸が観察角度ゲインのグラフが図示される。
FIG. 4B is a graph showing an example of the relationship between the observation angle and the observation angle gain. FIG. 4B shows a graph in which the horizontal axis is the viewing angle and the vertical axis is the viewing angle gain.
位置情報取得部21は、観察者10の位置(座標)の(x0、y0、z0)、水平座標xから観察角度tanθ=(x-x0)/z0を求める。
図4Bに示すように視覚ゲイン部22は、位置情報取得部21から供給される情報により、観察角度に対応する観察角度ゲインをパターン信号に乗ずる。なお、図4Bでは、最適な視聴位置で水平端位置を見込む角度を1とする。 The positioninformation acquisition unit 21 obtains the observation angle tan θ=(x−x0)/z0 from the position (coordinates) of the observer 10 (x0, y0, z0) and the horizontal coordinate x.
As shown in FIG. 4B , thevisual gain unit 22 multiplies the pattern signal by an observation angle gain corresponding to the observation angle based on the information supplied from the position information acquisition unit 21 . Note that in FIG. 4B, the angle at which the horizontal end position is viewed at the optimal viewing position is 1.
図4Bに示すように視覚ゲイン部22は、位置情報取得部21から供給される情報により、観察角度に対応する観察角度ゲインをパターン信号に乗ずる。なお、図4Bでは、最適な視聴位置で水平端位置を見込む角度を1とする。 The position
As shown in FIG. 4B , the
なお、本実施形態では、図4Bに示すように観察角度に応じてパターン信号を抑える観察角度ゲインが乗じられる。これに限定されず、下に凸のような観察角度ゲインが乗じられてもよい。これらのゲインは表示デバイスの設計に基づいて、任意に設定されてもよい。
Note that in the present embodiment, an observation angle gain that suppresses the pattern signal is multiplied according to the observation angle, as shown in FIG. 4B. It is not limited to this, and may be multiplied by an observation angle gain such as a downward convex. These gains may be arbitrarily set based on the design of the display device.
ノイズ生成部23は、立体画像を形成する右目画像(R)及び左目画像(L)に対して、それぞれ異なるパターン信号を重畳する。本実施形態では、ノイズ生成部23は、ディスプレイ(表示面)の光学素子(レンチキュラーレンズ)により決定される大きさで画像座標に基づく、パターン信号を生成する。またノイズ生成部23は、生成したパターン信号の各画素に対して、視覚ゲイン部22により供給されたゲインを乗ずる。これにより、ノイズ増加を抑えることができる。
本実施形態では、ノイズ生成部23は、左目画像の合成部25に対してパターン信号を供給する。 Thenoise generator 23 superimposes different pattern signals on the right-eye image (R) and the left-eye image (L) forming a stereoscopic image. In this embodiment, the noise generator 23 generates a pattern signal based on image coordinates with a size determined by an optical element (lenticular lens) of a display (display surface). The noise generation unit 23 also multiplies each pixel of the generated pattern signal by the gain supplied by the visual gain unit 22 . Thereby, an increase in noise can be suppressed.
In this embodiment, thenoise generator 23 supplies a pattern signal to the left eye image synthesizer 25 .
本実施形態では、ノイズ生成部23は、左目画像の合成部25に対してパターン信号を供給する。 The
In this embodiment, the
またノイズ生成部23は、オフセット生成部24により生成されたオフセットをパターン信号に加え、右目画像の合成部25にパターン信号を供給する。すなわち、右目画像にオフセットを加えることで、左目画像に重畳されるノイズ面の位置の表示と異なる視差を作る。
The noise generator 23 also adds the offset generated by the offset generator 24 to the pattern signal, and supplies the pattern signal to the right-eye image synthesizer 25 . That is, by adding an offset to the right-eye image, a parallax different from the display of the position of the noise surface superimposed on the left-eye image is created.
オフセット生成部24は、生成されるパターン信号にオフセットを生成する。図3の信号処理回路20では、オフセット生成部24は、表示されるコンテンツのデプスの範囲から離れたオフセットを加える。なお、オフセットの具体的な数値は、予め設定されていてもよいし、観察者により設定されてもよい。
本実施形態では、オフセットは、右目画像のノイズ生成部23に供給される。 The offsetgenerator 24 generates an offset in the generated pattern signal. In the signal processing circuit 20 of FIG. 3, the offset generation unit 24 adds an offset away from the depth range of the displayed content. A specific numerical value of the offset may be set in advance or may be set by the observer.
In this embodiment, the offset is supplied to thenoise generator 23 of the right eye image.
本実施形態では、オフセットは、右目画像のノイズ生成部23に供給される。 The offset
In this embodiment, the offset is supplied to the
合成部25は、右目画像及び左目画像に対してパターン信号を合成する。本実施形態では、合成部25は、右目画像及び左目画像の各々に適当な比率でパターン信号を合成する。
本実施形態では、合成部25によりノイズが合成されたパターン信号は、立体表示画像生成部26に供給される。 Thesynthesizer 25 synthesizes the pattern signal with the right-eye image and the left-eye image. In this embodiment, the synthesizing unit 25 synthesizes the pattern signal with the right-eye image and the left-eye image at an appropriate ratio.
In this embodiment, the pattern signal synthesized with noise by the synthesizingunit 25 is supplied to the stereoscopic display image generating unit 26 .
本実施形態では、合成部25によりノイズが合成されたパターン信号は、立体表示画像生成部26に供給される。 The
In this embodiment, the pattern signal synthesized with noise by the synthesizing
立体表示画像生成部26は、合成部25から供給された右目画像及び左目画像と、位置情報取得部21から供給された観察者の位置情報とに基づいて、各サブピクセルに入力する信号を決定する。
本実施形態では、立体表示画像生成部26により生成された立体画像は、表示デバイスに供給され、表示面1を介して表示される。 The stereoscopic displayimage generation unit 26 determines signals to be input to each sub-pixel based on the right-eye image and the left-eye image supplied from the synthesis unit 25 and the position information of the observer supplied from the position information acquisition unit 21. do.
In this embodiment, the stereoscopic image generated by the stereoscopicdisplay image generator 26 is supplied to the display device and displayed via the display surface 1 .
本実施形態では、立体表示画像生成部26により生成された立体画像は、表示デバイスに供給され、表示面1を介して表示される。 The stereoscopic display
In this embodiment, the stereoscopic image generated by the stereoscopic
なお、本実施形態において、位置情報取得部21は、ディスプレイに対する観察者の位置情報を取得する取得部に相当する。
なお、本実施形態において、視覚ゲイン部22、ノイズ生成部23、及びオフセット生成部24は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する生成部として機能する。
なお、本実施形態において、補正値を抑えるゲインは、観察者の角度に依存した係数に相当する。 In addition, in the present embodiment, the positioninformation acquisition unit 21 corresponds to an acquisition unit that acquires the position information of the observer with respect to the display.
In this embodiment, thevisual gain unit 22, the noise generation unit 23, and the offset generation unit 24 function as generation units that superimpose different pattern signals on the right-eye image and the left-eye image forming the stereoscopic image. .
Note that in the present embodiment, the gain that suppresses the correction value corresponds to a coefficient that depends on the angle of the observer.
なお、本実施形態において、視覚ゲイン部22、ノイズ生成部23、及びオフセット生成部24は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する生成部として機能する。
なお、本実施形態において、補正値を抑えるゲインは、観察者の角度に依存した係数に相当する。 In addition, in the present embodiment, the position
In this embodiment, the
Note that in the present embodiment, the gain that suppresses the correction value corresponds to a coefficient that depends on the angle of the observer.
図5は、信号処理回路30のブロック図である。図5では、デプス情報に基づきオフセットが加えられる。なお、図5以降の信号処理回路では、図3の信号処理回路20と同様のブロックの説明は省略する。
FIG. 5 is a block diagram of the signal processing circuit 30. FIG. In FIG. 5, an offset is added based on depth information. In the signal processing circuit shown in FIG. 5 and subsequent figures, description of blocks similar to those of the signal processing circuit 20 shown in FIG. 3 will be omitted.
図5に示すように、信号処理回路30は、図3の信号処理回路20の各ブロックに加え、デプス検出部31を有する。
As shown in FIG. 5, the signal processing circuit 30 has a depth detection section 31 in addition to each block of the signal processing circuit 20 of FIG.
デプス検出部31は、表示されるコンテンツのデプス情報を検出する。本実施形態では、検出されたデプス情報は、オフセット生成部24に供給される。
The depth detection unit 31 detects depth information of displayed content. In this embodiment, the detected depth information is supplied to the offset generator 24 .
オフセット生成部24は、検出されたデプス情報に基づき、オフセットを生成する。本実施形態では、オフセット生成24は、取得されたコンテンツの各デプスの位置より手前、又は奥にノイズ面が重畳されるようにオフセットを生成する。
本実施形態では、生成されたオフセットは、右目画像のノイズ生成部23に供給される。 The offsetgenerator 24 generates an offset based on the detected depth information. In this embodiment, the offset generation 24 generates an offset so that a noise plane is superimposed in front of or behind each depth position of the acquired content.
In this embodiment, the generated offset is supplied to thenoise generator 23 for the right-eye image.
本実施形態では、生成されたオフセットは、右目画像のノイズ生成部23に供給される。 The offset
In this embodiment, the generated offset is supplied to the
図5の信号処理回路30では、コンテンツのデプスと異なるデプスにノイズ面を設定することで、デプスが固定されたノイズ面よりも大きな効果でモアレを軽減し、ノイズの弊害を抑えることが可能となる。
In the signal processing circuit 30 of FIG. 5, by setting the noise surface to a depth different from the depth of the content, it is possible to reduce moire with a greater effect than the noise surface whose depth is fixed, and to suppress the harmful effects of noise. Become.
図6は、信号処理回路40のブロック図である。図6では、時間情報に基づきオフセットが加えられる。
FIG. 6 is a block diagram of the signal processing circuit 40. FIG. In FIG. 6, an offset is added based on time information.
オフセット生成部24は、時間情報に基づいたオフセットを生成する。本実施形態では、オフセット生成部24は、ノイズ面のデプスに対して、時間方向に変化するオフセットを生成する。例えば、オフセットが時間的に正弦波状に変化するように生成される。
本実施形態では、生成されたオフセットは、右目画像のノイズ生成部23に供給される。 The offsetgenerator 24 generates an offset based on time information. In this embodiment, the offset generator 24 generates an offset that changes in the time direction with respect to the depth of the noise surface. For example, the offset is generated such that it varies sinusoidally over time.
In this embodiment, the generated offset is supplied to thenoise generator 23 for the right-eye image.
本実施形態では、生成されたオフセットは、右目画像のノイズ生成部23に供給される。 The offset
In this embodiment, the generated offset is supplied to the
図6の信号処理回路40では、ノイズ面のデプスに厚みを持たせることでデプスが固定されたノイズ面よりノイズを感じなくなる。
In the signal processing circuit 40 of FIG. 6, the depth of the noise surface is thickened so that the noise is less noticeable than the noise surface whose depth is fixed.
図7は、信号処理回路50のブロック図である。図7では、輝度情報に基づきオフセットが加えられる。
FIG. 7 is a block diagram of the signal processing circuit 50. FIG. In FIG. 7, an offset is added based on luminance information.
オフセット生成部24は、輝度情報に基づいたオフセットを生成する。本実施形態では、オフセット生成部24は、コンテンツの右目画像を取得し、該コンテンツの明暗等の輝度情報に基づいたオフセットを生成する。例えば、コンテンツの明度の高い画素の位置や明度の低い画素の位置に基づいて、パターン信号が生成される。
The offset generation unit 24 generates an offset based on luminance information. In this embodiment, the offset generation unit 24 acquires the right-eye image of the content and generates an offset based on luminance information such as brightness of the content. For example, the pattern signal is generated based on the positions of pixels with high brightness and the positions of pixels with low brightness in the content.
図7の信号処理回路50では、ノイズ面のデプスを場所によって異ならせることでデプスが固定されたノイズ面よりノイズを感じなくなる。
In the signal processing circuit 50 of FIG. 7, by varying the depth of the noise surface depending on the location, the noise is less noticeable than the noise surface with a fixed depth.
図8は、第2の方法を説明する模式図である。
FIG. 8 is a schematic diagram explaining the second method.
図8Aは、レンチキュラーレンズを通した画素を模式的に示す図である。図8Bは、モアレのシミュレーション画像の図である。図8Cは、第2の方法の補正を行わない場合の図である。図8Dは、第2の方法の補正を行った場合の図である。
FIG. 8A is a diagram schematically showing pixels through a lenticular lens. FIG. 8B is a diagram of a simulated moire image. FIG. 8C is a diagram when the second method of correction is not performed. FIG. 8D is a diagram when the second method of correction is performed.
図8Aに示すように、図1で説明したように暗部が枠15の長辺方向に発生する場合がある。しかし、観察者によっては暗部よりも大きなピッチのモアレが気になることがある。また図8Cに示すように、この大きなピッチによりモアレがより目立つ。これらの原因は、ブラックストライプに位相があった箇所が周期的に発生するためである。
As shown in FIG. 8A, dark portions may occur in the long side direction of the frame 15 as described in FIG. However, depending on the observer, moire with a pitch larger than that of the dark portion may be of concern. Also, as shown in FIG. 8C, this larger pitch makes moire more noticeable. The reason for these problems is that portions of the black stripes having different phases occur periodically.
第2の方法では、信号処理回路は、推定部を具備する。
推定部は、ディスプレイに関するディスプレイ情報、画素構造に関する画素情報、及び観察者の位置情報に基づいて、観察者の視認する右目画像及び左目画像における表示むらの暗部の画素位置を推定する。 In a second method, the signal processing circuit comprises an estimator.
The estimation unit estimates the pixel positions of the dark portions of the display unevenness in the right-eye and left-eye images viewed by the observer, based on the display information on the display, the pixel information on the pixel structure, and the position information on the observer.
推定部は、ディスプレイに関するディスプレイ情報、画素構造に関する画素情報、及び観察者の位置情報に基づいて、観察者の視認する右目画像及び左目画像における表示むらの暗部の画素位置を推定する。 In a second method, the signal processing circuit comprises an estimator.
The estimation unit estimates the pixel positions of the dark portions of the display unevenness in the right-eye and left-eye images viewed by the observer, based on the display information on the display, the pixel information on the pixel structure, and the position information on the observer.
第2の方法では、ノイズ生成部は、推定部により推定されたブラックストライブの画素位置から、暗部の偏りを補正するためのパターン信号を生成する。具体例は図10及び図11で説明する。
In the second method, the noise generation unit generates a pattern signal for correcting bias in dark areas from the black stripe pixel positions estimated by the estimation unit. A specific example will be described with reference to FIGS. 10 and 11. FIG.
図8Dに示すように、暗部の偏りを補正することで、モアレのコントラストを軽減することが可能である。
As shown in FIG. 8D, it is possible to reduce moire contrast by correcting bias in dark areas.
図9は、信号処理回路60のブロック図である。
FIG. 9 is a block diagram of the signal processing circuit 60. FIG.
図9に示すように、信号処理回路60は、推定部61、ノイズ生成部62、位置情報取得部21、視覚ゲイン部22、及び立体表示画像生成部26を有する。
As shown in FIG. 9, the signal processing circuit 60 has an estimation unit 61, a noise generation unit 62, a position information acquisition unit 21, a visual gain unit 22, and a stereoscopic display image generation unit 26.
推定部61は、上記のように暗部の画素位置を推定する。本実施形態では、推定部61により推定された暗部の画素位置がノイズ生成部62に供給される。
The estimation unit 61 estimates the pixel position of the dark area as described above. In this embodiment, the pixel position of the dark portion estimated by the estimation unit 61 is supplied to the noise generation unit 62 .
例えば、推定部61は、ディスプレイ情報としてレンチキュラーレンズと画素との関係で求まる傾き、画素情報としてピッチのパラメータ、及び観察者の位置情報から各サブピクセルに視点番号を割り振り、右目及び左目から見込む暗部の画素位置を推定する。
すなわち、補正する画素を推定することにより、暗部の偏りを補正することができる。 For example, the estimatingunit 61 assigns a viewpoint number to each sub-pixel based on the tilt obtained from the relationship between the lenticular lens and the pixel as the display information, the pitch parameter as the pixel information, and the position information of the observer. Estimate the pixel position of
That is, by estimating the pixels to be corrected, bias in dark areas can be corrected.
すなわち、補正する画素を推定することにより、暗部の偏りを補正することができる。 For example, the estimating
That is, by estimating the pixels to be corrected, bias in dark areas can be corrected.
ノイズ生成部62は、暗部の偏りを補正するためのパターン信号を生成する。本実施形態では、ノイズ生成部62は、明部の輝度を下げることでモアレのコントラストを軽減する。
The noise generation unit 62 generates a pattern signal for correcting bias in dark areas. In this embodiment, the noise generator 62 reduces the contrast of moire by lowering the brightness of the bright area.
なお、本実施形態において、推定部61は、ディスプレイに関するディスプレイ情報、画素構造に関する画素情報、及び位置情報に基づいて、観察者の視認する右目画像及び左目画像における表示むらの暗部の画素位置を推定する推定部に相当する。
In the present embodiment, the estimating unit 61 estimates the pixel position of the dark portion of the display unevenness in the right-eye image and the left-eye image viewed by the observer based on the display information about the display, the pixel information about the pixel structure, and the position information. corresponds to the estimating part.
図10は、明部の輝度を下げる場合を示す模式図である。図10Aは、レンチキュラーレンズを通した画素を模式的に示す図である。図10Bは、明部の輝度が下げられた画素を模式的に示す図である。図10Cは、レンチキュラーレンズを示す模式図である。
FIG. 10 is a schematic diagram showing a case where the brightness of bright areas is lowered. FIG. 10A is a diagram schematically showing pixels through a lenticular lens. FIG. 10B is a diagram schematically showing pixels in which the brightness of the bright portion is lowered. FIG. 10C is a schematic diagram showing a lenticular lens.
推定部61により、暗部70の画素位置が推定される。図10A及びCに示すように、暗部70が出る画素は、レンチキュラーレンズ71の傾き72と画素の傾き方向が一致する場合であり、図10Cでは偶数行(2の行)となる。
The estimating unit 61 estimates the pixel position of the dark part 70 . As shown in FIGS. 10A and 10C, the pixel where the dark portion 70 appears is when the tilt 72 of the lenticular lens 71 and the tilt direction of the pixel match, and in FIG.
図10Bに示すように、ノイズ生成部62は、明部の輝度を下げることで、モアレのコントラストを軽減する。なお本実施形態では、明部とは、暗部が出る偶数行のうち暗部以外の画素のことを指す。例えば、明部は図11Cに示す偶数行のうち画素73である。
モアレの空間周波数のコントラストを下げるためには、偶数行の実行的開口幅が大きく、暗部周辺の視点の輝度を下げると効果的である。 As shown in FIG. 10B, thenoise generator 62 reduces the contrast of moire by reducing the brightness of the bright area. Note that in the present embodiment, the bright portion refers to the pixels other than the dark portion in the even-numbered rows in which the dark portion appears. For example, the bright portion is pixel 73 in the even row shown in FIG. 11C.
In order to reduce the spatial frequency contrast of the moire, it is effective to increase the effective aperture width of the even rows and reduce the brightness of the viewpoint around the dark area.
モアレの空間周波数のコントラストを下げるためには、偶数行の実行的開口幅が大きく、暗部周辺の視点の輝度を下げると効果的である。 As shown in FIG. 10B, the
In order to reduce the spatial frequency contrast of the moire, it is effective to increase the effective aperture width of the even rows and reduce the brightness of the viewpoint around the dark area.
またノイズ生成部62は、暗部の周辺の画素の輝度を上げることでモアレのコントラストを軽減する。
The noise generation unit 62 also reduces moire contrast by increasing the brightness of pixels around the dark area.
図11は、暗部の周辺の画素の輝度を上げる場合を示す模式図である。図11Aは、レンチキュラーレンズを通した画素を模式的に示す図である。図11Bは、暗部の周辺の画素の輝度が上げられた画素を模式的に示す図である。図11Cは、レンチキュラーレンズを示す模式図である。
FIG. 11 is a schematic diagram showing a case where the brightness of pixels around a dark portion is increased. FIG. 11A is a diagram schematically showing pixels through a lenticular lens. FIG. 11B is a diagram schematically showing pixels in which the brightness of pixels around a dark portion is increased. FIG. 11C is a schematic diagram showing a lenticular lens.
図11Bに示すように、ノイズ生成部62は、暗部70の周辺の画素の輝度を上げることで、モアレのコントラストを軽減する。例えば、ノイズ生成部62は、暗部となる偶数行(図11Cの2の行)と隣接する奇数行(図11Cの1の行及び3の行)の画素75の輝度を上げる。
As shown in FIG. 11B, the noise generation unit 62 reduces moiré contrast by increasing the luminance of pixels around the dark portion 70 . For example, the noise generation unit 62 increases the brightness of the pixels 75 in the even-numbered rows (row 2 in FIG. 11C) and the adjacent odd-numbered rows ( rows 1 and 3 in FIG. 11C) that are dark areas.
以上、本実施形態に係る信号処理回路20は、立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する。これにより、高品質な視聴体験を実現することが可能となる。
As described above, the signal processing circuit 20 according to the present embodiment superimposes different pattern signals on the right-eye image and the left-eye image forming a stereoscopic image. This makes it possible to achieve a high-quality viewing experience.
従来、3D表示ディスプレイではモアレの発生が観察者の視聴体験を妨げていた。モアレの発生を抑えるため信号にノイズを加えた場合、融像が妨害されてしまう。また観察者の視聴角度によってモアレの強度が異なる。
Conventionally, the occurrence of moiré in 3D displays interfered with the viewer's viewing experience. If noise is added to the signal to suppress the generation of moire, the fusion will be disturbed. In addition, the intensity of moiré differs depending on the viewing angle of the observer.
本技術では、右目画像及び左目画像のデプスとは異なるデプスにノイズ面を配置するためにパターン信号に水平方向のオフセットを加える。また観察者の位置から見えるモアレを打ち消すように画素の明度を上げる又は下げるパターン信号を付加する。さらに観察者の視聴角度に応じてノイズ付加量を変える。
これにより、モアレを軽減しつつノイズによる画質劣化を抑えることができる。また周辺画角のノイズによる不要な画質劣化を防止することができ、ノイズを観察者に目立たなくすることができる。 The technique adds a horizontal offset to the pattern signal to place the noise plane at a different depth than the depths of the right- and left-eye images. Also, a pattern signal is added to increase or decrease the brightness of the pixels so as to cancel the moire visible from the position of the observer. Furthermore, the amount of added noise is changed according to the viewing angle of the observer.
This makes it possible to reduce image quality deterioration due to noise while reducing moire. In addition, it is possible to prevent unnecessary deterioration of image quality due to noise at peripheral angles of view, and to make the noise inconspicuous to the observer.
これにより、モアレを軽減しつつノイズによる画質劣化を抑えることができる。また周辺画角のノイズによる不要な画質劣化を防止することができ、ノイズを観察者に目立たなくすることができる。 The technique adds a horizontal offset to the pattern signal to place the noise plane at a different depth than the depths of the right- and left-eye images. Also, a pattern signal is added to increase or decrease the brightness of the pixels so as to cancel the moire visible from the position of the observer. Furthermore, the amount of added noise is changed according to the viewing angle of the observer.
This makes it possible to reduce image quality deterioration due to noise while reducing moire. In addition, it is possible to prevent unnecessary deterioration of image quality due to noise at peripheral angles of view, and to make the noise inconspicuous to the observer.
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。 <Other embodiments>
The present technology is not limited to the embodiments described above, and various other embodiments can be implemented.
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。 <Other embodiments>
The present technology is not limited to the embodiments described above, and various other embodiments can be implemented.
上記の実施形態では、右目のノイズ面にオフセットが加えられた。これに限定されず、左目画像に重畳されるノイズ面にオフセットが加えられてもよい。また右目画像及び左目画像のノイズ面に視差ができるなら、両方のノイズ面にオフセットが加えられてもよい。
In the above embodiment, an offset was added to the noise plane of the right eye. Without being limited to this, an offset may be added to the noise surface superimposed on the left-eye image. Also, if there is parallax between the noise planes of the right-eye image and the left-eye image, an offset may be added to both noise planes.
上記の実施形態では、デプス情報、時間情報、画像階調に応じてオフセットが加えられた。これに限定されず、例えば、オフセット値に表示面から所定の範囲までに重畳されるように上限が設定されてもよい。
In the above embodiment, an offset is added according to depth information, time information, and image gradation. Without being limited to this, for example, an upper limit may be set so that the offset value is superimposed within a predetermined range from the display surface.
上記の実施形態では、信号処理回路が表示デバイスに搭載され、パターン信号が生成された。これに限定されず、表示デバイスに信号処理回路を有する情報処理装置が接続されることで本技術が実現されてもよい。また表示デバイスや上記の情報処理装置は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
In the above embodiment, the signal processing circuit was mounted on the display device and the pattern signal was generated. Without being limited to this, the present technology may be realized by connecting an information processing apparatus having a signal processing circuit to a display device. Moreover, the display device and the above information processing apparatus can be implemented not only in a computer system constituted by a single computer, but also in a computer system in which a plurality of computers operate in conjunction with each other.
例えば、情報処理装置は、例えばCPUやGPU、DSP等のプロセッサ、ROMやRAM等のメモリ、HDD等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。
例えばPC等の任意のコンピュータにより、情報処理装置を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしてのノイズ生成部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。 For example, an information processing apparatus has hardware necessary for configuring a computer, such as processors such as CPU, GPU, and DSP, memories such as ROM and RAM, and storage devices such as HDD.
For example, an arbitrary computer such as a PC can realize the information processing device. Of course, hardware such as FPGA and ASIC may be used.
In this embodiment, the CPU executes a predetermined program to configure the noise generator as a functional block. Of course, dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
A program is installed in an information processing apparatus via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
The type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium may be used.
例えばPC等の任意のコンピュータにより、情報処理装置を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしてのノイズ生成部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。 For example, an information processing apparatus has hardware necessary for configuring a computer, such as processors such as CPU, GPU, and DSP, memories such as ROM and RAM, and storage devices such as HDD.
For example, an arbitrary computer such as a PC can realize the information processing device. Of course, hardware such as FPGA and ASIC may be used.
In this embodiment, the CPU executes a predetermined program to configure the noise generator as a functional block. Of course, dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
A program is installed in an information processing apparatus via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
The type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium may be used.
なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
またコンピュータシステムによる本技術に係る信号処理回路、情報処理装置、及び信号処理方法の実行は、例えば、視覚ゲイン、オフセットの生成、及びパターン信号の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。 In the present disclosure, a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
In addition, execution of the signal processing circuit, information processing device, and signal processing method according to the present technology by a computer system, for example, when visual gain, offset generation, pattern signal generation, etc. are executed by a single computer, and when each process is executed by a different computer. Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
またコンピュータシステムによる本技術に係る信号処理回路、情報処理装置、及び信号処理方法の実行は、例えば、視覚ゲイン、オフセットの生成、及びパターン信号の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。 In the present disclosure, a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
In addition, execution of the signal processing circuit, information processing device, and signal processing method according to the present technology by a computer system, for example, when visual gain, offset generation, pattern signal generation, etc. are executed by a single computer, and when each process is executed by a different computer. Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
すなわち本技術に係る信号処理回路、及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
That is, the signal processing circuit and program according to the present technology can also be applied to a cloud computing configuration in which a single function is shared by multiple devices via a network and processed jointly.
なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
It should be noted that the effects described in the present disclosure are merely examples and are not limited, and other effects may also occur. The above description of multiple effects does not necessarily mean that those effects are exhibited simultaneously. It means that at least one of the above-described effects can be obtained depending on the conditions, etc., and of course, effects not described in the present disclosure may also be exhibited.
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
It is also possible to combine at least two of the characteristic portions of each form described above. That is, various characteristic portions described in each embodiment may be combined arbitrarily without distinguishing between each embodiment.
なお、本技術は以下のような構成も採ることができる。
(1)
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する生成部
を具備する信号処理回路。
(2)(1)に記載の信号処理回路であって、
前記パターン信号は、画素配列に対してランダムな信号を含む
信号処理回路。
(3)(1)に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記右目画像を視認する右目及び前記左目画像を視認する左目に視差を与える信号である
信号処理回路。
(4)(3)に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記重畳される前記右目画像及び前記左目画像の画素における視差と異なる視差をもつ信号である
信号処理回路。
(5)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスの範囲とは異なるデプスに前記パターン信号を重畳する
信号処理回路。
(6)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスに基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。
(7)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを時間的に変更する
信号処理回路。
(8)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像に関する輝度情報に基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。
(9)(1)に記載の信号処理回路であって、
前記パターン信号は、前記立体画像を表示するディスプレイ、及び前記ディスプレイの画素構造に関連したパターンであり、
前記生成部は、前記ディスプレイを観察する観察者の位置情報に基づいて、前記パターン信号を生成する
信号処理回路。
(10)(9)に記載の信号処理回路であって、さらに、
前記ディスプレイに関するディスプレイ情報、前記画素構造に関する画素情報、及び前記位置情報に基づいて、前記観察者の視認する前記右目画像及び前記左目画像における表示むらの暗部の画素位置を推定する推定部を具備する
信号処理回路。
(11)(10)に記載の信号処理回路であって、
前記生成部は、前記推定部による前記暗部の偏りを補正するための前記パターン信号を生成する
信号処理回路。
(12)(11)に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置と隣接する画素の輝度を上げる前記パターン信号を生成する
信号処理回路。
(13)(11)に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置とは異なる画素位置に配置される明部の輝度を下げる前記パターン信号を生成する
信号処理回路。
(14)(1)に記載の信号処理回路であって、さらに、
前記ディスプレイに対する前記観察者の位置情報を取得する取得部を具備し、
前記生成部は、前記位置情報に基づいて、前記パターン信号を変更する
信号処理回路。
(15)(14)に記載の信号処理回路であって、
前記生成部は、前記パターン信号に対して、前記観察者の観察角度に依存した係数を乗ずる
信号処理回路。
(16)
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳するステップ
をコンピュータシステムに実行させるプログラム。 Note that the present technology can also adopt the following configuration.
(1)
A signal processing circuit, comprising: a generator that superimposes different pattern signals on a right-eye image and a left-eye image that form a stereoscopic image.
(2) The signal processing circuit according to (1),
The signal processing circuit, wherein the pattern signal includes a random signal with respect to the pixel array.
(3) The signal processing circuit according to (1),
The different pattern signals are signals that give parallax to a right eye viewing the right eye image and a left eye viewing the left eye image.
(4) The signal processing circuit according to (3),
The signal processing circuit, wherein the different pattern signals are signals having different parallaxes from pixels of the right-eye image and the left-eye image to be superimposed.
(5) The signal processing circuit according to (4),
The signal processing circuit, wherein the generating unit superimposes the pattern signal on a depth different from a depth range obtained from the right-eye image and the left-eye image.
(6) The signal processing circuit according to (4),
A signal processing circuit, wherein the generating unit determines the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on depths obtained from the right-eye image and the left-eye image.
(7) The signal processing circuit according to (4),
A signal processing circuit in which the generation unit temporally changes the depth of the pattern signal superimposed on the right-eye image or the left-eye image.
(8) The signal processing circuit according to (4),
The signal processing circuit, wherein the generator determines the depth of the pattern signal superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image.
(9) The signal processing circuit according to (1),
The pattern signal is a display that displays the stereoscopic image and a pattern related to a pixel structure of the display;
A signal processing circuit, wherein the generating unit generates the pattern signal based on positional information of an observer observing the display.
(10) The signal processing circuit according to (9), further comprising:
an estimating unit for estimating a pixel position of a dark portion of display unevenness in the right-eye image and the left-eye image viewed by the observer, based on the display information about the display, the pixel information about the pixel structure, and the position information. signal processing circuit.
(11) The signal processing circuit according to (10),
The signal processing circuit, wherein the generating unit generates the pattern signal for correcting the bias of the dark portion by the estimating unit.
(12) The signal processing circuit according to (11),
The generating section generates the pattern signal for increasing the luminance of pixels adjacent to the pixel position in the dark portion. A signal processing circuit.
(13) The signal processing circuit according to (11),
The signal processing circuit, wherein the generating unit generates the pattern signal for decreasing luminance of a bright portion arranged at a pixel position different from the pixel position of the dark portion.
(14) The signal processing circuit according to (1), further comprising:
An acquisition unit that acquires position information of the observer with respect to the display,
The signal processing circuit, wherein the generator changes the pattern signal based on the position information.
(15) The signal processing circuit according to (14),
The signal processing circuit, wherein the generator multiplies the pattern signal by a coefficient dependent on the observation angle of the observer.
(16)
A program for causing a computer system to execute a step of superimposing different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
(1)
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する生成部
を具備する信号処理回路。
(2)(1)に記載の信号処理回路であって、
前記パターン信号は、画素配列に対してランダムな信号を含む
信号処理回路。
(3)(1)に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記右目画像を視認する右目及び前記左目画像を視認する左目に視差を与える信号である
信号処理回路。
(4)(3)に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記重畳される前記右目画像及び前記左目画像の画素における視差と異なる視差をもつ信号である
信号処理回路。
(5)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスの範囲とは異なるデプスに前記パターン信号を重畳する
信号処理回路。
(6)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスに基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。
(7)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを時間的に変更する
信号処理回路。
(8)(4)に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像に関する輝度情報に基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。
(9)(1)に記載の信号処理回路であって、
前記パターン信号は、前記立体画像を表示するディスプレイ、及び前記ディスプレイの画素構造に関連したパターンであり、
前記生成部は、前記ディスプレイを観察する観察者の位置情報に基づいて、前記パターン信号を生成する
信号処理回路。
(10)(9)に記載の信号処理回路であって、さらに、
前記ディスプレイに関するディスプレイ情報、前記画素構造に関する画素情報、及び前記位置情報に基づいて、前記観察者の視認する前記右目画像及び前記左目画像における表示むらの暗部の画素位置を推定する推定部を具備する
信号処理回路。
(11)(10)に記載の信号処理回路であって、
前記生成部は、前記推定部による前記暗部の偏りを補正するための前記パターン信号を生成する
信号処理回路。
(12)(11)に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置と隣接する画素の輝度を上げる前記パターン信号を生成する
信号処理回路。
(13)(11)に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置とは異なる画素位置に配置される明部の輝度を下げる前記パターン信号を生成する
信号処理回路。
(14)(1)に記載の信号処理回路であって、さらに、
前記ディスプレイに対する前記観察者の位置情報を取得する取得部を具備し、
前記生成部は、前記位置情報に基づいて、前記パターン信号を変更する
信号処理回路。
(15)(14)に記載の信号処理回路であって、
前記生成部は、前記パターン信号に対して、前記観察者の観察角度に依存した係数を乗ずる
信号処理回路。
(16)
立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳するステップ
をコンピュータシステムに実行させるプログラム。 Note that the present technology can also adopt the following configuration.
(1)
A signal processing circuit, comprising: a generator that superimposes different pattern signals on a right-eye image and a left-eye image that form a stereoscopic image.
(2) The signal processing circuit according to (1),
The signal processing circuit, wherein the pattern signal includes a random signal with respect to the pixel array.
(3) The signal processing circuit according to (1),
The different pattern signals are signals that give parallax to a right eye viewing the right eye image and a left eye viewing the left eye image.
(4) The signal processing circuit according to (3),
The signal processing circuit, wherein the different pattern signals are signals having different parallaxes from pixels of the right-eye image and the left-eye image to be superimposed.
(5) The signal processing circuit according to (4),
The signal processing circuit, wherein the generating unit superimposes the pattern signal on a depth different from a depth range obtained from the right-eye image and the left-eye image.
(6) The signal processing circuit according to (4),
A signal processing circuit, wherein the generating unit determines the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on depths obtained from the right-eye image and the left-eye image.
(7) The signal processing circuit according to (4),
A signal processing circuit in which the generation unit temporally changes the depth of the pattern signal superimposed on the right-eye image or the left-eye image.
(8) The signal processing circuit according to (4),
The signal processing circuit, wherein the generator determines the depth of the pattern signal superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image.
(9) The signal processing circuit according to (1),
The pattern signal is a display that displays the stereoscopic image and a pattern related to a pixel structure of the display;
A signal processing circuit, wherein the generating unit generates the pattern signal based on positional information of an observer observing the display.
(10) The signal processing circuit according to (9), further comprising:
an estimating unit for estimating a pixel position of a dark portion of display unevenness in the right-eye image and the left-eye image viewed by the observer, based on the display information about the display, the pixel information about the pixel structure, and the position information. signal processing circuit.
(11) The signal processing circuit according to (10),
The signal processing circuit, wherein the generating unit generates the pattern signal for correcting the bias of the dark portion by the estimating unit.
(12) The signal processing circuit according to (11),
The generating section generates the pattern signal for increasing the luminance of pixels adjacent to the pixel position in the dark portion. A signal processing circuit.
(13) The signal processing circuit according to (11),
The signal processing circuit, wherein the generating unit generates the pattern signal for decreasing luminance of a bright portion arranged at a pixel position different from the pixel position of the dark portion.
(14) The signal processing circuit according to (1), further comprising:
An acquisition unit that acquires position information of the observer with respect to the display,
The signal processing circuit, wherein the generator changes the pattern signal based on the position information.
(15) The signal processing circuit according to (14),
The signal processing circuit, wherein the generator multiplies the pattern signal by a coefficient dependent on the observation angle of the observer.
(16)
A program for causing a computer system to execute a step of superimposing different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
2…ノイズ面
3…レンチキュラーレンズ
20…信号処理回路
21…位置情報取得部
22…視覚ゲイン部
23…ノイズ生成部
24…オフセット生成部
30…信号処理回路
40…信号処理回路
50…信号処理回路
60…信号処理回路
100…表示デバイス 2noise surface 3 lenticular lens 20 signal processing circuit 21 position information acquisition unit 22 visual gain unit 23 noise generation unit 24 offset generation unit 30 signal processing circuit 40 signal processing circuit 50 signal processing circuit 60 ... signal processing circuit 100 ... display device
3…レンチキュラーレンズ
20…信号処理回路
21…位置情報取得部
22…視覚ゲイン部
23…ノイズ生成部
24…オフセット生成部
30…信号処理回路
40…信号処理回路
50…信号処理回路
60…信号処理回路
100…表示デバイス 2
Claims (16)
- 立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳する生成部
を具備する信号処理回路。 A signal processing circuit, comprising: a generator that superimposes different pattern signals on a right-eye image and a left-eye image that form a stereoscopic image. - 請求項1に記載の信号処理回路であって、
前記パターン信号は、画素配列に対してランダムな信号を含む
信号処理回路。 The signal processing circuit according to claim 1,
The signal processing circuit, wherein the pattern signal includes a random signal with respect to the pixel array. - 請求項1に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記右目画像を視認する右目及び前記左目画像を視認する左目に視差を与える信号である
信号処理回路。 The signal processing circuit according to claim 1,
The different pattern signals are signals that give parallax to a right eye viewing the right eye image and a left eye viewing the left eye image. - 請求項3に記載の信号処理回路であって、
前記それぞれ異なるパターン信号は、前記重畳される前記右目画像及び前記左目画像の画素における視差と異なる視差をもつ信号である
信号処理回路。 The signal processing circuit according to claim 3,
The signal processing circuit, wherein the different pattern signals are signals having different parallaxes from pixels of the right-eye image and the left-eye image to be superimposed. - 請求項4に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスの範囲とは異なるデプスに前記パターン信号を重畳する
信号処理回路。 The signal processing circuit according to claim 4,
The signal processing circuit, wherein the generating unit superimposes the pattern signal on a depth different from a depth range obtained from the right-eye image and the left-eye image. - 請求項4に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像から得られるデプスに基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。 The signal processing circuit according to claim 4,
A signal processing circuit, wherein the generating unit determines the depth of the pattern signal to be superimposed on the right-eye image or the left-eye image based on depths obtained from the right-eye image and the left-eye image. - 請求項4に記載の信号処理回路であって、
前記生成部は、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを時間的に変更する
信号処理回路。 The signal processing circuit according to claim 4,
A signal processing circuit in which the generation unit temporally changes the depth of the pattern signal superimposed on the right-eye image or the left-eye image. - 請求項4に記載の信号処理回路であって、
前記生成部は、前記右目画像及び前記左目画像に関する輝度情報に基づいて、前記右目画像又は前記左目画像に重畳される前記パターン信号のデプスを決定する
信号処理回路。 The signal processing circuit according to claim 4,
The signal processing circuit, wherein the generator determines the depth of the pattern signal superimposed on the right-eye image or the left-eye image based on luminance information about the right-eye image and the left-eye image. - 請求項1に記載の信号処理回路であって、
前記パターン信号は、前記立体画像を表示するディスプレイ、及び前記ディスプレイの画素構造に関連したパターンであり、
前記生成部は、前記ディスプレイを観察する観察者の位置情報に基づいて、前記パターン信号を生成する
信号処理回路。 The signal processing circuit according to claim 1,
The pattern signal is a display that displays the stereoscopic image and a pattern related to a pixel structure of the display;
A signal processing circuit, wherein the generating unit generates the pattern signal based on positional information of an observer observing the display. - 請求項9に記載の信号処理回路であって、さらに、
前記ディスプレイに関するディスプレイ情報、前記画素構造に関する画素情報、及び前記位置情報に基づいて、前記観察者の視認する前記右目画像及び前記左目画像における表示むらの暗部の画素位置を推定する推定部を具備する
信号処理回路。 10. The signal processing circuit of claim 9, further comprising:
an estimating unit for estimating a pixel position of a dark portion of display unevenness in the right-eye image and the left-eye image viewed by the observer, based on the display information about the display, the pixel information about the pixel structure, and the position information. signal processing circuit. - 請求項10に記載の信号処理回路であって、
前記生成部は、前記推定部による前記暗部の偏りを補正するための前記パターン信号を生成する
信号処理回路。 A signal processing circuit according to claim 10,
The signal processing circuit, wherein the generating unit generates the pattern signal for correcting the bias of the dark portion by the estimating unit. - 請求項11に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置と隣接する画素の輝度を上げる前記パターン信号を生成する
信号処理回路。 A signal processing circuit according to claim 11, wherein
The generating section generates the pattern signal for increasing the luminance of pixels adjacent to the pixel position in the dark portion. A signal processing circuit. - 請求項11に記載の信号処理回路であって、
前記生成部は、前記暗部の前記画素位置とは異なる画素位置に配置される明部の輝度を下げる前記パターン信号を生成する
信号処理回路。 A signal processing circuit according to claim 11, wherein
The signal processing circuit, wherein the generating unit generates the pattern signal for decreasing luminance of a bright portion arranged at a pixel position different from the pixel position of the dark portion. - 請求項1に記載の信号処理回路であって、さらに、
前記ディスプレイに対する前記観察者の位置情報を取得する取得部を具備し、
前記生成部は、前記位置情報に基づいて、前記パターン信号を変更する
信号処理回路。 The signal processing circuit of claim 1, further comprising:
An acquisition unit that acquires position information of the observer with respect to the display,
The signal processing circuit, wherein the generator changes the pattern signal based on the position information. - 請求項14に記載の信号処理回路であって、
前記生成部は、前記パターン信号に対して、前記観察者の観察角度に依存した係数を乗ずる
信号処理回路。 15. A signal processing circuit according to claim 14,
The signal processing circuit, wherein the generator multiplies the pattern signal by a coefficient dependent on the observation angle of the observer. - 立体画像を形成する右目画像及び左目画像に対して、それぞれ異なるパターン信号を重畳するステップ
をコンピュータシステムに実行させるプログラム。 A program for causing a computer system to execute a step of superimposing different pattern signals on a right-eye image and a left-eye image forming a stereoscopic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023525366A JPWO2022254771A1 (en) | 2021-06-02 | 2022-01-17 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-092979 | 2021-06-02 | ||
JP2021092979 | 2021-06-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022254771A1 true WO2022254771A1 (en) | 2022-12-08 |
Family
ID=84324063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/001317 WO2022254771A1 (en) | 2021-06-02 | 2022-01-17 | Signal processing circuit, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2022254771A1 (en) |
WO (1) | WO2022254771A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012070163A (en) * | 2010-09-22 | 2012-04-05 | Sony Corp | Video display device, video display method and computer program |
WO2013069171A1 (en) * | 2011-11-08 | 2013-05-16 | パナソニック株式会社 | Image processing device and image processing method |
US20130251241A1 (en) * | 2012-03-20 | 2013-09-26 | Dolby Laboratories Licensing Corporation | Applying Perceptually Correct 3D Film Noise |
US20210067763A1 (en) * | 2017-12-30 | 2021-03-04 | Zhangjiagang Kangde Xin Optronics Material Co. Ltd | Method for reducing moire patterns on an autostereoscopic display |
-
2022
- 2022-01-17 WO PCT/JP2022/001317 patent/WO2022254771A1/en active Application Filing
- 2022-01-17 JP JP2023525366A patent/JPWO2022254771A1/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012070163A (en) * | 2010-09-22 | 2012-04-05 | Sony Corp | Video display device, video display method and computer program |
WO2013069171A1 (en) * | 2011-11-08 | 2013-05-16 | パナソニック株式会社 | Image processing device and image processing method |
US20130251241A1 (en) * | 2012-03-20 | 2013-09-26 | Dolby Laboratories Licensing Corporation | Applying Perceptually Correct 3D Film Noise |
US20210067763A1 (en) * | 2017-12-30 | 2021-03-04 | Zhangjiagang Kangde Xin Optronics Material Co. Ltd | Method for reducing moire patterns on an autostereoscopic display |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022254771A1 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6308513B2 (en) | Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method | |
US7876953B2 (en) | Apparatus, method and medium displaying stereo image | |
KR101629479B1 (en) | High density multi-view display system and method based on the active sub-pixel rendering | |
JP6644371B2 (en) | Video display device | |
US8368696B2 (en) | Temporal parallax induced display | |
CN102572484B (en) | Three-dimensional display control method, three-dimensional display control device and three-dimensional display system | |
CN108174182A (en) | Three-dimensional tracking mode bore hole stereoscopic display vision area method of adjustment and display system | |
US10694173B2 (en) | Multiview image display apparatus and control method thereof | |
KR101852209B1 (en) | Method for producing an autostereoscopic display and autostereoscopic display | |
JP2008089787A (en) | Stereoscopic image display device and stereoscopic image forming method | |
US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
TW201320717A (en) | Method of displaying 3D image | |
CN208257981U (en) | A kind of LED naked-eye 3D display device based on sub-pixel | |
KR20160081773A (en) | Wide viewing angle naked eye 3d image display method and display device | |
JP2011035712A (en) | Image processing device, image processing method and stereoscopic image display device | |
JP2012205169A (en) | Image processing apparatus and image processing method | |
CN111869202A (en) | Method for reducing crosstalk on autostereoscopic displays | |
CN111869203B (en) | Method for reducing moire patterns on autostereoscopic displays | |
TWI469624B (en) | Method of displaying three-dimensional image | |
WO2022254771A1 (en) | Signal processing circuit, and program | |
JP5528162B2 (en) | Image processing apparatus and image processing method | |
KR20150055441A (en) | Three dimensional image display device and method of displaying three dimensional image | |
US20120188244A1 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
JP2018191191A (en) | Stereoscopic video generation device | |
US20130181984A1 (en) | Apparatus and Method for Processing Three-Dimensional Image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22815532 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023525366 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22815532 Country of ref document: EP Kind code of ref document: A1 |