Nothing Special   »   [go: up one dir, main page]

WO2018070799A1 - 이미지 정합 방법 및 장치 - Google Patents

이미지 정합 방법 및 장치 Download PDF

Info

Publication number
WO2018070799A1
WO2018070799A1 PCT/KR2017/011240 KR2017011240W WO2018070799A1 WO 2018070799 A1 WO2018070799 A1 WO 2018070799A1 KR 2017011240 W KR2017011240 W KR 2017011240W WO 2018070799 A1 WO2018070799 A1 WO 2018070799A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
brightness
region
images
Prior art date
Application number
PCT/KR2017/011240
Other languages
English (en)
French (fr)
Inventor
김동균
임성현
Original Assignee
엘지이노텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160165384A external-priority patent/KR20180040469A/ko
Application filed by 엘지이노텍(주) filed Critical 엘지이노텍(주)
Priority to CN201780068474.1A priority Critical patent/CN109906602B/zh
Priority to EP17861083.8A priority patent/EP3528492A4/en
Priority to US16/341,336 priority patent/US11017508B2/en
Publication of WO2018070799A1 publication Critical patent/WO2018070799A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to a method and apparatus for image processing, and more particularly to generating a matched around view image using a source image for around view monitoring (AVM).
  • a method and apparatus are provided.
  • the driver assistance system is a system that assists the driver while driving or parking for the driver's safe driving.
  • the driver assistance system essentially includes a device that provides image information so that the driver can grasp the situation outside the vehicle while sitting in the driver's seat.
  • the apparatus for providing image information includes a camera.
  • a plurality of cameras facing in various directions may be installed outside the vehicle.
  • the acquired images may be differently converted according to various view modes and provided to the driver.
  • the around view monitoring system is being actively researched recently to provide the driver with a video of the situation around the vehicle equipped with multiple cameras.
  • Several automakers in Germany and Japan, as well as in Korea, are already developing and launching around view monitoring systems.
  • systems that have multiple cameras to give the driver a bird's eye view like the view from the sky have become mainstream.
  • the around view monitoring system may generate an image representing a surrounding, for example, around a vehicle at a 360 degree viewing angle, using an image acquired from a limited number of cameras through a device for providing image information.
  • the lens mounted on the camera may be a fisheye lens or a similar type of wide-angle lens to obtain a wide viewing angle.
  • the images acquired by the lens are displayed differently from those based on human vision, and the image to be finally output is a top view image unlike the direction of the camera lens installed in the vehicle. Images acquired from a plurality of cameras must go through various image signal processing.
  • 1A to 1C illustrate an image output according to a conventional technique.
  • FIG. 1B a step difference in brightness according to a correction method called alpha blending is illustrated in FIG. 1B.
  • a ghost phenomenon according to a correction method called alpha blending is shown in FIG. 1C.
  • the ghost phenomenon is a phenomenon in which an object that does not exist in a certain region appears to exist as a ghost.
  • the ghost phenomenon may be generated by alpha blending that corrects a pixel of a corresponding region by using pixels around it.
  • image information is extracted in the process of matching a plurality of images, a correction value is determined based on the extracted value, and then incremental correction is performed on the overlapped area based on the determined correction value, and then the corrected image is corrected.
  • a matching method an image matching method and an image matching device capable of preventing or reducing a level difference and a ghost phenomenon of brightness that may occur in the process of registering a plurality of images.
  • the present invention is to determine the correction value using only the image information in the overlapping area in at least two images in the process of matching a plurality of images, thereby reducing the noise in the overlapping area in the process of matching a plurality of images
  • a matching method and an image matching device can be provided.
  • the present invention determines the difference value of the information of at least two images in the process of matching a plurality of images, and by gradually reflecting and correcting the determined difference value in the overlapping area matched to the plurality of images, the step of brightness And an image matching method and an image matching device capable of preventing or reducing ghost phenomenon.
  • the image matching method comprises the steps of extracting image information from each of a plurality of different images obtained through a camera device mounted on a vehicle; And outputting a target image by correcting and matching the plurality of images by applying a gradation according to a correction criterion based on the extracted plurality of image information.
  • the image information may include at least one of brightness information and contrast information.
  • the outputting of the target image may include determining a correction reference value based on the extracted image information; Correcting each of the plurality of images by applying the correction reference value as a gradation; And matching the corrected plurality of images to output a target image.
  • the plurality of different images may be images obtained by converting an image obtained by a plurality of camera apparatuses into a top view.
  • the correction reference value may be determined by at least one of an average value, a median, a mode, and a standard deviation of the plurality of image information.
  • the image matching method may further include setting a non-overlapping area and an overlapping area in the image.
  • the image information may be extracted from the overlapping area included in each of the plurality of images instead of the entirety of each of the plurality of images.
  • the step difference may include a linear step difference applied in the linear direction of the boundary of the non-overlapping area at the center of the overlapping area.
  • the step difference may include a linear step difference applied in a linear direction of the edge of the image at the boundary between the non-overlapping area and the overlapping area.
  • the step difference may include a non-linear step difference applied in the radial direction of the edge of the image at the center of the non-overlapping area.
  • the outputting of the target image may include extracting data of an area corresponding to an area to be inserted into the target image in the corrected image; And arranging the extracted data in a predetermined area in the target image.
  • the extracting of the image information may include extracting data of an area corresponding to an area to be inserted into the target image; And extracting the image information from the extracted data.
  • the step difference may include a linear step difference applied in a linear direction of a boundary of the non-overlapping area at the center of the overlapping area.
  • the step difference may include a linear step difference applied in a linear direction of an edge at the center of the extracted image.
  • the step difference may include a non-linear step difference applied in a radial direction of an edge at the center of the extracted image.
  • a computer-readable recording medium may be recorded by an application program, which is implemented by a processor to realize the above-described image matching method.
  • An image matching device includes a processing system including at least one processor and at least one memory device in which a computer program is stored, wherein the processing system includes a plurality of images having different image matching devices from each other. Extracting image information from each; And outputting a target image by correcting and matching the plurality of images by applying a gradation according to a correction criterion based on the extracted plurality of image information, and outputting a target image.
  • the image obtained by the plurality of camera apparatuses may be an image converted into a top view form.
  • the outputting of the target image may include determining a correction reference value based on the extracted image information; Correcting each of the plurality of images by applying the correction reference value as a gradation; And matching the corrected plurality of images to output a target image.
  • processing system may further enable the image registration device to set a non-overlapping area and an overlapping area in the plurality of images.
  • the image information may be extracted from the overlapping area included in each of the plurality of images instead of the entirety of each of the plurality of images.
  • the processing system may further perform the step of extracting data of an area corresponding to an area to be inserted into the target image in the plurality of images before the image matching device extracts the image information.
  • the processing system may further perform the step of extracting data of an area corresponding to an area to be inserted into the target image in the plurality of images after the image matching device corrects the plurality of images.
  • the outputting of the target image may include disposing the extracted data in a predetermined area within the target image.
  • the image information may include at least one of brightness information and contrast information
  • the correction reference value may include an average value, a median value, and a mode value of the plurality of pieces of image information. And at least one of a standard deviation.
  • an image matching device including: a setting unit configured to set an overlapping region and a non-overlapping region in two different images; An extraction unit for extracting image information of the overlapped area from each of the two images; A determination unit to determine a correction reference value based on the extracted image information; A correction unit correcting the correction reference value by applying the correction reference value to the overlapping regions of the two images as a gradation; And a matching unit matching the two images based on the corrected overlapping region.
  • the image information may include at least one of brightness information and contrast information.
  • the correction reference value may be determined by at least one of an average value, a median, a mode, and a standard deviation of the plurality of image information.
  • the step difference may include a linear step difference applied in the linear direction of the boundary of the non-overlapping area at the center of the overlapping area.
  • the step difference may include a linear step difference applied in a linear direction of the edge of the image at the boundary between the non-overlapping area and the overlapping area.
  • the step difference may include a non-linear step difference applied in the radial direction of the edge of the image at the center of the non-overlapping area.
  • the image matching method is a method of generating a target image by matching a plurality of source images with each other, and capturing a first imaging area through a first camera.
  • Acquiring a first source image capturing a second imaging region including an overlapping region overlapping a portion of the first imaging region through a second camera, and including an overlapping region overlapping a portion of the first source image;
  • Obtaining a second source image Converting the first source image and the second source image into a top view and adjusting brightness through auto exposure (AE) to obtain a first converted image and a second converted image;
  • a second region in the overlapped region in which at least a portion of the second converted image corrected based on the first image information and the
  • the present invention can reduce the brightness step of the matched target image due to the brightness difference between the plurality of source images.
  • 1A to 1C illustrate an image output according to a conventional technique.
  • FIG. 2 is a block diagram of an image registration device.
  • FIG. 4 illustrates a first example of an image information extraction method.
  • FIG. 5 illustrates a second example of the image information extraction method.
  • FIG. 6 is a flowchart of an image registration method.
  • FIG. 7 is a flowchart of steps included in S340 of FIG. 6.
  • FIG. 8 is a schematic diagram of a target image for explaining a term used in the present invention.
  • 9A to 9C are exemplary views illustrating a target image that is differently corrected according to the size of parameter C.
  • FIG. 10 illustrates a first example of an image registration device.
  • FIG. 11 illustrates a second example of an image registration device.
  • 12A is an exemplary diagram illustrating a target image matched according to an alpha blending method.
  • 12B is an exemplary view showing a matched target image according to one embodiment of the present invention.
  • 12C is an exemplary diagram illustrating alpha blending and a matched target image according to one embodiment of the present invention.
  • FIG. 13 is an exemplary view illustrating the registration image described with reference to FIGS. 12A through 12C in more detail.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • terms such as first and second are more preferably interpreted in the sense of one or another than in the meaning of the first or the second.
  • a first camera and a second camera are described, and a first imaging area and a second imaging area are described.
  • FIG. 2 is a block diagram of an image registration device according to an embodiment of the present invention.
  • the image matching device 100 includes an image obtaining unit 110, an image processor 120, an image information obtaining unit 130, and a correcting unit 140, and further includes a first calculating unit ( 150 and the second calculator 160.
  • the image matching device 100 generates a target image by matching a plurality of source images with each other.
  • the image acquirer 110 acquires a first source image by capturing a first image capturing region through a first camera, and captures a second image capturing region through a second camera, and overlaps a portion of the first source image. Acquire a second source image including the overlapped area. Therefore, the image acquisition unit 110 may be implemented through a camera.
  • the camera is preferably a camera module provided on the front side, the right side, the rear side and the left side of the vehicle.
  • the image processor 120 converts the display modes of the first source image and the second source image into a top view and adjusts the brightness through auto exposure (AE). As a result, the first transformed image and the second transformed image may be obtained.
  • the image information acquirer 130 obtains first image information of the first converted image and second image information of the second converted image.
  • the image information may include RGB values, brightness, and the like of pixels constituting the image.
  • the image information may include pixel information represented by a method other than RGB.
  • the corrector 140 may include: a first region in an overlapping region in which pixels of the first transformed image corrected based on the first image information and the second image information are disposed; And a pixel of the second converted image corrected based on the first image information and the second image information, and including a second region in the overlapping region that does not overlap the first region. That is, the correction unit 140 generates a target image by matching the converted images by correcting the pixels of the image.
  • the correction includes a gradation correction for adjusting the brightness or the color of the pixels of the first converted image disposed in the first area and the pixels of the second converted image disposed in the second area.
  • the first calculator 150 obtains a brightness ratio of the first converted image to the second converted image by using the brightness of the converted images.
  • the second calculator 160 calculates a brightness gain for correcting the converted image using the brightness ratio.
  • the correction unit 140 sets the degree of correction and the correction region, and corrects the pixels of the converted images based on the brightness gain, but divides the pixels of each overlapping region into a first region and a second region to correct the correction.
  • the original area is corrected by using the pixels of the source image close to the first area among the two superimposed source images as the original, and for the second area, the second area and the second area are superimposed on the second area.
  • the target image is generated such that the source images are matched with each other around the overlapping area as the original is corrected using the pixels of the remaining remaining source images as the original.
  • the image matching device 100 may further include a storage unit which is not disclosed through the drawings.
  • the storage unit may store the image in a volatile memory or a nonvolatile memory to provide an image to the corresponding component in the order in which the functions of the respective components are exerted.
  • the image processor 120, the image information acquirer 130, the corrector 140, the first calculator 150, and the second calculator 160 may execute a program command stored in a memory.
  • the image processor 120, the image information acquisition unit 130, the correction unit 140, the first operation unit 150, and the second operation unit 160 may include a central processing unit (CPU) and a graphics processing unit ( graphics processing unit (GPU) or a dedicated processor on which the methods according to the present invention may be performed.
  • the memory may also be comprised of volatile storage media and / or non-volatile storage media.
  • the memory may be comprised of read only memory (ROM) and / or random access memory (RAM).
  • the image matching device 100 receives Bayer pattern information from a plurality of cameras to perform color interpolation, demosaicing, color correction, gamma correction, and color space conversion. (color space conversion), and edge enhancement (Edge Enhancement) and the like can be selectively performed.
  • the process of collecting, processing, and matching Bayer pattern information on the image matching device 100 may be implemented by one image processor.
  • an image matching method includes extracting image information from each of a plurality of different images obtained through a camera device mounted on a vehicle, and stepwise differences according to correction criteria based on the extracted plurality of image information. and applying a gradation to correct and match the plurality of images to output a target image.
  • the image matching method includes converting an image obtained from a plurality of camera apparatuses into a top view form (10), extracting image information from each of the converted plurality of images (12), and extracting Determining a correction reference value based on the image information (14), applying the correction reference value as a gradation to correct each of the plurality of images (16), and matching the corrected plurality of images to target the image. And outputting 18.
  • outputting the target image 18 includes extracting data of an area corresponding to an area to be inserted into the target image in the corrected image, and placing the extracted data in a predetermined area in the target image. It may include.
  • images of the front, rear, left and right of the vehicle may be acquired.
  • the driver or the user has an advantage of obtaining information around the vehicle.
  • each image is individually displayed, it may be difficult to recognize the situation around the vehicle. Therefore, if the images obtained from different directions based on the vehicle can be matched and provided to the driver or the user as an image (for example, a top view image) as viewed from the top of the vehicle, the driver or user can obtain information around the vehicle. It may be easy to recognize.
  • the image acquired from the camera In order to convert the image acquired from the camera into the form of the top view image, it is necessary to remove the perspective effect on objects and objects in the image. If the vehicle has height and angle with the camera installed, and horizontal and vertical angle of view information of the camera, the relationship between the image plane acquired through the camera and the actual plane (top view target image plane) to be shown to the driver or user can be known. Using this relationship, the image plane obtained from the camera can be converted into a plane to be shown to the user.
  • image information may be extracted from the converted plurality of images (12). Since each image is obtained from a camera disposed at different positions, and images of objects in different directions are taken, the amount of light inevitably varies from image to image. For example, simply combining images having different brightness may provide an image that may cause driver or user confusion by noise or the like. To prevent this, it is necessary to extract information about the image before registering the image.
  • the image information may include at least one of brightness information and contrast information.
  • the image matching method may further include setting a non-overlapping region and an overlapping region in each image to extract image information.
  • the image information may be extracted from an overlapping area included in each of the plurality of images instead of the entirety of each of the plurality of images.
  • the extracting of the image information may include extracting data of a region corresponding to a region to be inserted into a target image, and extracting image information from the extracted data. It may also include.
  • the obtained plurality of images is extracted in advance to correspond to the target image, the time for calculating the region to be corrected or the correction value may be reduced in the subsequent process of correcting the image.
  • a correction reference value may be determined based on the image information (14).
  • the correction reference value may be determined by at least one of an average value, a median, a mode, and a standard deviation of the plurality of image information.
  • the correction reference value may be determined according to the ratio or difference value of the two image information.
  • each image may be corrected (16).
  • the correction reference value may be corrected only in an area to be overlapped with another image, rather than using the correction reference value for the entire image.
  • the image correction may apply a linear gradation method applied in the linear direction of the boundary of the non-overlapping region at the center of the overlapping region.
  • the image correction may apply a linear stepwise difference method applied in the linear direction of the edge of the image at the boundary between the non-overlapping area and the overlapping area in the image.
  • the image correction may apply a nonlinear stepwise difference method applied in the radial direction of the edge of the image at the center of the non-overlapping area in the image.
  • the image may be corrected by applying a linear or nonlinear stepwise difference method in a straight or radial direction of the edge from the center of the image.
  • the two images can be matched (18).
  • alpha blending refers to a technique for mixing alpha values when overlaying another image on an image to produce effects such as transparency and translucency, or to mix two image colors.
  • alpha blending is more likely to generate noise or distort the image while matching the values of two images through alpha values.
  • alpha blending has a disadvantage of generating a ghost phenomenon in which two objects overlap.
  • FIG. 4 illustrates a first example of an image information extraction method.
  • a method of extracting image information from a plurality of images may include setting 22 a non-overlapping region and an overlap region in the converted image, and extracting image information 24 from the overlap region. Can be.
  • the image information may include at least one of brightness information and contrast information.
  • an analysis and correction may be performed on an area where images may overlap each other in each of the plurality of images, and the non-overlapping area (own area) in the image may not be analyzed and corrected.
  • FIG. 5 illustrates a second example of the image information extraction method.
  • a method of extracting image information from a plurality of images includes arranging and cutting a converted image corresponding to a region to be inserted into a target image (26) and extracting image information from the extracted image. May comprise step 28.
  • the image information may include at least one of brightness information and contrast information.
  • the unused image area of the plurality of images may be extracted and removed in advance, and the image may be analyzed and processed, thereby reducing resources required for analyzing and processing the image.
  • FIG. 6 is a flowchart of an image registration method.
  • the image acquisition unit 110 acquires a source image using a camera in operation S310.
  • the source image may be two or more.
  • a camera is installed in a vehicle, it is most preferable to obtain four source images by four cameras.
  • additional source images may be further obtained by installing additional cameras.
  • each source image is obtained to overlap each other. That is, it is preferable that any two source images include the same subject area in common, so that two source images can be connected around the subject area.
  • the image processor 120 converts the display mode of the source images into a top view and adjusts the brightness through auto exposure (AE) to obtain a converted image (S320). At this stage, more than two, preferably four converted images can be obtained.
  • the image information acquisition unit 130 obtains image information of the converted image (S330). At this stage, two or more, preferably four image information can be obtained.
  • the correction unit 140 corrects based on the first image information and the second image information, and includes a first region in an overlapping region where pixels of the first converted image are disposed, first image information, and the second image information.
  • the correction includes gradation correction for pixels of the first transformed image disposed in the first region and pixels of the second transformed image disposed in the second region. Also in this step, correction may be performed for the first to eighth regions constituting two or more, preferably four overlapping regions.
  • FIG. 7 is a flowchart of steps included in S340 of FIG. 6.
  • the first calculator 150 acquires a brightness ratio of the first converted image to the second changed image by using the brightness of the converted images (S341). Equation 1 below represents the brightness ratios R1, R2, R3, and R4.
  • L1 to L8 represent brightness of the first to eighth areas.
  • FIG. 8 is a schematic diagram of a target image for explaining a term used in the present invention.
  • first to fourth images and first to eighth regions are illustrated on the target image. And first to eighth regions are shown.
  • the first region and the second region correspond to overlap regions. Four overlapping regions may be formed on the target image.
  • the average brightness may be used as the brightness of each region.
  • Equation 2 represents the brightness ratio of which the error is corrected.
  • the second calculator 160 calculates a brightness gain for correcting the converted image using the brightness ratio (S342).
  • Equation 3 represents the average value of the brightness ratio required in the process for the gain operation.
  • Each element of the right term represents a factor to be multiplied when the first to fourth source images are corrected to the brightness of the first source image.
  • These factors divided by 4 are the average values of the brightness ratios.
  • Equation 4 represents the brightness gains G1, G2, G3, and G4. Each brightness gain can be calculated by dividing the factor by the average value of the brightness ratios.
  • the correction unit 140 sets the degree of correction and the correction region, and corrects the pixels of the converted image based on the brightness gain (S343).
  • Equation 5 shows that the pixel value on the first area is changed by the correction.
  • P1 is a pixel value before correction
  • parameter C represents the degree of correction
  • parameter M1 represents the correction area. The degree of correction is related to the independence of the first to eighth regions or the first to fourth source images.
  • 9A to 9C are exemplary views illustrating a target image that is differently corrected according to the size of parameter C.
  • FIG. 6A illustrates a case where C is zero.
  • FIG. 6B illustrates a case where C is 0.3 and 0.7, respectively.
  • FIG. 6C illustrates a case where C is 1.
  • the pixels of each overlapped area are divided into a first area and a second area to be corrected.
  • the original is corrected using the pixels of the source image close to the first area among the two superimposed source images as the original.
  • the original is corrected using the pixels of the remaining source images close to the second area among the two superimposed source images as the original.
  • the source images are matched with each other around the overlapping region to generate a target image.
  • correction of the pixels on the second to eighth regions may be expressed by the following equation (6).
  • FIG. 10 illustrates a first example of an image registration device.
  • the image matching device includes a setting unit 30 that sets overlapping regions and non-overlapping regions in two different images I1 and I2, and image information B1 and B2 of overlapping regions in each of the two images.
  • Extracting unit 40 for extracting the data, the determining unit 50 for determining the correction reference value C0 based on the extracted image information B1 and B2, and the correction reference value C0 in the overlapping area of the two images I1 and I2. ) May be corrected by applying a step as a gradation, and a matching unit 60 for matching the corrected two images CI1 and CI2 based on the corrected overlapping region.
  • the image matching device has been described as an example of a device capable of matching two images I1 and I2. If the image matching device registers two or more images, the components necessary to correct each image may be increased.
  • the setting unit 30 receives the first image I1 and receives an area (a unique area) that does not overlap with an overlapping area where the second image I2 in the first image I1 may overlap each other.
  • An area that does not overlap with an overlap area in which the first setting unit 32 and the second image I2 that can be set are received and the first image I1 in the second image I2 overlap each other (unique area)
  • It may include a second setting unit 34 to set the.
  • the extractor 40 extracts the first image information B1 for the overlapped region in the first image I1 and the second image information for the overlapped region in the second image I2. It may include a first extraction unit 44 for extracting (B2).
  • the first and second image information B1 and B2 acquired by the extractor 40 may include brightness information and contrast (contrast) in an overlapping area between the first image I1 and the second image I2. It may include at least one of contrast) information.
  • the first and second image information B1 and B2 need to be the same kind of information for correction.
  • the determination unit 50 determines the correction reference value C0 based on the first and second image information B1 and B2.
  • the correction reference value C0 may be determined by at least one of an average value, a median, a mode, and a standard deviation of the plurality of image information B1 and B2.
  • the correction reference value C0 may be determined as a ratio with respect to each other based on the plurality of image information B1 and B2.
  • the correction reference value C0 determined in this manner is for correcting with reference to information of different images in order to correct overlapping regions of two different images I1 and I2.
  • the correction unit 52 corrects the first image I1 based on the correction reference value C0 and outputs the first correction portion 54 to output the first correction image CI1 and the correction reference value C0. It may include a second correction unit 56 for correcting the second image (I2) to output a second correction image (CI2).
  • the first compensator 54 and the second compensator 56 are arranged at the boundary of the non-overlapping region and the overlapping region in each image to correct the first image I1 and the second image I2.
  • a linear gradation method applied in the linear direction of the edge of the image may be performed.
  • the first correction unit 54 and the second correction unit 56 are images at the center of the non-overlapping area in each image to correct the first image I1 and the second image I2. It is also possible to perform a nonlinear stepwise difference method applied in the radial direction of the edge of the edge.
  • the first correction image CI1 and the second correction image CI2 corrected by the correction unit 52 are transferred to the matching unit 60, and the matching unit 60 overlaps the area of the first correction image CI1. And based on the overlapping area of the second correction image CI2 and combine the two images. In this way, the matching unit 60 may output the target image TI.
  • FIG. 11 illustrates a second example of an image registration device.
  • first to fourth converted images represented by front, right, rear, and left may be provided. It is apparent here that the source image can be used instead of the converted image.
  • Each transformed image consists of a unique area and an overlapping area. The entire overlapped area can be divided into eight parts (first to eighth areas). Solid lines refer to pixel values and dashed lines refer to scalar values.
  • the image information acquirer 130 obtains an average brightness of the image in the overlapped area.
  • the brightness ratio between each area is calculated based on the obtained average brightness.
  • An optimal compensation value for correcting the ratio balance may be calculated based on the brightness ratio.
  • a correction range may be set in an angle range of 0 to 90 degrees with respect to the center point positioned at the boundary line on the overlapping area.
  • the image on the overlapped region may be corrected so that gray scales (gradations) appear by the angle basis.
  • the brightness step and the ghost phenomenon due to the existing alpha blending can be prevented. This effect can be confirmed through the drawing.
  • 12A is an exemplary diagram illustrating a target image matched according to an alpha blending method.
  • each target image corresponds to a correction range of 30 degrees, 60 degrees, and 90 degrees.
  • FIG. 12A it is shown that the extent of the ghost phenomenon increases as the range of correction is widened.
  • 12B is an exemplary view showing a matched target image according to one embodiment of the present invention.
  • FIG. 12C is an exemplary diagram illustrating a target image corrected in accordance with an embodiment of alpha blending and the present invention.
  • FIG. 12C it can be seen that the effect of reducing the brightness step and the ghost phenomenon is greater than when the embodiment of the present invention of FIG. 12B is used alone.
  • FIG. 13 is an exemplary view illustrating the registration image described with reference to FIGS. 12A through 12C in more detail.
  • the matched image output by the image matching device may obtain a higher quality image or image than when the conventional alpha blending technique is applied.
  • a registration image which is a result that can be output by the image registration device or the image processing device, will be described in more detail. For convenience of explanation, the description will be given taking an example of generating two registration images 80 by matching two different images 92 and 82.
  • two different images that is, the first image 92 and the second image 82 may include non-overlapping regions 94 and 84 and overlapping regions 96 and 86, respectively.
  • the overlapping region 96 of the first image 92 and the overlapping region 86 of the second image 82 may overlap.
  • the image brightness is different from each other. Therefore, when the first image 92 and the second image 82 are matched without any correction, the information provided to the user may be distorted due to the difference in brightness between the two images, or the user may feel uncomfortable. To solve this problem, you can partially adjust the image brightness.
  • a first boundary 90 may be formed at the center of the overlapping region 96 of the first image 92 and the overlapping region 86 of the second image 82, and the first image 92 may be formed.
  • a second boundary 88 formed between the overlapping region 96 and the non-overlapping region 94 of the second boundary 88 and the overlapping region 86 and the non-overlapping region 84 of the second image 82
  • Another second boundary 98 may be formed.
  • a correction criterion may be set based on the information.
  • the calibration criterion may be at least one of an average value, a median, a mode, and a standard deviation.
  • the two images, the first image 92 and the second image 82 are When matched, unnaturalness is removed from the matched image 80, and a high quality matched image can be obtained.
  • the gradation applied in the directions of the second boundaries 88 and 98 on both sides with respect to the first boundary 90 may be linear or nonlinear.
  • the image brightness may be corrected by applying a gradation in the direction of the first boundary 90 from the second boundary 88 and 98 on both sides.
  • the image brightness may be corrected in a linear or radial direction from the center 93 of the first image 92 and the center 83 of the second image 82 to the first boundary 90. have. Also in this case, a linear or nonlinear gradation can be applied.
  • the first boundary 90, the second boundary 88, 98, and the center 83, 93 described in the foregoing process are not actually reference points that need to be provided to the user, but the image processing is performed to correct the brightness of the image. It may be a virtual criterion that the device may set internally.
  • each component is illustrated in another block for example, but each component may be configured as one block.
  • each block may be configured in a controller or a processor to perform the above-described series of operations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

이미지 정합 방법 및 장치가 개시된다. 본 실시예에 따른 방법은, 소스 이미지를 획득하는 단계; 소스 이미지의 표시 모드를 탑 뷰로 변환하고 AE(auto exposure)를 통하여 밝기를 조절하여 변환 이미지를 확득하는 단계; 이미지 정보를 획득하는 단계; 이미지 정보에 기초하여 보정된 변환 이미지의 픽셀이 배치되는 중첩영역 내의 제1 영역 및 제2 영역을 포함하는 타겟 이미지를 생성하는 단계를 포함하되, 보정은 제1 영역에 배치된 이미지의 픽셀과 제2 영역에 이미지의 픽셀에 대한 그라데이션 보정을 포함한다.

Description

이미지 정합 방법 및 장치
본 발명은 이미지 처리(image processing)에 관한 방법 및 장치에 관한 것으로, 더욱 상세하게는 어라운드 뷰 모니터링(around view monitoring, AVM)을 위해 소스 이미지를 이용하여 정합된 어라운드 뷰(around view) 이미지를 생성하는 방법 및 장치에 관한 것이다.
자동차 및 교통량의 증가로 인하여 교통사고 급증이 사회 문제화 되면서 사고를 미연에 방지할 수 있는 운전자 보조 시스템에 대한 연구가 활발하게 이루어지고 있다. 운전자 보조 시스템은 운전자의 안전한 운전을 위해 주행 또는 주차 중에 운전자에게 도움을 주는 시스템이다.
운전자 보조 시스템은 운전자가 운전석에 앉은 상태에서 차량 외부의 상황을 파악할 수 있도록 영상 정보를 제공하는 장치를 필수적으로 포함한다. 그리고 영상 정보를 제공하는 장치는 카메라를 포함한다.
상기 영상 정보를 운전자에게 제공하기 위하여 차량 외부에는 여러 방향을 향하는 복수의 카메라들이 설치될 수 있다. 그리고 각 카메라에서 획득된 영상이 운전자에게 제공됨에 있어서, 획득된 영상들은 여러 가지 뷰 모드에 따라 다르게 변환되어서 운전자에게 제공될 수 있다.
그런데 기존의 기술에 해당되는 알파 블렌딩(alpha blending) 방법에 의해 상기 제공되는 영상들에 밝기의 차이로 인한 단차가 발생하거나 이미지 합성 과정에서 고스트 현상이 발생될 수 있어 문제점으로 지적되고 있다. 이러한 문제점은 어라운드 뷰 모니터링(around view monitoring, AVM) 시스템을 위한 영상에서 특히 지적되고 있다.
어라운드 뷰 모니터링 시스템은 여러 대의 카메라를 장착하여 차량 주변 상황을 운전자에게 영상으로 제공하기 위해 최근 활발히 연구되고 있는 시스템이다. 국내뿐만 아니라 독일과 일본의 여러 자동차 회사들은 이미 어라운드 뷰 모니터링 시스템을 제품으로 개발하여 출시하고 있다. 최근에는 여러 대의 카메라를 장착하여 운전자에게 하늘 위에서 보는 것 같은 조감도(Bird's Eye View)를 제공하는 시스템들이 주류를 이루고 있다.
어라운드 뷰 모니터링 시스템은 영상 정보를 제공하는 장치를 통해 제한된 수의 카메라에서 획득되는 이미지를 이용하여 주변을, 예를 들면 자동차 주위를 360도의 시야 각으로 표시하는 이미지를 생성할 수 있다. 이때 카메라에 장착되는 렌즈는 넓은 시야각을 얻기 위해 어안렌즈 또는 비슷한 유형의 광각 렌즈가 사용될 수 있다. 그런데, 상기 렌즈에 의해 획득된 이미지들은 사람의 시각에 기초하는 이미지들과 다르게 표시되고, 자동차에 설치되는 카메라 렌즈의 방향과는 다르게 최종 출력될 이미지가 탑 뷰(top view) 형태의 이미지이기 때문에 복수의 카메라들에서 획득된 이미지들은 각종 영상 신호 처리를 거쳐야 한다.
이러한 일련의 과정이 필요한 이유는 자동차의 지붕이 정면으로 촬영되도록 자동차에 카메라가 설치될 수 없기 때문이다.
도 1a 내지 도 1c는 기존의 기술에 따라 출력된 영상을 나타내다.
도 1a 내지 도 1c 를 참조하면, 알파 블렌딩이라는 보정 방법에 따른 밝기의 단차 현상이 도 1b에 나타나 있다. 또한 알파 블렌딩이라는 보정 방법에 따른 고스트 현상이 도 1c에 나타나 있다. 고스트(ghost) 현상이란 어느 영역에 존재하지 않는 물체가 마치 유령처럼 존재하는 것처럼 보이는 현상으로, 주변의 픽셀을 이용하여 해당 영역의 픽셀을 보정하는 알파 블렌딩에 의해 발생될 수 있다.
본 발명은 복수의 이미지를 정합하는 과정에서 이미지 정보를 각각 추출하고, 추출된 값을 바탕으로 보정값을 결정한 뒤, 결정된 보정값을 기준으로 중첩 영역에 점진적 보정을 수행한 후, 보정된 이미지를 정합하는 방법을 통하여, 복수의 이미지를 정합하는 과정에서 발생할 수 있는 밝기의 단차 및 고스트 현상을 방지하거나 줄일 수 있는 이미지 정합 방법 및 이미지 정합 장치를 제공하는 것이다.
또한, 본 발명은 복수의 이미지를 정합하는 과정에서 적어도 두 이미지 내 중첩되는 영역에서의 이미지 정보만을 이용하여 보정값을 결정함으로써, 복수의 이미지를 정합하는 과정에서 중첩 영역에 노이즈를 줄일 수 있는 이미지 정합 방법 및 이미지 정합 장치를 제공할 수 있다.
또한, 본 발명은 복수의 이미지를 정합하는 과정에서 적어도 두 이미지가 가지는 정보의 차이값을 결정하고, 복수의 이미지에 정합되는 중첩되는 영역에 결정된 차이값을 점진적으로 반영하여 보정함으로써, 밝기의 단차 및 고스트 현상을 방지하거나 줄일 수 있는 이미지 정합 방법 및 이미지 정합 장치를 제공할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 이미지 정합 방법은 차량에 탑재된 카메라 장치를 통해 획득된 서로 다른 복수의 이미지 각각에서 이미지 정보를 추출하는 단계; 및 추출된 복수의 상기 이미지 정보를 바탕으로 보정 기준에 따른 단계적 차이(gradation)로 적용시켜 상기 복수의 이미지를 보정 및 정합하여 타겟 이미지를 출력하는 단계를 포함할 수 있다.
또한, 상기 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 타겟 이이지를 출력하는 단계는 추출된 상기 이미지 정보를 바탕으로 보정 기준값을 결정하는 단계; 상기 보정 기준값을 단계적 차이(gradation)로 적용시켜 상기 복수의 이미지 각각을 보정하는 단계; 및 보정된 상기 복수의 이미지를 정합하여 타겟 이미지를 출력하는 단계를 포함할 수 있다.
또한, 상기 서로 다른 복수의 이미지는 복수의 카메라 장치에서 획득된 이미지를 탑뷰(top view) 형태로 변환된 이미지일 수 있다.
또한, 상기 보정 기준값은 복수의 상기 이미지 정보에 대한 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나로 결정될 수 있다.
또한, 이미지 정합 방법은 상기 이미지 내 비중첩 영역과 중첩 영역을 설정하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 정보는 상기 복수의 이미지 각각의 전체가 아닌 상기 복수의 이미지 각각에 포함된 상기 중첩 영역에서 추출될 수 있다.
또한, 상기 단계적 차이는 상기 중첩 영역의 중심에서 상기 비중첩 영역의 경계의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 단계적 차이는 상기 비중첩 영역과 상기 중첩 영역의 경계에서 상기 이미지의 끝(edge)의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 단계적 차이는 상기 비중첩 영역의 중심에서 상기 이미지의 끝(edge)의 방사형 방향으로 적용되는 비선형 단계적 차이를 포함할 수 있다.
또한, 상기 타겟 이미지를 출력하는 단계는 보정된 이미지 내 상기 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계; 및 추출된 상기 데이터를 타겟 이미지 내 기 설정된 영역에 배치시키는 단계를 포함할 수 있다.
또한, 상기 이미지 정보를 추출하는 단계는 상기 복수의 이미지를 상기 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계; 및 추출된 상기 데이터에서 상기 이미지 정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 타겟 이미지를 출력하는 단계에서, 상기 단계적 차이는 상기 중첩 영역의 중심에서 상기 비중첩 영역의 경계의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 타겟 이미지를 출력하는 단계에서, 상기 단계적 차이는 상기 추출된 이미지의 중심에서 끝(edge)의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 타겟 이미지를 출력하는 단계에서, 상기 단계적 차이는 상기 추출된 이미지의 중심에서 끝(edge)의 방사형 방향으로 적용되는 비선형 단계적 차이를 포함할 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는, 프로세서에 의해 실행되는 것을 통하여, 전술한 이미지 정합 방법을 실현하는 것을 특징으로 하는 응용 프로그램이 기록될 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 정합 장치는 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하고, 상기 프로세싱 시스템은 상기 이미지 정합 장치가 서로 다른 복수의 이미지 각각에서 이미지 정보를 추출하는 단계; 및 추출된 복수의 상기 이미지 정보를 바탕으로 보정 기준에 따른 단계적 차이(gradation)로 적용시켜 상기 복수의 이미지를 보정 및 정합하여 타겟 이미지를 출력하는 단계를 수행하도록 하고, 상기 서로 다른 복수의 이미지는 복수의 카메라 장치에서 획득된 이미지를 탑뷰(top view) 형태로 변환된 이미지일 수 있다.
또한, 상기 타겟 이이미를 출력하는 단계는 추출된 상기 이미지 정보를 바탕으로 보정 기준값을 결정하는 단계; 상기 보정 기준값을 단계적 차이(gradation)로 적용시켜 상기 복수의 이미지 각각을 보정하는 단계; 및 보정된 상기 복수의 이미지를 정합하여 타겟 이미지를 출력하는 단계를 포함할 수 있다.
또한, 상기 프로세싱 시스템은 상기 이미지 정합 장치가 상기 복수의 이미지 내 비중첩 영역과 중첩 영역을 설정하는 단계를 더 수행하도록 할 수 있다.
또한, 상기 이미지 정보는 상기 복수의 이미지 각각의 전체가 아닌 상기 복수의 이미지 각각에 포함된 상기 중첩 영역에서 추출될 수 있다.
또한, 상기 프로세싱 시스템은 상기 이미지 정합 장치가 상기 이미지 정보를 추출하기 전, 상기 복수의 이미지 내 상기 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계를 더 수행하도록 할 수 있다.
또한, 상기 프로세싱 시스템은 상기 이미지 정합 장치가 상기 복수의 이미지를 보정한 후, 상기 복수의 이미지 내 상기 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계를 더 수행하도록 할 수 있다.
또한, 상기 타겟 이미지를 출력하는 단계는 추출된 상기 데이터를 타겟 이미지 내 기 설정된 영역에 배치시키는 단계를 포함할 수 있다.
또한, 상기 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함하고, 상기 보정 기준값은 복수의 상기 이미지 정보에 대한 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나로 결정될 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 정합 장치는 서로 다른 두 이미지에 중첩 영역과 비중첩 영역을 설정하는 설정부; 상기 두 이미지 각각에서 상기 중첩 영역에 대한 이미지 정보를 추출하는 추출부; 추출된 상기 이미지 정보를 바탕으로 보정 기준값을 결정하는 결정부; 상기 두 이미지의 상기 중첩 영역에 상기 보정 기준값을 단계적 차이(gradation)로 적용시켜 보정하는 보정부; 및 상기 두 이미지를 보정된 상기 중접 영역을 기준으로 정합하는 정합부를 포함할 수 있다.
또한, 상기 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 보정 기준값은 복수의 상기 이미지 정보에 대한 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나로 결정될 수 있다.
또한, 상기 단계적 차이는 상기 중첩 영역의 중심에서 상기 비중첩 영역의 경계의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 단계적 차이는 상기 비중첩 영역과 상기 중첩 영역의 경계에서 상기 이미지의 끝(edge)의 직선 방향으로 적용되는 선형 단계적 차이를 포함할 수 있다.
또한, 상기 단계적 차이는 상기 비중첩 영역의 중심에서 상기 이미지의 끝(edge)의 방사형 방향으로 적용되는 비선형 단계적 차이를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 정합 방법은 복수의 소스 이미지들(source images)을 서로 정합하여 타겟 이미지(target image)를 생성하는 방법으로서, 제1 카메라를 통해 제1 촬상영역을 촬영하여 제1 소스 이미지를 획득하고, 제2 카메라를 통해 제1 촬상영역의 일부와 중첩되는 중첩영역을 포함하는 제2 촬상영역을 촬영하여, 상기 제1 소스 이미지의 일부와 중첩되는 중첩영역을 포함하는 제2 소스 이미지를 획득하는 단계; 상기 제1 소스 이미지와 제2 소스 이미지를 탑 뷰(top view)로 변환하고 AE(auto exposure)를 통하여 밝기를 조절하여 제1 변환 이미지 및 제2 변환 이미지를 획득하는 단계; 상기 제1 변환 이미지의 상기 중첩영역에 대한 제1 이미지 정보 및 상기 제2 변환 이미지의 상기 중첩영역에 대한 제2 이미지 정보를 획득하는 단계; 상기 제1 이미지 정보 및 상기 제2 이미지 정보에 기초하여 보정된 상기 제1 변환 이미지의 적어도 일부가 배치되는 상기 중첩영역 내의 제1 영역; 및 상기 제1 이미지 정보 및 상기 제2 이미지 정보에 기초하여 보정된 상기 제2 변환 이미지의 적어도 일부가 배치되고, 상기 제1 영역과 중첩되지 않는 상기 중첩영역 내의 제2 영역을 포함하는 타겟 이미지를 생성하는 단계를 포함하되, 상기 보정은 상기 제1 영역에 배치된 제1 변환 이미지와 상기 제2 영역에 배치된 제2 변환이미지에 대한 그라데이션 보정을 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명은 복수의 소스 이미지 사이의 밝기 차이로 인한 정합된 타겟 이미지의 밝기 단차를 감소시킬 수 있다.
또한, 복수의 이미지를 정합한 타겟 이미지에서 중첩된 영역에서 발생할 수 있는 고스트 현상을 감소시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1a 내지 도 1c는 기존의 기술에 따라 출력된 영상을 나타낸다.
도 2는 이미지 정합 장치의 블록도이다.
도 3은 이미지 정합 방법을 설명한다.
도 4는 이미지 정보 추출 방법의 제1예를 설명한다.
도 5는 이미지 정보 추출 방법의 제2예를 설명한다.
도 6은 이미지 정합 방법의 흐름도이다.
도 7은 도 6의 S340에 포함되는 단계들에 관한 흐름도이다.
도 8은 본 발명에서 사용되는 용어를 설명하기 위한 타겟 이미지의 개략도이다.
도 9a 내지 9c는 파라미터 C의 크기에 따라 다르게 보정되는 타겟 이미지를 나타내는 예시도이다.
도 10은 이미지 정합 장치의 제1예를 설명한다.
도 11은 이미지 정합 장치의 제2예를 설명한다.
도 12a는 알파 블렌딩 방법에 따라 정합된 타겟 이미지를 나타내는 예시도이다.
도 12b는 본 출원발명의 하나의 실시예에 따라 정합된 타겟 이미지를 나타내는 예시도이다.
도 12c는 알파 블렌딩 및 본 출원발명의 하나의 실시예에 따라 정합된 타겟 이미지를 나타내는 예시도이다.
도 13은 도12a 내지 12c에서 설명한 정합 이미지를 보다 구체적으로 설명하는 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. 또한 제1, 제2 등의 용어는 the first 또는 the second의 의미로 해석되기 보다는 one 또는 another의 의미로 해석되는 것이 더 바람직하다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명에는 제1 카메라 및 제2 카메라가 기재되어 있고, 제1 촬상영역 및 제2 촬상영역이 기재되어 있으나, 이는 하나의 예시에 해당될 뿐이므로 제2 및 제3의 구성요소가 포함됨을 전재로 한다. 즉, 제1 카메라 내지 제4 카메라, 제1 촬상영역 내지 제4 촬상영역, 마찬가지로 제1 소스 이미지 내지 제4 소스 이미지, 제1 변환 이미지 내지 제4 변환 이미지, 및 제1 영역 내지 제2 영역은 본 발명에 포함되어 있는 구성요소들이다.
이하 본 출원발명의 하나의 실시예에 따른 이미지 정합 장치에 대해 설명하기로 한다.
도 2는 본 출원발명의 하나의 실시예에 따른 이미지 정합 장치의 블록도이다.
도 2를 참조하면, 상기 이미지 정합 장치(100)는, 이미지 획득부(110), 이미지 프로세서(120), 이미지정보 획득부(130), 보정부(140)를 포함하고, 추가적으로 제1 연산부(150) 및 제2 연산부(160)을 포함할 수 있다.
상기 이미지 정합 장치(100)는 복수의 소스 이미지들(source images)을 서로 정합하여 타겟 이미지(target image)를 생성한다.
이미지 획득부(110)는, 제1 카메라를 통해 제1 촬상영역을 촬영하여 제1 소스 이미지를 획득하고, 제2 카메라를 통해 제2 촬상영역을 촬영하여, 상기 제1 소스 이미지의 일부와 중첩되는 중첩영역을 포함하는 제2 소스 이미지를 획득한다. 따라서 이미지 획득부 (110)는 카메라를 통해 구현될 수 있다. 상기 카메라는 자동차의 전면(front side), 우측면(right side), 후면(rear side) 및 좌측면(left side)에 구비되는 카메라 모듈인 것이 바람직하다.
이미지 프로세서(120)는 제1 소스 이미지와 제2 소스 이미지의 표시 모드를 탑 뷰(top view)로 변환하고 AE(auto exposure)를 통하여 밝기를 조절한다. 이로써 제1 변환 이미지 및 제2 변환 이미지가 획득될 수 있다.
이미지정보 획득부(130)는 제1 변환 이미지의 제1 이미지 정보 및 제2 변환 이미지의 제2 이미지 정보를 획득한다. 여기서 이미지 정보는, 이미지를 구성하는 픽셀들의 RGB 값, 밝기 등을 포함할 수 있다. 또한 이미지 정보는, RGB 이외의 방식에 의해 표현되는 픽셀 정보를 포함할 수 있다.
보정부(140)는, 제1 이미지 정보 및 제2 이미지 정보에 기초하여 보정된 제1 변환 이미지의 픽셀이 배치되는 중첩영역 내의 제1 영역; 및 제1 이미지 정보 및 제2 이미지 정보에 기초하여 보정된 제2 변환 이미지의 픽셀이 배치되고, 제1 영역에 중첩되지 않는 중첩영역 내의 제2 영역을 포함하는 타겟 이미지를 생성한다. 즉, 보정부(140)는 이미지의 픽셀을 보정함으로써 변환 이미지들을 정합하여 타겟 이미지를 생성한다. 여기서, 보정은 제1 영역에 배치된 제1 변환 이미지의 픽셀과 제2 영역에 배치된 제2 변환이미지의 픽셀의 밝기 또는 색상을 조절하는 그라데이션 보정을 포함한다.
제1 연산부(150)는 변환 이미지들의 밝기를 이용하여 제2 변환 이미지 대비 제1 변환 이미지의 밝기비율을 획득한다.
제2 연산부(160)는 밝기비율을 이용하여 변환 이미지의 보정을 위한 밝기 게인을 연산한다.
여기서, 보정부(140)는, 보정의 정도 및 보정 영역을 설정하고, 상기 밝기 게인에 기초하여 변환 이미지들의 픽셀들을 보정하되, 각 중첩영역의 픽셀들을 제1 영역 및 제2 영역으로 나누어 보정을 하고, 제1 영역 대해서는, 중첩된 2개의 소스 이미지 중에서 제1 영역과 가까운 소스 이미지의 픽셀을 원본으로 하여 상기 원본을 보정하고, 제2 영역에 대해서는, 중첩된 2개의 소스 이미지 중에서 제2 영역과 가까운 나머지 소스 이미지의 픽셀을 원본으로 하여 상기 원본을 보정함에 따라 중첩영역을 중심으로 소스 이미지들이 서로 정합되도록 타겟 이미지를 생성한다.
또한, 상기 이미지 정합 장치는(100) 도면을 통해 개시되어 있지 않은 저장부를 더 포함할 수 있다. 저장부는 각 구성요소의 기능이 발휘되는 순서에 따라 해당 구성요소에 이미지를 제공하기 위해 휘발성이 있는 메모리 또는 비휘발적인 메모리에 상기 이미지를 저장할 수 있다.
또한, 이미지 프로세서(120), 이미지정보 획득부(130), 보정부(140), 제1 연산부(150) 및 제2 연산부(160)는 메모리에 저장된 프로그램 명령(program command)을 실행할 수 있다. 그리고 이미지 프로세서(120), 이미지정보 획득부(130), 보정부(140), 제1 연산부(150) 및 제2 연산부(160)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
또한 메모리는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
한편, 실시예에 따라, 이미지 정합 장치(100)는 복수의 카메라로부터 베이어 패턴 정보를 수신하여 색 보간(color interpolation, demosaicing), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 등의 작업을 선택적으로 수행할 수 있다. 복수의 카메라로부터 베이어 패턴 정보를 수신하여 데이터를 가공, 정합하는 경우, 이미지 정합 장치(100)에 베이어 패턴 정보를 수집, 가공, 정합하는과정을 하나의 이미지 프로세서로 구현할 수도 있다.
이하 본 출원발명의 다른 실시예에 따른 이미지 정합 방법에 대해 설명한다.
도 3은 이미지 정합 방법을 설명한다.
도3을 참조하면, 이미지 정합 방법은 차량에 탑재된 카메라 장치를 통해 획득된 서로 다른 복수의 이미지 각각에서 이미지 정보를 추출하는 단계, 및 추출된 복수의 이미지 정보를 바탕으로 보정 기준에 따른 단계적 차이(gradation)로 적용시켜 복수의 이미지를 보정 및 정합하여 타겟 이미지를 출력하는 단계를 포함할 수 있다.
보다 구체적으로, 이미지 정합 방법은 복수의 카메라 장치에서 획득된 이미지를 탑뷰(top view) 형태로 변환하는 단계(10), 변환된 복수의 이미지 각각에서 이미지 정보를 추출하는 단계(12), 추출된 이미지 정보를 바탕으로 보정 기준값을 결정하는 단계(14), 보정 기준값을 단계적 차이(gradation)로 적용시켜 복수의 이미지 각각을 보정하는 단계(16), 및 보정된 복수의 이미지를 정합하여 타겟 이미지를 출력하는 단계(18)를 포함할 수 있다.
도시되지 않았지만, 타겟 이미지를 출력하는 단계(18)는 보정된 이미지 내 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계, 및 추출된 데이터를 타겟 이미지 내 기 설정된 영역에 배치시키는 단계를 포함할 수 있다.
복수의 카메라가 차량에 탑재되는 경우, 차량의 전, 후, 좌, 우에 대한 영상을 획득할 수 있다. 이러한 영상을 각각 운전자 또는 사용자에게 보여주는 경우, 운전자 또는 사용자는 차량 주변의 정보를 얻을 수 있는 장점이 있지만, 각각의 영상을 개별적으로 보여주는 경우 차량 주변의 상황을 인지하기 어려울 수 있다. 따라서, 차량을 기준으로 서로 다른 방향에서 얻어지는 영상을 정합하여 차량의 위에서 바라본 것과 같은 이미지(예, 탑뷰(top view) 이미지)처럼 운전자 또는 사용자에게 제공할 수 있다면, 운전자 또는 사용자가 차량 주변의 정보를 인지하기 용이할 수 있다.
카메라에서 획득된 이미지를 탑뷰 영상의 형태로 변환하기 위해서는 이미지 내에 객체와 사물에 대한 원근 효과를 제거할 필요가 있다. 차량에 카메라가 설치된 높이와 각도, 카메라의 수평, 수직 화각 정보가 있으면, 카메라를 통해 획득되는 영상 평면과 운전자 또는 사용자에게 보여줄 실제 평면(탑뷰 형태의 타겟이미지 평면)과의 관계를 알 수 있다. 이러한 관계를 이용하여, 카메라에서 획득된 영상 평면을 사용자에게 보여줄 평면으로 변환할 수 있다.
이후, 변환된 복수의 이미지로부터 이미지 정보를 추출할 수 있다(12). 각각의 이미지는 서로 다른 위치에 배치된 카메라로부터 획득된 것이고, 서로 다른 방향의 대상을 촬영한 것이므로, 영상마다 빛의 양이 다를 수 밖에 없다. 예를 들어, 서로 다른 밝기를 가지는 이미지를 단순히 결합하면 노이즈 등에 의해 운전자 또는 사용자의 혼란을 야기할 수 있는 이미지가 제공될 수도 있다. 이러한 점을 예방하기 위해서는 이미지를 정합하기 전에 해당 이미지에 대한 정보를 추출할 필요가 있다. 예를 들어, 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다.
한편, 도시되지 않았지만, 이미지 정합 방법은 이미지 정보를 추출하기 위해 각각의 이미지 내 비중첩 영역과 중첩 영역을 설정하는 단계를 더 포함할 수 있다. 이 경우, 이미지 정보는 복수의 이미지 각각의 전체가 아닌 복수의 이미지 각각에 포함된 중첩 영역에서 추출될 수 있다.
한편, 실시예에 따라, 이미지 정보를 추출하는 단계(12)는 복수의 이미지를 타겟 이미지에 삽입될 영역에 대응하는 영역의 데이터를 추출하는 단계, 및 추출된 데이터에서 이미지 정보를 추출하는 단계를 포함할 수도 있다. 서로 다른 복수의 카메라를 통해 획득된 이미지 중 일부만을 타겟 이미지의 생성을 위해 사용하는 경우, 이미지 전체에 대한 보정 작업을 수행할 필요가 없을 수 있다. 따라서, 획득된 복수의 이미지를 타겟 이미지에 대응하도록 미리 추출하면, 이후 이미지를 보정하는 과정에서 보정 대상 영역이나 보정값을 연산하는 시간이 감소할 수 있다.
각각의 이미지에서 이미지 정보를 추출하면, 이미지 정보를 바탕으로 보정 기준값을 결정할 수 있다(14). 여기서, 보정 기준값은 복수의 이미지 정보에 대한 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나로 결정될 수 있다. 또한, 보정 기준값은 두 이미지 정보의 비율 또는 차이값에 따라 결정될 수도 있다.
보정 기준값이 결정되면, 각각의 이미지를 보정할 수 있다(16). 이때, 이미지 전체에 대해 보정 기준값을 이용하여 보정하기 보다는 다른 이미지와 중첩될 영역에만 보정 기준값을 이용하여 보정할 수 있다. 예를 들어, 이미지 보정은 중첩 영역의 중심에서 비중첩 영역의 경계의 직선 방향으로 적용되는 선형 단계적 차이(gradation) 방법을 적용할 수 있다.
또한 실시예에 따라, 이미지 보정은 이미지 내 비중첩 영역과 중첩 영역의 경계에서 이미지의 끝(edge)의 직선 방향으로 적용되는 선형 단계적 차이 방법을 적용할 수 있다.
한편 실시예에 따라, 이미지 보정은 이미지 내 비중첩 영역의 중심에서 이미지의 끝(edge)의 방사형 방향으로 적용되는 비선형 단계적 차이 방법을 적용할 수도 있다.
만약 이미지를 타겟 이미지에 대응하여 미리 추출한 경우에는 이미지의 중심에서 끝(edge)의 직선 또는 방사향 방향으로 선형 또는 비선형 단계적 차이 방법을 적용하여 이미지를 보정할 수도 있다.
서로 다른 두 이미지를 전술한 방법으로 보정한 후, 두 이미지를 정합할 수 있다(18).
전술한 이미지 정합 방법은 기존의 이미지 정합을 위해 사용되던 알파블렌딩(Alpha Blending) 방법과는 차이가 있다. 일단, 알파 블렌딩은 이미지 위에 또 다른 이미지를 덧씌울 때 알파값을 섞는 연산을 통해, 투명, 반투명 등의 효과를 내거나 두 이미지 색을 섞는 효과를 낼 수 있는 기법을 의미한다. 하지만, 알파 블렌딩은 두 이미지의 값을 알파값을 통해 정합하는 과정에서 노이즈가 발생하거나 이미지가 왜곡될 가능성이 높다. 또한, 알파 블렌딩은 두 물체가 중첩되어 보이는 고스트 현상을 발생시킬 수 있는 단점이 있다.
반면, 전술한 아미지 정합 방법은 정합, 결합, 덧씌움 등이 이루어질 서로 다른 두 이미지를 서로의 이미지 정보를 이용하여 서로의 중첩 영역을 미리 보정한 후 보정된 중첩 영역을 기준으로 정합하기 때문에, 서로 다른 두 이미지가 가지는 밝기 정도에 대한 단차를 미리 상쇄할 수 있고, 알파 블렌딩에서 보이는 고스트 현상을 예방할 수 있다.
도 4는 이미지 정보 추출 방법의 제1예를 설명한다.
도4를 참조하면, 복수의 이미지로부터 이미지 정보를 추출하는 방법은 변환된 이미지 내 비중첩 영역과 중첩 영역을 설정하는 단계(22) 및 중첩 영역에서 이미지 정보를 추출하는 단계(24)를 포함할 수 있다.
여기서, 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다. 이 경우, 복수의 이미지 각각에서 이미지가 서로 중첩될 수 있는 영역에 대한 분석과 보정이 이루어질 수 있고, 이미지 내 비중첩 영역(고유 영역)은 분석과 보정이 이루어지지 않을 수 있다.
도 5는 이미지 정보 추출 방법의 제2예를 설명한다.
도5를 참조하면, 복수의 이미지로부터 이미지 정보를 추출하는 방법은 변환된 이미지를 타겟 이미지에 삽입될 영역에 대응하여 배치하고 추출(cutting)하는 단계(26) 및 추출된 이미지에서 이미지 정보를 추출하는 단계(28)를 포함할 수 있다.
여기서, 이미지 정보는 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다. 이 경우, 복수의 이미지 중 사용되지 않는 이미지 영역을 미리 추출하여 제거한 후, 이미지를 분석, 가공할 수 있어 이미지를 분석, 가공하는 데 소요되는 자원(resource)을 줄일 수 있다.
도 6은 이미지 정합 방법의 흐름도이다.
도 6을 참조하면, 이미지 획득부(110)는 카메라를 이용하여 소스 이미지를 획득한다(S310). 여기서 소스 이미지는 2개 이상일 수 있다. 차량에 카메라가 설치되는 경우에는, 4개의 카메라에 의한 4개의 소스 이미지가 획득되는 것이 가장 바람직하다. 다만 이에 한정되는 것은 아니며, 추가적인 카메라의 설치에 의한 추가적인 소스 이미지가 더 획득될 수 있다. 여기서, 각 소스 이미지는 서로 중첩되도록 획득되는 것이 가장 바람직하다. 즉, 어느 두 개의 소스 이미지는 동일한 피사체 영역을 공통으로 포함하고 있어서, 상기 피사체 영역을 중심으로 두 개의 소스 이미지가 연결될 수 있는 것이 바람직하다.
다음으로 이미지 프로세서(120)는 소스 이미지들의 표시 모드를 탑 뷰(top view)로 변환하고, AE(auto exposure)를 통하여 밝기를 조절하여 변환 이미지를 획득한다(S320). 이 단계에서도 2개 이상, 바람직하게는 4개의 변환 이미지가 획득될 수 있다.
다음으로 이미지정보 획득부(130)는 변환 이미지의 이미지 정보를 획득한다(S330). 이 단계에서도 2개 이상, 바람직하게는 4개의 이미지 정보가 획득될 수 있다.
다음으로 보정부(140)는 제1 이미지 정보 및 제2 이미지 정보에 기초하여 보정된, 제1 변환 이미지의 픽셀이 배치되는 중첩영역 내의 제1 영역과, 제1 이미지 정보 및 상기 제2 이미지 정보에 기초하여 보정된, 제2 변환 이미지의 픽셀이 배치되고, 제1 영역에 중첩되지 않는 중첩영역 내의 제2 영역을 포함하는 타겟 이미지를 생성한다(S340). 여기서, 보정은 제1 영역에 배치된 제1 변환 이미지의 픽셀과 제2 영역에 배치된 제2 변환이미지의 픽셀에 대한 그라데이션 보정을 포함한다. 이 단계에서도 2개 이상, 바람직하게는 4개의 중첩영역을 구성하는 제1 영역 내지 제8 영역에 대해 보정이 수행될 수 있다.
이하 보정 방법에 대해 구체적으로 설명하기로 한다.
도 7은 도 6의 S340에 포함되는 단계들에 관한 흐름도이다.
도 7을 참조하면, 제1 연산부(150)는 변환 이미지들의 밝기를 이용하여 제2 변화 이미지 대비 제1 변환 이미지의 밝기비율을 획득한다(S341). 아래 수학식 1은 밝기비율(R1, R2, R3, R4)을 나타낸다.
Figure PCTKR2017011240-appb-M000001
상기 수학식 1에서 L1 내지 L8은 제1 영역 내지 제8 영역의 밝기를 나타낸다.
도 8은 본 발명에서 사용되는 용어를 설명하기 위한 타겟 이미지의 개략도이다.
도 8을 참조하면, 타겟 이미지 상에 제1 이미지 내지 제4 이미지 및 제1 영역 내지 제8 영역이 도시되어 있다. 그리고 제1 영역 내지 제8 영역이 도시되어 있다. 여기서 예시로서 제1 영역 및 제2 영역은 중첩영역에 해당된다. 타겟 이미지 상에는 모두 4개의 중첩영역이 형성될 수 있다.
또한, 각 영역의 밝기로서 평균 밝기가 사용될 수 있다.
또한, 각 밝기비율로서 오차가 보정된 밝기비율이 사용될 수 있다. 아래 수학식 2는 오차가 보정된 밝기 비율을 나타낸다.
Figure PCTKR2017011240-appb-M000002
다음으로 제2 연산부(160)는 밝기비율을 이용하여 변환 이미지의 보정을 위한 밝기 게인을 연산한다(S342).
아래 수학식 3은 게인 연산을 위한 과정에서 요구되는 밝기비율의 평균값을 나타낸다. 오른쪽 항의 각 요소는 제1 소스 이미지 내지 제4 소스 이미지가 제1 소스 이미지의 밝기로 보정되는 경우에 곱해지는 인자를 각각 나타낸다. 이들 인자들을 4로 나눈 값이 밝기비율의 평균값이다.
Figure PCTKR2017011240-appb-M000003
아래 수학식 4는 밝기 게인(G1, G2, G3, G4)을 나타낸다. 각 밝기 게인은 상기 인자를 상기 밝기비율의 평균값으로 나눔으로써 연산될 수 있다.
Figure PCTKR2017011240-appb-M000004
다음으로 보정부(140)는 보정의 정도 및 보정 영역을 설정하고, 밝기 게인에 기초하여 변환 이미지의 픽셀들을 보정한다(S343).
아래 수학식 5는 보정에 의해 제1 영역 상의 픽셀 값이 변경되는 것을 나타낸다. P1은 보정전의 픽셀 값이고, P1'은 보정 후의 픽셀 값을 나타낸다. 여기서 파라미터 C는 보정의 정도를 나타내고, 파마미터 M1 은 보정 영역을 나타낸다. 보정의 정도는 제1 영역 내지 제8 영역 또는 제1 소스 이미지 내지 제4 소스 이미지 정도의 독립성과 관련되어 있다.
Figure PCTKR2017011240-appb-M000005
도 9a 내지 9c는 파라미터 C의 크기에 따라 다르게 보정되는 타겟 이미지를 나타내는 예시도이다.
도 9a를 참조하면, 도 6a는 C가 0인 경우를 나타낸다. 도 6b를 참조하면, 도 6b는 C가 각각 0.3, 0.7인 경우를 나타낸다. 도 6c를 참조하면, 도 6c는 C가 1인 경우를 나타낸다. 따라서 파라미터 C를 조종함으로써 각 소스 이미지가 독립적으로 보정되는지 아니면 소스 이미지 사이에 영향력을 크게 해서 종속적으로 보정되는지가 조정될 수 있다. C가 0인 경우에 픽셀들은 무채색으로 보정될 수 있다.
여기서, 각 중첩영역의 픽셀들은 제1 영역 및 제2 영역으로 나누어 보정이 된다. 제1 영역 대해서는, 중첩된 2개의 소스 이미지 중에서 제1 영역과 가까운 소스 이미지의 픽셀을 원본으로 하여 상기 원본이 보정된다.
제2 영역에 대해서는, 중첩된 2개의 소스 이미지 중에서 제2 영역과 가까운 나머지 소스 이미지의 픽셀을 원본으로 하여 원본이 보정된다.
결과적으로 중첩영역을 중심으로 소스 이미지들이 서로 정합되어 타겟 이미지가 생성된다.
그 밖에 제2 영역 내지 제8 영역 상의 픽셀들의 보정은 다음 수학식 6에 의해 표현될 수 있다.
Figure PCTKR2017011240-appb-M000006
도 10은 이미지 정합 장치의 제1예를 설명한다.
도 10을 참조하면, 이미지 정합 장치는 서로 다른 두 이미지(I1, I2)에 중첩 영역과 비중첩 영역을 설정하는 설정부(30), 두 이미지 각각에서 중첩 영역에 대한 이미지 정보(B1, B2)를 추출하는 추출부(40), 추출된 이미지 정보(B1, B2)를 바탕으로 보정 기준값(C0)을 결정하는 결정부(50), 두 이미지(I1, I2)의 중첩 영역에 보정 기준값(C0)을 단계적 차이(gradation)로 적용시켜 보정하는 보정부(52), 및 보정된 두 이미지(CI1, CI2)를 보정된 중접 영역을 기준으로 정합하는 정합부(60)를 포함할 수 있다. 여기서, 이미지 정합 장치는 두 개의 이미지(I1, I2)를 정합할 수 있는 장치를 예로 들어 설명하였다. 만약 이미지 정합 장치가 두 개 이상의 이미지를 정합하는 경우, 각각의 이미지를 보정하는 데 필요한 구성요소들이 늘어날 수 있다.
보다 구체적으로, 설정부(30)는 제1이미지(I1)를 전달받아 제1이미지(I1) 내 제2이미지(I2)가 서로 중첩될 수 있는 중첩 영역과 중첩되지 않는 영역(고유 영역)을 설정할 수 있는 제1설정부(32)와 제2이미지(I2)를 전달받아 제2이미지(I2) 내 제1이미지(I1)가 서로 중첩될 수 있는 중첩 영역과 중첩되지 않는 영역(고유 영역)을 설정할 수 있는 제2설정부(34)를 포함할 수 있다.
추출부(40)는 제1이미지(I1)내 중첩 영역에 대한 제1이미지 정보(B1)을 추출하는 제1추출부(42)와 제2이미지(I2)내 중첩 영역에 대한 제2이미지 정보(B2)을 추출하는 제1추출부(44)를 포함할 수 있다. 이때, 추출부(40)가 획득하는 제1 및 제2 이미지 정보(B1, B2)는 제1이미지(I1)와 제2이미지(I2) 내 중첩영역에서의 밝기(brightness) 정보 및 명암대비(contrast) 정보 중 적어도 하나를 포함할 수 있다. 다만, 제1 및 제2 이미지 정보(B1, B2)는 보정을 위해 동일한 종류의 정보일 필요가 있다.
결정부(50)는 제1 및 제2 이미지 정보(B1, B2)를 바탕으로 보정 기준값(C0)을 결정한다. 여기서, 보정 기준값(C0)은 복수의 이미지 정보(B1, B2)에 대한 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나로 결정될 수 있다. 또한, 보정 기준값(C0)은 복수의 이미지 정보(B1, B2)를 바탕으로 서로에 대한 비율로 결정될 수도 있다. 이러한 방식으로 결정되는 보정 기준값(C0)은 서로 다른 두 이미지(I1, I2)의 중첩 영역을 보정하기 위해 서로 다른 이미지의 정보를 참조하여 보정하기 위함이다.
보정부(52)는 보정 기준값(C0)을 바탕으로 제1이미지(I1)를 보정하여 제1보정이미지(CI1)를 출력하는 제1보정부(54) 및 보정 기준값(C0)을 바탕으로 제2이미지(I2)를 보정하여 제2보정이미지(CI2)를 출력하는 제2보정부(56)를 포함할 수 있다. 실시예에 따라, 제1보정부(54)와 제2보정부(56)는 제1이미지(I1)와 제2이미지(I2)를 보정하기 위해 각 이미지 내 비중첩 영역과 중첩 영역의 경계에서 이미지의 끝(edge)의 직선 방향으로 적용되는 선형 단계적 차이(gradation) 방식을 수행할 수 있다.
한편, 실시예에 따라, 제1보정부(54)와 제2보정부(56)는 제1이미지(I1)와 제2이미지(I2)를 보정하기 위해 각 이미지 내 비중첩 영역의 중심에서 이미지의 끝(edge)의 방사형 방향으로 적용되는 비선형 단계적 차이 방식을 수행할 수도 있다.
보정부(52)를 통해 보정된 제1보정이미지(CI1)와 제2보정이미지(CI2)는 정합부(60)에 전달되고, 정합부(60)는 제1보정이미지(CI1)의 중첩 영역과 제2보정이미지(CI2)의 중첩 영역을 기준으로 배치한 후 두 이미지를 합친다. 이러한 방법을 통해, 정합부(60)는 타겟 이미지(TI)를 출력할 수 있다.
도 11은 이미지 정합 장치의 제2예를 설명한다.
도 11을 참조하면, front, right, rear 및 left로 나타낸 제1 변환 이미지 내지 제4 변환 이미지가 구비될 수 있다. 여기서, 변환 이미지 대신에 소스 이미지가 사용될 수 있음은 자명하다. 각 변환 이미지는 고유 영역과 중첩영역으로 구성된다. 전체 중첩 영역은 모두 8개의 부분(제1 영역 내지 제8 영역)으로 나뉠 수 있다. 실선은 픽셀 값을 의미하고 파선은 스칼라 값을 의미한다.
이미지정보 획득부(130)는 중첩 영역에 있는 이미지의 평균 밝기를 획득한다. 획득된 평균 밝기를 기초로 각 영역 간의 밝기비율이 연산된다. 그리고 상기 밝기비율에 기초하여 비율 균형 보정을 하기 위한 최적 보상값이 연산될 수 있다. 또한, 중첩영역 상의 경계선에 위치하는 중심점을 기준으로 0에서 90도 각도 범위에서 보정 범위가 설정될 수 있다. 최종적으로 각도 기반에 의해 계조(그라데이션)가 나타나도록 중첩 영역 상의 이미지가 보정될 수 있다.
상기와 같이 본건 출원발명의 실시예에 따른 이미지 정합 방법에 의하면 기존의 알파 블렌딩에 의한 밝기 단차 및 고스트 현상이 예방될 수 있다. 이 효과를 도면을 통해 확인 할 수 있다.
도 12a는 알파 블렌딩 방법에 따라 정합된 타겟 이미지를 나타내는 예시도이다.
도 12a를 참조하면, 각각의 타겟 이미지는 보정 범위 30도, 60도, 및 90도에 해당된다. 도 12a에서 보정의 범위가 넓어질수록 고스트 현상의 정도가 심해지는 것이 나타나 있다.
도 12b는 본 출원발명의 하나의 실시예에 따라 정합된 타겟 이미지를 나타내는 예시도이다.
도 12b 및 도 12a를 비교하면, 본 발명의 실시예에 따른 이미지 정합 방법에 의해 중첩영역의 이미지가 보정되는 경우, 밝기 단차 및 고스트 현상의 정도가 약해지는 것이 나타나 있다.
마지막으로 도 12c는 알파 블렌딩 및 본 출원발명의 하나의 실시예에 따라 보정된 타겟 이미지를 나타내는 예시도이다.
도 12c를 참조하면, 도 12b의 본 발명의 실시예가 단독으로 사용된 경우보다 밝기 단차 및 고스트 현상이 줄어드는 효과가 크게 나타남을 알 수 있다.
도 13은 도12a 내지 12c에서 설명한 정합 이미지를 보다 구체적으로 설명하는 예시도이다. 전술한 바와 같이, 이미지 정합 장치가 출력하는 정합 이미지는 기존의 알파 블렌딩 기법을 적용한 경우에 비해 보다 고품질의 이미지 또는 영상을 얻을 수 있다. 여기서는 이미지 정합 장치 또는 이미지 처리 장치가 출력할 수 있는 결과물인 정합 이미지를 보다 구체적으로 설명한다. 설명의 편의를 위해, 서로 다른 두 이미지(92, 82)를 정합하여 하나의 정합 이미지(80)을 생성하는 것을 예로 들어 설명한다.
먼저, 서로 다른 두 이미지, 즉 제1이미지(92)와 제2이미지(82)는 각각 비중첩 영역(94, 84)과 중첩 영역(96, 86)을 포함할 수 있다. 여기서, 제1이미지(92)의 중첩영역(96)과 제2이미지(82)의 중첩영역(86)은 겹쳐질 수 있다. 이러한 방식으로 제1이미지(92)와 제2이미지(82)를 정합하면, 하나의 카메라 장치로부터 얻을 수 없는 정보(연속되는 정보(81) 또는 연속되지 않지만 서로 다른 방향의 정보 등)를 하나의 이미지를 얻을 수 있다.
여기서, 제1이미지(92)와 제2이미지(82)는 서로 다른 카메라 장치에서 촬영되어 이미지를 획득하는 환경이 상이하므로, 이미지 밝기가 서로 상이하다. 따라서, 제1이미지(92)와 제2이미지(82)를 아무런 보정없이 정합하면, 두 이미지 사이의 밝기 차이로 인해 사용자에게 제공되는 정보가 왜곡되거나 사용자가 불편을 느낄 수 있다. 이러한 문제를 해결하기 위해, 이미지 밝기를 부분적으로 조정할 수 있다.
예를 들면, 제1이미지(92)의 중첩영역(96)과 제2이미지(82)의 중첩영역(86)의 중심에는 제1경계(90)가 형성될 수 있고, 제1이미지(92)의 중첩영역(96)과 비중첩영역(94)의 사이에 형성되는 제2경계(88) 및 제2이미지(82)의 중첩영역(86)과 비중첩영역(84)의 사이에 형성되는 또 다른 제2경계(98)가 형성될 수 있다.
제1이미지(92)와 제2이미지(82) 각각의 이미지 밝기에 대한 정보가 있다면, 이 정보를 바탕으로, 보정 기준을 설정할 수 있다. 예를 들면, 보정 기준은 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나일 수 있다. 이러한 보정 기준을 제1경계(90)에 적용한 뒤, 제1경계(90)를 기준으로 양측의 제2경계(88,98)의 방향으로 단계적 차이(gradation)를 적용하여 제1이미지(92)의 중첩영역(96)과 제2이미지(82)의 중첩영역(86)의 이미지 밝기를 보정할 수 있다. 제1이미지(92)의 중첩영역(96)과 제2이미지(82)의 중첩영역(86)의 이미지 밝기를 보정한 후, 두 이미지인 제1이미지(92)와 제2이미지(82)를 정합하면, 정합된 이미지(80)에서 부자연스러움이 제거되고, 고품질의 정합 이미지를 얻을 수 있다.
실시예에 따라, 제1경계(90)를 기준으로 양측의 제2경계(88,98)의 방향으로 적용되는 단계적 차이(gradation)는 선형 또는 비선형으로 할 수 있다.
또한, 실시예에 따라, 양측의 제2경계(88,98)에서 제1경계(90)의 방향으로 의 방향으로 단계적 차이(gradation)를 적용하여 이미지 밝기를 보정할 수도 있다.
한편, 실시예에 따라, 제1이미지(92)의 중심부(93)와 제2이미지(82)의 중심부(83)로부터 제1경계(90)까지 이미지 밝기를 선형 또는 방사형의 방향으로 보정할 수도 있다. 또한, 이 경우, 선형 또는 비선형의 단계적 차이(gradation)을 적용할 수 있다.
전술한 과정에서 설명한 제1경계(90), 제2경계(88,98), 및 중심부(83,93)은 실제로 사용자에게 제공될 필요가 있는 기준점은 아니지만, 이미지의 밝기를 보정하기 위해 이미지 처리 장치가 내부적으로 설정할 수 있는 가상의 기준일 수 있다.
본 발명의 도 2 또는 도10에서는 설명의 편의를 위하여, 각 구성을 각각 다른 블록에 도시화하여 예를 들어 설명하였으나, 각각의 구성은 하나의 블록으로 구성될 수 있다. 예를 들면, 각각의 블록은 제어부(controller) 또는 프로세서(processor) 등에 구성되어 전술한 일련의 동작들을 수행할 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 차량의 복수의 카메라로부터 획득된 제1 영상과 제2 영상으로 하나의 정합 이미지를 생성하는 이미지 처리 방법에 있어서,
    상기 정합 이미지는
    상기 제1 영상이 배치되는 제1 영역;
    상기 제2 영상이 배치되는 제2 영역; 및
    상기 제1 영역과 제2 영역에 의해 형성되는 경계를 포함하고
    상기 제1 영역은 상기 경계로부터 기 설정된 위치까지의 제3 영역을 포함하고
    상기 제3 영역의 밝기는 제1 영역의 밝기와 제2 영역의 밝기를 기준으로 증가되거나 감소되는 이미지 처리방법.
  2. 제1항에 있어서,
    상기 제1 영역의 밝기가 상기 제2 영역의 밝기보다 밝은경우
    상기 제3 영역의 밝기는 상기 경계로 갈수록 밝기가 증가되는 이미지 처리방법.
  3. 제1항에 있어서,
    상기 제2 영역의 밝기가 상기 제1 영역의 밝기보다 밝은경우
    상기 제3 영역의 밝기는 상기 경계로부터 감소되는 이미지 처리방법.
  4. 차량에 탑재된 복수의 카메라로 제1 이미지 정보 및 제2 이미지 정보를 포함하는 복수의 이미지정보를 추출하는 단계; 및
    상기 복수의 이미지 정보를 보정 및 정합하여 타겟 이미지를 출력하는 단계를 포함하고,
    상기 타겟 이미지는
    제1 이미지 정보를 이용해 형성된 이미지가 배치되는 제1영역; 및
    제2 이미지 정보를 이용해 형성된 이미지가 배치되고 상기 제1영역 접하여 경계를 형성하는 제2영역을 포함하며,
    상기 제1 영역은 상기 경계에 멀어질수록 밝기가 증가하거나 감소하는 영역을 포함하는, 차량용 이미지 정합 방법.
  5. 제4항에 있어서,
    상기 제2 영역은 상기 경계에서 멀어질수록 밝기가 증가하거나 감소하는 영역을 포함하는 이미지 정합 방법.
  6. 적어도 2개 이상의 서로 다른 소스 이미지를 정합하여 하나의 정합 이미지로 보여주기 위한 이미지 처리 장치에 있어서,
    상기 정합 이미지는
    상기 적어도 2개 이상의 서로 다른 소스 이미지의 일부가 비중첩되어 배치되는 제1영역; 및
    상기 적어도 2개 이상의 서로 다른 소스 이미지가 중첩될 수 있는 제2영역을 포함하고,
    상기 제2영역은 상기 적어도 2개 이상의 서로 다른 소스 이미지의 일부가 맞물리는 제1경계로부터 상기 제1영역과 상기 제2영역의 제2경계까지 이미지 밝기가 단계적 차이로 증가되거나 감소되는, 이미지 처리 장치.
  7. 제6항에 있어서,
    상기 제1경계는 상기 제2영역의 중간이고, 상기 제2경계는 상기 제2영역의 양 끝(edge)인, 이미지 처리 장치.
  8. 제6항에 있어서,
    상기 단계적 차이는 선형 및 비선형 중 하나의 관계를 가지는, 이미지 처리 장치.
  9. 제6항에 있어서,
    상기 제1경계에서의 이미지 밝기는 상기 적어도 2개 이상의 서로 다른 소스 이미지의 밝기의 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나인, 이미지 처리 장치.
  10. 제6항에 있어서,
    상기 제1경계에서의 이미지 밝기는 상기 제1영역의 이미지 밝기의 평균값(average), 중앙값(median), 최빈값(mode), 및 표준편차(standard deviation) 중 적어도 하나인, 이미지 처리 장치.
PCT/KR2017/011240 2016-10-12 2017-10-12 이미지 정합 방법 및 장치 WO2018070799A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780068474.1A CN109906602B (zh) 2016-10-12 2017-10-12 图像匹配方法及装置
EP17861083.8A EP3528492A4 (en) 2016-10-12 2017-10-12 IMAGE MATCHING METHOD AND DEVICE
US16/341,336 US11017508B2 (en) 2016-10-12 2017-10-12 Image matching method and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160132439 2016-10-12
KR10-2016-0132439 2016-10-12
KR1020160165384A KR20180040469A (ko) 2016-10-12 2016-12-06 이미지 정합 방법 및 장치
KR10-2016-0165384 2016-12-06

Publications (1)

Publication Number Publication Date
WO2018070799A1 true WO2018070799A1 (ko) 2018-04-19

Family

ID=61906315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011240 WO2018070799A1 (ko) 2016-10-12 2017-10-12 이미지 정합 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2018070799A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953316A (zh) * 2024-03-27 2024-04-30 湖北楚天龙实业有限公司 一种基于人工智能的图像质检方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377026A2 (en) * 2002-06-21 2004-01-02 Microsoft Corporation Image Stitching
JP3706645B2 (ja) * 1993-10-20 2005-10-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理方法及びシステム
KR101012585B1 (ko) * 2009-07-10 2011-02-07 고려대학교 산학협력단 다채널 영상 정합 시스템 및 그 방법
US20130223758A1 (en) * 2010-08-24 2013-08-29 Hui-Man Hou Stitched Digital Images
WO2015123173A1 (en) * 2014-02-11 2015-08-20 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3706645B2 (ja) * 1993-10-20 2005-10-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理方法及びシステム
EP1377026A2 (en) * 2002-06-21 2004-01-02 Microsoft Corporation Image Stitching
KR101012585B1 (ko) * 2009-07-10 2011-02-07 고려대학교 산학협력단 다채널 영상 정합 시스템 및 그 방법
US20130223758A1 (en) * 2010-08-24 2013-08-29 Hui-Man Hou Stitched Digital Images
WO2015123173A1 (en) * 2014-02-11 2015-08-20 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953316A (zh) * 2024-03-27 2024-04-30 湖北楚天龙实业有限公司 一种基于人工智能的图像质检方法及系统

Similar Documents

Publication Publication Date Title
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2018190649A1 (en) Method and apparatus for generating hdr images
US8106959B2 (en) Image capturing apparatus with aperture correction
WO2016076497A1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
WO2009151292A2 (ko) 영상 변환 방법 및 장치
JP5195841B2 (ja) 車載カメラ装置および車両
WO2015122604A1 (en) Solid-state image sensor, electronic device, and auto focusing method
WO2021141287A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 방법
WO2021101162A1 (ko) 딥 화이트-밸런싱 편집을 위한 방법 및 장치
JP6948810B2 (ja) 画像処理システム
EP2846532A1 (en) System, device and method for displaying a harmonised combined image
WO2018070799A1 (ko) 이미지 정합 방법 및 장치
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2008068884A1 (ja) 画像の色を補正する画像処理装置、および画像処理プログラム
WO2016129796A1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
EP3326359A1 (en) Digital photographing apparatus and digital photographing method
JP4862321B2 (ja) 車載カメラ装置
WO2019117549A1 (en) Imaging apparatus, imaging method, and computer program product
WO2019124622A1 (ko) 줌 렌즈의 광축 보정 방법, 장치 및 컴퓨터 프로그램
WO2022025435A1 (ko) 프로젝터 및 그 제어 방법
WO2018012925A1 (ko) 이미지 생성 방법 및 생성 장치
JP2002271825A (ja) 色合わせ方法、色合わせシステムおよびこれらに用いられるテレビジョンカメラ
KR20180040469A (ko) 이미지 정합 방법 및 장치
WO2021131859A1 (ja) 画像処理装置および画像処理方法
JP7502902B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861083

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017861083

Country of ref document: EP

Effective date: 20190513