WO2013035388A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2013035388A1 WO2013035388A1 PCT/JP2012/063510 JP2012063510W WO2013035388A1 WO 2013035388 A1 WO2013035388 A1 WO 2013035388A1 JP 2012063510 W JP2012063510 W JP 2012063510W WO 2013035388 A1 WO2013035388 A1 WO 2013035388A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image information
- pixel value
- contour
- pixel
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
- G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Definitions
- the present invention relates to an imaging apparatus capable of measuring a three-dimensional shape, for example, an imaging apparatus capable of extracting information such as letters, numbers, symbols, and the like formed in a three-dimensional shape on a curved surface of a product.
- identification information such as product type and production location is often displayed on the product.
- This identification information is used when, for example, information detected by a camera or a person is input to an information terminal to manage a product.
- identification information is often displayed in stamped characters with the aim of reducing the product cost.
- This stamped character can be used to put identification information on a product without the need for the accompanying work by carving information on the mold of the product.
- the information part and the other parts are made of the same material, so that it is difficult to read because the contrast is difficult to obtain visually.
- a camera is a device usually used as a method for mechanically reading the engraved characters. Although it has been studied to read the engraved characters using this camera by devising the illumination method, there are some inconveniences such as reading errors and inability to read because the above-mentioned contrast is difficult to obtain.
- Patent Document 1 three-dimensional data of an approximate curved surface that approximates the shape of the curved surface of the marking object before the marking character is stamped on the marking target object is calculated, and 3 of the curved surface including the marking character is calculated.
- a method of extracting the three-dimensional data of the stamped character from the three-dimensional data and the three-dimensional data of the approximate curved surface is disclosed.
- an object of the present invention is to provide an imaging apparatus that can easily and accurately extract information on symbols such as letters and numbers formed in a three-dimensional manner on a subject.
- an imaging apparatus includes an imaging unit that captures an object having a three-dimensional symbol formed on the surface so that three-dimensional information can be acquired; A three-dimensional measurement processing unit that obtains the three-dimensional information by performing image processing on an image of the subject captured by the photographing unit; Based on the three-dimensional information from the three-dimensional measurement processing unit, a distance for generating distance image information corresponding to the distance between the surface and the symbol of the subject and the photographing unit in the direction from the photographing unit toward the subject An image information generation unit; A change in the distance image information in a preset direction along the surface of the subject is detected, and based on the change in the distance image information, contour image information representing the outline of the symbol formed in a three-dimensional shape is obtained.
- a contour image information generation unit to generate, Based on the contour image information from the contour image information generation unit, pixel value replacement in which the contour represented by the contour image information and the pixel value of the pixel in the contour and the pixel value outside the contour are different from each other It is characterized by having a part.
- the distance image information generation unit based on the three-dimensional information from the three-dimensional measurement processing unit, the surface and symbol of the subject in the direction from the photographing unit to the subject, and the symbol Distance image information corresponding to the distance to the photographing unit is generated.
- the contour image information generation unit detects a change in the distance image information in a preset direction along the surface of the subject, and is formed in the three-dimensional shape based on the change in the distance image information. Outline image information representing the outline of the symbol is generated.
- the pixel value replacement unit obtains the contour represented by the contour image, the pixel value of the pixel in the contour, and the pixel value outside the contour based on the contour image information from the contour image information generation unit. Different pixel values are used.
- the imaging apparatus of the present invention it is possible to extract the contour image information representing the contour of the symbol formed three-dimensionally on the surface of the subject based on the change in the distance image information of the subject.
- the image information of the symbol formed in a three-dimensional shape on the subject can be easily and accurately extracted without performing a complicated process of obtaining the approximate curved surface shape of the surface.
- the symbols include letters, numbers, marks, figures and the like.
- the distance image information generation unit is The distance image information is generated as a pixel value of the distance image based on the distance image information,
- the contour image information generation unit Detecting a change in the distance image information as a change amount in the pixel value; Contour image information representing the positive edge portion of the contour when the change amount of the pixel value of the distance image information is greater than or equal to a preset positive threshold value.
- the change amount of the pixel value of the distance image information is equal to or less than a preset negative threshold value, the change amount of the pixel value of the distance image information is determined as the negative edge portion of the contour.
- the pixel value change of the distance image information is generated as contour image information to represent The contour image information representing the edge portion of the contour is not generated from the quantity.
- the contour image information generation unit when the amount of change in the pixel value of the distance image information is less than the positive threshold and exceeds the negative threshold, The contour image information representing the edge portion of the contour is not generated from the change amount of the pixel value of the image information. This prevents, for example, changes in the distance image information caused by the surface of the subject from being curved and the like from affecting the contour image information, and the characters formed in a three-dimensional manner on the subject, Image information of symbols such as numbers and marks can be extracted more accurately.
- the pixel value replacement unit includes: Based on the contour image information from the contour image information generation unit, the pixel values of the contour and the pixels in the contour represented by the contour image are replaced with pixel values different from the pixel values of the pixels outside the contour.
- the pixel value replacement unit includes: Based on the contour image information from the contour image information generation unit, the pixel value of the pixel outside the contour and the pixel value of the pixel inside the contour and the contour represented by the contour image are replaced with the first pixel value. The pixel value is replaced with a second pixel value different from the first pixel value.
- the contour image information generation unit is The preset direction is defined as a horizontal direction, a vertical direction, or a pixel arrangement direction in the distance image.
- the imaging apparatus of the present invention it is possible to extract the contour image information representing the contour of the symbol formed three-dimensionally on the surface of the subject based on the change in the distance image information of the subject.
- Image information of a symbol formed in a three-dimensional shape on a subject can be easily and accurately extracted without performing a complicated process of obtaining a shape.
- FIG. 1 is a block diagram of a first embodiment of an imaging apparatus of the present invention. It is sectional drawing of the tire as a to-be-photographed object in the said 1st Embodiment. It is a figure which shows typically a mode that the said tire is image
- the pixel value of the character in the contour image and the pixel value in the character contour and the pixel value outside the character contour are different from each other.
- FIG. 1 is a block diagram of a first embodiment of an imaging apparatus of the present invention.
- the imaging apparatus according to the first embodiment includes a stereo camera unit 1 as an image capturing unit and an image processing unit 5 that processes an image of a subject captured by the stereo camera unit 1. Further, in the first embodiment, image data is input from the image processing unit 5 and an image monitor 8 that displays an image based on the image data, and image data is input from the image processing unit 5 and the image is displayed.
- An OCR (Optical Character Rcognition) unit 7 that analyzes information and extracts character data to convert it into an electronic text, and a memory unit 6 that stores image information from the image processing unit 15 are provided.
- OCR Optical Character Rcognition
- the stereo camera unit 1 includes a first imaging device 12 as a right camera, a second imaging device 13 as a left camera, and a first imaging device to which image data captured by the first imaging device 12 is input.
- the first and second image sensors 12 and 13 are CCD image sensors or CMOS image sensors for photographing a subject, respectively.
- the first imaging DSP unit 14 controls the first imaging element 12 and digitally processes and outputs the image data from the first imaging element 12, and the second imaging DSP.
- the unit 15 controls the second image sensor 13 and digitally processes the image data from the second image sensor 13 and outputs it. That is, the stereo camera unit 1 has first and second imaging systems.
- the image data output from the first and second imaging DSPs 14 and 15 are input to the image processing unit 5 and subjected to various image processing for extracting a character image to be described later.
- the memory unit 6 includes a working memory and a processor program storage memory when the image processing unit 5 performs image processing.
- the OCR unit 7 is a character recognition device that identifies the character represented by the image data by collating the image data from the image processing unit 5 with a prestored pattern, and the image processing unit Characters can be recognized by the image data from 5.
- each pixel of the captured image of the tire 10 that is the subject is (X, Y) with the image center of the second image sensor 13 as the left camera as the origin. , Z) coordinates are obtained.
- a region U surrounded by a broken line is a shooting region by the stereo camera unit 1.
- the first image sensor 12 as the right camera is arranged at a certain interval in the X-axis direction from the second image sensor 13 as the left camera.
- FIG. 2A shows a cross section of the tire 10.
- a stamp character is formed on the stamp character surface 10A of the tire 10. Note that the principle of stereo measurement by the stereo camera unit 1 is well known, and many known materials are available, so the description thereof is omitted here.
- the stereo camera part 1 photographs the stamped character surface 10A of the tire 10 as shown in FIG. 2B.
- the engraved character face 10 ⁇ / b> A of the tire 10 is photographed from the front generally by the stereo camera unit 1.
- the image processing unit 5 includes a camera control unit 50, and the camera control unit 50 controls an imaging operation by the stereo camera unit 1.
- the image processing unit 5 includes a three-dimensional measurement processing unit 51 and a distance image information generation unit 52.
- the three-dimensional measurement processing unit 51 performs image processing on an image of a subject (for example, the tire 10) taken by the stereo camera unit 1 to obtain three-dimensional information of the subject.
- the distance image information generation unit 52 based on the three-dimensional information, the surface of the subject (engraved in the Z-axis direction in FIG. 2B) from the stereo camera unit 1 toward the subject (for example, the tire 10).
- Distance image information corresponding to the distance between the character face 10A) and the character and the stereo camera unit 1 is generated.
- This distance image information is represented by, for example, a pixel value that represents the density of the pixels of the distance image represented by the distance image information.
- the image processing unit 5 includes a differentiation processing unit 53 as a contour image information generation unit and a pixel value replacement processing unit 55.
- the differential processing unit 53 is a symbol formed in a three-dimensional shape based on a change in the distance image information in a preset direction (X-axis direction) along the surface of the subject (engraved character surface 10A).
- the contour image information representing the contour of the image is generated.
- the pixel value replacement processing unit 55 sets the pixel value of the contour and the pixels in the contour represented by the contour image information to different pixel values from the pixel values outside the contour based on the contour image information. To do.
- FIG. 4A a character “N1” as a symbol formed (engraved) in a three-dimensional shape on a marking character surface 10A that is a curved side surface of a tire 10 as a subject.
- symbol 31 has shown the character upper surface of the left vertical-bar part of character "N".
- step S1 the stereo camera unit 1 is controlled by the camera control unit 50 so that the tire character 10A and the three-dimensional information of the characters “N1” of the tire 10 as a subject can be obtained.
- the engraved character face 10A is photographed. That is, the first and second imaging elements 12 and 13 image the engraved character face 10A and the characters “N1”, and the image data from the first and second imaging elements 12 and 13 Through digital signal processing by the first and second imaging DSPs 14 and 15, they are output as digitized image data.
- the three-dimensional measurement processing unit 51 of the image processing unit 5 performs stereo measurement from the image data from the stereo camera unit 1 so that the imprinted character surface 10A and the characters “N1” are recorded. Get 3D information.
- the Z-axis coordinate values along the A-A ′ line in FIG. 4A of the engraved character surface 10A and the three-dimensional character “N1” are represented as shown in FIG. 4B.
- reference numeral 41 indicates a line segment representing the Z-axis coordinate value along the A-A ′ line of the portion corresponding to the character upper surface 31 of FIG. 4A.
- step S3 the distance image information generation unit 52 of the image processing unit 5 goes from the stereo camera unit 1 to the stamped character face 10A of the tire 10 as an example of the subject based on the three-dimensional information.
- Distance image information corresponding to the distance between the stamped character face 10A and the character “N1” in the direction (Z-axis direction in FIG. 2B) and the stereo camera unit 1 is generated.
- the distance reference point zero point
- the distance image information the distance between the engraved character face 10A and the character “N1” can be converted into a pixel value, and the distance image can be displayed on the image monitor 8 by this pixel value.
- the distance image represents the shape of the stamped character face 10A of the tire 10 as a subject and the character “N1” with the shading of the image. Will be.
- a monochrome distance image is generated, a portion closer to the stereo camera unit 1 in the engraved character face 10A and the character “N1” is displayed in white.
- a distance image is obtained using an image captured by the second image sensor 13 of the stereo camera unit 1 as an original image and an image center of the second image sensor 13 as an origin. Therefore, the distance image indicates, for example, that the closer the Z coordinate value of the engraved character face 10A and the character “N1” is to 0 (the shorter the distance from the stereo camera unit 1), the more the distance corresponding to the point. Display image pixels white.
- the maximum pixel value of each pixel of the distance image is 255 corresponding to white, and the minimum pixel value of each pixel is 0 corresponding to black.
- the distance image information generation unit 52 sets the pixel value Qn obtained by the above expression (1) from the Z-axis coordinate value Zn of any pixel in the original image as the pixel value of the pixel. Can be obtained.
- the pixel value of the pixel is distance image information.
- FIG. 5A shows a distance image of an image obtained by photographing the engraved character face 10A and the character “N1” shown in FIG. 4A.
- FIG. 4B shows the Z-axis coordinate values along the line AA ′ in FIG. 4A.
- FIG. 4C shows a pixel value obtained by converting the Z-axis coordinate value along the line AA ′ in FIG. 4B by the above equation (1).
- step S4 the distance image information based on the pixel values of the pixels output from the distance image information generation unit 52 is subjected to differentiation processing by the differentiation processing unit 53 serving as the contour image information generation unit.
- This differentiation process will be described with reference to FIGS. 6A to F.
- FIG. 6A assume that there is an image as shown in FIG. 6A.
- the coordinates of each pixel are represented by (i, j).
- the pixel values of the 6 ⁇ 4 pixels in the white portion are all 1, and each pixel in the square frame portion shaded around the 6 ⁇ 4 pixels in the white portion is shown.
- the pixel values are all 0.
- the pixel values along the line B-B 'in FIG. 6A of this image are shown in FIG. 6B. Differentiating the image using a spatial filter.
- FIG. 6C shows filter coefficients a [ ⁇ 1, ⁇ 1] to a [1, 1] of the 3 ⁇ 3 spatial filter. That is, the filter characteristic of this 3 ⁇ 3 spatial filter is determined by the filter coefficient a [m, n] (m and n are integers, ⁇ 1 ⁇ m ⁇ 1, ⁇ 1 ⁇ n ⁇ 1).
- FIG. 6D shows filter coefficients when the values of the filter coefficients a [m, n] of the 3 ⁇ 3 spatial filter are as follows.
- the filter coefficient of the 3 ⁇ 3 spatial filter is an example of a spatial filter that performs a differentiation process in the X direction (i direction) on the original image shown in FIG. 6A.
- the 3 ⁇ 3 spatial filter calculates a pixel value after differentiation processing for each pixel of the original image based on the following equation (2).
- f [i, j] is a pixel value of a pixel of the original image
- g [i, j] is a pixel value after calculation (after differentiation processing).
- the pixel value after differentiation processing is set to 0 for a pixel to which a spatial filter cannot be applied, such as the pixel (1, 1) (a pixel forming the outer edge of the image in the example of FIG. 6A).
- the pixel value after filtering by the 3 ⁇ 3 spatial filter can be calculated as in the following equation (2) ′.
- FIG. 6E shows the pixel value of each pixel of the image after performing the differentiation process using the 3 ⁇ 3 spatial filter on each pixel of the original image shown in FIG. 6A.
- FIG. 6F shows pixel values along the line BB ′ of the image after differentiation shown in FIG. 6E. As shown in FIGS. 6E and 6F, in the original image shown in FIG.
- the pixel value is replaced with a value other than 0 in the vicinity of the portion where the pixel value changes in the i direction (shading change portion). That is, in the image after the differentiation process, the shade change portion of the original image is extracted. A portion extracted from the image after the differentiation process is referred to as an edge portion here.
- the differentiation process is performed in the portion where the pixel value changes from a pixel having a small pixel value to a pixel having a large pixel value (dark portion to bright portion) along the i direction.
- the pixel value is replaced with a positive pixel value.
- a portion replaced with the positive pixel value is defined as a positive edge portion.
- a portion where the pixel value changes from a pixel having a large pixel value to a pixel having a small pixel value (a portion having a high density to a dark portion) along the i direction has a pixel value obtained by the above differentiation process.
- Replaced with a negative pixel value The portion replaced with the negative pixel value is defined as a negative edge portion.
- FIG. 4D A distance image after differentiation processing that becomes a pixel value after differentiation processing can be obtained as a contour image.
- the marking character surface 10A as the ground surface shown in FIG. 4A is a curved surface, as shown in FIG. 4D, the change in the pixel value of the portion corresponding to the ground surface (the marking character surface 10A) is subjected to the differential processing. Appear in the distance image. For this reason, there are cases where the positive edge portion and the negative edge portion cannot be distinguished simply depending on whether the pixel value of the distance image after the differentiation process is positive or negative. Therefore, in this embodiment, in order to clearly distinguish the positive edge portion and the negative edge portion of the distance image, a predetermined positive threshold th1 and negative threshold th2 are set. Yes.
- the differentiation processing unit 53 sets a portion where the pixel value of the distance image after the differentiation processing is equal to or more than the positive threshold th1 as a positive edge portion, and the pixel value of the distance image after the differentiation processing
- the portion having the negative threshold value th2 or less is defined as a negative edge portion, and the pixel values of the positive edge portion and the negative edge portion are maintained as they are.
- the pixel value of the portion where the pixel value of the distance image after the differentiation process is less than the positive threshold th1 and exceeds the negative threshold is set to zero.
- FIG. 4E shows the pixel values of the contour image after processing by the differentiation processing unit 53 using the positive and negative threshold values th1 and th2.
- FIG. 4E shows pixel values of the contour image along the line A-A ′ of FIG. 4A.
- the pixel value of the contour image is contour image information.
- the differential processing unit 53 performs the differential processing using the spatial filter on the distance image shown in FIG. 5A based on the distance image information obtained by the distance image information generating unit 52, so that FIG. A distance image (contour image) after the differential processing shown can be obtained.
- FIG. 5B the positive edge portion is drawn with a thick solid line, and the negative edge portion is drawn with a thick broken line.
- processing such as adding a predetermined pixel value to the pixels of all the images after differentiation by the spatial filter is performed at the time of display.
- the negative pixel value may be eliminated and displayed on the image monitor 8.
- This pixel value replacement process is a process for extracting image information of “N1” as a symbol formed on the stamped character face 10A of the tire 10 as the subject.
- the character portion formed by the portion between (broken line) is a portion having a pixel value larger than the surrounding in FIG. 4C showing the pixel value of the distance image.
- the character portion is a portion having a Z-axis coordinate value smaller than the surroundings, that is, a stereo camera portion. It is a part close to 1.
- the positive edge portion, the negative edge portion, and the portion between both portions of the contour image in FIG. 5B may be considered as a stamped character portion representing “N1”.
- the stamped character portion is referred to as an extracted pixel.
- the pixel value replacement processing unit 55 performs pixel value replacement processing on the contour image, whereby the pixel value of the extracted pixel is different from the pixel value of the non-extracted pixel that is not the extracted pixel. Replace with a value.
- the pixel value replacement process replaces the pixel value of the extracted pixel with the first pixel value and replaces the pixel value of the non-extracted pixel with a second pixel value different from the first pixel value.
- the first pixel value is black
- the second pixel value is another color.
- the pixel value of the extracted pixel is set to 0 (black) and the pixel value of the non-extracted pixel is set to 255 (white) with respect to the pixel value of the contour image shown in FIG. 4E.
- pixel values after the text processing shown in FIG. 4F are obtained.
- Positions i to f in FIG. 4E correspond to positions i to f in FIG. 4F, respectively.
- the image after the pixel value replacement shown in FIG. 5C can be obtained.
- the character image shown in FIG. 5C is obtained from the distance image shown in FIG. 5A, and the target character information “N1” can be extracted.
- step S6 the image information of the character image shown in FIG. 5C is input to the OCR unit 7 so that the characters imprinted on the imprinted character surface 10A are recognized as the characters “N” and “1”. Is done.
- the three-dimensional measurement processing unit 51 obtains the three-dimensional information of the stamped character face 10A of the tire 10 as an example of the subject and the characters “N1” by stereo measurement. .
- the distance image information generation unit 52 generates distance image information of the characters “N1” based on the three-dimensional information.
- the differential processing unit 53 as the contour image information generating unit performs differential processing on the distance image information using the spatial filter, thereby obtaining the symbol “N1” formed in a three-dimensional shape on the stamped character surface 10A.
- Outline image information representing the outline can be extracted.
- the subject (tire 10) is three-dimensionally based on the distance image information of the subject (tire 10) without performing a complicated process of obtaining an approximate curved surface shape of the surface of the subject.
- the contour image information of the symbol “N1” formed in the shape can be extracted easily and accurately.
- the pixel value replacement processing operation of the pixel value replacement processing unit 55 of the image processing unit 5 is different from that of the first embodiment.
- the pixel value replacement processing unit 55 sets the pixel value of the extracted pixel in the i direction to 0 (black) with respect to the pixel value of the contour image illustrated in FIG. Pixel value replacement processing was performed to set the pixel value to 255 (white).
- the character information extracted by the pixel value replacement process may be a pixel value necessary for the next process such as character display or character recognition.
- the pixel of the extracted pixel The combination of the value and the pixel value of the non-extracted pixel may be a combination that can realize a contrast higher than the required value.
- the contrast C between the pixel value of the extracted pixel and the pixel value of the non-extracted pixel is given by the following equation (3).
- the pixel value Lmax of the following equation (3) is the larger pixel value (Lmax> Lmin) of the pixel value Lmax and the pixel value Lmin, and the pixel value Lmax is calculated from the extracted pixel.
- the pixel value is the pixel value of the non-extracted pixel.
- the pixel value Lmax is the pixel value of the non-extracted pixel
- the pixel value Lmin is the pixel value of the extracted pixel.
- the differential processing unit 53 performs the differential processing by the spatial filter in the i direction (X direction) on the distance image information.
- the direction of differentiation processing by the differentiation processing unit 53 is not limited to the i direction (X direction).
- the direction of differentiation processing by the differentiation processing unit 53 is performed in the j direction (Y direction).
- FIG. 7A shows filter coefficients of an example of a 3 ⁇ 3 spatial filter used when the differentiation processing unit 53 performs differentiation processing in the j direction (Y direction).
- FIG. 7A shows the case where the values of the filter coefficients a [m, n] (m, n are integers, ⁇ 1 ⁇ m ⁇ 1, ⁇ 1 ⁇ n ⁇ 1) of the 3 ⁇ 3 spatial filter are as follows: The filter coefficient is shown.
- the 3 ⁇ 3 spatial filter used in the third embodiment is obtained by changing the filter coefficient of the 3 ⁇ 3 spatial filter used in the above-described first embodiment. Calculate the pixel value.
- the differential image obtained by the differential processing unit 53 performing differential processing on the distance image shown in FIG. 5A using the 3 ⁇ 3 spatial filter having the filter coefficient shown in FIG. 7A is shown in FIG. 7B. Show. In FIG. 7B, the positive edge portion in the j direction is drawn with a thick solid line, and the negative edge portion is drawn with a thick broken line.
- the pixel value replacement processing unit 55 performs pixel value replacement processing on the differential image (contour image) of FIG. 7B generated by the differential processing unit 53.
- This pixel value replacement process includes a positive edge portion (solid line) and a negative edge portion (broken line) in the j direction, and a portion between the positive edge portion (solid line) and the negative edge portion (broken line). This is done by setting the pixel value of the stamped character portion (extracted pixel) to 0 (black) and the pixel value of the non-extracted pixel other than the stamped character portion to 255 (white). Thereby, the character image shown in FIG. 7C is obtained, and the character information “N1” can be extracted.
- the pixel value of the non-extracted pixel may correspond to gray.
- the differential processing when the direction of the differential processing for the distance image is performed in the direction along the line of pixels of the i direction or the j direction, the differential processing is performed in another direction different from the i direction or the j direction.
- the configuration of the spatial filter can be simplified as compared with the case of performing.
- the pixel value replacement process for extracting character information can be performed by detecting the pixels and therefore the positive edge part and the negative edge part, the pixel value replacement process can be executed easily and easily.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
この撮像装置によれば、距離画像情報生成部(52)は、3次元計測処理部(51)からのタイヤ(10)の刻印文字面(10A)および記号「N1」の3次元情報に基づいて、ステレオカメラ部(1)からタイヤ(10)に向かう方向(Z軸方向)における刻印文字面(10A)および記号「N1」とステレオカメラ部(1)との間の距離に応じた距離画像情報を生成する。微分処理部(53)は、上記距離画像情報を刻印文字面(10A)に沿った予め設定された方向に沿って微分処理して、刻印文字面(10A)に3次元状に形成された文字「N1」の輪郭を表す輪郭画像情報を生成する。画素値置換処理部(55)は、上記輪郭画像情報に基づいて、輪郭画像が表す輪郭および輪郭内の画素の画素値と輪郭外の画素値とを互いに異なる画素値にする。被写体に3次元状に形成された文字,数字等の記号の画像情報を簡単かつ正確に抽出できる。
Description
この発明は、3次元形状を計測できる撮像装置に関し、例えば、製品の曲面に3次元状に形成された文字,数字,記号等の情報を抽出できる撮像装置に関する。
従来、製品の管理を行うに当たって、製品の種類や生産場所等の識別情報を製品に表示することが多く行われている。この識別情報を、カメラや人間が検出して検出した情報を情報端末に入力し、製品の管理を行う際等に利用されている。
このような識別情報の表示方法としては、識別情報が記載されたシールの貼付やバーコードの印刷等が採用されているが、これらの方法は印刷や貼付作業等の情報表示に付随する作業が必要となり、製品コストを押し上げる原因となる。
そこで、最近では、製品コストの低価格化を狙って識別情報が刻印文字で表示されることが多くなっている。この刻印文字は、製品の金型に情報を刻むことで、上記付随作業を必要とせずに識別情報を製品に載せることができる。
一方、上記刻印文字を採用した場合、刻印文字で表示された情報を読取る必要があるが、刻印文字は樹脂や金属に打刻されており、判読が難しいという課題がある。
一般に、刻印文字は、情報部分とそれ以外の部分とが同じ材質であるので、視覚的にコントラストが取り難いことが判読が困難な原因としてある。この刻印文字を機械的に読取る方法として通常用いられる装置がカメラである。このカメラを用い、照明方法を工夫して刻印文字を読取ることが検討されているが、上記のコントラストが取りにくいという理由により読み取りミスや読取れないといった不具合が散見されている。
そこで、上記カメラによる2次元画像からの読み取り以外に、刻印文字を含む部分の3次元情報を取得し、この3次元情報から、刻印文字の情報を抽出する方法が、特許文献1(特開2009-301411号公報)に開示されている。
ところで、この特許文献1では、刻印対象物に刻印文字が刻印される前の刻印対象物の曲面の形状を近似した近似曲面の3次元データを算出して、上記刻印文字を含んだ曲面の3次元データと、上記近似曲面の3次元データとから、上記刻印文字の3次元データを抽出する方法が開示されている。
しかし、この特許文献1に開示の方法では、上記刻印対象物の曲面の形状を近似した近似曲面の3次元データの算出処理が必ずしも簡便ではなく、また、上記刻印対象物の曲面形状を必ずしも精度良く再現できるとは限らず、算出した3次元データによる近似曲面による近似が不完全、もしくは不正確な場合には刻印文字情報の抽出ができない、もしくは不正確になるという問題が生ずる。
そこで、この発明の課題は、被写体に3次元状に形成された文字,数字等の記号の情報を簡単かつ正確に抽出できる撮像装置を提供することにある。
上記課題を解決するため、この発明の撮像装置は、表面に3次元状に記号が形成された被写体を3次元情報が取得可能なように撮影する撮影部と、
上記撮影部が撮影した上記被写体の画像を画像処理して上記3次元情報を得る3次元計測処理部と、
上記3次元計測処理部からの上記3次元情報に基づき、上記撮影部から上記被写体に向かう方向における上記被写体の表面および記号と上記撮影部との間の距離に応じた距離画像情報を生成する距離画像情報生成部と、
上記被写体の表面に沿った予め設定された方向における上記距離画像情報の変化を検出し、上記距離画像情報の変化に基づいて、上記3次元状に形成された記号の輪郭を表す輪郭画像情報を生成する輪郭画像情報生成部と、
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像情報が表す輪郭および上記輪郭内の画素の画素値と上記輪郭外の画素値とを互いに異なる画素値にする画素値置換部と
を備えたことを特徴としている。
上記撮影部が撮影した上記被写体の画像を画像処理して上記3次元情報を得る3次元計測処理部と、
上記3次元計測処理部からの上記3次元情報に基づき、上記撮影部から上記被写体に向かう方向における上記被写体の表面および記号と上記撮影部との間の距離に応じた距離画像情報を生成する距離画像情報生成部と、
上記被写体の表面に沿った予め設定された方向における上記距離画像情報の変化を検出し、上記距離画像情報の変化に基づいて、上記3次元状に形成された記号の輪郭を表す輪郭画像情報を生成する輪郭画像情報生成部と、
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像情報が表す輪郭および上記輪郭内の画素の画素値と上記輪郭外の画素値とを互いに異なる画素値にする画素値置換部と
を備えたことを特徴としている。
この発明の撮像装置によれば、上記距離画像情報生成部は、上記3次元計測処理部からの上記3次元情報に基づき、上記撮影部から上記被写体に向かう方向における上記被写体の表面および記号と上記撮影部との間の距離に応じた距離画像情報を生成する。そして、上記輪郭画像情報生成部は、上記被写体の表面に沿った予め設定された方向における上記距離画像情報の変化を検出し、上記距離画像情報の変化に基づいて、上記3次元状に形成された記号の輪郭を表す輪郭画像情報を生成する。そして、上記画素値置換部は、上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像が表す上記輪郭および上記輪郭内の画素の画素値と上記輪郭外の画素値とを互いに異なる画素値にする。
このように、本発明の撮像装置によれば、被写体の距離画像情報の変化に基づいて、被写体の表面に3次元状に形成された記号の輪郭を表す輪郭画像情報を抽出できるので、被写体の表面の近似曲面形状を求めるという複雑な処理を行なうことなく、被写体に3次元状に形成された記号の画像情報を簡単かつ正確に抽出できる。なお、本発明において、上記記号とは、文字,数字,印,図形等を含む。
また、一実施形態の撮像装置では、上記距離画像情報生成部は、
上記距離画像情報を、上記距離画像情報による距離画像の画素値として生成し、
上記輪郭画像情報生成部は、
上記距離画像情報の変化を上記画素値の変化量として検出し、
上記距離画像情報の画素値の変化量が、予め設定された正のしきい値以上である場合に、上記距離画像情報の画素値の変化量を上記輪郭の正のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、予め設定された負のしきい値以下である場合に、上記距離画像情報の画素値の変化量を上記輪郭の負のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、上記正のしきい値未満かつ上記負のしきい値を超えている場合に、上記距離画像情報の画素値の変化量から上記輪郭のエッジ部分を表す輪郭画像情報を生成しない。
上記距離画像情報を、上記距離画像情報による距離画像の画素値として生成し、
上記輪郭画像情報生成部は、
上記距離画像情報の変化を上記画素値の変化量として検出し、
上記距離画像情報の画素値の変化量が、予め設定された正のしきい値以上である場合に、上記距離画像情報の画素値の変化量を上記輪郭の正のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、予め設定された負のしきい値以下である場合に、上記距離画像情報の画素値の変化量を上記輪郭の負のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、上記正のしきい値未満かつ上記負のしきい値を超えている場合に、上記距離画像情報の画素値の変化量から上記輪郭のエッジ部分を表す輪郭画像情報を生成しない。
この実施形態によれば、上記輪郭画像情報生成部は、上記距離画像情報の画素値の変化量が、上記正のしきい値未満かつ上記負のしきい値を超えている場合に、上記距離画像情報の画素値の変化量から上記輪郭のエッジ部分を表す輪郭画像情報を生成しない。これにより、例えば、上記被写体の表面が湾曲していること等に起因する上記距離画像情報の変化が上記輪郭画像情報に影響することを防いで、上記被写体に3次元状に形成された文字,数字,印等の記号の画像情報をより正確に抽出できる。
また、一実施形態の撮像装置では、上記画素値置換部は、
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像が表す上記輪郭および上記輪郭内の画素の画素値を、上記輪郭外の画素の画素値とは異なる画素値に置き換える。
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像が表す上記輪郭および上記輪郭内の画素の画素値を、上記輪郭外の画素の画素値とは異なる画素値に置き換える。
この実施形態によれば、上記被写体に3次元状に形成された文字,数字,印等の記号の画像情報をより明確に抽出できる。
また、一実施形態の撮像装置では、上記画素値置換部は、
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像が表す上記輪郭および上記輪郭内の画素の画素値を第1の画素値に置き換えると共に上記輪郭外の画素の画素値を上記第1の画素値とは異なる第2の画素値に置き換える。
上記輪郭画像情報生成部からの上記輪郭画像情報に基づいて、上記輪郭画像が表す上記輪郭および上記輪郭内の画素の画素値を第1の画素値に置き換えると共に上記輪郭外の画素の画素値を上記第1の画素値とは異なる第2の画素値に置き換える。
この実施形態によれば、上記被写体に3次元状に形成された文字,数字,印等の記号の画像情報をより明確に抽出できる。
また、一実施形態の撮像装置では、上記輪郭画像情報生成部は、
上記予め設定された方向を、上記距離画像における水平方向または垂直方向もしくは画素の並び方向とする。
上記予め設定された方向を、上記距離画像における水平方向または垂直方向もしくは画素の並び方向とする。
この実施形態によれば、上記被写体に3次元状に形成された文字,数字,印等の記号の画像情報をより簡単,容易に抽出できる。
この発明の撮像装置によれば、被写体の距離画像情報の変化に基づいて、被写体の表面に3次元状に形成された記号の輪郭を表す輪郭画像情報を抽出できるので、被写体の表面の近似曲面形状を求めるという複雑な処理を行なうことなく、被写体に3次元状に形成された記号の画像情報を簡単かつ正確に抽出できる。
以下、この発明を図示の実施の形態により詳細に説明する。
(第1の実施の形態)
図1は、この発明の撮像装置の第1実施形態のブロック図である。この第1実施形態の撮像装置は、撮影部としてのステレオカメラ部1と、このステレオカメラ部1が撮影した被写体の画像を処理する画像処理部5を備える。さらに、この第1実施形態は、上記画像処理部5から画像データが入力されると共に上記画像データによる画像を表示する画像モニタ8と、上記画像処理部5から画像データが入力されると共に上記画像情報を解析して文字データを抽出して電子テキスト化するOCR(Optical Character Rcognition)部7と、上記画像処理部15から画像情報を記憶するメモリ部6を備える。
図1は、この発明の撮像装置の第1実施形態のブロック図である。この第1実施形態の撮像装置は、撮影部としてのステレオカメラ部1と、このステレオカメラ部1が撮影した被写体の画像を処理する画像処理部5を備える。さらに、この第1実施形態は、上記画像処理部5から画像データが入力されると共に上記画像データによる画像を表示する画像モニタ8と、上記画像処理部5から画像データが入力されると共に上記画像情報を解析して文字データを抽出して電子テキスト化するOCR(Optical Character Rcognition)部7と、上記画像処理部15から画像情報を記憶するメモリ部6を備える。
上記ステレオカメラ部1は、右カメラとしての第1の撮像素子12と左カメラとしての第2の撮像素子13、および上記第1の撮像素子12で撮像した画像データが入力される第1の撮像用DSP(デジタル信号処理)部14と上記第2の撮像素子13で撮像した画像データが入力される第2の撮像用DSP(デジタル信号処理)部15を有する。
上記第1,第2の撮像素子12,13は、それぞれ、被写体を撮影するCCD撮像素子またはCMOS撮像素子である。また、上記第1の撮像用DSP部14は、第1の撮像素子12を制御すると共に上記第1の撮像素子12からの画像データをデジタル信号処理して出力し、上記第2の撮像用DSP部15は、第2の撮像素子13を制御すると共に上記第2の撮像素子13からの画像データをデジタル信号処理して出力する。すなわち、上記ステレオカメラ部1は、第1,第2の2つの撮像系を有している。上記第1,第2の撮像用DSP部14,15から出力される画像データは、画像処理部5に入力されて、後述する文字画像を抽出するための各種画像処理が行なわれる。
上記メモリ部6は、上記画像処理部5が画像処理を行なう際の作業メモリ、プロセッサプログラム格納用メモリを含む。また、上記OCR部7は、上記画像処理部5からの画像データを予め記憶されたパターンと照合することにより、上記画像データが表している文字を特定する文字認識装置であり、上記画像処理部5からの画像データにより文字認識することができる。
上記ステレオカメラ部1では、第1の撮像素子12および第2の撮像素子13による2つの画像が取得される。これら2つの画像から、ステレオ計測の原理にて被写体の3次元情報を得ることができる。具体的には、例えば、図2Bに示すように、左カメラとしての第2の撮像素子13の画像中心を原点としたときに、被写体であるタイヤ10の撮像画像の各画素について(X,Y,Z)座標が得られる。図2Bでは、破線で囲まれた領域Uがステレオカメラ部1による撮影領域となる。また、図2Bには示していないが、右カメラとしての第1の撮像素子12は、左カメラとしての第2の撮像素子13から、X軸方向に或る間隔を隔てて配置される。図2Aには、上記タイヤ10の断面を示している。このタイヤ10の刻印文字面10Aに刻印文字が形成される。なお、上記ステレオカメラ部1によるステレオ計測の原理については、周知であり、公知の資料が多く入手可能であるため、ここでは説明を省略する。
上記タイヤ10の刻印文字面10Aに形成された刻印文字の画像情報を抽出するために、図2Bに示すように、ステレオカメラ部1により、タイヤ10の刻印文字面10Aを撮影する。ここでは、ステレオカメラ部1により、タイヤ10の刻印文字面10Aを、概略正面から撮影している。
図1に示すように、上記画像処理部5は、カメラ制御部50を有し、このカメラ制御部50は、上記ステレオカメラ部1による撮像動作を制御する。また、上記画像処理部5は、3次元計測処理部51と、距離画像情報生成部52を有する。上記3次元計測処理部51は、上記ステレオカメラ部1が撮影した被写体(例えばタイヤ10)の画像を画像処理して上記被写体の3次元情報を得る。また、上記距離画像情報生成部52は、上記3次元情報に基づいて、上記ステレオカメラ部1から上記被写体(例えばタイヤ10)に向かう方向(図2BのZ軸方向)における上記被写体の表面(刻印文字面10A)および文字と上記ステレオカメラ部1との間の距離に応じた距離画像情報を生成する。この距離画像情報は、例えば、上記距離画像情報が表す距離画像の画素の濃淡を表現する画素値で表わされる。
また、上記画像処理部5は、輪郭画像情報生成部としての微分処理部53と、画素値置換処理部55を有する。上記微分処理部53は、上記被写体の表面(刻印文字面10A)に沿った予め設定された方向(X軸方向)における上記距離画像情報の変化に基づいて、上記3次元状に形成された記号の輪郭を表す輪郭画像情報を生成する。また、上記画素値置換処理部55は、上記輪郭画像情報に基づいて、上記輪郭画像情報が表す上記輪郭および上記輪郭内の画素の画素値と上記輪郭外の画素値とを互いに異なる画素値にする。
次に、図3のフローチャートに沿って、この実施形態の撮像装置の動作を説明する。ここでは、一例として、図4Aに示すように、被写体としてのタイヤ10の曲面状の側面である刻印文字面10Aに、3次元状に形成(刻印)された記号としての「N1」という文字を抽出する場合を説明する。図4Aにおいて、符号31は、文字「N」の左側縦棒部分の文字上面を示している。
まず、ステップS1では、上記ステレオカメラ部1は、上記カメラ制御部50による制御により、被写体としてのタイヤ10の刻印文字面10Aおよび「N1」という文字の3次元情報が得られるように、タイヤ10の刻印文字面10Aを撮影する。すなわち、上記第1,第2の撮像素子12,13により、上記刻印文字面10Aおよび「N1」という文字が撮像され、この第1,第2の撮像素子12,13からの画像データは、上記第1,第2の撮像用DSP部14,15によるデジタル信号処理を経て、デジタル化された画像データとして出力される。
次に、ステップS2に進み、上記画像処理部5の3次元計測処理部51は、上記ステレオカメラ部1からの画像データからステレオ計測することにより、上記刻印文字面10Aおよび「N1」という文字の3次元情報を得る。上記3次元情報によれば、刻印文字面10Aおよび3次元状の「N1」という文字の図4AのA‐A’線に沿ったZ軸座標値が、図4Bに示すように表される。図4Bにおいて、符号41は、図4Aの文字上面31に対応する部分のA‐A’線に沿ったZ軸座標値を表す線分を示している。
次に、ステップS3に進み、上記画像処理部5の距離画像情報生成部52は、上記3次元情報に基づき、上記ステレオカメラ部1から上記被写体の一例としてのタイヤ10の刻印文字面10Aに向かう方向(図2BのZ軸方向)における上記刻印文字面10Aおよび文字「N1」と上記ステレオカメラ部1との間の距離に対応した距離画像情報を生成する。なお、上記距離の基準点(零点)は、上記Z軸上のどこであってもよい。この距離画像情報によって、上記刻印文字面10Aおよび文字「N1」の上記距離を、画素値に変換することができ、この画素値によって上記画像モニタ8に距離画像を表示できる。例えば、上記画素値が、上記距離を画素の濃淡によって表す情報とすると、上記距離画像は、画像の濃淡でもって、被写体としてのタイヤ10の刻印文字面10Aおよび文字「N1」の形状が表現されることになる。一例として、モノクロの距離画像を生成する場合、上記刻印文字面10Aおよび文字「N1」のうちの上記ステレオカメラ部1に近い部分ほど白く表示されることとなる。
この実施形態では、一例として、上記ステレオカメラ部1の第2の撮像素子13による撮像画像を元画像とし、上記第2の撮像素子13の画像中心を原点として、距離画像を得る。したがって、上記距離画像は、例えば、上記刻印文字面10Aおよび文字「N1」のZ座標値が0に近い点ほど(ステレオカメラ部1からの距離が短い点ほど)、その点に対応する上記距離画像の画素を白く表示する。ここで、上記距離画像の各画素の最大の画素値を白色に対応する255とし、上記各画素の最小の画素値を黒色に対応する0とする。この場合、上記元画像内の各画素の3次元情報において最大のZ軸座標値Zmaxの画素値Qmaxを255に割り当て、最小のZ座標値Zminの画素値Qminを0に割り当てると、任意のZ座標値であるZnに割り当てられる画素値Qnは、次式(1)で得られる。
Qn=255×(Zn-Zmin)/(Zmax-Zmin) … (1)
そして、距離画像情報生成部52が、上記元画像内の任意の画素のZ軸座標値Znから上式(1)にて得られる画素値Qnをその画素の画素値とすることで、距離画像を得ることができる。上記画素の画素値が距離画像情報である。一例として、図4Aに示す刻印文字面10Aおよび文字「N1」を撮影した画像を距離画像化したものを、図5Aに示す。また、図4AのA-A’線に沿ったZ軸座標値を図4Bに示している。また、図4Bの上記A-A’線に沿ったZ軸座標値を上式(1)で変換した画素値を、図4Cに示す。
そして、距離画像情報生成部52が、上記元画像内の任意の画素のZ軸座標値Znから上式(1)にて得られる画素値Qnをその画素の画素値とすることで、距離画像を得ることができる。上記画素の画素値が距離画像情報である。一例として、図4Aに示す刻印文字面10Aおよび文字「N1」を撮影した画像を距離画像化したものを、図5Aに示す。また、図4AのA-A’線に沿ったZ軸座標値を図4Bに示している。また、図4Bの上記A-A’線に沿ったZ軸座標値を上式(1)で変換した画素値を、図4Cに示す。
次に、ステップS4では、上記距離画像情報生成部52が出力する上記画素の画素値による距離画像情報を、上記輪郭画像情報生成部としての微分処理部53によって微分処理する。この微分処理について、図6A~図Fを参照して説明する。まず、図6Aに示すような画像があるとする。この画像の画素数は、10×8=80である。各画素の座標は、(i,j)で表される。図6Aにおいて、白抜き部分の6×4画素の各画素の画素値は全て1であるとし、この白抜き部分の6×4画素の周囲の網掛けを施した四角枠状部分の各画素の画素値は全て0であるとする。この画像の図6AのB‐B’線に沿った画素値を、図6Bに示す。上記画像に対して空間フィルタを用いて微分処理を行なう。
図6Cは、3×3空間フィルタのフィルタ係数a[-1,-1]~a[ 1, 1]を示す。すなわち、この3×3空間フィルタのフィルタ特性は、フィルタ係数a[m, n](m,nは整数、-1≦m≦1、-1≦n≦1)によって決まる。図6Dは、上記3×3空間フィルタのフィルタ係数a[m, n]の各値を下記の値とした場合のフィルタ係数を示している。
a[-1,-1]=-1、a[ 0,-1]=0、a[ 1,-1]=1
a[-1, 0]=-1、a[ 0, 0]=0、a[-1, 1]=1
a[-1, 1]=-1、a[ 0, 1]=0、a[ 1, 1]=1
この3×3空間フィルタのフィルタ係数は、図6Aに示す元画像に対して、X方向(i方向)に微分処理を施す空間フィルタの一例である。この3×3空間フィルタは、上記元画像の各画素について、次式(2)に基づいて、微分処理後の画素値を計算する。ここで、f[i,j]を、元画像の画素の画素値とし、g[i,j]を計算後(微分処理後)の画素値とする。ただし、画素(1,1)のように空間フィルタが適用できない画素(図6Aの一例では画像の外縁をなす画素)については微分処理後の画素値を0とする。
a[-1, 0]=-1、a[ 0, 0]=0、a[-1, 1]=1
a[-1, 1]=-1、a[ 0, 1]=0、a[ 1, 1]=1
この3×3空間フィルタのフィルタ係数は、図6Aに示す元画像に対して、X方向(i方向)に微分処理を施す空間フィルタの一例である。この3×3空間フィルタは、上記元画像の各画素について、次式(2)に基づいて、微分処理後の画素値を計算する。ここで、f[i,j]を、元画像の画素の画素値とし、g[i,j]を計算後(微分処理後)の画素値とする。ただし、画素(1,1)のように空間フィルタが適用できない画素(図6Aの一例では画像の外縁をなす画素)については微分処理後の画素値を0とする。
例えば、図6Aの元画像の注目画素(3,3)について、上記3×3空間フィルタによるフィルタ処理後の画素値は、次式(2)’のように計算できる。
(-1)×0 + 0×0 + 1×0 +
(-1)×0 + 0×1 + 1×1 +
(-1)×0 + 0×1 + 1×1 = 2 … (2)’
そして、図6Aに示した元画像の各画素に対して、上記3×3空間フィルタによる微分処理を行なった後の画像の各画素の画素値を、図6Eに示す。また、図6Eに示す微分処理後の画像のB-B’線に沿った画素値を、図6Fに示す。図6E,図6Fに示すように、図6Aに示す元画像について、i方向に画素値が変化している部分(濃淡変化部分)の周辺では画素値が0以外の値に置き換えられている。すなわち、上記微分処理後の画像では、上記元画像の濃淡変化部分が抽出されている。この微分処理後の画像で抽出された部分を、ここではエッジ部分と呼ぶことにする。
(-1)×0 + 0×1 + 1×1 +
(-1)×0 + 0×1 + 1×1 = 2 … (2)’
そして、図6Aに示した元画像の各画素に対して、上記3×3空間フィルタによる微分処理を行なった後の画像の各画素の画素値を、図6Eに示す。また、図6Eに示す微分処理後の画像のB-B’線に沿った画素値を、図6Fに示す。図6E,図6Fに示すように、図6Aに示す元画像について、i方向に画素値が変化している部分(濃淡変化部分)の周辺では画素値が0以外の値に置き換えられている。すなわち、上記微分処理後の画像では、上記元画像の濃淡変化部分が抽出されている。この微分処理後の画像で抽出された部分を、ここではエッジ部分と呼ぶことにする。
具体的には、図6Aに示す元画像において、上記i方向に沿って、画素値が小さい画素から画素値が大きい画素(濃度が暗い部分から明るい部分)へ変化する部分では、上記微分処理によって画素値が正の値の画素値に置き換えられる。この正の値の画素値に置き換えられた部分を正エッジ部分とする。一方、図6Aに示す元画像において、上記i方向に沿って、画素値が大きい画素から画素値が小さい画素(濃度が明るい部分から暗い部分)へ変化する部分は、上記微分処理によって画素値が負の値の画素値に置き換えられる。この負の値の画素値に置き換えられた部分を負エッジ部分とする。
上述したような上記3×3空間フィルタによる微分処理を、図4Cに示す画素値を有する距離画像に対して行なうことによって、図4AのA-A’線に沿った画素値が図4Dに示す微分処理後の画素値となる微分処理後の距離画像を輪郭画像として得ることができる。
ここで、図4Aに示す下地面としての刻印文字面10Aが曲面である場合、図4Dに示すように、この下地面(刻印文字面10A)に対応する部分の画素値の変化が微分処理後の距離画像に現れる。このため、単純に、上記微分処理後の距離画像の画素値の正,負によって、正エッジ部分と負エッジ部分を区別できない場合がある。そこで、この実施形態では、上記距離画像の正エッジ部分と負エッジ部分を明確に区別できるようにするために、予め定められた正のしきい値th1と負のしきい値th2を設定している。すなわち、上記微分処理部53は、上記微分処理後の距離画像の画素値が、上記正のしきい値th1以上である部分を正エッジ部分とし、上記微分処理後の距離画像の画素値が、上記負のしきい値th2以下である部分を負エッジ部分とし、上記正エッジ部分と負エッジ部分の画素値をそのまま維持する。一方、上記微分処理後の距離画像の画素値が、上記正のしきい値th1未満かつ上記負のしきい値を超える部分の画素値を0とする。この正,負のしきい値th1,th2を用いた上記微分処理部53による処理後の輪郭画像の画素値を、図4Eに示す。図4Eは、図4AのA-A’線に沿った輪郭画像の画素値を示している。上記輪郭画像の画素値は、輪郭画像情報である。
このように、上記微分処理部53が、距離画像情報生成部52で得た距離画像情報による図5Aに示す距離画像に対して、上記空間フィルタを用いた微分処理を行なうことで、図5Bに示す微分処理後の距離画像(輪郭画像)を得ることができる。図5Bでは、上記正エッジ部分を太い実線で描いており、上記負エッジ部分を太い破線で描いている。
なお、実際には負の値の画素を表示することはできないので、表示の際には上記空間フィルタによる微分処理後の全画像の画素に対して所定の画素値を加算する等の処理をすることで、負の画素値をなくしてから画像モニタ8に表示すればよい。
次に、ステップS5に進み、上記画素値置換処理部55により、上記微分処理部53で生成した輪郭画像情報に対して、画素値置き換え処理を行なう。この画素値置き換え処理は、上記被写体としてのタイヤ10の刻印文字面10Aに形成された記号としての「N1」の画像情報を抽出するための処理である。
上述の如く、図5Bに示す微分処理後の距離画像(輪郭画像)において、i方向についての正エッジ部分(実線)と負エッジ部分(破線)と、上記正エッジ部分(実線)と負エッジ部分(破線)との間の部分とが構成する文字部分は、距離画像の画素値を示す図4Cにおいては、周囲よりも画素値が大きい部分である。また、上記文字部分は、刻印文字面10Aおよび3次元状の「N1」という文字のZ軸座標値を表している図4Bにおいては、周囲よりもZ軸座標値が小さい部分、つまりステレオカメラ部1に近い部分である。
すなわち、図5Bの輪郭画像の正エッジ部分と負エッジ部分および両部分間の部分は、「N1」を表す刻印文字部分と考えてよい。ここで、上記刻印文字部分を抽出画素と呼ぶことにする。そして、上記画素値置換処理部55は、上記輪郭画像に対して、上記画素値置き換え処理を行なうことによって、上記抽出画素の画素値を上記抽出画素ではない非抽出画素の画素値とは異なる画素値に置き換える。この画素値置き換え処理によって、図5Bの輪郭画像を画素値置換え後の画像に変換することで、文字部分を画像内で際立たせることができる。なお、上記画素値置き換え処理によって、上記抽出画素の画素値を第1の画素値に置き換えると共に上記非抽出画素の画素値を上記第1の画素値とは異なる第2の画素値に置き換えてもよい。一例として、上記第1の画素値を黒色とし、上記第2の画素値を他の色とする。これにより、上記文字部分をより鮮明化することができる。
例えば、上記画素値置き換え処理を、図4Eに示す輪郭画像の画素値に対して、i方向について抽出画素の画素値を0(黒色)とし、非抽出画素の画素値を255(白色)とする処理とすると、図4Fに示す文字化処理後の画素値が得られる。図4Eのa~fのi方向位置は、それぞれ、図4Fのa~fのi方向位置に対応している。また、図5Bに示す輪郭画像に対して、上述と同様の画素値置き換え処理を実行することで、図5Cに示す画素値置き換え後の画像を得ることができる。これにより、図5Aに示す距離画像から、図5Cに示す文字画像が得られ、目的とする「N1」という文字情報を抽出できる。
次に、ステップS6で、図5Cに示す文字画像の画像情報を、OCR部7に入力することで、刻印文字面10Aに刻印された文字が「N」と「1」という文字であるとして認識される。
このように、この実施形態の撮像装置によれば、3次元計測処理部51は、ステレオ計測により、被写体の一例としてのタイヤ10の刻印文字面10Aおよび「N1」という文字の3次元情報を得る。そして、距離画像情報生成部52は、上記3次元情報に基づき、上記「N1」という文字の距離画像情報を生成する。そして、輪郭画像情報生成部としての微分処理部53は、上記距離画像情報を、上記空間フィルタを用いて微分処理することで、刻印文字面10Aに3次元状に形成された記号「N1」の輪郭を表す輪郭画像情報を抽出できる。よって、この実施形態によれば、被写体の表面の近似曲面形状を求めるという複雑な処理を行なうことなく、上記被写体(タイヤ10)の距離画像情報に基づいて、上記被写体(タイヤ10)に3次元状に形成された記号「N1」の輪郭画像情報を簡単かつ正確に抽出できる。
(第2の実施の形態)
次に、この発明の撮像装置の第2実施形態を説明する。この第2実施形態では、画像処理部5の画素値置換処理部55の画素値置き換え処理動作が、前述の第1実施形態と異なる。前述の第1実施形態の説明では、画素値置換処理部55は、図4Eに示す輪郭画像の画素値に対して、i方向について抽出画素の画素値を0(黒色)とし、非抽出画素の画素値を255(白色)とする画素値置き換え処理を行なった。
次に、この発明の撮像装置の第2実施形態を説明する。この第2実施形態では、画像処理部5の画素値置換処理部55の画素値置き換え処理動作が、前述の第1実施形態と異なる。前述の第1実施形態の説明では、画素値置換処理部55は、図4Eに示す輪郭画像の画素値に対して、i方向について抽出画素の画素値を0(黒色)とし、非抽出画素の画素値を255(白色)とする画素値置き換え処理を行なった。
しかし、上記画素値置き換え処理において、必ずしも上記画素値(0および255)を用いる必要はない。すなわち、画素値置き換え処理によって抽出した文字情報が、文字の表示、文字の認識等の次の処理に必要な画素値であればよい。例えば、上記文字情報の文字部分の画素値と非文字部分の画素値で得られるコントラストが、上記文字表示,文字認識等の処理に求められる値以上であることが求められる場合、抽出画素の画素値と非抽出画素の画素値との組合せは、上記求められる値以上のコントラストが実現できるような組み合わせであればよい。抽出画素の画素値と非抽出画素の画素値とによるコントラストCは、次式(3)で与えられる。この実施形態の一例の場合、次式(3)の画素値Lmaxは、画素値Lmaxと画素値Lminのうちの大きい方の画素値(Lmax>Lmin)であり、上記画素値Lmaxを抽出画素の画素値とし、上記画素値Lminを非抽出画素の画素値とする。あるいは、逆に、上記画素値Lmaxを非抽出画素の画素値とし、上記画素値Lminを抽出画素の画素値とする。
C=(Lmax-Lmin)/(Lmax+Lmin) … (3)
例えば、コントラストCが0.7以上必要で、Lminが10という条件であれば、Lmaxは57以上であればよく、例えば、抽出画素の画素値を10、非抽出画素の画素値を60とすればよい。
例えば、コントラストCが0.7以上必要で、Lminが10という条件であれば、Lmaxは57以上であればよく、例えば、抽出画素の画素値を10、非抽出画素の画素値を60とすればよい。
(第3の実施の形態)
次に、この発明の撮像装置の第3実施形態を説明する。この第3実施形態は、輪郭画像情報生成部としての微分処理部53による微分処理の内容が、前述の第1実施形態と異なる。前述の第1実施形態では、微分処理部53は、上記距離画像情報に対して、上記空間フィルタによる微分処理をi方向(X方向)に行った。しかし、微分処理部53による微分処理の方向は、上記i方向(X方向)に限るものではない。この第3実施形態では、例えば、微分処理部53による微分処理の方向を、j方向(Y方向)に行う。この微分処理部53でj方向(Y方向)に微分処理を行なう場合に用いる3×3空間フィルタの一例のフィルタ係数を、図7Aに示す。図7Aは、上記3×3空間フィルタのフィルタ係数a[m, n](m,nは整数、-1≦m≦1、-1≦n≦1)の各値を下記の値とした場合のフィルタ係数を示している。
次に、この発明の撮像装置の第3実施形態を説明する。この第3実施形態は、輪郭画像情報生成部としての微分処理部53による微分処理の内容が、前述の第1実施形態と異なる。前述の第1実施形態では、微分処理部53は、上記距離画像情報に対して、上記空間フィルタによる微分処理をi方向(X方向)に行った。しかし、微分処理部53による微分処理の方向は、上記i方向(X方向)に限るものではない。この第3実施形態では、例えば、微分処理部53による微分処理の方向を、j方向(Y方向)に行う。この微分処理部53でj方向(Y方向)に微分処理を行なう場合に用いる3×3空間フィルタの一例のフィルタ係数を、図7Aに示す。図7Aは、上記3×3空間フィルタのフィルタ係数a[m, n](m,nは整数、-1≦m≦1、-1≦n≦1)の各値を下記の値とした場合のフィルタ係数を示している。
a[-1,-1]=-1、a[ 0,-1]=-1、a[ 1,-1]=-1
a[-1, 0]= 0、a[ 0, 0]= 0、a[-1, 1]= 0
a[-1, 1]= 1、a[ 0, 1]= 1、a[ 1, 1]= 1
この第3実施形態で用いる3×3空間フィルタは、前述の第1実施形態で用いる3×3空間フィルタのフィルタ係数を変更したものであり、前述の式(2)にしたがって、微分処理後の画素値を計算する。この第3実施形態において、微分処理部53が、図7Aに示すフィルタ係数を有する3×3空間フィルタを用いて、図5Aに示す距離画像を微分処理して得られる微分画像を、図7Bに示す。図7Bでは、上記j方向についての正エッジ部分を太い実線で描いており、負エッジ部分を太い破線で描いている。
a[-1, 0]= 0、a[ 0, 0]= 0、a[-1, 1]= 0
a[-1, 1]= 1、a[ 0, 1]= 1、a[ 1, 1]= 1
この第3実施形態で用いる3×3空間フィルタは、前述の第1実施形態で用いる3×3空間フィルタのフィルタ係数を変更したものであり、前述の式(2)にしたがって、微分処理後の画素値を計算する。この第3実施形態において、微分処理部53が、図7Aに示すフィルタ係数を有する3×3空間フィルタを用いて、図5Aに示す距離画像を微分処理して得られる微分画像を、図7Bに示す。図7Bでは、上記j方向についての正エッジ部分を太い実線で描いており、負エッジ部分を太い破線で描いている。
この第3実施形態において、微分処理部53が生成した図7Bの微分画像(輪郭画像)に対して、上記画素値置換処理部55により、画素値置き換え処理を行なう。この画素値置き換え処理は、上記j方向についての正エッジ部分(実線)と負エッジ部分(破線)と、上記正エッジ部分(実線)と負エッジ部分(破線)との間の部分とが構成する刻印文字部分(抽出画素)の画素値を0(黒色)とし、上記刻印文字部分以外の非抽出画素の画素値を255(白色)とすることで行なわれる。これにより、図7Cに示す文字画像が得られ、「N1」という文字情報を抽出できる。なお、上記非抽出画素の画素値は、灰色に対応するものとしてもよい。
上記第1,第3実施形態のように、距離画像に対する微分処理の方向をi方向あるいはj方向という画素の並びに沿った方向で行う場合、i方向やj方向とは異なる他の方向で微分処理を行う場合に比べて、空間フィルタの構成を簡単にできる。また、文字情報を抽出するための画素値置き換え処理も画素並びにしたがって正エッジ部と負エッジ部を検出することで可能となるから、上記画素値置き換え処理を簡単,容易に実行できる。
尚、上記第1~第3実施形態では、被写体がタイヤである場合の一例を説明したが、被写体はタイヤに限らないことは勿論である。また、上記第1~第3実施形態では、被写体としてのタイヤ10の刻印文字面10Aに3次元状に形成された記号としてのアルファベットの「N」と数字の「1」を読み取る場合を説明したが、本発明の撮像装置が読み取る記号としては、文字,数字の他に印,図形等であってもよい。
1 ステレオカメラ部
5 画像処理部
6 メモリ部
7 OCR部
8 画像モニタ部
10 タイヤ
10A 刻印文字面
12 第1の撮像素子
13 第2の撮像素子
14 第1の撮像用DSP部
15 第2の撮像用DSP部
50 カメラ制御部
51 3次元計測処理部
52 距離画像情報生成部
53 微分処理部
55 画素値置換部
5 画像処理部
6 メモリ部
7 OCR部
8 画像モニタ部
10 タイヤ
10A 刻印文字面
12 第1の撮像素子
13 第2の撮像素子
14 第1の撮像用DSP部
15 第2の撮像用DSP部
50 カメラ制御部
51 3次元計測処理部
52 距離画像情報生成部
53 微分処理部
55 画素値置換部
Claims (5)
- 表面(10A)に3次元状に記号が形成された被写体(10)を3次元情報が取得可能なように撮影する撮影部(1)と、
上記撮影部(1)が撮影した上記被写体(10)の画像を画像処理して上記3次元情報を得る3次元計測処理部(51)と、
上記3次元計測処理部(51)からの上記3次元情報に基づき、上記撮影部(1)から上記被写体(10)に向かう方向における上記被写体(10)の表面(10A)および記号と上記撮影部(1)との間の距離に応じた距離画像情報を生成する距離画像情報生成部(52)と、
上記被写体(10)の表面(10A)に沿った予め設定された方向における上記距離画像情報の変化を検出し、上記距離画像情報の変化に基づいて、上記3次元状に形成された記号の輪郭を表す輪郭画像情報を生成する輪郭画像情報生成部(53)と、
上記輪郭画像情報生成部(53)からの上記輪郭画像情報に基づいて、上記輪郭画像情報が表す輪郭および上記輪郭内の画素の画素値と上記輪郭外の画素値とを互いに異なる画素値にする画素値置換部(55)と
を備えたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
上記距離画像情報生成部(52)は、
上記距離画像情報を、上記距離画像情報による距離画像の画素値として生成し、
上記輪郭画像情報生成部(53)は、
上記距離画像情報の変化を上記画素値の変化量として検出し、
上記距離画像情報の画素値の変化量が、予め設定された正のしきい値以上である場合に、上記距離画像情報の画素値の変化量を上記輪郭の正のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、予め設定された負のしきい値以下である場合に、上記距離画像情報の画素値の変化量を上記輪郭の負のエッジ部分を表す輪郭画像情報として生成し、上記距離画像情報の画素値の変化量が、上記正のしきい値未満かつ上記負のしきい値を超えている場合に、上記距離画像情報の画素値の変化量から上記輪郭のエッジ部分を表す輪郭画像情報を生成しないことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置において、
上記画素値置換部(55)は、
上記輪郭画像情報生成部(53)からの上記輪郭画像情報に基づいて、上記輪郭画像情報が表す輪郭画像の上記輪郭および上記輪郭内の画素の画素値を、上記輪郭外の画素の画素値とは異なる画素値に置き換えることを特徴とする撮像装置。 - 請求項1から3のいずれか1つに記載の撮像装置において、
上記画素値置換部(55)は、
上記輪郭画像情報生成部(53)からの上記輪郭画像情報に基づいて、上記輪郭画像情報が表す輪郭画像の上記輪郭および上記輪郭内の画素の画素値を第1の画素値に置き換えると共に上記輪郭外の画素の画素値を上記第1の画素値とは異なる第2の画素値に置き換えることを特徴とする撮像装置。 - 請求項1から4のいずれか1つに記載の撮像装置において、
上記輪郭画像情報生成部(53)は、
上記予め設定された方向を、上記距離画像における水平方向または垂直方向もしくは画素の並び方向とすることを特徴とする撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-193997 | 2011-09-06 | ||
JP2011193997 | 2011-09-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013035388A1 true WO2013035388A1 (ja) | 2013-03-14 |
Family
ID=47831851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/063510 WO2013035388A1 (ja) | 2011-09-06 | 2012-05-25 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2013035388A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020126109A1 (de) * | 2018-12-17 | 2020-06-25 | Gom Gmbh | Verfahren zur erkennung von symbolen |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02260076A (ja) * | 1989-03-31 | 1990-10-22 | Aisan Ind Co Ltd | 刻印確認装置 |
JPH10118975A (ja) * | 1996-10-18 | 1998-05-12 | Komatsu Ltd | ハンドリング位置認識方法および認識装置 |
JPH10222608A (ja) * | 1997-02-06 | 1998-08-21 | Toyota Motor Corp | 文字検査方法及び装置 |
JP2001174228A (ja) * | 1999-12-14 | 2001-06-29 | Kawasaki Steel Corp | 刻印読取装置 |
JP2006163662A (ja) * | 2004-12-06 | 2006-06-22 | Nissan Motor Co Ltd | 指本数認識装置および方法 |
JP2010197313A (ja) * | 2009-02-26 | 2010-09-09 | Sumitomo Electric Ind Ltd | 製品形状の検査システム |
-
2012
- 2012-05-25 WO PCT/JP2012/063510 patent/WO2013035388A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02260076A (ja) * | 1989-03-31 | 1990-10-22 | Aisan Ind Co Ltd | 刻印確認装置 |
JPH10118975A (ja) * | 1996-10-18 | 1998-05-12 | Komatsu Ltd | ハンドリング位置認識方法および認識装置 |
JPH10222608A (ja) * | 1997-02-06 | 1998-08-21 | Toyota Motor Corp | 文字検査方法及び装置 |
JP2001174228A (ja) * | 1999-12-14 | 2001-06-29 | Kawasaki Steel Corp | 刻印読取装置 |
JP2006163662A (ja) * | 2004-12-06 | 2006-06-22 | Nissan Motor Co Ltd | 指本数認識装置および方法 |
JP2010197313A (ja) * | 2009-02-26 | 2010-09-09 | Sumitomo Electric Ind Ltd | 製品形状の検査システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020126109A1 (de) * | 2018-12-17 | 2020-06-25 | Gom Gmbh | Verfahren zur erkennung von symbolen |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109118569B (zh) | 基于三维模型的渲染方法和装置 | |
EP3477931A1 (en) | Image processing method and device, readable storage medium and electronic device | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
US11580720B2 (en) | Information processing device and recognition support method | |
JP6576083B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010262648A5 (ja) | 文書オブジェクトを自動位置合わせするための方法 | |
CN111612765A (zh) | 一种圆形透明镜片识别和定位的方法 | |
JP2018152055A (ja) | ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法 | |
CN107545557A (zh) | 粪便图像中的虫卵检测方法和装置 | |
JP4408095B2 (ja) | 車両及び路面標示認識装置 | |
JP4691570B2 (ja) | 画像処理装置およびオブジェクト推定プログラム | |
WO2013035388A1 (ja) | 撮像装置 | |
JP5036637B2 (ja) | 凹凸文字抽出のための画像処理方法及び画像処理装置 | |
JP2007072627A (ja) | サングラス検出装置及び顔中心位置検出装置 | |
JPH11306325A (ja) | 対象物検出装置及び対象物検出方法 | |
WO2007108101A1 (ja) | 情報端末 | |
CN115760860B (zh) | 一种基于dxf文件导入的多类型工件尺寸视觉测量方法 | |
CN111536895B (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
CN111161291A (zh) | 基于目标景深信息的轮廓检测方法 | |
CN116645418A (zh) | 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质 | |
KR100916615B1 (ko) | 롤투롤 공정에서의 웹 주름 측정 시스템 | |
JP2013210778A (ja) | 撮像装置 | |
CN111605327B (zh) | 具有凹凸结构的3d印章及3d印章图案形成方法 | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12829453 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12829453 Country of ref document: EP Kind code of ref document: A1 |