Nothing Special   »   [go: up one dir, main page]

WO2012014946A1 - 画像処理装置、および画像処理プログラム - Google Patents

画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
WO2012014946A1
WO2012014946A1 PCT/JP2011/067145 JP2011067145W WO2012014946A1 WO 2012014946 A1 WO2012014946 A1 WO 2012014946A1 JP 2011067145 W JP2011067145 W JP 2011067145W WO 2012014946 A1 WO2012014946 A1 WO 2012014946A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
template
evaluation value
matching
edge
Prior art date
Application number
PCT/JP2011/067145
Other languages
English (en)
French (fr)
Inventor
啓之 阿部
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN2011800374432A priority Critical patent/CN103039068A/zh
Priority to US13/812,418 priority patent/US20130129226A1/en
Publication of WO2012014946A1 publication Critical patent/WO2012014946A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • the present invention relates to an image processing apparatus and an image processing program.
  • pattern matching methods are known.
  • an image is divided into a plurality of regions, a template matching process is performed for each region, and a region having the highest similarity is extracted as a matching region (Patent Document 1).
  • An image processing apparatus includes an edge image generation apparatus that generates an edge image by extracting an edge from an image, and a fixed shape fixed to the edge image generated by the edge image generation apparatus.
  • a matching device that performs template matching using a template showing the shape of the pattern, and an evaluation value calculation that calculates an evaluation value for identifying the position of the fixed pattern of the predetermined shape in the image based on the matching result by the matching device
  • a specifying device for specifying the position of a fixed pattern of a predetermined shape in the image based on the evaluation value calculated by the evaluation value calculation device.
  • the evaluation value calculation device moves the template in the image, and at each template position, the pixel value of each pixel of the template and the template It is preferable to calculate the evaluation value by adding the pixel values of the pixels of the edge image at the same position as each of the pixels and adding or integrating the integration results for all the pixels of the template.
  • the specifying device specifies the position of the template having the maximum calculated evaluation value as the position of the fixed pattern having a predetermined shape in the image. It is preferable.
  • the fixed pattern having a predetermined shape may be an AF area arranged in a shooting screen of the camera.
  • An image processing program according to a fifth aspect of the present invention includes an edge image generation procedure for extracting an edge from an image to generate an edge image, and a fixed pattern having a predetermined shape for the edge image generated by the edge image generation procedure.
  • An evaluation value calculation that calculates an evaluation value for specifying a position of a fixed pattern of a predetermined shape in an image based on a matching procedure for performing template matching using a template showing the shape of the image and a matching result in the matching procedure Based on the procedure and the evaluation value calculated by the evaluation value calculation means, the computer is caused to execute a specific procedure for specifying the position of the fixed pattern having a predetermined shape in the image.
  • the position of the fixed pattern in the image can be specified with high accuracy.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a camera.
  • FIG. 2 is a diagram illustrating a display example of the AF frame in the shooting screen.
  • FIG. 3 is a diagram illustrating a display example of a face detection frame.
  • FIG. 4 is a diagram illustrating a specific example when the facial feature points and the AF frame overlap.
  • FIGS. 5A to 5C are diagrams schematically showing an erasing method using adjacent pixels of the AF frame.
  • FIG. 6 is a diagram illustrating a face detection result after AF frame deletion.
  • FIG. 7 is a diagram illustrating a specific example of a blurred image.
  • FIGS. 8A to 8C are diagrams showing an example of setting a detection area.
  • FIG. 9 is a diagram illustrating a specific example of an edge image.
  • FIG. 10 is a diagram illustrating a specific example of a template.
  • FIG. 11 is a diagram illustrating how an image processing program is provided through a data signal such as a recording medium or the Internet.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a camera to which an image processing apparatus according to the present invention is applied.
  • the camera 100 includes an operation member 101, a lens 102, an image sensor 103, a control device 104, a memory card slot 105, and a monitor 106.
  • the operation member 101 includes various input members operated by the user, such as a power button, a release button, a zoom button, a cross key, an enter button, a play button, and a delete button.
  • the lens 102 is composed of a plurality of optical lenses, but is representatively represented by one lens in FIG.
  • the image sensor 103 is an image sensor such as a CCD or a CMOS, for example, and captures a subject image formed by the lens 102. Then, an image signal obtained by imaging is output to the control device 104.
  • the control device 104 generates a predetermined image format, for example, JPEG format image data (hereinafter referred to as “main image data”) based on the image signal input from the image sensor 103. Further, the control device 104 generates display image data, for example, thumbnail image data, based on the generated image data. The control device 104 generates an image file that includes the generated main image data and thumbnail image data, and further includes header information, and outputs the image file to the memory card slot 105. In the present embodiment, it is assumed that both the main image data and the thumbnail image data are image data expressed in the RGB color system.
  • the memory card slot 105 is a slot for inserting a memory card as a storage medium, and records and records the image file output from the control device 104 on the memory card.
  • the memory card slot 105 reads an image file stored in the memory card based on an instruction from the control device 104.
  • the monitor 106 is a liquid crystal monitor (rear monitor) mounted on the back surface of the camera 100, and the monitor 106 displays an image stored in a memory card, a setting menu for setting the camera 100, and the like. . Further, when the user sets the mode of the camera 100 to the shooting mode, the control device 104 outputs image data for display of images acquired from the image sensor 103 in time series to the monitor 106. As a result, a through image is displayed on the monitor 106.
  • the control device 104 includes a CPU, a memory, and other peripheral circuits, and controls the camera 100.
  • the memory constituting the control device 104 includes SDRAM and flash memory.
  • the SDRAM is a volatile memory, and is used as a work memory for the CPU to develop a program when the program is executed or as a buffer memory for temporarily recording data.
  • the flash memory is a non-volatile memory in which data of a program executed by the control device 104, various parameters read during program execution, and the like are recorded.
  • the control device 104 superimposes and displays a frame (AF frame) corresponding to the arrangement position of the distance measuring sensor on a through image (photographing screen) displayed on the monitor 106.
  • AF frame a frame
  • 51 AF frames are displayed on the shooting screen as shown in FIG.
  • the camera 100 corresponds to one AF frame selected by the control device 104 by performing known AF processing from among the 51 AF frames, or one AF frame designated by the user. Focus adjustment is performed using the distance measurement information of the distance measuring sensor.
  • the camera 100 has a face detection function
  • the control device 104 executes a known face detection process for the inside of the shooting screen, so that a human face existing in the shooting screen is displayed. Can be detected.
  • the control device 104 surrounds a region including the detected face with a face detection frame 3a and displays it on the through image, thereby clearly indicating the face detection result to the user.
  • the control device 104 tracks the detected face between frames, thereby performing subject tracking during live view display or automatically selecting an AF frame located near the detected face to adjust the focus. You can also go.
  • face detection in a shooting screen is performed by extracting facial feature points such as eyes and mouth from the shooting screen and determining whether or not it is a human face based on the positional relationship of the feature points. This is done by judging.
  • the feature points such as the eyes and mouth of the person are displayed at the display position of the AF frame 4a. If it overlaps, there is a possibility that the control device 104 cannot detect the facial feature points and cannot accurately detect the human face.
  • the following method can be considered.
  • the processing shown below is recorded as an image processing program, for example, in the flash memory of the control device 104, and is executed by the control device 104 functioning as an image processing device.
  • the following processing is performed by recording an image in the shooting screen as a face detection image in the buffer memory and then performing the face detection image as a target, and does not affect the through image displayed on the monitor 106. . That is, while the following processing is being performed, the photographing screen on which the AF frame shown in FIG. 2 is displayed is continuously displayed on the monitor 106.
  • the control device 104 deletes the AF frame 4a for all the AF frames 4a in the face detection image by replacing the pixel where the frame line of the AF frame 4a is located by using an adjacent pixel, and the AF frame Interpolate the pixels hidden in 4a. Since the AF frame 4a is arranged at a predetermined position in the shooting screen as shown in FIG. 2, position information of the AF frame 4a in the shooting screen is recorded in advance in a flash memory or the like. Thus, the control device 104 can specify where the AF frame 4a is located in the face detection image.
  • the width of the frame line of the AF frame 4a is 2 pixels.
  • the AF frame 4a includes the pixels 5a and A process in the case of being constituted by 5b and pixels 5c and 5d constituting a horizontal frame line will be described.
  • the control device 104 replaces the pixels 5a and 5b constituting the vertical frame line among these pixels as shown in FIG. 5B. In other words, the control device 104 replaces the pixel 5a using the pixel 5e adjacent to the right side of the pixel 5a, and replaces the pixel 5b using the pixel 5f adjacent to the left side of the pixel 5b. Further, the control device 104 replaces the pixels 5c and 5d constituting the horizontal frame line as shown in FIG. 5C. In other words, the control device 104 replaces the pixel 5c using the pixel 5g adjacent to the upper side of the pixel 5c, and replaces the pixel 5d using the pixel 5h adjacent to the lower side of the pixel 5d.
  • the control device 104 can detect a person's face by face detection processing and display the detection frame 3a on the through image.
  • the control device 104 needs to grasp the position of the AF frame 4a in the face detection image.
  • the position information in the shooting screen of the AF frame 4a is recorded in advance in a flash memory or the like, so that the control device 104 can locate the AF frame 4a in the face detection image. Can be specified.
  • the position of the AF frame 4a in the shooting screen is stably in the same position.
  • the position of the AF frame 4a in the shooting screen may be mechanically shifted or an optical shift may occur.
  • the AF frame 4a is erased using the pre-recorded position information of the AF frame 4a and a process for interpolating pixels is performed, the interpolation accuracy may decrease. there were.
  • an image of the AF frame 4a is recorded in a flash memory in advance, and template matching is performed on the image in the shooting screen using the image of the AF frame 4a as a template.
  • this method also has the following problems. That is, as a method of matching calculation in template matching, a known cross-correlation method or residual sequential test method is used. However, these methods have a signal strength between corresponding positions of a partial signal for calculation and a template signal. The calculation is performed and the results are totaled over the entire signal.
  • the control device 104 detects the position of the AF frame 4a in the shooting screen as follows.
  • the position of the AF frame 4a in the shooting screen is detected for a blurred image as shown in FIG. 7 will be described.
  • the control device 104 estimates the approximate position of the AF frame 4a based on the position information. can do.
  • FIG. 8A is an enlarged view of an image in a region including a human face in the image shown in FIG.
  • the control device 104 sets a search area 8a having a predetermined size around the estimated position of the AF frame 4a as shown in FIG. FIG. 8C is an enlarged view of the image in the set search area 8a. And the control apparatus 104 extracts an edge by taking the difference between adjacent pixels for the set search area 8a. As a result, for example, an edge image as shown in FIG. 9 is generated for the search area 8a shown in FIG. 8B.
  • the control device 104 performs template matching using a template for specifying the position of the AF frame 4a for the calculated edge image in the search area 8a.
  • the template used here is a mask image showing the shape of the AF frame 4a. The outermost pixel is 1, and the inner pixel is 0.
  • the position of the AF frame 4a in the search area 8a can be specified.
  • control device 104 moves the template shown in FIG. 10 within the search area 8a, and at each template position, the pixel value of each pixel of the template and the edge at the same position as each pixel of the template.
  • the pixel values of each pixel of the image are integrated and the integration result is added up for all the pixels of the template.
  • the control device 104 uses the summation result as an evaluation value, and determines that the AF frame 4a exists at the template position where the evaluation value is the largest value, whereby the position of the AF frame 4a in the search area 8a. As a result, the position of the AF frame 4a in the shooting screen can be specified.
  • the control device 104 deletes the AF frame 4a by replacing the pixel where the frame line of the AF frame 4a is located with an adjacent pixel. Thereby, even when the AF frame 4a overlaps with the facial feature point, the face detection is possible by erasing the AF frame 4a and interpolating pixels corresponding to the eye portion 6a hidden by the AF frame 4a. can do.
  • the control device 104 extracts an edge from the search area 8a to generate an edge image, and performs template matching using a template indicating the shape of the AF frame 4a for the generated edge image, and performs matching Based on the result, an evaluation value for specifying the position of the AF frame 4a in the shooting screen is calculated, and the position of the AF frame 4a in the shooting screen is specified based on the evaluation value. Thereby, even when the image is unclear, the position of the AF frame 4a in the shooting screen can be specified with high accuracy.
  • the control device 104 moves the template within the search area 8a set in the photographing screen, and at each template position, the pixel value of each pixel of the template and the edge at the same position as each pixel of the template
  • the evaluation values are calculated by integrating the pixel values of each pixel of the image and adding the integration results for all the pixels of the template. Thereby, the position of the AF frame 4a in the search area 8a can be specified with high accuracy.
  • the control device 104 specifies the position of the template that maximizes the calculated evaluation value as the position of the AF frame 4a in the shooting screen. Thereby, the position of the AF frame 4a in the shooting screen can be specified with a simple process.
  • the camera of the above-described embodiment can be modified as follows.
  • (1) in the above-described embodiment, an example in which the control device 104 detects the position of the AF frame 4a in the shooting screen has been described.
  • the control device 104 can also detect the position of a fixed pattern of a predetermined shape included in the shooting screen or the image using the method in the above-described embodiment. For example, it is possible to detect a rectangle other than the AF frame 4a included in the image or the position of the alignment mark in the wafer.
  • the control device 104 determines the approximate position of the AF frame 4a based on the position information. And the search area 8a is set around it. Then, the control device 104 generates an edge image for the inside of the search area 8a and performs template matching. However, when the position of the fixed pattern of a predetermined shape included in the shooting screen or the image cannot be estimated, the control device 104 generates an edge image for the entire shooting screen or the entire image and performs template matching. It may be.
  • the control device 104 moves the template in the search area 8a, and at each template position, the pixel value of each pixel of the template is at the same position as each pixel of the template.
  • the example in which the evaluation value is calculated by adding the pixel values of the pixels of the edge image and adding up the integration results for all the pixels of the template has been described.
  • the control device 104 moves the template within the search area 8a, and at each template position, the pixel value of each pixel of the template and the pixel value of each pixel of the edge image at the same position as each pixel of the template.
  • the evaluation value may be calculated by integrating the integration results for all the pixels of the template.
  • the present invention can also be applied to other devices having a photographing function, such as a mobile phone with a camera and a video camera.
  • FIG. 11 is a diagram showing this state.
  • the personal computer 300 is provided with a program via the CD-ROM 304.
  • the personal computer 300 also has a connection function with the communication line 301.
  • a computer 302 is a server computer that provides the program, and stores the program in a recording medium such as a hard disk 303.
  • the communication line 301 is a communication line such as the Internet or personal computer communication, or a dedicated communication line.
  • the computer 302 reads the program using the hard disk 303 and transmits the program to the personal computer 300 via the communication line 301. That is, the program is embodyed as a data signal on a carrier wave and transmitted via the communication line 301.
  • the program can be supplied as a computer-readable computer program product in various forms such as a recording medium and a carrier wave.
  • the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.
  • This application is based on Japanese Patent Application No. 2010-170035 (filed on Jul. 29, 2010), the contents of which are incorporated herein by reference.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

 画像処理装置は、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成装置と、エッジ画像生成装置によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング装置と、マッチング装置手段によるマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出装置と、評価値算出装置によって算出された評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定装置とを備える。

Description

画像処理装置、および画像処理プログラム
 本発明は、画像処理装置、および画像処理プログラムに関する。
 次のようなパターンマッチング方法が知られている。このパターンマッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する(特許文献1)。
日本国特開平5―81433号公報
 しかしながら、従来の方法によるテンプレートマッチングでは、画像が不鮮明な場合には、画像内における被写体位置の特定精度が低下する可能性があった。
 本発明の第1の態様による画像処理装置は、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成装置と、エッジ画像生成装置によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング装置と、マッチング装置によるマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出装置と、評価値算出装置によって算出された評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定装置とを備える。
 本発明の第2の態様は、第1の態様による画像処理装置において、評価値算出装置は、画像内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算または積算することによって、評価値を算出することが好ましい。
 本発明の第3の態様は、第2の態様による画像処理装置において、特定装置は、画像内において、算出された評価値が最大となるテンプレートの位置を所定形状の固定パターンの位置として特定することが好ましい。
 本発明の第4の態様は、第1から第3の態様による画像処理装置において、所定形状の固定パターンは、カメラの撮影画面内に配置されたAFエリアであってもよい。
 本発明の第5の態様による画像処理プログラムは、画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手順と、エッジ画像生成手順で生成したエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手順と、マッチング手順でのマッチング結果に基づいて、画像内における所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手順と、評価値算出手段で算出した評価値に基づいて、画像内における所定形状の固定パターンの位置を特定する特定手順とをコンピュータに実行させる。
 本発明によれば、画像内における固定パターンの位置を精度高く特定することができる。
図1は、カメラの一実施の形態の構成を示すブロック図である。 図2は、撮影画面内におけるAF枠の表示例を示す図である。 図3は、顔検出枠の表示例を示す図である。 図4は、顔の特徴点とAF枠とが重なった場合の具体例を示す図である。 図5(a)~(c)は、AF枠の隣接画素を用いた消去方法を模式的に示した図である。 図6は、AF枠消去後の顔検出結果を示す図である。 図7は、不鮮明な画像の具体例を示す図である。 図8(a)~(c)は、検出領域の設定例を示す図である。 図9は、エッジ画像の具体例を示す図である。 図10は、テンプレートの具体例を示す図である。 図11は、画像処理プログラムを記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
 図1は、本発明による画像処理装置が適用されるカメラの一実施の形態の構成を示すブロック図である。カメラ100は、操作部材101と、レンズ102と、撮像素子103と、制御装置104と、メモリカードスロット105と、モニタ106とを備えている。操作部材101は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
 レンズ102は、複数の光学レンズから構成されるが、図1では代表して1枚のレンズで表している。撮像素子103は、例えばCCDやCMOSなどのイメージセンサーであり、レンズ102により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置104へ出力する。
 制御装置104は、撮像素子103から入力された画像信号に基づいて所定の画像形式、例えばJPEG形式の画像データ(以下、「本画像データ」と呼ぶ)を生成する。また、制御装置104は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置104は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット105へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもRGB表色系で表された画像データであるものとする。
 メモリカードスロット105は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置104から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット105は、制御装置104からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
 モニタ106は、カメラ100の背面に搭載された液晶モニタ(背面モニタ)であり、当該モニタ106には、メモリカードに記憶されている画像やカメラ100を設定するための設定メニューなどが表示される。また、制御装置104は、使用者によってカメラ100のモードが撮影モードに設定されると、撮像素子103から時系列で取得した画像の表示用画像データをモニタ106に出力する。これによってモニタ106にはスルー画が表示される。
 制御装置104は、CPU、メモリ、およびその他の周辺回路により構成され、カメラ100を制御する。なお、制御装置104を構成するメモリには、SDRAMやフラッシュメモリが含まれる。SDRAMは、揮発性のメモリであって、CPUがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置104が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
 本実施の形態では、制御装置104は、モニタ106上に表示されるスルー画(撮影画面)上に、測距センサの配置位置に対応した枠(AF枠)を重畳して表示する。例えば、撮影画面上には、図2に示すように51個のAF枠が表示される。本実施の形態におけるカメラ100では、この51個のAF枠の中から、制御装置104が公知のAF処理を行って選択した1つのAF枠、あるいは使用者によって指定された1つのAF枠に対応する測距センサの測距情報を用いて、焦点調節を行う。
 また、本実施の形態のカメラ100は、顔検出機能を備えており、制御装置104は、撮影画面内を対象として公知の顔検出処理を実行することにより、撮影画面内に存在する人物の顔を検出することができる。例えば、制御装置104は、図3に示すように、検出した顔を含む領域を顔検出枠3aで囲んでスルー画上に表示することにより、使用者に顔の検出結果を明示する。また、制御装置104は、検出した顔をフレーム間で追尾することにより、スルー画表示中に被写体追尾を行ったり、検出した顔の近くに位置するAF枠を自動的に選択して焦点調節を行ったりすることもできる。
 一般的に、撮影画面内における顔検出は、撮影画面内から目や口等の顔の特徴点を抽出し、その特徴点の位置関係に基づいて、それが人物の顔であるか否かを判定することにより行われる。この場合、本実施の形態におけるカメラ100のように、撮影画面上にAF枠を表示した場合には、図4に示すように、人物の目や口等の特徴点がAF枠4aの表示位置と重なってしまうと、制御装置104は、顔の特徴点を検出できず、人物の顔を正確に検出できない可能性がある。このような問題点を解決するための方法としては、以下の方法が考えられる。
 なお、以下に示す処理は、画像処理プログラムとして例えば制御装置104のフラッシュメモリに記録されており、画像処理装置として機能する制御装置104によって実行される。以下の処理は、撮影画面内の画像を顔検出用画像としてバッファメモリに記録してから当該顔検出用画像を対象として行うものとし、モニタ106に表示されているスルー画には影響を与えない。すなわち、以下の処理を行っている間も、モニタ106には図2に示したAF枠が表示された撮影画面が継続して表示される。
 制御装置104は、顔検出用画像内の全てのAF枠4aを対象として、AF枠4aの枠線が位置している画素を隣接画素を用いて置き換えることによってAF枠4aを消去し、AF枠4aで隠れている画素を補間する。なお、AF枠4aは、図2に示したように、撮影画面内における定められた位置に配置されているため、あらかじめAF枠4aの撮影画面内における位置情報をフラッシュメモリ等に記録しておくことにより、制御装置104は、顔検出用画像内のどこにAF枠4aが位置しているかを特定することが可能である。
 本実施の形態では、例えば、AF枠4aの枠線の幅が2画素であるものとし、図5(a)に示すように、AF枠4aは、縦方向の枠線を構成する画素5aおよび5bと、横方向の枠線を構成する画素5cおよび5dによって構成される場合の処理について説明する。
 制御装置104は、これらの画素のうち、縦方向の枠線を構成する画素5aおよび5bについては、図5(b)に示すように画素の置き換えを行う。すなわち、制御装置104は、画素5aは、当該画素5aの右側に隣接する画素5eを用いて置き換えを行い、画素5bは、当該画素5bの左側に隣接する画素5fを用いて置き換えを行う。また、制御装置104は、横方向の枠線を構成する画素5cおよび5dについては、図5(c)に示すように画素の置き換えを行う。すなわち、制御装置104は、画素5cは、当該画素5cの上側に隣接する画素5gを用いて置き換えを行い、画素5dは、当該画素5dの下側に隣接する画素5hを用いて置き換えを行う。
 以上の処理によって、図4に示したように人物の目がAF枠4aと重なっていた場合でも、図6に示すように隣接画素を用いてAF枠4aを消去して、AF枠4aで隠れていた目の部分6aに相当する画素を補間することができる。そして、その結果、制御装置104は、顔検出処理により人物の顔を検出して、検出枠3aをスルー画上に表示することができる。
 しかしながら、上記の方法でAF枠4aを消去するためには、制御装置104は、顔検出用画像内におけるAF枠4aの位置を把握する必要がある。例えば、上述した方法では、あらかじめAF枠4aの撮影画面内における位置情報をフラッシュメモリ等に記録しておくことにより、制御装置104が、顔検出用画像内のどこにAF枠4aが位置しているかを特定できるようにした。
 しかしながら、撮影画面内におけるAF枠4aの位置は、安定して同じ位置にあるという保証がない場合がある。例えば、撮影画面内におけるAF枠4aの位置がメカ的にずれてしまう場合や、光学的なズレが生じる場合がある。このような場合には、あらかじめ記録しておいたAF枠4aの位置情報を用いてAF枠4aを消去して、画素を補間するための処理を行うと、補間精度が低下してしまうおそれがあった。
 このような問題を解決する方法としては、あらかじめAF枠4aの画像をフラッシュメモリに記録しておき、該AF枠4aの画像をテンプレートとして用いて撮影画面内の画像を対象としたテンプレートマッチングを行うことにより、撮影画面内におけるAF枠4aの位置を検出することが考えられる。しかし、この方法にも以下のような問題がある。すなわち、テンプレートマッチングにおけるマッチング演算の手法としては、公知の相互相関法や残差逐次検定法が用いられるが、これらの方法は、演算用の部分信号とテンプレート信号との対応位置同士で信号強度の演算を行い、その結果を信号全体で集計するものである。この場合、AF枠4aのような固定マークを対象としてテンプレートマッチングを行うと、不鮮明な画像、例えば画像の明るさや歪みの変動が大きい環境ではマッチング精度が低下してしまう可能性がある。また、マッチング精度を向上させるためにマッチング対象の画像とテンプレートとを2値化する方法も考えられるが、この場合は2値化の際の閾値の導出が難しい。
 そこで、本実施の形態では、制御装置104は、次のようにして撮影画面内におけるAF枠4aの位置を検出する。ここでは、例えば、図7に示すような不鮮明な画像を対象として撮影画面内におけるAF枠4aの位置を検出する例について説明する。なお、上述したように、撮影画面内におけるAF枠4aの位置情報は、あらかじめフラッシュメモリ等に記録されているため、制御装置104は、該位置情報に基づいておおよそのAF枠4aの位置を推定することができる。図8(a)は、図7に示す画像内における人物の顔を含んだ領域内の画像を拡大した図である。
 制御装置104は、図8(b)に示すように、推定したAF枠4aの位置の周囲に所定の大きさの検索領域8aを設定する。図8(c)は、設定した検索領域8a内の画像を拡大した図である。そして、制御装置104は、設定した検索領域8aを対象として、隣接する画素間の差分をとることによりエッジを抽出する。これにより、例えば、図8(b)に示した検索領域8aを対象として、図9に示すようなエッジ画像が生成される。
 制御装置104は、算出した検索領域8a内のエッジ画像を対象として、AF枠4aの位置を特定するためのテンプレートを用いたテンプレートマッチングを行う。ここで用いるテンプレートは、図10に示すように、AF枠4aの形状を示したマスク画像であり、一番外側の画素が1、その内部の画素が0となっている。このテンプレートを用いて検索領域8a内のエッジ画像を対象としたテンプレートマッチングを行うことにより、検索領域8a内におけるAF枠4aの位置を特定することができる。
 具体的には、制御装置104は、検索領域8a内で図10に示すテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算する。制御装置104は、合算結果を評価値として用いて、該評価値が最も大きな値となるテンプレート位置にAF枠4aが存在していると判定することにより、検索領域8a内におけるAF枠4aの位置を特定することができ、結果として、撮影画面内におけるAF枠4aの位置を特定することができる。
 以上説明した本実施の形態によれば、以下のような効果を得ることができる。
(1)制御装置104は、AF枠4aの枠線が位置している画素を隣接画素を用いて置き換えることによってAF枠4aを消去するようにした。これによって、AF枠4aが顔の特徴点と重なっている場合でも、AF枠4aを消去するとともにAF枠4aで隠れていた目の部分6aに相当する画素を補間して、顔検出を可能にすることができる。
(2)撮影画面内に重畳表示されるのは、測距センサの配置位置を示すAF枠であるものとした。これによって、このように撮影画面内の固定位置に配置される情報によって顔の特徴部分が隠れてしまう可能性が高いことを加味して、顔検出の妨げになる情報を効果的に消去することができる。
(3)制御装置104は、検索領域8a内からエッジを抽出してエッジ画像を生成し、生成したエッジ画像を対象として、AF枠4aの形状を示したテンプレートを用いたテンプレートマッチングを行い、マッチング結果に基づいて、撮影画面内におけるAF枠4aの位置を特定するための評価値を算出し、該評価値に基づいて、撮影画面内におけるAF枠4aの位置を特定するようにした。これによって、画像が不鮮明な場合でも精度高く撮影画面内におけるAF枠4aの位置を特定することができる。
(4)制御装置104は、撮影画面内に設定した検索領域8a内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算することによって評価値を算出するようにした。これによって、検索領域8a内におけるAF枠4aの位置を精度高く特定することができる。
(5)制御装置104は、算出された評価値が最大となるテンプレートの位置を撮影画面内におけるAF枠4aの位置として特定するようにした。これによって、簡易な処理で撮影画面内におけるAF枠4aの位置を特定することができる。
―変形例―
 なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した実施の形態では、制御装置104は、撮影画面内におけるAF枠4aの位置を検出する例について説明した。しかしながら、制御装置104は、上述した実施の形態における手法を用いて、撮影画面内または画像内に含まれる所定形状の固定パターンの位置を検出することもできる。例えば、画像内に含まれるAF枠4a以外の矩形や、ウェハー内のアライメントマークの位置を検出することもできる。
(2)上述した実施の形態では、撮影画面内におけるAF枠4aの位置情報はあらかじめフラッシュメモリ等に記録されているため、制御装置104は、該位置情報に基づいておおよそのAF枠4aの位置を推定して、その周囲に検索領域8aを設定するようにした。そして、制御装置104は、該検索領域8a内を対象としてエッジ画像を生成してテンプレートマッチングを行うようにした。しかしながら、撮影画面内または画像内に含まれる所定形状の固定パターンの位置を推定できない場合には、制御装置104は、撮影画面全体または画像全体を対象としてエッジ画像を生成し、テンプレートマッチングを行うようにしてもよい。
(3)上述した実施の形態では、制御装置104は、検索領域8a内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算することにより、評価値を算出する例について説明した。しかしながら、制御装置104は、検索領域8a内でテンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について積算することにより、評価値を算出するようにしてもよい。
(4)上述した実施の形態では、本発明をカメラ100に適用する場合について説明した。しかしながら、撮影機能を備えた他の機器、例えばカメラ付き携帯電話機やビデオカメラ等にも本発明は適用可能である。
(5)また、本発明をパーソナルコンピュータなどに適用する場合、上述した制御に関する画像処理プログラムは、CD-ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図11はその様子を示す図である。パーソナルコンピュータ300は、CD-ROM304を介してプログラムの提供を受ける。また、パーソナルコンピュータ300は通信回線301との接続機能を有する。コンピュータ302は上記プログラムを提供するサーバーコンピュータであり、ハードディスク303などの記録媒体にプログラムを格納する。通信回線301は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ302はハードディスク303を使用してプログラムを読み出し、通信回線301を介してプログラムをパーソナルコンピュータ300に送信する。すなわち、プログラムをデータ信号として搬送波にembodyして、通信回線301を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
 なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
 本出願は日本国特許出願2010-170035号(2010年7月29日出願)を基礎として、その内容は引用文としてここに組み込まれる。

Claims (5)

  1.  画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成装置と、
     前記エッジ画像生成装置によって生成されたエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング装置と、
     前記マッチング装置によるマッチング結果に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出装置と、
     前記評価値算出装置によって算出された前記評価値に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定する特定装置とを備える画像処理装置。
  2.  請求項1に記載の画像処理装置において、
     前記評価値算出装置は、前記画像内で前記テンプレートを移動させながら、それぞれのテンプレート位置において、テンプレートの各画素の画素値と、テンプレートの各画素と同じ位置にあるエッジ画像の各画素の画素値とを積算し、積算結果をテンプレートの全画素について合算または積算することによって、前記評価値を算出する画像処理装置。
  3.  請求項2に記載の画像処理装置において、
     前記特定装置は、前記画像内において、算出された前記評価値が最大となる前記テンプレートの位置を前記所定形状の固定パターンの位置として特定する画像処理装置。
  4.  請求項1~3のいずれか一項に記載の画像処理装置において、
     前記所定形状の固定パターンは、カメラの撮影画面内に配置されたAFエリアである画像処理装置。
  5.  画像内からエッジを抽出してエッジ画像を生成するエッジ画像生成手順と、
     前記エッジ画像生成手順で生成したエッジ画像を対象として、所定形状の固定パターンの形状を示したテンプレートを用いたテンプレートマッチングを行うマッチング手順と、
     前記マッチング手順でのマッチング結果に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定するための評価値を算出する評価値算出手順と、
     前記評価値算出手段で算出した前記評価値に基づいて、前記画像内における前記所定形状の固定パターンの位置を特定する特定手順とをコンピュータに実行させるための画像処理プログラム。
PCT/JP2011/067145 2010-07-29 2011-07-27 画像処理装置、および画像処理プログラム WO2012014946A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011800374432A CN103039068A (zh) 2010-07-29 2011-07-27 图像处理装置以及图像处理程序
US13/812,418 US20130129226A1 (en) 2010-07-29 2011-07-27 Image processing apparatus and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-170035 2010-07-29
JP2010170035A JP2012034069A (ja) 2010-07-29 2010-07-29 画像処理装置、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2012014946A1 true WO2012014946A1 (ja) 2012-02-02

Family

ID=45530149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067145 WO2012014946A1 (ja) 2010-07-29 2011-07-27 画像処理装置、および画像処理プログラム

Country Status (4)

Country Link
US (1) US20130129226A1 (ja)
JP (1) JP2012034069A (ja)
CN (1) CN103039068A (ja)
WO (1) WO2012014946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10729579B2 (en) 2014-07-11 2020-08-04 National Institutes Of Health Surgical tool and method for ocular tissue transplantation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
RU2677764C2 (ru) 2013-10-18 2019-01-21 Конинклейке Филипс Н.В. Координатная привязка медицинских изображений
US10504267B2 (en) 2017-06-06 2019-12-10 Adobe Inc. Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and/or a temporal guide
US10825224B2 (en) 2018-11-20 2020-11-03 Adobe Inc. Automatic viseme detection for generating animatable puppet
JP7377971B2 (ja) * 2020-05-22 2023-11-10 富士フイルム株式会社 画像データ処理装置及び画像データ処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173649A (ja) * 2003-12-05 2005-06-30 Institute Of Physical & Chemical Research 画像処理におけるテンプレートマッチング処理方法と処理装置
JP2007293732A (ja) * 2006-04-27 2007-11-08 Hitachi High-Technologies Corp 検査装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0252587A (ja) * 1988-08-17 1990-02-22 Olympus Optical Co Ltd 色差線順次信号記憶方式
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP4290100B2 (ja) * 2003-09-29 2009-07-01 キヤノン株式会社 撮像装置及びその制御方法
JP2006254321A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 人物追尾装置及び人物追尾プログラム
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
KR101295433B1 (ko) * 2007-06-19 2013-08-09 삼성전자주식회사 카메라의 자동초점조절 장치 및 방법
JP4961282B2 (ja) * 2007-07-03 2012-06-27 キヤノン株式会社 表示制御装置及びその制御方法
JP2009152725A (ja) * 2007-12-19 2009-07-09 Fujifilm Corp 自動追跡装置及び方法
US20090174805A1 (en) * 2008-01-07 2009-07-09 Motorola, Inc. Digital camera focusing using stored object recognition
JP2010152135A (ja) * 2008-12-25 2010-07-08 Fujinon Corp セーフエリア警告装置
US8520131B2 (en) * 2009-06-18 2013-08-27 Nikon Corporation Photometric device, imaging device, and camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173649A (ja) * 2003-12-05 2005-06-30 Institute Of Physical & Chemical Research 画像処理におけるテンプレートマッチング処理方法と処理装置
JP2007293732A (ja) * 2006-04-27 2007-11-08 Hitachi High-Technologies Corp 検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10729579B2 (en) 2014-07-11 2020-08-04 National Institutes Of Health Surgical tool and method for ocular tissue transplantation

Also Published As

Publication number Publication date
US20130129226A1 (en) 2013-05-23
JP2012034069A (ja) 2012-02-16
CN103039068A (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
TWI425828B (zh) 攝影裝置、圖像區域之判定方法以及電腦可讀取之記錄媒體
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
JP5246078B2 (ja) 被写体位置特定用プログラム、およびカメラ
WO2012014946A1 (ja) 画像処理装置、および画像処理プログラム
JP2005353010A (ja) 画像処理装置および撮像装置
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
KR20110089655A (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP4868046B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101204888B1 (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
JP2009141475A (ja) カメラ
JP2011040993A (ja) 被写体追尾プログラム、およびカメラ
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP4894708B2 (ja) 撮像装置
JP5083080B2 (ja) 画像マッチング装置、およびカメラ
JP2008209306A (ja) カメラ
JP2007312206A (ja) 撮像装置及び、画像再生装置
JP4565273B2 (ja) 被写体追跡装置、およびカメラ
JP2011191860A (ja) 撮像装置、撮像処理方法及びプログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2009146033A (ja) 部分画像抽出方法
JP2006109005A (ja) 画像出力装置および撮像装置
JP2010157792A (ja) 被写体追跡装置
JP2005004287A (ja) 顔画像検出装置およびその制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180037443.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812535

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13812418

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11812535

Country of ref document: EP

Kind code of ref document: A1