FR2794880A1 - Method of tracking a moving target using an electronic camera; detects target by computing value from variations in color between images, and comparing it with threshold - Google Patents
Method of tracking a moving target using an electronic camera; detects target by computing value from variations in color between images, and comparing it with threshold Download PDFInfo
- Publication number
- FR2794880A1 FR2794880A1 FR9907336A FR9907336A FR2794880A1 FR 2794880 A1 FR2794880 A1 FR 2794880A1 FR 9907336 A FR9907336 A FR 9907336A FR 9907336 A FR9907336 A FR 9907336A FR 2794880 A1 FR2794880 A1 FR 2794880A1
- Authority
- FR
- France
- Prior art keywords
- color
- camera
- target
- image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
PROCÉDÉ<B>AUTOMATIQUE DE</B> SUIVI<B>D'UNE</B> CIBLE<B>EN</B> <B>MOUVEMENT</B> PAR<B>UNE</B> CAMÉRA ÉLECTRONIQUE<B>ET</B> DISPOSITIF POUR<B>SA</B> MISE<B>EN</B> OEUVRE La présente invention concerne un procédé automatique de suivi ou de pistage d'une cible en mouvement par une caméra électronique, et le dispositif pour la mise en #uvre de ce procédé. <B> AUTOMATIC <B> <B> METHOD OF <B> TARGET <B> <B> <B> <B> <B> <B> <B> <B> <B> ONE </ B> ELECTRONIC CAMERA </ B> The present invention relates to an automatic method for tracking or tracking a moving target by an electronic camera, and the device for implementing this method.
Le but de l'invention est de proposer un procédé qui permette de détecter la présence d'une cible dans le champ d'une caméra et de suivre le mouvement de la cible<B>à</B> l'aide de cette caméra. The object of the invention is to propose a method that makes it possible to detect the presence of a target in the field of a camera and to follow the movement of the target <B> to </ B> using this camera .
<B>A</B> cet effet, l'invention a pour objet un procédé automatique de suivi d'une cible en mouvement par une caméra électronique, caractérisé par le fait qu'il comporte des étapes consistant <B>à :</B> a)<B>-</B> initialiser la caméra, <B>-</B> mémoriser une image fournie par la caméra, <B>b) -</B> mémoriser une autre image fournie par la caméra, <B>-</B> détecter une cible en mouvement, en calculant les variations de couleur entre les deux dernières images mémorisées, <B>-</B> calculer une grandeur représentative de la cible en mouvement, <B>-</B> comparer ladite grandeur<B>à</B> une première valeur de seuil prédéterminée, <B>-</B> reprendre le procédé au début de l'étape<B>b),</B> si cette grandeur est inférieure<B>à</B> ladite première valeur de seuil prédéterminée, c)<B>-</B> déterminer la couleur de ladite cible en mouvement, si cette grandeur est supérieure<B>à</B> ladite première valeur de seuil prédéterminée, <B>-</B> calculer l'écart entre la couleur moyenne d'une colonne et/ou d'une ligne de pixels de la dernière image mémorisée et la couleur de la cible, <B>-</B> déterminer la colonne et/ou la ligne dont l'écart précité est le plus faible, <B>d) -</B> déplacer la caméra de façon<B>à</B> centrer l'image sur ladite colonne et/ou ladite ligne dont l'écart est le plus faible, <B>-</B> mémoriser une nouvelle image fournie par la caméra, <B>-</B> calculer l'écart entre la couleur moyenne d'une colonne et/ou d'une ligne de pixels de ladite nouvelle image mémorisée et la couleur de la cible, <B>-</B> déterminer la colonne et/ou la ligne dont l'écart est le plus faible, <B>-</B> reprendre le procédé au début de l'étape<B>d),</B> si cet écart est inférieur<B>à</B> une deuxième valeur de seuil prédéterminée, <B>-</B> reprendre le procédé<B>à</B> l'étape a), si cet écart est supérieur<B>à</B> ladite deuxième valeur de seuil prédéterminée. For this purpose, the object of the invention is an automatic method for tracking a moving target by an electronic camera, characterized in that it comprises steps consisting of: <B> to < / B> a) <B> - </ B> initialize the camera, <B> - </ B> memorize an image provided by the camera, <b> b) - </ b> memorize another image provided by the camera, <B> - </ B> detect a moving target, by calculating the color variations between the last two stored images, <B> - </ B> calculate a magnitude representative of the moving target, <B> - </ B> compare said magnitude <B> to </ B> a first predetermined threshold value, <B> - </ B> repeat the process at the beginning of step <B> b), </ B> if this magnitude is smaller than said first predetermined threshold value, determining the color of said moving target, if said magnitude is greater than <B> - </ B> B> said first predetermined threshold value, <B> - </ B> cal to compensate the difference between the average color of a column and / or a row of pixels of the last stored image and the color of the target, <B> - </ B> determine the column and / or the line of which the aforementioned deviation is the smallest, <B> d) - </ B> move the camera so <B> to </ B> center the image on said column and / or said line whose difference is the lower, <B> - </ B> memorize a new image provided by the camera, <B> - </ B> calculate the difference between the average color of a column and / or a pixel line of said new stored image and the color of the target, <B> - </ B> determine the column and / or the line whose deviation is the smallest, <B> - </ B> resume the process at the beginning of step <B> d), </ B> if this difference is smaller than a second predetermined threshold value, <B> - </ B> resume the process <B> to </ B> step a), if this difference is greater than said second predetermined threshold value.
Au sens de l'invention, la couleur d'une image peut être soit une nuance de gris pour une image en noir et blanc, soit une combinaison des trois couleurs primaires pour une image en couleurs. For the purposes of the invention, the color of an image may be either a shade of gray for a black and white image, or a combination of the three primary colors for a color image.
De préférence, la caméra fournit des images en couleurs et le procédé consiste<B>:</B> <B>- à</B> l'étape a) précitée,<B>à</B> mémoriser une image en couleurs et<B>à</B> la copier en noir et blanc, <B>- à</B> l'étape<B>b)</B> précitée,<B>à</B> mémoriser une autre image en couleurs,<B>à</B> la copier en noir et blanc, et<B>à</B> calculer les variations de nuances de gris entre les deux copies en noir et blanc précitées. Preferably, the camera provides color images and the method consists of: <B> - </ b> - the above step a), <B> to </ B> storing an image in colors and <B> to </ B> copy it in black and white, <B> - to </ b> the aforementioned step <B> </ B>, <B> to </ B> memorize a another color image, <B> to </ B> copy it in black and white, and <B> to </ b> calculate the gray scale variations between the two abovementioned black and white copies.
Dans ce cas, chaque image en couleurs peut être constituée par une pluralité de pixels Pij, i étant l'abscisse et<B>j</B> l'ordonnée du pixel, la couleur de chaque pixel étant définie par trois composantes de couleur fondamentale Rij, Vij, Bij, et le procédé consiste<B>:</B> <B>- à</B> l'étape a) précitée,<B>à</B> copier en noir et blanc l'image en couleurs mémorisée, en calculant pour chaque pixel, sa valeur moyenne
In this case, each color image may be constituted by a plurality of pixels Pij, where i is the abscissa and the ordinate of the pixel, the color of each pixel being defined by three color components. fundamental Rij, Vij, Bij, and the method consists of: <B>: </ B><B> - at </ B> the above step a), <B> to </ B> copy in black and white the stored color image, calculating for each pixel its average value
<B>-à</B> comparer<B>S à</B> une première valeur de seuil prédéterminée So représentative de la taille de la cible<B>à</B> détecter, <B>- à</B> l'étape c) précitée,<B>à</B> détecter les trois composantes de couleur Rc, Vc, Bc de ladite cible, <B>- à</B> calculer pour chaque colonne de pixels l'écart <B>Ci</B> = <B>E 1</B> Rij <B>-</B> Rc Vij <B>-</B> Vc <B>1</B> + Bij <B>-</B> Bc j et/ou, pour chaque ligne de pixels, l'écart Lj <B≥ E 1</B> Rij <B>-</B> Rc <B>1 + 1</B> Vij <B>-</B> Vc <B>1 +</B> Bij <B>-</B> Bc i <B>-</B>déterminer la colonne Ci et/ou la ligne Lj dont l'écart<B>E</B> est le plus faible, <B>- à</B> l'étape<B>d)</B> précitée,<B>à</B> comparer ledit écart le plus faible<B>E à</B> une deuxième valeur de seuil prédéterminée Eo, afin de déterminer si la cible est toujours dans le champ de la caméra. <B> -to </ B> compare <B> S to </ B> a first predetermined threshold value So representative of the size of the target <B> to </ B> detect, <B> - to </ B> the step c) above, <B> to </ B> detect the three color components Rc, Vc, Bc of said target, <B> - to </ B> calculate for each column of pixels the difference <B> Ci </ B> = <B> E 1 </ B> Rij <B> - </ B> Rc Vij <B> - </ B> Vc <B> 1 </ B> + Bij <B > - </ B> Bc j and / or, for each line of pixels, the difference Lj <B≥E 1 </ B> Rij <B> - </ B> Rc <B> 1 + 1 </ B > Vij <B> - </ B> Vc <B> 1 + </ B> Bij <B> - </ B> Bc i <B> - </ B> determine the column Ci and / or the line Lj whose the difference <B> E </ B> is the smallest, <B> - to </ b> the step <B> d) </ B> above, <B> to </ B> compare the difference the lowest <B> E to </ B> a second predetermined threshold value Eo, to determine if the target is still in the field of the camera.
Dans une première forme de réalisation, le procédé consiste<B>à</B> l'étape c) précitée,<B>à</B> déterminer la couleur de la cible en calculant les coordonnées du barycentre des pixels Pij affectés du coefficient de pondération Dij, et en prenant les trois composantes de couleur Rc, Vc, Bc du barycentre en tant que couleur de la cible. In a first embodiment, the method consists in the step c) above, determining the color of the target by calculating the coordinates of the centroid of the pixels Pij affected by weighting coefficient Dij, and taking the three color components Rc, Vc, Bc of the center of gravity as the color of the target.
Dans une autre forme de réalisation, le procédé consiste<B>à</B> l'étape c) précitée,<B>à</B> déterminer chaque composante de couleur de la cible en prenant la valeur moyenne pondérée par le coefficient Dij, de la composante de couleur de chaque pixel Pij. In another embodiment, the method comprises the step c) above, determining each color component of the target by taking the weighted average value by the coefficient. Dij, of the color component of each pixel Pij.
Dans le cas où la caméra fournit des images en noir et blanc, chaque image étant constituée par une pluralité de pixels Pij, i étant l'abscisse et<B>j</B> l'ordonnée du pixel, le procédé consiste<B>:</B> <B>- à</B> l'étape<B>b)</B> précitée,<B>à</B> calculer, pour chaque pixel Pij de ladite image et chaque pixel Pij de ladite autre image, la variation Dij <B≥ 1 G -</B> ij <B>-</B> Gij <B>1</B> dans laquelle Gij et G'îj représentent la nuance de gris du pixel associé, <B>- à</B> calculer la somme
n étant le nombre de colonnes et<B>p</B> le nombre de lignes de l'image, <B>-à</B> comparer<B>S à</B> une première valeur de seuil prédéterminée So représentative de la taille de la cible<B>à</B> détecter, <B>- à</B> l'étape c),<B>à</B> déterminer la nuance de gris Gc de la cible, <B>- à</B> calculer, pour chaque colonne de pixels, l'écart Ei <B><I≥</I></B><I> Y,</I><B>1</B> Gij <B>-</B> Gc j et/ou pour chaque ligne de pixels, l'écart Ej <B><I≥</I></B><I> Y,<B>1</B></I> Gij <B>-</B> Gc i <B>- à</B> déterminer la colonne ou la ligne de pixels dont l'écart<B>E</B> est le plus faible, <B>- à</B> l'étape<B>d)</B> précitée,<B>à</B> comparer ledit écart le plus faible<B>E à</B> une deuxième valeur de seuil prédéterminée Eo. In the case where the camera provides black and white images, each image consisting of a plurality of pixels Pij, where i is the abscissa and the ordinate of the pixel, the method is <B >: </ B><B> - at </ B> the aforementioned step <B></B>,<B> to </ B> calculate, for each pixel Pij of said image and each pixel Pij of said other image, the variation Dij <B≥ 1 G - </ B> ij <B> - </ B> Gij <B> 1 </ B> in which Gij and G'îj represent the shade of gray of the pixel associated, <B> - to </ B> calculate the sum
where n is the number of columns and <b> p </ B> is the number of rows in the image, <B> -to </ B> compare <B> S to </ B> with a first predetermined threshold value So representative of the size of the target <B> to </ B> detect, <B> - to </ B> step c), <B> to </ B> determine the gray shade Gc of the target, <B> - to </ B> calculate, for each column of pixels, the difference Ei <B><I≥</I></B><I> Y, </ I><B> 1 </ B> Gij <B> - </ B> Gc j and / or for each line of pixels, the difference Ej <B><I≥</I></B><I> Y, <B> 1 < / B></I> Gij <B> - </ B> Gc i <B> - to </ B> determine the column or row of pixels whose difference <B> E </ B> is the most weak, <B> - at </ B> the aforementioned step <B> d) </ B>, <B> to </ B> compare said smallest difference <B> E to </ B> a second predetermined threshold value Eo.
Selon une autre caractéristique de l'invention, le procédé consiste aux étapes c) et<B>d)</B> précitées<B>à</B> ne prendre en compte que les colonnes et/ou les lignes de la partie de l'image centrée sur la cible. Cette partie d'image peut avoir une taille prédéterminée en fonction de la cible<B>à</B> détecter. According to another characteristic of the invention, the method consists of the steps c) and <B> d) </ B> above <B> to </ B> take into account only the columns and / or the lines of the part of the image centered on the target. This image portion may have a predetermined size depending on the target to detect.
Selon une autre caractéristique de l'invention, le procédé, consiste<B>à</B> mémoriser les images fournies par la caméra<B>à</B> intervalles réguliers. According to another characteristic of the invention, the method consists in memorizing the images supplied by the camera at regular intervals.
L'invention vise également un dispositif pour la mise en #uvre du procédé précité, caractérisé par le fait qu'il comporte une caméra électronique pour prendre des images d'une cible, des moyens de transmission de données pour transmettre les images fournies par la caméra<B>à</B> une unité centrale de traitement des images, ladite unité centrale comportant des moyens de mémorisation pour mémoriser lesdites images transmises, un calculateur pour calculer des paramètres associés<B>à</B> la couleur des pixels des images mémorisées et une unité de commande apte<B>à</B> envoyer un signal de commande d'entraînement<B>à</B> un moteur électrique, par l'intermédiaire desdits moyens de transmission, ledit moteur étant apte<B>à</B> déplacer la caméra pour que celle-ci suive automatiquement la cible en mouvement. The invention also relates to a device for implementing the aforementioned method, characterized in that it comprises an electronic camera for taking images of a target, data transmission means for transmitting the images provided by the camera <B> to </ B> a central image processing unit, said central unit comprising storage means for storing said transmitted images, a calculator for calculating associated parameters <B> to </ B> the color of the pixels stored images and a control unit adapted to send a drive control signal to an electric motor, via said transmission means, said motor being suitable <B> to </ B> move the camera so that it automatically follows the moving target.
Les moyens de transmission précités peuvent être constitués par des câbles de liaison ou par des émetteurs/récepteurs pour une transmission des données<B>à</B> distance. On peut également prévoir que le moteur et la caméra sont portés par un chariot automobile dont le déplacement est actionné par le moteur précité. The aforementioned transmission means may consist of connecting cables or transmitters / receivers for data transmission <B> to </ B> distance. It is also possible that the motor and the camera are carried by a car trolley whose movement is actuated by the aforementioned motor.
Dans une application particulière, la caméra peut être<B>à</B> infrarouges pour détecter et suivre le déplacement d'une cible dans l'obscurité, par exemple un avion afin de guider le tir d'un canon d'un système<B>de</B> défense antiaérienne. Une autre application peut s'étendre au guidage des missiles air-air ainsi que des mitrailleuses automatiques. In a particular application, the camera may be <B> to infrared to detect and track the movement of a target in the dark, for example an aircraft to guide the firing of a gun from a system <B> of </ B> Air Defense. Another application can extend to guiding air-to-air missiles as well as automatic machine guns.
Pour mieux faire comprendre l'objet de l'invention, on va en décrire maintenant,<B>à</B> titre d'exemples purement illustratifs et non limitatifs, plusieurs modes de réalisation représentés sur le dessin annexé. To better understand the object of the invention, will now be described, <B> to </ B> title of purely illustrative and non-limiting examples, several embodiments shown in the accompanying drawing.
Sur ce dessin <B>-</B> la figure<B>1</B> est une vue schématique fonctionnelle d'un premier mode de réalisation du dispositif de l'invention, <B>-</B> la figure 2 est une vue schématique fonctionnelle d'un deuxième mode de réalisation du dispositif de l'invention, <B>-</B> la figure<B>3</B> est une vue schématique de l'application du dispositif de l'invention<B>à</B> un système de défense antiaérienne, et <B>-</B> la figure 4 est un algorithme de fonctionnement du dispositif de l'invention. In this drawing <B> - </ B> the figure <B> 1 </ B> is a schematic functional view of a first embodiment of the device of the invention, <B> - </ B> the figure 2 is a schematic functional view of a second embodiment of the device of the invention, <B> - </ B> Figure <B> 3 </ B> is a schematic view of the application of the device of the invention to an anti-aircraft defense system, and FIG. 4 is an operating algorithm of the device of the invention.
Sur la figure<B>1,</B> on voit une caméra<B>1</B> munie d'un objectif 2 et montée sur un carter moteur<B>3,</B> par l'intermédiaire d'un axe d'articulation vertical 4. Le moteur<B>3</B> est apte<B>à</B> faire pivoter la caméra <B>1</B> autour de l'axe vertical 4, dans la direction de la double flèche F sur la figure<B>1.</B> L'entraînement du moteur<B>3</B> est commandé par une unité centrale de commande<B>5,</B> par l'intermédiaire d'un port de liaison<B>6.</B> L'unité centrale de commande<B>5</B> est reliée en parallèle par un autre port <B>7 à</B> la caméra<B>1. A</B> titre d'exemple, la caméra<B>1</B> est une caméra<B>à</B> images en couleurs, commercialisée sous le nom "color quickcam. fl", le moteur<B>3</B> est un servomoteur, commercialisé sous le nom "sanwa", et l'unité centrale de commande<B>5</B> est un ordinateur fonctionnant par exemple sous le système d'exploitation commercialisé sous le nom filinux". In figure <B> 1, </ B> we see a camera <B> 1 </ B> equipped with a lens 2 and mounted on a crankcase <B> 3, </ B> through a vertical hinge axis 4. The <B> 3 </ B> engine is able to <B> rotate the <B> 1 </ B> camera around the vertical axis 4, in the direction of the double arrow F in figure <B> 1. </ B> The motor drive <B> 3 </ B> is controlled by a central control unit <B> 5, </ B> by via a <B> 6 link port. </ B> <B> 5 </ B> is connected in parallel by another port <B> 7 to </ B> camera <B> 1. As an example, the <B> 1 </ B> camera is a color-image <B> camera, marketed under the name "color quickcam. Fl", the <B engine > 3 </ B> is a servomotor, marketed under the name "sanwa", and the central control unit <B> 5 </ B> is a computer running for example under the operating system marketed under the name filinux ".
Dans un autre mode de réalisation illustré sous la figure 2, une caméra<B>11,</B> munie d'un objectif 12, est portée par un chariot roulant automobile<B>13</B> intégrant un moteur d'entraînement. Le chariot <B>13</B> constitue un robot suiveur pour la caméra de surveillance<B>Il.</B> Le chariot<B>13</B> est muni d'une antenne 14 d'émission/réception pour transmettre des informations relatives aux images fournies par la caméra<B>11, à</B> distance, comme matérialisé par la double flèche<B>16 à</B> un ordinateur<B><I>15,</I></B> qui est également relié<B>à</B> une antenne d'émission/réception <B>17.</B> Par exemple, le robot<B>13</B> est placé dans une pièce de façon<B>à</B> englober dans son champ d'observation<B>C</B> l'ensemble de la pièce. Ainsi, si une personne P entre par effraction dans la pièce, la caméra<B>11</B> peut détecter le mouvement M de la personne P et suivre ce mouvement, en déplaçant le robot<B>13,</B> comme indiqué par la flèche <B>D.</B> Ainsi, le déplacement du robot<B>13</B> est asservi aux images fournies par la caméra<B>11.</B> Le clavier<B>18</B> peut permettre de modifier les paramètres liés<B>à</B> la taille de la cible et<B>à</B> la sensibilité de la caméra, par exemple les paramètres So et Eo, comme expliqué plus loin. In another embodiment illustrated in FIG. 2, a camera <B> 11, </ B> equipped with a lens 12, is carried by an automobile rolling carriage <B> 13 </ B> incorporating a motor training. The carriage <B> 13 </ B> constitutes a follower robot for the surveillance camera <B> Il. </ B> The carriage <B> 13 </ B> is provided with a transmitting / receiving antenna 14 to transmit information about the images provided by the camera <B> 11, at </ B> distance, as shown by the double arrow <B> 16 to </ B> a computer <B> <I> 15, </ I> </ B> which is also connected <B> to </ B> a transmitting / receiving antenna <B> 17. </ B> For example, the robot <B> 13 </ B> is placed in a piece of <B> to </ B> encompass in its field of view <B> C </ B> the entire room. Thus, if a person P enters the room, the camera <B> 11 </ B> can detect the movement M of the person P and follow this movement, by moving the robot <B> 13, </ B> as indicated by the arrow <B> D. </ B> Thus, the movement of the robot <B> 13 </ B> is slaved to the images provided by the camera <B> 11. </ B> The keyboard <B> 18 </ B> can change the linked parameters <B> to </ B> the size of the target and <B> to </ B> the sensitivity of the camera, for example the parameters So and Eo, as explained further.
Dans une autre application illustrée sur la figure<B>3,</B> un canon de tir 20 d'un système de défense antiaérienne 21, est guidé par une caméra munie d'un téléobjectif, conformément<B>à</B> l'invention, de façon<B>à</B> entraîner automatiquement la rotation du canon et de la caméra, pour suivre le déplacement<B>à</B> distance d'un avion<B>A.</B> On a indiqué en traits interrompus la trajectoire d'un missile sol-air. On a indiqué par une flèche, la direction de rotation du canon 20. In another application illustrated in FIG. 3, a firing gun 20 of an air defense system 21 is guided by a camera equipped with a telephoto lens, in accordance with <B> to </ B > the invention, so <B> to </ B> automatically rotate the barrel and the camera, to track the movement <B> to </ B> distance of a plane <B> A. </ B> The trajectory of a surface-to-air missile has been indicated in broken lines. An arrow indicates the direction of rotation of the barrel 20.
On va maintenant se référer<B>à</B> la figure 4, pour décrire un exemple de fonctionnement du dispositif de l'invention. Reference will now be made to FIG. 4 to describe an example of operation of the device of the invention.
<B>A</B> l'étape<B>30,</B> le dispositif est mis en marche, ce qui provoque Finitialisation de la caméra et le réglage automatique du contraste de la caméra en fonction de la luminosité ambiante. Puis, une image en couleurs est mémorisée dans l'ordinateur,<B>à</B> l'étape<B>31.</B> Cette image est constituée d'une pluralité de pixels Pij, i étant l'abscisse et<B>j</B> l'ordonnée du pixel, chaque pixel ayant trois composantes de couleur fondamentale Rij, Vij, Bij. Cette image en couleurs est transformée en une copie en noir et blanc<B>à</B> l'étape<B>32,</B> chaque pixel ayant une nuance de gris Gij <B>:</B>
Puis une autre image en couleurs est mémorisée par l'ordinateur,<B>à</B> l'étape<B>33,</B> et cette autre image en couleurs est également copiée en noir et blanc<B>à</B> l'étape 34. Chaque pixel Fij de cette autre copie en noir et blanc a une nuance de gris G'ij <B>:</B>
L'ordinateur calcule alors la différence Dij, pour chaque pixel, entre les deux dernières copies en noir et blanc, afin de détecter un mouvement éventuel dans l'image fournie par la caméra, comme indiqué<B>à</B> l'étape<B>35 :</B> Dij <B≥ 1</B> G-ij <B>-</B> Gij Ce calcul de la variation des images est effectué pixel par pixel.<B>A</B> l'étape<B>36,</B> on effectue la somme<B>S</B> des variations précitées de chaque pixel.
avec n et<B>p</B> représentant le nombre de colonnes et de lignes de l'image. <B>A</B> l'étape<B>37,</B> on compare la somme<B>S</B> ainsi calculée<B>à</B> une donnée préenregistrée So, cette donnée So ayant une valeur qui est fonction de la taille de la cible dont les mouvements doivent être détectés. Ainsi, en affectant une valeur suffisamment grande<B>à</B> la donnée So, on peut éviter de détecter le mouvement d'une feuille. <B> A </ B> step <B> 30, </ B> the device is turned on, which causes the camera to initialize and automatically adjust the contrast of the camera according to the ambient brightness. Then, a color image is stored in the computer, <B> to step <B> 31. </ B> This image consists of a plurality of pixels Pij, where i is the abscissa and <b> j </ B> the ordinate of the pixel, each pixel having three fundamental color components Rij, Vij, Bij. This color image is transformed into a black and white copy <B> at step <B> 32, </ B> each pixel having a gray shade Gij <B>: </ B>
Then another color image is stored by the computer, <B> at step <B> 33, </ B> and this other color image is also copied in black and white <B> to </ B> step 34. Each pixel Fij of this other black-and-white copy has a gray shade G'ij <B>: </ B>
The computer then calculates the difference Dij, for each pixel, between the last two copies in black and white, in order to detect a possible movement in the image provided by the camera, as indicated <B> to </ B> the step <B> 35: </ B> Dij <B≥ 1 </ B> G-ij <B> - </ B> Gij This calculation of the variation of the images is done pixel by pixel. <B> A </ B> step <B> 36, </ B> we make the sum <B> S </ B> of the aforementioned variations of each pixel.
with n and <B> p </ B> representing the number of columns and rows in the image. <B> A </ B> step <B> 37, </ B> we compare the sum <B> S </ B> thus calculated <B> to </ B> a prerecorded data So, this data So having a value that depends on the size of the target whose movements are to be detected. Thus, by assigning a sufficiently large value <B> to </ B> the So data, one can avoid detecting the movement of a sheet.
Si la somme<B>S</B> n'est pas supérieure<B>à</B> So, le procédé reboucle <B>à</B> l'étape<B>33</B> précitée. If the sum <B> S </ B> is not greater <B> than </ B> So, the method loops back <B> to </ B> the aforementioned step <B> 33 </ B>.
Au contraire, si la somme<B>S</B> est bien supérieure<B>à</B> So, le système passe<B>à</B> l'étape<B>38</B> qui consiste<B>à</B> calculer le barycentre des pixels de l'image, affectés chacun du coefficient de pondération Dij précité. Lorsque les coordonnées du barycentre ont été calculées, le système peut en déduire sa couleur, comme indiqué<B>à</B> l'étape<B>39,</B> c'est- à-dire ses composantes Rc, V-C, Bc. On the contrary, if the sum <B> S </ B> is much greater <B> than </ B> So, the system goes <B> to </ B> the step <B> 38 </ B> which consists in calculating the barycenter of the pixels of the image, each assigned the aforementioned weighting coefficient Dij. When the coordinates of the center of gravity have been calculated, the system can deduce its color, as indicated <B> at </ B> step <B> 39, </ B> that is to say its components Rc, VC, Bc.
Puis, l'ordinateur calcule l'écart Ci entre la couleur moyenne de chaque colonne de pixels de l'image et la couleur du barycentre, comme indiqué<B>à</B> l'étape 40, selon la formule suivante<B>:</B>
<B>A</B> l'étape 41, on détermine la colonne dont la valeur de l'écart<B>E</B> calculé est la plus faible. On obtient ainsi l'abscisse de la cible. L'ordinateur commande alors le moteur pour déplacer la caméra, <B>de</B> façon<B>à</B> centrer l'image sur cette colonne, comme indiqué<B>à</B> l'étape 42. Then, the computer calculates the difference Ci between the average color of each column of pixels of the image and the color of the center of gravity, as indicated <B> at </ B> step 40, according to the following formula <B >: </ B>
<B> A </ B> In step 41, we determine the column whose value of the difference <B> E </ B> calculated is the lowest. This gives the abscissa of the target. The computer then controls the motor to move the camera, from <B> to <B> to </ B> center the image on that column, as shown <B> to </ B> step 42.
Puis, l'ordinateur mémorise une autre image en couleurs,<B>à</B> l'étape 43. Les étapes 44 et 45 suivantes sont identiques aux étapes 40 et 41 précitées, de façon<B>à</B> déterminer, dans la nouvelle image en couleurs mémorisée, la colonne sur laquelle la caméra doit se centrer. Bien entendu, si l'abscisse de ladite colonne n'a pas bougé, le moteur ntentraine pas le déplacement de la caméra. Then, the computer stores another color image, <B> at step 43. The following steps 44 and 45 are identical to steps 40 and 41 above, so <B> to </ B> determine, in the new stored color image, the column on which the camera is to focus. Of course, if the abscissa of said column has not moved, the motor does not hold the movement of the camera.
<B>A</B> l'étape 46, le système compare la valeur de l'écart<B>E</B> le plus faible<B>à</B> une valeur prédéterminée Eo, cette valeur Eo étant destinée<B>à</B> permettre l'interruption du suivi par la caméra, lorsque la cible a quitté le champ de la caméra. En effet, si l'écart<B>E</B> est supérieur <B>à</B> F-o, cela signifie que la cible a quitté le champ de la caméra. En revanche, si l'écart<B>E</B> reste inférieur<B>à</B> la valeur Eo, le système reboucle <B>à</B> l'étape 42 précitée. <B> A </ B> step 46, the system compares the value of the difference <B> E </ B> the lowest <B> to </ B> a predetermined value Eo, this value Eo being intended to allow the camera to stop tracking, when the target has left the camera field. Indeed, if the difference <B> E </ B> is greater <B> than </ B> F-o, it means that the target has left the field of the camera. On the other hand, if the difference <B> E </ B> remains below <B> at </ B> the value Eo, the system loops <B> to </ B> the above-mentioned step 42.
<B>A</B> l'étape 46, on pourrait prévoir une deuxième condition<B>à</B> satisfaire pour reboucler <B>à</B> l'étape 42<B>:</B> cette deuxième condition consiste<B>à</B> vérifier si t<B> < </B> to, avec to étant une constante de temps prédéterminée et t étant la durée écoulée depuis que la condition <B>S ></B> So est satisfaite. Ceci permet de réinitialiser automatiquement le système, au bout d'une durée prédéterminée, môme si<B>E < </B> Eo, par exemple en cas de mauvais réglage de la constante Eo. <B> A </ B> step 46, one could provide a second <B> to </ B> satisfy condition to loop back <B> to </ B> step 42 <B>: </ B> this second condition is to check if t <B> <</ B> to, with to being a predetermined time constant and t being the time elapsed since the condition <B> S> </ B> So is satisfied. This automatically resets the system after a predetermined time, even if <B> E <</ B> Eo, for example if the constant Eo is incorrectly set.
Bien entendu, aux étapes 40, 41 et 44, 45, il serait également possible de déterminer la ligne de pixels dont la couleur moyenne est la plus proche que celle du barycentre, afin de déterminer l'ordonnée de la cible. On obtiendrait ainsi un suivi horizontal et vertical de la cible par la caméra. Of course, in steps 40, 41 and 44, 45, it would also be possible to determine the line of pixels whose average color is the closest to that of the center of gravity, in order to determine the ordinate of the target. This would provide a horizontal and vertical tracking of the target by the camera.
Les trois composantes de couleur utilisées peuvent être le rouge, le vert et le bleu, ou bien les trois couleurs primaires,<B>à</B> savoir le jaune, le rouge et le bleu. Chaque composante de couleur ou nuance de gris peut avoir une valeur comprise entre<B>0</B> et<B>255,</B> pour un nombre <B>à 8</B> bits. The three color components used can be red, green, and blue, or the three primary colors, <b> to </ b> ie yellow, red, and blue. Each color component or shade of gray can have a value between <B> 0 </ B> and <B> 255, </ B> for a number <B> to 8 </ B> bits.
Bien que l'invention ait été décrite en liaison avec plusieurs variantes de réalisation particulières, il est bien évident qu'elle n'y est nullement limitée et qu'elle comprend tous les équivalents techniques des moyens décrits ainsi que leurs combinaisons, si celles-ci entrent dans le cadre de l'invention.Although the invention has been described in connection with several particular embodiments, it is obvious that it is in no way limited thereto and that it comprises all the technical equivalents of the means described and their combinations, if these These are within the scope of the invention.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9907336A FR2794880B1 (en) | 1999-06-10 | 1999-06-10 | AUTOMATIC PROCESS FOR TRACKING A MOVING TARGET BY AN ELECTRONIC CAMERA AND DEVICE FOR IMPLEMENTING IT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9907336A FR2794880B1 (en) | 1999-06-10 | 1999-06-10 | AUTOMATIC PROCESS FOR TRACKING A MOVING TARGET BY AN ELECTRONIC CAMERA AND DEVICE FOR IMPLEMENTING IT |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2794880A1 true FR2794880A1 (en) | 2000-12-15 |
FR2794880B1 FR2794880B1 (en) | 2001-12-14 |
Family
ID=9546619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR9907336A Expired - Fee Related FR2794880B1 (en) | 1999-06-10 | 1999-06-10 | AUTOMATIC PROCESS FOR TRACKING A MOVING TARGET BY AN ELECTRONIC CAMERA AND DEVICE FOR IMPLEMENTING IT |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2794880B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003024095A1 (en) * | 2001-09-07 | 2003-03-20 | Intergraph Hardware Technologies Company | Image stabilization using color matching |
WO2010020625A1 (en) * | 2008-08-20 | 2010-02-25 | European Aeronautic Defence And Space Company - Eads France | Method and device for remotely controlling a camera on board a mobile station |
CN114434443A (en) * | 2022-01-23 | 2022-05-06 | 轮趣科技(东莞)有限公司 | Control method and device for autonomous mobile equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0586019A2 (en) * | 1992-09-04 | 1994-03-09 | Nikon Corporation | Target follow-up device and camera comprising the same |
EP0613020A1 (en) * | 1993-02-25 | 1994-08-31 | Sony Corporation | Object tracking apparatus |
US5574498A (en) * | 1993-09-25 | 1996-11-12 | Sony Corporation | Target tracking system |
EP0902396A2 (en) * | 1997-09-11 | 1999-03-17 | Fujitsu Limited | Moving-target tracking apparatus |
-
1999
- 1999-06-10 FR FR9907336A patent/FR2794880B1/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0586019A2 (en) * | 1992-09-04 | 1994-03-09 | Nikon Corporation | Target follow-up device and camera comprising the same |
EP0613020A1 (en) * | 1993-02-25 | 1994-08-31 | Sony Corporation | Object tracking apparatus |
US5574498A (en) * | 1993-09-25 | 1996-11-12 | Sony Corporation | Target tracking system |
EP0902396A2 (en) * | 1997-09-11 | 1999-03-17 | Fujitsu Limited | Moving-target tracking apparatus |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003024095A1 (en) * | 2001-09-07 | 2003-03-20 | Intergraph Hardware Technologies Company | Image stabilization using color matching |
AU2002336445B2 (en) * | 2001-09-07 | 2007-11-01 | Intergraph Software Technologies Company | Image stabilization using color matching |
CN100359923C (en) * | 2001-09-07 | 2008-01-02 | 英特图形软件技术公司 | Image stabilization using color matching |
US7436437B2 (en) | 2001-09-07 | 2008-10-14 | Intergraph Software Technologies Company | Method, device and computer program product for image stabilization using color matching |
CN101072364B (en) * | 2001-09-07 | 2012-05-09 | 英特图形软件技术公司 | Image stabilization using color matching |
WO2010020625A1 (en) * | 2008-08-20 | 2010-02-25 | European Aeronautic Defence And Space Company - Eads France | Method and device for remotely controlling a camera on board a mobile station |
FR2935214A1 (en) * | 2008-08-20 | 2010-02-26 | Eads Europ Aeronautic Defence | METHOD AND DEVICE FOR REMOTELY CONTROLLING AN INBOARD CAMERA IN A MOBILE STATION |
CN102124491A (en) * | 2008-08-20 | 2011-07-13 | 欧洲航空防务和航天公司 | Method and device for remotely controlling a camera on board a mobile station |
CN102124491B (en) * | 2008-08-20 | 2013-09-04 | 欧洲航空防务和航天公司 | Method and device for remotely controlling a camera on board a mobile station |
CN114434443A (en) * | 2022-01-23 | 2022-05-06 | 轮趣科技(东莞)有限公司 | Control method and device for autonomous mobile equipment |
Also Published As
Publication number | Publication date |
---|---|
FR2794880B1 (en) | 2001-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11308335B2 (en) | Intelligent video surveillance system and method | |
JP4001918B2 (en) | Landing position marker for normal or simulated shooting | |
CN109794435A (en) | Fruit quality detection system and method based on deep learning | |
Liang et al. | An auto-exposure algorithm for detecting high contrast lighting conditions | |
GB2273413A (en) | Electro-optic reconnaissance | |
WO2008099092A2 (en) | Device and method for watching real-time augmented reality | |
CN109740445A (en) | A kind of method for detecting infrared puniness target becoming size | |
CN109241968B (en) | Image content inclination angle prediction network training method and correction method and system | |
CA2764723A1 (en) | Aiming assistance for sport competitions for visually challenged or blind persons | |
US20210243346A1 (en) | Intelligent image capture mode for images involving reflective surfaces | |
CN111698409A (en) | Indoor photographing light dimming method | |
Oral et al. | Centre of mass model–A novel approach to background modelling for segmentation of moving objects | |
FR2794880A1 (en) | Method of tracking a moving target using an electronic camera; detects target by computing value from variations in color between images, and comparing it with threshold | |
CN111860346A (en) | Dynamic gesture recognition method and device, electronic equipment and storage medium | |
FR2706721A1 (en) | Method and device for determining the location of a target | |
CN112689989A (en) | Image sensor protection method and device, image acquisition device and unmanned aerial vehicle | |
JP2010511340A (en) | Artifact removal for images taken with flash | |
CN111583843A (en) | System and method for adjusting screen brightness of single camera | |
CN113674175A (en) | Underwater robot image enhancement method for detecting damage of cross-sea bridge structure | |
WO2023173886A1 (en) | Hidden camera detection method, terminal, and readable storage medium | |
CN112714246A (en) | Continuous shooting photo obtaining method, intelligent terminal and storage medium | |
FR3062201B3 (en) | REAL-TIME ELECTRONIC TARGETING FOR REGULAR DISTANCE SHOOTING OR SHORTCUT DISTANCE THEN EMULATED | |
Yao et al. | Edge to cloud end to end solution of visual based gun detection | |
FR3107977A1 (en) | ASSISTANCE PROCESS FOR THE DETECTION OF ASSOCIATED ELEMENTS, DEVICE AND PLATFORM | |
FR2875614A1 (en) | REMOTE CAPTURE METHOD WITH USER INTERFACE PROVIDING SEPARATE INTERIOR AND OUTDOOR TAKING MODES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20110923 |