FR2968876A1 - Systeme d'acquisition d'images presentant une dynamique elevee - Google Patents
Systeme d'acquisition d'images presentant une dynamique elevee Download PDFInfo
- Publication number
- FR2968876A1 FR2968876A1 FR1004870A FR1004870A FR2968876A1 FR 2968876 A1 FR2968876 A1 FR 2968876A1 FR 1004870 A FR1004870 A FR 1004870A FR 1004870 A FR1004870 A FR 1004870A FR 2968876 A1 FR2968876 A1 FR 2968876A1
- Authority
- FR
- France
- Prior art keywords
- sensor
- image
- acquisition system
- acquisition
- fraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 9
- 230000003595 spectral effect Effects 0.000 claims abstract description 5
- 230000010354 integration Effects 0.000 claims description 61
- 230000004907 flux Effects 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 9
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 238000002844 melting Methods 0.000 claims description 4
- 230000008018 melting Effects 0.000 claims description 4
- 235000019557 luminance Nutrition 0.000 description 28
- 238000000034 method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011328 necessary treatment Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Système d'acquisition (1) d'images comprenant : - une optique de focalisation unique (2) focalisant un faisceau incident (100) issu d'une scène à visualiser sur un premier capteur (3) et un deuxième capteur (4) présentant des courbes de réponse spectrale identiques, - suivie de moyens de séparation (5) séparant le faisceau issu de l'optique de focalisation (101) en une première fraction (102) et une deuxième fraction prédéterminées (103), les moyens de séparation (5) orientant en outre, la première fraction (102) du faisceau issu de l'optique de focalisation (101) vers le premier capteur (3) et la deuxième fraction (103) du faisceau issu de l'optique de focalisation (101) vers le deuxième capteur (4), - des moyens de contrôle (6) pour contrôler un premier temps d'acquisition T1 de la scène à visualiser par le premier capteur (3) de façon à obtenir une première image 11 et/ un deuxième temps d'acquisition T2 de la scène à visualiser par le deuxième capteur (4) de façon à obtenir une deuxième image 12, - des moyens de fusion (7) fusionnant la première image 11 issue du premier capteur (3) et la deuxième image I2 issue du deuxième capteur (4) de façon à générer une image finale If.
Description
SYSTEME D'ACQUISITION D'IMAGES PRESENTANT UNE DYNAMIQUE ELEVEE
L'invention concerne les systèmes d'acquisition de séquences d'images en temps réel. On souhaite que les systèmes d'acquisition d'images enregistrent des images ayant la plus grande dynamique possible.
Autrement dit, on cherche à réaliser des systèmes d'acquisition d'images sensibles en présence d'un faible éclairement et capables de recevoir des images très lumineuses sans saturation. Typiquement, on souhaite pouvoir obtenir des systèmes d'acquisition de séquences d'images présentant une dynamique au moins égale à 120dB. ~o Plusieurs solutions ont été recherchées pour obtenir une grande dynamique. II existe tout d'abord des solutions utilisant un unique capteur muni de moyens de prise d'images à haute dynamique. Ces systèmes utilisent des techniques différentes parmi lesquelles la capture successive de plusieurs images avec des temps d'intégration différents. Si le signal fourni 15 par un pixel du capteur ayant subi un temps d'intégration long est saturé, il est remplacé en utilisant un signal du même pixel, ayant subi un temps d'intégration plus court. Cela suppose de prendre plusieurs images successives augmentant ainsi considérablement le temps d'acquisition global et ne permettant pas une prise de séquence d'images en temps réel. 20 Une autre technique consiste à avoir une matrice mixte avec des petits pixels et des grands pixels. Les petits pixels, moins sensibles, servent s'il y a beaucoup de lumière. Un traitement complexe et nécessaire, qui réduit la résolution globale de la matrice notamment celle des zones peu éclairées (n'excitant que les gros pixels). 25 Une autre technique consiste à mesurer le temps que met un pixel pour arriver à saturation pour en déduire une information sur le niveau de lumière en présence d'éclairements saturants. Cela suppose l'utilisation d'une technologie de pixel « complexe » qui nécessite de « gros pixels » entraînant par conséquent une perte en résolution. 30 Des techniques avec des pixels à fonction logarithmique ou linéaire logarithmique ou à variation de pente de la courbe de réponse ont par ailleurs été proposées pour des pixels à trois transistors ou plus. Elles reposent sur une variation du potentiel de la grille du transistor de réinitialisation de la photodiode. Ces solutions sont sensibles à des dispersions technologiques à savoir la dispersion de tensions de seuil des transistors des différents pixels et la dispersion du potentiel à vide de la photodiode après réinitialisation. Elles ne permettent pas d'augmenter fortement la dynamique du dispositif (100dB maximum), augmentent le bruit spatial et impliquent un poste traitement complexe du fait de la modification de la linéarité des niveaux de gris. La plupart de ces techniques, excepté l'hybridation de pixels de taille différentes, présentent l'inconvénient de dégrader le rapport signal sur bruit des zones sombres. ~o Il existe également des solutions comprenant deux caméras disposées côte à côte, fonctionnant avec des temps d'intégration différents, et comprenant également des moyens de reconstruction d'une image commune aux deux caméras. Ces solutions présentant l'inconvénient de demander une phase de prétraitement des images issues des deux caméras 15 avant d'effectuer la corrélation nécessaire à l'établissement d'une image à haute dynamique. Le prétraitement augmente le temps de latence du dispositif et la corrélation dégrade la résolution de l'image globale du fait des défauts de corrélation du système et de la possible présence d'objets à des distances proches causant des problèmes de parallaxe. 20 Le but de l'invention est de proposer un système d'acquisition d'images apte à acquérir des images de résolution élevée d'une scène présentant une très large dynamique lumineuse et ce, à cadence image élevée. A cet effet, l'invention a pour objet un système d'acquisition 25 d'images comprenant : - une optique de focalisation unique focalisant un faisceau incident issu d'une scène à visualiser sur un premier capteur et un deuxième capteur présentant des courbes de réponse spectrale identiques, - suivie de moyens de séparation séparant le flux du faisceau issu 30 de l'optique de focalisation en une première fraction et une deuxième fraction prédéterminées, les moyens de séparation orientant en outre, la première fraction du flux faisceau issu de l'optique de focalisation vers le premier capteur et la deuxième fraction du flux du faisceau issu de l'optique de focalisation vers le deuxième capteur, - des moyens de contrôle pour contrôler un premier temps d'acquisition de la scène à visualiser par le premier capteur de façon à obtenir une première image et/ou un deuxième temps d'acquisition de la scène à visualiser par le deuxième capteur de façon à obtenir une deuxième image 12, - des moyens de fusion fusionnant la première image et la deuxième image de façon à générer une image finale. Cette solution permet, en jouant à la fois sur les durées d'intégration des deux capteurs et pour une répartition donnée des flux lumineux qui sont envoyés sur les deux capteurs, de jouer sur l'étendue de la dynamique d'une scène à visualiser pour laquelle le système peut fournir une image de bonne qualité (sans saturation au niveau des hautes luminances et avec un contraste suffisant au niveau des basses luminances). On peut également, lorsque la scène observée ne présente pas une forte dynamique d'entrée, augmenter la résolution de l'image obtenue en paramétrant la répartition du flux lumineux et en réglant les temps d'intégration de manière à obtenir deux images identiques et facilement fusionnables avec une résolution doublée sur chaque axe. Le compromis entre résolution et dynamique élevée pourra être modulé selon deux modes de réalisation préférentiels qui seront décrits ultérieurement. Avantageusement, les moyens de contrôle utilisent un algorithme de contrôle du gain. Avantageusement, les moyens de contrôle contrôlent les temps d'intégration du premier capteur et/ou du deuxième capteur en fonction de l'histogramme de l'image du capteur qui présente le temps d'intégration le plus faible parmi le premier capteur et le deuxième capteur. Avantageusement, les moyens de contrôle contrôlent les temps d'intégration du premier capteur et du deuxième capteur en fonction de l'histogramme de la première image et respectivement en fonction de l'histogramme de la deuxième image. Avantageusement, les moyens de contrôle cherchent à minimiser la différence entre le premier temps d'intégration et le deuxième temps d'intégration. Avantageusement, ledit système est configuré de sorte que la quantité de lumière reçue par le premier capteur pendant l'acquisition de la première image est supérieure à la quantité de lumière reçue par le deuxième capteur pendant l'acquisition de la deuxième image, ledit premier capteur étant appelé capteur de faible luminance et le deuxième capteur étant appelé capteur de haute luminance.
Avantageusement, les moyens de contrôle contrôlent le deuxième temps d'intégration de l'image issue du capteur de haute luminance de sorte qu'elle ne soit saturée en aucun point et contrôlent le premier temps d'intégration de l'image issue du capteur de basse luminance de sorte que les zones, de cette dernière image, présentant l'intensité la plus faible présentant un contraste supérieur à un seuil prédéterminé. Avantageusement, les poids alloués aux pixels respectifs de l'image issue du capteur de haute luminance, dans l'image finale, sont d'autant plus importants qu'ils présentent une intensité élevée. Avantageusement, le premier capteur et le deuxième capteur sont superposés. Avantageusement, le premier capteur et le deuxième capteur sont décalés l'un par rapport à l'autre sensiblement d'un demi-pixel selon les lignes et les colonnes des matrices de pixels formées par le premier capteur et le deuxième capteur.
Avantageusement, la fusion de la première image et de la deuxième image est obtenue par combinaison linéaire des intensités des pixels de ces deux images. Avantageusement, les moyens de fusion débutent le calcul des poids attribués aux pixels respectifs de la première image et de la deuxième image, à partir de l'image dont le temps d'intégration est le plus faible, avant la fin de l'acquisition de l'image dont le temps d'intégration est le plus important. Dans un premier mode de réalisation, la première fraction est comprise entre une fraction inférieure, supérieure à 0 %, et 10% du flux du faisceau lumineux issu de l'optique de focalisation. Avantageusement, la première fraction est égale à 5% du flux du faisceau lumineux issu de l'optique de focalisation. En variante, la première fraction est égale à 50% ou comprise entre 20% et 50% du flux du faisceau lumineux issu de l'optique de focalisation.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence aux dessins annexés dans lesquels : - la figure 1 représente schématiquement un système d'acquisition d'images selon l'invention.
Sur la figure 1, on a représenté le système 1 d'acquisition d'images selon l'invention.
Ce système 1 comprend une optique de focalisation unique 2 focalisant un faisceau incident 100 issu d'une scène à visualiser sur un premier capteur 3 et un deuxième capteur 4 qui ont des courbes de réponse spectrale sensiblement identiques. Avantageusement, les capteurs présentent une même résolution et des pixels de même taille. Préférentiellement, les capteurs sont identiques. Les capteurs sont, par exemple, des capteurs CCD ou CMOS mais on peut utiliser tout autre type de capteurs photographiques. Les deux capteurs 3, 4 sont avantageusement synchronisés.
Autrement dit, des moyens de contrôle 6 qui seront décrits ultérieurement sont aptes à déclencher et arrêter les acquisitions, aussi appelées intégrations, d'images par les deux capteurs, simultanément ou à des instants différents. Le système d'acquisition 1 comprend en outre des moyens de séparation 5 séparant le flux du faisceau issu de l'optique de focalisation 101 en une première fraction 102 et une deuxième fraction 103 prédéterminées. La somme de la première fraction 102 et de la deuxième fraction 103 du faisceau est égale à 100 % du flux du faisceau issu de l'optique de focalisation 101.
Les moyens de séparation 5 orientent en outre la première fraction 102 du flux faisceau 101, sur le premier capteur 3, et la deuxième fraction 103 du flux faisceau 101, sur le deuxième capteur 4. Sur la figure, les moyens de séparation sont sous forme d'une lame séparatrice. La lame séparatrice a avantageusement subi un traitement dichroïque ou un traitement en couche minces adapté pour réaliser la séparation du flux incident dans les proportions souhaitées. La lame séparatrice est agencée de sorte à transmettre la première portion 102 et à réfléchir la deuxième portion 103 mais cela pourrait également être l'inverse. On peut aussi utiliser un cube séparateur.
Le système comprend également des moyens de traitement 9 incluant: - des moyens de contrôle 6 pour contrôler le premier temps d'acquisition T1, c'est-à-dire la première durée d'intégration ou d'acquisition de la scène à visualiser par le premier capteur 3 de façon à obtenir une première image Il et/ou pour contrôler le deuxième temps d'acquisition T2, c'est-à-dire la deuxième durée d'intégration ou d'acquisition, de la scène à visualiser par le deuxième capteur 4 de façon à obtenir une deuxième image 12, - et, des moyens de fusion 7 fusionnant une première image Il 15 issue du premier capteur 3 et une deuxième image 12 issue du deuxième capteur 4 de façon à générer une image finale If. En choisissant des durées d'intégration et une répartition des flux lumineux appropriés, on peut obtenir une image présentant une meilleure résolution et une bonne qualité sur une plus large dynamique que si l'image 20 avait été obtenue au moyen d'un capteur unique. En effet, le flux lumineux provenant de l'unique optique de focalisation est séparé en deux flux de proportions prédéterminées. Le premier capteur reçoit une première fraction %lum1 du flux du faisceau issu de l'optique de focalisation et le deuxième capteur reçoit une deuxième 25 fraction %lum2 du flux du faisceau issu de l'optique de focalisation. Le premier capteur 4 est réglé sur le premier temps d'intégration T1 et configuré pour collecter, sans saturation, des luminances situées dans une première plage de fonctionnement s'étendant d'une première luminance minimale L1 min jusqu'à une première luminance maximale L1 max. Par le 30 choix d'un modèle de capteur d'une dynamique classique, l'on aura, par exemple, les premières luminances minimale LI min et maximale LI max pour une même scène telles que la dynamique du capteur Dync est égale à environ 80 dB, soit Dync = 201og/L1max 80dB . L1min 7 De même, le deuxième capteur qui présente la même dynamique que le premier capteur, est réglé sur le deuxième temps d'intégration T2 et configuré pour collecter, sans saturation et pour une même scène, des luminances situées dans une deuxième plage de fonctionnement s'étendant d'une deuxième luminance minimale L2min jusqu'à une deuxième luminance
maximale L2max. L2max donnée par L2max = Llmax* TI * %luml (du fait T2*%lum2 que les capteurs présentent les mêmes courbes de réponses spectrales.) La dynamique, pour une même scène, du système Dyns comprenant les deux capteurs est égale à : Dyns 2olog(L2max 201og/L1ma.x T1 *%luml Llmin) L1min T2*%lum2 CL1max) T1 * %lum1 L1 min Dyns = 20 log + 20 Iogl T2 * %lum2 Soit un gain en dynamique de : Dyns = Dync + 20 log T1 * %luml T2*%Ium2 15 Si on considère une configuration du système telle que la quantité de lumière reçue par le premier capteur lors de l'intégration de la première image est supérieure à la quantité de lumière reçue par le deuxième capteur lors de l'intégration d'une image, c'est-à-dire T1 * %luml > T2 * %lum2 , le 20 système selon l'invention présente une dynamique Dyns supérieure à la dynamique des capteurs utilisés Dync. Le premier capteur 3, recevant la quantité de lumière la plus importante pendant l'intégration d'une image, est appelé, dans la suite du texte, capteur de faible luminance car il a pour fonction d'apporter de 25 l'information à l'image finale dans le domaine des faibles luminances. Le deuxième capteur 4, recevant la plus faible quantité de lumière pendant l'intégration d'une image, est appelé dans la suite du texte capteur de haute luminance car il a pour fonction d'apporter de l'information à l'image finale dans le domaine des hautes luminances.
Selon une première caractéristique, les deux temps d'intégration T1 et T2 sont variables. Avantageusement, la durée d'intégration d'un des capteurs est fixe - ou auto-asservie - et configurée de manière à obtenir une image correcte de la plupart des scènes auxquelles sera confronté le système - dans ce cas, seul le temps d'intégration de l'autre capteur est asservi par les moyens de contrôle 6 de manière à récupérer les informations des zones saturées du capteur dont le temps d'intégration est fixe ou auto-asservi. Cette caractéristique permet de simplifier la logique de contrôle des temps d'intégration. Avantageusement, les moyens de contrôle 6 utilisent un algorithme de contrôle du gain pour régler les temps d'intégration T1, T2. Avantageusement, les moyens de contrôle contrôlent les temps d'intégration des capteurs en fonction de l'histogramme de l'image acquise par le capteur qui présente le temps d'intégration le plus faible. Par histogramme on entend la fonction qui associe à une valeur d'intensité, le nombre de pixels ayant cette valeur d'intensité. Cela permet d'obtenir un système d'acquisition d'images à cadence élevée. Il n'est pas nécessaire d'attendre la fin de l'acquisition de l'image par le capteur présentant le temps d'acquisition le plus important pour calculer les nouveaux temps d'intégration. Le temps de latence du système est ainsi réduit. Avantageusement, les moyens de contrôle 6 contrôlent les temps d'intégration des capteurs en fonction de leurs histogrammes respectifs.
Cette caractéristique permet d'obtenir une meilleure précision dans le réglage des temps d'intégration. Avantageusement, les moyens de contrôle des temps d'intégration cherchent à minimiser la différence entre les temps d'intégration respectifs des deux capteurs. Cette caractéristique permet de maximiser la résolution de l'image finale obtenue. Des exemples de réglage des temps d'intégration sont donnés ci-dessous. Dans la configuration dans laquelle T1 * %luml > T2 * %lum2, on peut régler le premier capteur pour qu'il détecte, sans saturation, les scènes à visualiser présentant une dynamique prédéterminée. Si on souhaite que le deuxième capteur serve à faire de la haute dynamique, les moyens de contrôle 6 ne font pas varier le deuxième temps d'intégration T2 tant que la deuxième image 12 issue du deuxième capteur 4 ne présente pas de saturation. Dés que la deuxième image 12 présente une saturation, les moyens de contrôle 6 réduisent le deuxième temps d'intégration T2. Cela permet d'obtenir un système présentant une haute dynamique et une haute résolution car les informations issues des images I1, 12 des deux capteurs 3, 4 se recoupent. Dans la configuration dans laquelle T1 * %luml > T2 * %lum2 les ~o moyens de contrôle 6 peuvent contrôler le temps d'intégration de l'image de haute luminance 12 de sorte qu'elle ne soit saturée en aucun point et contrôler le premier temps d'intégration T1 de l'image de basse luminance I1 de sorte que les zones de l'image de basse luminance 11 présentant l'intensité la plus faible présentant un contraste supérieure à un seuil 15 prédéterminé. On peut ainsi obtenir une image finale de bonne qualité d'une scène présentant une très large dynamique en favorisant les zones de l'image de haute dynamique 12 d'intensité importante et les zones de l'image de basse dynamique 11 de faible intensité. En minimisant la différence entre les deux temps d'intégration T1, T2, on obtient également une image finale 20 de haute résolution. Ainsi, en utilisant des capteurs présentant une dynamique de 80dB, une lame séparant le flux en une première fraction 102 égale à 95% du flux issu de l'optique de focalisation, et une deuxième fraction 103 égale à 5% du flux du faisceau 101, et en choisissant un premier temps d'intégration 25 T1 égal à 10 ms et un deuxième temps d'intégration T2 égal à 10ps, on obtient une image résultante If d'une dynamique supérieure à 160dB. Ce système permet donc non seulement d'obtenir une image à très haute dynamique présentant une réponse à l'éclairement linéaire mais aussi de ne pas diminuer les performances intrinsèques des capteurs 30 utilisés. En effet, les capteurs CCD ou CMOS présentent une réponse linéairement intrinsèque à la technologie utilisée que l'on conserve par un recalage adapté de leur dynamique lors de l'étape de fusion. Par ailleurs, du fait qu'une seule optique d'entrée 2 éclaire les deux capteurs, le système selon l'invention ne présente pas de problèmes de 35 parallaxe. Cette caractéristique permet d'éviter de réaliser des calculs pour s'affranchir des problèmes de parallaxes et de distorsion dans l'image finale. On évite ainsi les problèmes d'augmentation du temps de latence du système ce qui permet de fournir des images à une cadence élevée. On s'affranchit également du problème de la diminution de la résolution lié à ces calculs. Par ailleurs, cette caractéristique permet de recaler les deux images même lorsque la scène à observer présente une grande profondeur de champ. Les capteurs peuvent être superposés. Dans cette configuration, le même point de la scène à visualiser apparaît sur le même pixel de chacun 10 des deux capteurs permettant ainsi une étape de fusion rapide. Dans une variante avantageuse, le premier capteur 3 et le deuxième capteur sont disposés de manière à être décalés l'un par rapport à l'autre sensiblement d'un demi-pixel selon les lignes et les colonnes des matrices de pixels formées par le premier capteur et le deuxième capteur. 15 Autrement dit, les deux capteurs voient la même scène mais celle-ci est vue par les deux capteurs respectifs, de façon décalée d'un demi-pixel selon les lignes et les colonnes des matrices de pixels formées par les deux capteurs 3, 4. Cela permet aux moyens de fusion 7 de composer une image 20 finale présentant une résolution jusqu'à 4 fois plus importante que celle des capteurs 3, 4d'origine.
Les moyens de fusion 7 fusionnent la première image I1 et la deuxième image 12 de façon à obtenir une image finale If. On utilise, par 25 exemple, un module de traitement de données (en logique câblée ou processeur de signaux adapté). Les moyens de fusion 7 comprennent des moyens pour harmoniser les échelles de dynamiques respectives de la première image I1 et de la deuxième image 12 préalablement à la fusion desdits images. Cela 30 permet au système de conserver une image interprétable car présentant une échelle linéaire de codage de niveaux de gris par rapport à la luminance de la scène. II s'agit, par exemple, dans la configuration où T1 * %Iuml > T2 * %lum2 , de multiplier l'intensité des pixels de l'image de 35 haute luminance (Pixels du deuxième capteur 4) par le rapport T1 *%luml 2968876. 11 divisé par T2*%lum2. En effet, le rapport de proportion de lumière distribuée sur les 2 capteurs doit également être utilisé. La fusion de la première image I1 et de la deuxième image 12 est obtenue en attribuant des poids respectifs aux pixels de chacune des images 5 pour former l'image finale If. Cette étape est, par exemple, réalisée par interpolation bilinéaire des intensités des pixels correspondant à chacune des images avec un poids spécifiquement alloué à chaque pixel de chacune des deux images. Avantageusement, les poids alloués aux pixels de l'image de haute luminance 12, dans l'image finale If, sont d'autant plus importants que leurs intensités sont importantes, (les pixels respectifs de la première image 11 risquant d'être fortement saturés et donc non porteur d'information). Les poids des pixels de l'image de basse luminance I1, dans l'image finale, sont donc d'autant plus importants que leurs intensités sont faibles (car les valeurs des intensités des pixels respectifs de la deuxième image 12 seront beaucoup plus faibles et donc plus sensibles aux différents bruits de lecture et de numérisation). Cela permet d'obtenir une image finale If de bonne qualité d'une scène présentant une très haute dynamique. On se sert d'un des capteurs pour fournir des informations pour les zones de haute luminance et de l'autre capteur pour fournir des informations pour les zones de basse luminance. En variante, la fusion de la première et de la deuxième image est obtenue par simple combinaison linéaire des intensités des pixels des deux images. Cette variante permet de réduire le temps de latence du système.
Avantageusement, les moyens de fusion débutent la fusion, par exemple, en calculant les poids attribués aux pixels de la première image I1 et de la deuxième image 12, à partir de l'image dont le temps d'intégration est le plus faible, avant la fin de l'acquisition de l'image dont le temps d'intégration est le plus important. Cela permet de diminuer le temps de latence du système et d'obtenir des images à cadence élevée. Les moyens de fusion 6 prédisent, par exemple, à partir de l'image dont le temps d'intégration est le plus faible, la position des zones saturées sur l'image présentant le temps d'intégration le plus important pendant l'acquisition de cette image.
Dans un premier mode de réalisation, les moyens de séparation 5 sont configurés de sorte que la différence entre la première fraction 102 et la deuxième fraction 103 est la différence maximale permettant de ne pas engendrer de distorsion dans l'image finale.
Typiquement, la deuxième fraction 103 est comprise entre une fraction inférieure (supérieure à 0 %) et 10% du flux du faisceau 101. Par conséquent, la première fraction 102 est comprise entre 90% du flux issu de l'optique de focalisation et une fraction supérieure correspondant à la différence entre 100% et la fraction inférieure.
La fraction inférieure et la fraction supérieure sont les limites haute et respectivement basse au-delà desquelles l'image finale présente des distorsions. La demanderesse à constaté que la dynamique obtenue est maximale avec une première fraction 102 de 95% et une deuxième fraction 103 de 5% du flux du faisceau 101. Dans cette configuration, le capteur attaqué par le plus faible flux est dans la capacité d'acquérir des luminances élevées sans saturation, tandis que le capteur recevant le reste du flux est dans la capacité de différencier les niveaux de plus faibles intensités lumineuses du reste du champ. Dans un deuxième mode de réalisation, la première fraction du flux est environ égale à 50%. Par environ égale à 50%, on entend que la deuxième fraction est soit égale à 50% soit comprise entre 20% et 50% du flux lumineux issu de l'optique de focalisation. Ce deuxième cas (première fraction comprise entre 50 et 80 %) est valable lorsque le premier capteur est le capteur de basse luminance. Ce mode de réalisation est avantageux lorsque l'on souhaite gagner principalement en résolution du système tout en conservant la possibilité d'augmenter la dynamique acceptable par le système en cas de présence de lumière éblouissante dans le champ. Par conséquent, on obtient un système présentant une meilleure résolution qu'en utilisant un seul capteur. Par, exemple, dans le cas où les deux capteurs 3, 4 sont décalés l'un par rapport à l'autre d'un-demi pixel selon les lignes et selon les colonnes de pixels, on obtient une image présentant une résolution quatre fois plus importante que l'image issue d'un capteur. Par ailleurs, la fusion entre la première image Il et la deuxième image 12 (simple interpolation bilinéaire suivant le modèle de calibration) est peu coûteuse en calculs ce qui limite la latence de disponibilité de l'image. En outre, d'après les équations données précédemment, on constate qu'il est possible de gagner en dynamique par rapport au capteur seul en contrôlant les temps d'intégration T1, T2 des deux capteurs 3, 4. On peut gagner jusqu'à environ 60 dB de dynamique en jouant uniquement sur les temps d'intégration respectifs T1, T2 des capteurs 3, 4.
Claims (15)
- REVENDICATIONS1. Système d'acquisition (1) d'images caractérisé en ce qu'il comprend - une optique de focalisation unique (2) focalisant un faisceau incident (100) issu d'une scène à visualiser sur un premier capteur (3) et un deuxième capteur (4) présentant des courbes de réponse spectrale identiques, - suivie de moyens de séparation (5) séparant le flux du faisceau issu de l'optique de focalisation (101) en une première fraction (102) et une deuxième fraction prédéterminées (103), les moyens de séparation (5) orientant en outre, la première fraction (102) du flux faisceau issu de l'optique de focalisation (101) vers le premier capteur (3) et la deuxième fraction (103) du flux faisceau issu de l'optique de focalisation (101) vers le deuxième capteur (4), - des moyens de contrôle (6) pour contrôler un premier temps d'acquisition T1 de la scène à visualiser par le premier capteur (3) de façon à obtenir une première image Il et/ou un deuxième temps d'acquisition T2 de la scène à visualiser par le deuxième capteur (4) de façon à obtenir une deuxième image 12, - des moyens de fusion (7) fusionnant la première image 11 issue du premier capteur (3) et la deuxième image 12 issue du deuxième capteur (4) de façon à générer une image finale If.
- 2. Système d'acquisition (1) selon la revendication précédente, dans lequel les moyens de contrôle (6) utilisent un algorithme de contrôle du gain.
- 3. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel les moyens de contrôle (6) contrôlent les temps d'intégration du premier capteur (3) et/ou du deuxième capteur (4) en fonction de l'histogramme de l'image du capteur qui présente le temps d'intégration le plus faible parmi le premier capteur (3) et le deuxième capteur (4).
- 4. Système d'acquisition (1) selon l'une quelconque des revendications 1 à 2, dans lequel les moyens de contrôle (6) contrôlent les temps d'intégration du premier capteur (3) et du deuxième capteur (4) en fonction de l'histogramme de la première image I1 et respectivement en fonction de l'histogramme de la deuxième image (12).
- 5. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel les moyens de contrôle (6) cherchent à minimiser la différence entre le premier temps d'intégration T1 et le deuxième temps d'intégration T2.
- 6. Système d'acquisition (1) selon la revendication précédente, ledit système étant configuré de sorte que la quantité de lumière reçue par le premier capteur (3) pendant l'acquisition de la première image 11 est supérieure à la quantité de lumière reçue par le deuxième capteur (4) pendant l'acquisition de la deuxième image 12, ledit premier capteur (3) étant appelé capteur de faible luminance et le deuxième capteur (4) étant appelé capteur de haute luminance.
- 7. Système d'acquisition (1) selon la revendication précédente, dans lequel les moyens de contrôle (6) contrôlent le deuxième temps d'intégration T2 de l'image 12 issue du capteur de haute luminance (4) de sorte qu'elle ne soit saturée en aucun point et contrôlent le premier temps d'intégration T1 de l'image 11 issue du capteur de basse luminance (3) de sorte que les zones, de cette dernière image, présentant l'intensité la plus faible présentant un contraste supérieure à un seuil prédéterminé.
- 8. Système d'acquisition (1) selon l'une quelconque des revendications 6 à 7, dans lequel les poids alloués aux pixels respectifs de l'image (12) issue du capteur de haute luminance (4), dans l'image finale If, sont d'autant plus importants qu'ils présentent une intensité élevée.
- 9. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel le premier capteur (3) et le deuxième capteur (4) sont superposés.
- 10. Système d'acquisition (1) selon l'une quelconque des revendications 1 à 8, dans lequel le premier capteur (3) et le deuxième capteur (4) sont décalés l'un par rapport à l'autre sensiblement d'un demi-pixel selon les lignes et les colonnes des matrices de pixels formées par le premier capteur (3) et le deuxième capteur (4).
- 11. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel la fusion de la première image Il et de la deuxième image 12 est obtenue par combinaison linéaire des intensités des pixels de ces deux images.
- 12. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel les moyens de fusion (7) débutent le calcul des poids attribués aux pixels respectifs de la première image 11 et de la deuxième image 12, à partir de l'image dont le temps d'intégration est le plus faible, avant la fin de l'acquisition de l'image dont le temps d'intégration est le plus important.
- 13. Système d'acquisition (1) selon l'une quelconque des revendications précédentes, dans lequel la deuxième fraction (103) est comprise entre une fraction inférieure, supérieure à 0 %, et 10% du flux du faisceau lumineux issu de l'optique de focalisation (101)
- 14. Système d'acquisition (1) selon la revendication précédente, dans lequel la première fraction (102) est égale à 95% du flux du faisceau lumineux issu de l'optique de focalisation (101).
- 15. Système d'acquisition selon l'une quelconque des revendications 1 à 12, dans lequel la première fraction (102) est égale à 50% ou comprise entre 50% et 80% du flux du faisceau lumineux issu de l'optique de focalisation (101).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1004870A FR2968876B1 (fr) | 2010-12-14 | 2010-12-14 | Systeme d'acquisition d'images presentant une dynamique elevee |
US13/325,678 US8564689B2 (en) | 2010-12-14 | 2011-12-14 | Acquisition system for images having a high dynamic range |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1004870A FR2968876B1 (fr) | 2010-12-14 | 2010-12-14 | Systeme d'acquisition d'images presentant une dynamique elevee |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2968876A1 true FR2968876A1 (fr) | 2012-06-15 |
FR2968876B1 FR2968876B1 (fr) | 2013-02-15 |
Family
ID=44202226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1004870A Active FR2968876B1 (fr) | 2010-12-14 | 2010-12-14 | Systeme d'acquisition d'images presentant une dynamique elevee |
Country Status (2)
Country | Link |
---|---|
US (1) | US8564689B2 (fr) |
FR (1) | FR2968876B1 (fr) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9706116B2 (en) * | 2013-10-31 | 2017-07-11 | Ricoh Co., Ltd. | Plenoptic color imaging system with enhanced resolution |
US9979906B2 (en) * | 2016-08-03 | 2018-05-22 | Waymo Llc | Beam split extended dynamic range image capture system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121224A (ja) * | 1992-10-09 | 1994-04-28 | Toshiba Corp | 撮像装置 |
JPH10108079A (ja) * | 1996-09-27 | 1998-04-24 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
JP2000078460A (ja) * | 1998-09-02 | 2000-03-14 | Minolta Co Ltd | デジタルカメラ |
JP2000078463A (ja) * | 1998-08-28 | 2000-03-14 | Nikon Corp | 画像取り込み装置 |
JP2001136434A (ja) * | 1999-11-09 | 2001-05-18 | Ricoh Co Ltd | 撮像装置 |
US20100007778A1 (en) * | 2008-07-08 | 2010-01-14 | Yong Lim | Dynamic range extending method and apparatus using subsampling |
EP2180692A1 (fr) * | 2008-10-22 | 2010-04-28 | STWireless SA | Procédé et dispositif de production d'images numériques |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529640B1 (en) * | 1998-06-09 | 2003-03-04 | Nikon Corporation | Image processing apparatus |
AU2002366985A1 (en) * | 2001-12-26 | 2003-07-30 | Yeda Research And Development Co.Ltd. | A system and method for increasing space or time resolution in video |
JP2004007413A (ja) * | 2002-03-28 | 2004-01-08 | Hiroyuki Ogino | 画像入力装置及びその方法 |
US7567271B2 (en) * | 2006-01-09 | 2009-07-28 | Sony Corporation | Shared color sensors for high-resolution 3-D camera |
JP5631299B2 (ja) * | 2008-03-28 | 2014-11-26 | コントラスト オプティカル デザイン アンド エンジニアリング,インク. | 全ビーム画像スプリッタシステム |
-
2010
- 2010-12-14 FR FR1004870A patent/FR2968876B1/fr active Active
-
2011
- 2011-12-14 US US13/325,678 patent/US8564689B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121224A (ja) * | 1992-10-09 | 1994-04-28 | Toshiba Corp | 撮像装置 |
JPH10108079A (ja) * | 1996-09-27 | 1998-04-24 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
JP2000078463A (ja) * | 1998-08-28 | 2000-03-14 | Nikon Corp | 画像取り込み装置 |
JP2000078460A (ja) * | 1998-09-02 | 2000-03-14 | Minolta Co Ltd | デジタルカメラ |
JP2001136434A (ja) * | 1999-11-09 | 2001-05-18 | Ricoh Co Ltd | 撮像装置 |
US20100007778A1 (en) * | 2008-07-08 | 2010-01-14 | Yong Lim | Dynamic range extending method and apparatus using subsampling |
EP2180692A1 (fr) * | 2008-10-22 | 2010-04-28 | STWireless SA | Procédé et dispositif de production d'images numériques |
Also Published As
Publication number | Publication date |
---|---|
FR2968876B1 (fr) | 2013-02-15 |
US20120257070A1 (en) | 2012-10-11 |
US8564689B2 (en) | 2013-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BE1023023B1 (fr) | Systemes et procedes de limitation de retard d'image pour sortie a injection directe tamponnee avec miroir de courant. | |
EP3973693B1 (fr) | Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé | |
FR2927196A1 (fr) | Pixel pour imagerie active 3d. | |
EP3571834B1 (fr) | Génération adaptative d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images obtenues par lecture non destructive d'un capteur d'image | |
FR2740558A1 (fr) | Procede de detection par designation laser et dispositif d'ecartometrie a detecteur matriciel correspondant | |
CA3015112C (fr) | Dispositif de detection d'un spot laser | |
FR2968876A1 (fr) | Systeme d'acquisition d'images presentant une dynamique elevee | |
EP1351498A2 (fr) | Procédé de traitement en temps réel d'un signal représentatif d'une image | |
FR3104363A1 (fr) | Dispositif de capture d’images | |
EP1381872A1 (fr) | Methode et dispositif pour evaluer un parametre d'un objet en mouvement | |
WO2019166720A1 (fr) | Détection dynamique de lumière parasite dans une image numérique | |
WO2022003033A1 (fr) | Procédé d'acquisition d'images d'une scène | |
WO2022023668A1 (fr) | Procede et systeme pour imager une scene dans l'espace | |
FR3078808A1 (fr) | Procede de traitement d'image inter-trame et intra-trame | |
EP3729796B1 (fr) | Procede et systeme d'imagerie a haut et bas niveaux de lumiere | |
FR2673794A1 (fr) | Dispositif de correction de defauts pour systemes d'imagerie. | |
FR3131163A1 (fr) | Système d’observation et procédé d’observation associé | |
FR2799002A1 (fr) | Procede d'imagerie laser active | |
FR2816118A1 (fr) | Dispositif pour l'harmonisation entre une voie d'emission laser et une voie passive d'observation | |
FR2826222A1 (fr) | Procede d'utilisation d'une camera thermique, dispositif pour sa mise en oeuvre, et camera thermique incorporant un tel dispositif | |
FR2997258A1 (fr) | Systeme de detection et de mesure comprenant un senseur optique, et procedes de detection et de mesure associe | |
CA3160362A1 (fr) | Saisie d'images utilisant des elements sensibles au rayonnement presentant une effet de memoire | |
EP0573115A1 (fr) | Dispositif de traitement d'images du type extracteur de contour et senseur de terre comprenant un tel extracteur | |
CA3113163A1 (fr) | Procede, systeme et programme d'ordinateur adaptatives d'acqusition d'une image | |
FR3064784A1 (fr) | Procede et dispositif d'acquisition et de restitution d'images numeriques avec une dynamique etendue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 6 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 8 |
|
PLFP | Fee payment |
Year of fee payment: 10 |
|
PLFP | Fee payment |
Year of fee payment: 11 |
|
PLFP | Fee payment |
Year of fee payment: 12 |
|
PLFP | Fee payment |
Year of fee payment: 13 |
|
PLFP | Fee payment |
Year of fee payment: 14 |