Nothing Special   »   [go: up one dir, main page]

ES2889575T3 - Renderización de un modelo dental en una imagen - Google Patents

Renderización de un modelo dental en una imagen Download PDF

Info

Publication number
ES2889575T3
ES2889575T3 ES18197645T ES18197645T ES2889575T3 ES 2889575 T3 ES2889575 T3 ES 2889575T3 ES 18197645 T ES18197645 T ES 18197645T ES 18197645 T ES18197645 T ES 18197645T ES 2889575 T3 ES2889575 T3 ES 2889575T3
Authority
ES
Spain
Prior art keywords
image
teeth
dental model
tooth
oral cavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18197645T
Other languages
English (en)
Inventor
Marcel Lancelle
Roland Mörzinger
Nicolas Degen
Gabor Sörös
Nemanja Bartolovic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ivoclar Vivadent AG
Original Assignee
Ivoclar Vivadent AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ivoclar Vivadent AG filed Critical Ivoclar Vivadent AG
Application granted granted Critical
Publication of ES2889575T3 publication Critical patent/ES2889575T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

Procedimiento para visualización de un modelo dental virtual (1) en una imagen (20) de una cara que comprende por lo menos una región bucal interior de la cara, comprendiendo la región bucal interior unos dientes (31) y un fondo de cavidad bucal (35), caracterizado por que el procedimiento comprende las etapas siguientes: - utilizar un algoritmo de restauración de imágenes - para calcular, sobre la base de los píxeles de fondo correspondientes al fondo de cavidad bucal (35), unos píxeles de fondo calculados para por lo menos una parte de los píxeles de diente de la imagen (20), correspondiendo los píxeles de diente a los dientes (31), y - para sustituir por lo menos una parte de los pixeles de diente por píxeles de fondo calculados, retirando por lo menos parcialmente los dientes (31) de la imagen (20); y - visualizar la imagen (20) con los dientes (31') por lo menos parcialmente retirados, estando la imagen (20) superpuesta a una representación (21) del modelo dental (1).

Description

DESCRIPCIÓN
Renderización de un modelo dental en una imagen
La presente invención se refiere a un procedimiento implementado por ordenador para visualizar modelos tridimensionales virtuales de denticiones en una imagen o flujo de imágenes de la cara de una persona. En particular, el procedimiento descrito permite una visualización realista, es decir, con una apariencia natural, de modelos dentales en aplicaciones de simuladores virtuales, tales como aplicaciones dentales de realidad aumentada.
En el contexto de la presente invención, el término “dentadura” no está restringido necesariamente a dentaduras completas sino que comprende también dentaduras parciales, situaciones o adaptaciones ortodónticas, o restauraciones dentales tales como prótesis dentales, incluyendo coronas, restauraciones coronarias, carillas, restauraciones intracoronarias (del inglés “inlay”) y restauraciones extracoronarias (del inglés “onlay”), puentes, implantes dentales y restauraciones de implantes. En consecuencia, el término “modelo dental” incluye todos los modelos de prótesis dentales, tales como, modelos de dentaduras completas y parciales que se utilizan para fines prostodónticos.
Para dentistas y pacientes, es de interés captar una impresión visual de la apariencia de la cara del paciente con una situación dental modificada, es decir, visualizar la situación dental modificada en una imagen de la cara del paciente. Asimismo, la apariencia durante o después de un tratamiento dental puede ser de importancia para el paciente antes de decidir someterse a dicho tratamiento. Para esta finalidad, una vista previa virtual (simulador virtual) de la dentición modificada por el tratamiento dental es de ayuda para el dentista y puede utilizarse también en el curso de la modificación interactiva del plan de tratamiento para obtener los resultados estéticos más favorables.
En el artículo CHEN QIAO ET AL: "An augmented reality based teeth shade matching system", PROCEEDINGS VRCAI. ACM SIGGRAPH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS IN INDUSTRY (VRCAI), 1 de enero de 2011 (01-01-2011), página 37, XP055348190, XX DOI: 10.1145/2087756.2087818 ISBN: 978-1-4503-1060-4, se describe un sistema de coincidencia de sombra de dientes basado en realidad aumentada que ayuda a los dentistas a verificar la corrección de la coincidencia del tono de los dientes y a evaluar la aceptación de dientes virtuales en odontología cosmética. La apariencia de los dientes es capturada por una cámara modificada sobre la base de las mediciones de la odontología cosmética. Después de generar el mapa de coincidencia de tonos de los dientes, se emplea un modelo de renderización de dispersión de subsuperficie para sintetizar el diente virtual fotorrealista. El diente virtual es proyectado al original para probar la calidad de la coincidencia. Los resultados experimentales demuestran que el sistema puede mejorar la eficiencia y la precisión del análisis del color de los dientes realizado por los dentistas. El preámbulo de la reivindicación 1 se basa en este artículo.
En el video de Kapanu AG: "Kapanu-Augmented Reality for the Future of Dentistry.pdf', Youtube, 6 de marzo de 2017 (06-03-2017), página 1, XP054979194, recuperado de Internet: URL:https://www.youtube.com/watch? V=clEXAIN_QF4 [recuperado el 07-03-2019], se muestran diversos ejemplos en los que las imágenes renderizadas de modelos digitales de dentaduras se superponen en una imagen o video que muestra la cara de los pacientes a fin de proporcionar una impresión visual de la dentadura según un modelo digital (posiblemente modificado) de la dentadura.
En aplicaciones de simulares virtuales dentales, los dientes virtuales se muestran en una foto o video de la cara de una persona o de parte de la misma. La visualización realista es importante en este campo, ya que los humanos son muy sensibles a las desviaciones de la realidad en caras humanas. Este es un problema bien conocido denominado el “valle inquietante”.
La superposición de un modelo dental virtual sobre una imagen de una cara o boca puede llevar a resultados no satisfactorios cuando los dientes existentes son todavía visibles en la imagen, por ejemplo, debido a que los dientes existentes son mayores que sus sustituciones virtuales.
Por tanto, un objetivo de la presente invención es proporcionar un procedimiento mejorado implementado por ordenador que permita la visualización de un modelo dental tridimensional virtual, por ejemplo, un modelo de una dentadura completa o parcial, superpuesta a una imagen de una cara o boca.
Otro objetivo es proporcionar un procedimiento tal que permita superar o reducir el problema del valle inquietante.
Un objetivo adicional es proporcionar dicho procedimiento en el que los dientes existentes en la imagen no distraigan ni perturben la percepción del usuario del modelo dental visualizado.
Otro objetivo es proporcionar dicho procedimiento que permite la renderización realista del modelo en tiempo real, particularmente en aplicaciones de realidad aumentada (AR).
Otro objetivo es proporcionar dicho procedimiento que puede realizarse en un dispositivo móvil con potencia de computación limitada.
Otro objetivo es proporcionar dicho procedimiento que se realiza de manera completa o parcialmente automática. Otro objetivo es proporcionar un dispositivo móvil portátil para realizar dicho procedimiento.
Por lo menos uno de estos objetivos se alcanza mediante el procedimiento de la reivindicación 1, el dispositivo móvil de la reivindicación 14 y/o una de las reivindicaciones subordinadas de la presente solicitud.
Un primer aspecto de la invención se refiere a un procedimiento para visualizar un modelo dental virtual en una imagen de una cara, mostrando la imagen por lo menos una región bucal interior de la cara, comprendiendo la región bucal interior unos dientes y un fondo de cavidad bucal. El procedimiento comprende:
- utilizar un algoritmo de restauración de imágenes (del inglés “inpainting algorithm”) para calcular, sobre la base de píxeles de fondo correspondientes al fondo de la cavidad bucal, unos píxeles de fondo calculados para por lo menos una parte de los píxeles de diente de la imagen, correspondiendo los píxeles de diente a los dientes, y para sustituir por lo menos una parte de los píxeles de diente por píxeles de fondo calculados, retirando por lo menos parcialmente los dientes de la imagen; y
- visualizar la imagen con los dientes por lo menos parcialmente retirados, estando la imagen superpuesta a una representación del modelo dental.
Según una forma de realización, el procedimiento comprende utilizar un algoritmo de reconocimiento para determinar en el fondo de la imagen los píxeles correspondientes al fondo de la cavidad bucal y los píxeles de diente correspondientes a los dientes, comprendiendo el fondo de la cavidad bucal por lo menos una lengua y/o un paladar. En otra forma de realización, el fondo de la cavidad bucal comprende también encías.
Según otra forma de realización, el procedimiento comprende utilizar un algoritmo de reconocimiento a fin de determinar en una imagen previamente capturada del mismo fondo de la cara los píxeles correspondientes al fondo de la cavidad bucal. En particular, en la imagen previamente capturada se ve más del fondo de la cavidad bucal que en la imagen. Por ejemplo, la imagen y la imagen previamente capturada puede ser parte del mismo flujo de imágenes.
En una forma de realización, el algoritmo de reconocimiento se utiliza también para determinar en la imagen los píxeles de diente correspondientes a los dientes.
Según una forma de realización del procedimiento, el cálculo de los píxeles de fondo calculados comprende un estiramiento de una textura del fondo de la cavidad bucal a lo largo de una dirección vertical de la cara en el espacio de imagen. La dirección vertical, por ejemplo, puede definirse por una dirección de nariz a barbilla, o viceversa, de barbilla a nariz.
Según una forma de realización, se utiliza una geometría de proxy tridimensional para el estiramiento de la textura del fondo de la cavidad bucal, siguiendo la geometría de proxy por lo menos aproximadamente una forma de arco que se extiende ligeramente más allá de los dientes.
Según otra forma de realización, un sombreador de fragmentos, por ejemplo, que utilice una consulta de texel hacia abajo con una longitud de vector ponderada, se utiliza para el estiramiento de la textura del fondo de la cavidad bucal.
Según todavía otra forma de realización, se determina una distancia en la imagen entre dientes del maxilar inferior y el maxilar superior, siendo el estiramiento de la textura del fondo de la cavidad bucal llevado a cabo solo si la distancia está por encima de un umbral predeterminado.
Según otra forma de realización, se determina un grado de estiramiento necesario, siendo el grado de estiramiento necesario la intensidad de estiramiento de la textura del fondo de la cavidad bucal que es necesaria para sustituir todos los píxeles de diente que serían visibles cuando la imagen se superpone con el modelo dental, y la textura del fondo de la cavidad bucal se estira por lo menos con el grado de estiramiento necesario determinado.
Según una forma de realización del procedimiento, el modelo dental virtual es un modelo dental de maxilar superior, siendo el procedimiento llevado a cabo solo para el maxilar superior, siendo solo los pixeles de diente correspondientes a los dientes del maxilar superior determinados y sustituidos.
Según otra forma de realización del procedimiento, el modelo dental virtual es un modelo dental de maxilar inferior, siendo el procedimiento llevado a cabo solo para el maxilar inferior, siendo solo los píxeles de diente correspondientes a los dientes del maxilar inferior determinados y sustituidos.
Según todavía otra forma de realización del procedimiento, el modelo dental virtual comprende un modelo dental de maxilar superior y un modelo dental de maxilar inferior, siendo llevadas a cabo seguidamente la determinación y sustitución de los píxeles de diente correspondientes a los dientes del maxilar superior y la determinación y sustitución de píxeles de diente correspondientes a los dientes del maxilar inferior.
Según otra forma de realización, el procedimiento comprende determinar, antes de utilizar el algoritmo de restauración de imágenes, si los píxeles de diente son visibles cuando la imagen está superpuesta al modelo dental. Si el modelo dental virtual es un modelo dental de maxilar superior o un modelo dental de maxilar inferior, se determina la visibilidad solo para aquellos píxeles de diente que corresponden a los dientes de un maxilar en el que están posicionados los dientes del modelo dental virtual.
Según otra forma de realización del procedimiento, la imagen es parte de un flujo de imágenes, y el procedimiento se realiza en tiempo real para por lo menos una multitud de imágenes del flujo de imágenes. En una forma de realización, el procedimiento comprende además capturar el flujo de imágenes por medio de una cámara y visualizar el modelo dental y la imagen bidimensional sobre un dispositivo de visualización para un usuario, siendo particularmente la cara, la cara del usuario.
Si la cámara y el dispositivo de visualización son parte del mismo dispositivo móvil, según una forma de realización, el procedimiento se realiza por medio de uno o más algoritmos instalados en una unidad informática de dicho dispositivo móvil.
Según otra forma de realización del procedimiento, el modelo dental virtual es un formato de malla poligonal y comprende una pluralidad de vértices.
Un segundo aspecto de la invención se refiere a un dispositivo móvil que comprende una cámara y una pantalla que están dispuestas de modo que las imágenes de la cara de un usuario puedan ser capturadas por la cámara mientras el usuario mira la pantalla - comprendiendo, por ejemplo, una denominada cámara de selfie. El dispositivo comprende una unidad informática con por lo menos un algoritmo que está adaptado para llevar a cabo el procedimiento según el primer aspecto.
Otro aspecto de la invención se refiere a un producto de programa informático que comprende código de programa que se almacena en un medio legible por máquina, o que se materializa mediante una onda electromagnética que comprende un segmento de código de programa, y que presenta instrucciones ejecutables por ordenador para llevar a cabo el procedimiento según el primer aspecto, en particular, cuando se ejecuta en la unidad informática del dispositivo móvil de acuerdo con el segundo aspecto.
La invención se describirá a continuación en detalle haciendo referencia a ejemplos de formas de realización que se acompañan de las figuras, en las que:
La figura 1 ilustra un ejemplo de forma de realización de un procedimiento implementado por ordenador para visualizar un modelo de dentición 3D en una imagen de la cara de una persona;
Las figuras 2a-d ilustran un primer ejemplo de forma de realización de un procedimiento según la invención; y Las figuras 3a-d ilustran un segundo ejemplo de forma de realización de un procedimiento según la invención. La figura 1 ilustra un procedimiento implementado por ordenador para visualizar un modelo de dentición 3D en una imagen de la cara de una persona según un ejemplo de forma de realización de la invención.
Según la forma de realización mostrada, una imagen 20 de la cara de una persona es capturada por medio de una cámara 4. En esta forma de realización, la cámara 4 es parte de un dispositivo móvil portátil l0 tal como un teléfono inteligente. El dispositivo 10 comprende una pantalla 12 que está habilitada para mostrar la imagen 20 en tiempo real al usuario, es decir, el paciente cuya imagen es capturada. Se proporcionan datos de un modelo de dentición virtual 1 tridimensional (3D) en un almacenamiento de datos del dispositivo móvil 10. Un algoritmo que se proporciona en una unidad informática del dispositivo móvil 10 está adaptado para ajustar el modelo de dentición 1 a la imagen a fin de proporcionar una imagen 25 de realidad aumentada (AR) en la pantalla 12, visualizándose el modelo de dentición renderizado 21 en la región bucal interior de la cara. El procesamiento puede realizarse sin conexión en una imagen o video o en tiempo real en una imagen de cámara en vivo, proporcionando así una aplicación de realidad aumentada en vivo.
Los humanos son muy sensibles a desviaciones incluso ligeras de la realidad en caras humanas. Para superar este problema de “valle inquietante” en una visualización de dientes virtuales en una foto o video de una cara, es crucial la visualización realista del contenido renderizado en 3D.
Las figuras 2a-d muestran cuatro imágenes de una región bucal de una persona, por ejemplo, de la cara en la imagen de la figura 1. La figura 2a muestra la región bucal original que comprende los dientes originales 31 del maxilar superior, la encía (o gingiva) 32, los labios 33 y el tejido facial circundante 34. La figura 2a muestra también un fondo de cavidad bucal 35, es decir, la parte de la cavidad bucal que está detrás de los dientes 31, que comprende la lengua y el paladar de la persona.
La figura 2b muestra una representación 2D de un modelo de dentadura 3D virtual 21 que se superpone sobre la imagen. Cuando los dientes de la dentadura 21 son más cortos que los dientes originales 31, estos últimos son todavía visibles en la imagen, lo que lleva a resultados no satisfactorios. Por otro lado, es difícil determinar qué apariencia tendría una dentadura real producida según la dentadura virtual 21 sin los dientes existentes. Por otro lado, puede ocurrir el efecto del “valle inquietante”, conduciendo a una expulsión psicológicamente motivada de un modelo dental perfecto de otra manera.
Las figuras 2c y 2d ilustran un primer ejemplo de forma de realización de un procedimiento según la invención. Los píxeles que pertenecen a los dientes originales 31 de la figura 2a se identifican y se sustituyen por píxeles que forman un fondo creíble, calculado de estos dientes 31. El resultado intermedio se muestra en la figura 2c en donde los dientes se han sustituido por píxeles que parecen ser encía y fondo, mostrando así la imagen una encía extendida 32' y un fondo extendido 35' de cavidad bucal. En la figura 2d, la representación de dentadura virtual 21 se superpone a la imagen.
El procedimiento puede comprender identificar los límites de la región bucal interior en la cara representada en imágenes. La región bucal interior puede comprender esa parte de la cara representada en imágenes que está situada dentro de los labios 33. La región bucal interior puede definirse por el usuario, por ejemplo, seleccionando el área en la imagen 20, o identificarse automáticamente por medio de un algoritmo de reconocimiento de rasgos.
Las figuras 3a-c ilustran un segundo ejemplo de forma de realización de un procedimiento según la invención. En esta forma de realización, los dientes 31 de un maxilar superior tienen que sustituirse por una dentadura, mientras que los dientes 36 del maxilar inferior no serán sustituidos. En consecuencia, se proporciona un modelo dental virtual para el maxilar superior, cuya representación 2D 21 necesita superponerse sobre la imagen de la boca.
La figura 3a muestra la imagen original de la boca con los dientes originales 31 del maxilar superior, los labios 33, un fondo de cavidad bucal 35 que comprende la lengua y también los dientes 36 del maxilar inferior. Los dientes originales 31 son más largos que los del modelo y necesitan acortarse, es decir, sustituirse parcialmente por contenido verosímil, calculado, a fin de no perturbar la visualización. Los labios 33 y los dientes inferiores 36 no deberán modificarse.
Se utiliza un algoritmo de reconocimiento para determinar en la imagen los píxeles de diente correspondientes a los dientes 31 del maxilar superior y los píxeles de fondo correspondientes al fondo de cavidad bucal 35. Seguidamente, se utiliza un algoritmo de restauración de imágenes para calcular, sobre la base de los píxeles de fondo determinados, unos píxeles de fondo calculados verosímiles para por lo menos una parte de los pixeles de diente, y para sustituir por lo menos una parte de los píxeles de diente por píxeles de fondo calculados, es decir, retirando por lo menos parcialmente los dientes 31 de la imagen.
En la forma de realización presentada en esta memoria, calcular los píxeles de fondo calculados comprende un estiramiento de la textura existente de la boca, tal como el fondo de cavidad bucal 35. Para hacerlo así, puede utilizarse una geometría de proxy 3D que sigue aproximadamente la forma de arco del maxilar superior y se extiende ligeramente más allá de los dientes 31 del maxilar superior. Puede utilizarse entonces un sombreador de fragmentos para estirar el fondo de cavidad bucal 35. La dirección de estiramiento es preferentemente a lo largo de la dirección vertical de la cara en un espacio de imagen. Esto se hace por una consulta de texel hacia abajo (por ejemplo, sobre la base de una dirección de nariz a barbilla) con una longitud de vector ponderada. Opcionalmente, puede determinarse en la imagen una distancia entre los dientes 31 del maxilar superior y los dientes 36 del maxilar inferior, es decir, si los dientes se cerraran, la distancia sería cero. Con un cierto umbral de dientes abiertos, el estiramiento se aplica gradualmente.
Si los píxeles de diente del maxilar inferior se vieran afectados, el vector de consulta se puede acortar iterativamente para intentar encontrar otro color de píxel adecuado.
La figura 3b muestra como un resultado intermedio la imagen restaurada con dientes 31' acortados, es decir, parcialmente retirados y un fondo de cavidad bucal estirado 35'. Al haber retirado parcialmente los dientes originales 31, el modelo dental puede superponerse. La figura 3c muestra la imagen restaurada de la figura 3b, estando los dientes virtuales 21 superpuestos de modo que solo sean visibles los dientes virtuales, aunque estos son más cortos que los dientes reales 31 de la figura 3a, dando como resultado una visualización realista del modelo dental en la imagen.
Aunque el procedimiento se describe solo para el maxilar superior, puede aplicarse también al maxilar inferior o a ambos maxilares.
En una forma de realización, para calcular los píxeles de fondo, se utiliza la misma imagen que debe visualizarse. En este caso, ventajosamente, no necesitan capturarse imágenes adicionales.
Sin embargo, algunas veces no puede verse en esta imagen suficiente fondo de la cavidad bucal para crear un fondo realista para los píxeles de diente retirados.
Por tanto, en otra forma de realización, pueden utilizarse los píxeles de fondo de otra imagen de la misma cara. En particular, esta imagen se ha capturado previamente. En este caso, ventajosamente, puede utilizarse una imagen en la que la boca está más abierta de modo que pueda verse más fondo. Esto facilita la eliminación de los dientes en la imagen visualizada. Por ejemplo, si puede verse suficiente fondo de la cavidad bucal, no es necesario ningún estiramiento o es necesario menos estiramiento que debe aplicarse al fondo de la cavidad bucal de la imagen previamente capturada para sustituir los píxeles de diente en la imagen visualizada. Además, no es necesario determinar los píxeles del fondo y los píxeles de diente en la imagen visualizada, ya que podría ser suficiente determinar los límites de la región bucal interior (por ejemplo, esa parte de la cara representada en imágenes que está situada dentro de los labios) y sustituir la región bucal interior completa (es decir, los dientes y el fondo) de la imagen visualizada por píxeles del fondo verosímiles calculados a partir de la imagen previamente capturada. Opcionalmente, puede determinarse si el fondo de la cavidad bucal visible en la imagen (es decir, la imagen visualizada) es suficiente para crear el fondo verosímil. Si no es suficiente, una imagen previa o una pluralidad de imágenes previamente capturadas, por ejemplo, a partir de un flujo de imágenes, pueden comprobarse con respecto a su suficiencia del fondo de cavidad bucal visible. Alternativamente, es decir, si no hay imágenes previas o el fondo de la cavidad bucal tampoco es suficiente en estas imágenes, puede invitarse al paciente representado en imágenes a abrir la boca para permitir capturar una imagen con suficiente fondo de cavidad bucal visible. En particular, esta solicitud puede visualizarse en una pantalla en tiempo real, por ejemplo, en la pantalla 12 del dispositivo móvil portátil 10 de la figura 1.
En un ejemplo de forma de realización, está previsto un procedimiento para visualizar un modelo dental virtual superpuesto en una imagen de una cara. La imagen de la cara incluye por lo menos una parte de una región bucal interior que presenta dientes y un fondo de cavidad bucal. El procedimiento incluye obtener un modelo dental virtual. El modelo dental comprende una representación tridimensional de una dentadura, implante o implantes, carilla o carillas u otras prótesis dentales. El procedimiento incluye identificar una región de fondo de la imagen correspondiente al fondo de la cavidad bucal y una región de diente correspondiente a los dientes. Se utiliza un procesador para calcular píxeles de fondo calculados verosímiles para por lo menos una parte de la región de diente sobre la base de la región de fondo. Se genera una imagen revisada utilizando el procesador, en donde la imagen revisada se basa en la imagen que presenta por lo menos la parte de la región de diente sustituida por los píxeles de fondo calculados. De esta manera, los dientes se retiran por lo menos parcialmente de la imagen revisada. Se utiliza una pantalla para visualizar una renderización del modelo dental superpuesto dentro de la cavidad bucal de la imagen revisada.
En el contexto de la presente invención, el término “dentadura” no está restringido necesariamente a completar dentaduras, sino que también comprende dentaduras parciales o situación/adaptaciones ortodónticas o restauraciones dentales, tales como prótesis dentales, incluyendo coronas, restauraciones coronarias, carillas, restauraciones intracoronarias y restauraciones extracoronarias, puentes, implantes dentales, restauraciones de implantes. En consecuencia, el término “modelo dental” incluye todos los modelos de prótesis dentales, así como la situación del paciente que podría estar parcial o completamente desdentado - tales como modelos de dentaduras completas y parciales - que se utilizan para fines prostodónticos.
En algunas formas de realización, la presente divulgación se implementa utilizando un sistema que presenta una cámara, un procesador, una unidad electrónica de almacenamiento de datos y una pantalla. La cámara puede ser una cámara estándar, un detector de proyección de punto por infrarrojos, una cámara iluminadora de inundación, un escáner tridimensional de luz estructurada, un detector de infrarrojos estándar, un dispositivo de formación de imagen ultrasónico, un detector Doppler o cualquier otro sistema de visualización adecuado capaz de capturar información relacionada con la dentición de un paciente. El procesador puede ser un único procesador que presente uno o más núcleos o una pluralidad de procesadores conectados por un bus, red u otro enlace de datos. La unidad electrónica de almacenamiento de datos puede tener cualquier forma de medio de almacenamiento no transitorio legible por ordenador adecuado para almacenar los datos producidos por el sistema. La pantalla puede ser cualquier pantalla apta para visualizar una imagen digital en color o en escala de grises.
En algunas formas de realización, la cámara, el procesador, la unidad electrónica de almacenamiento de datos y la pantalla digital son componentes de un único dispositivo. El dispositivo único puede ser un teléfono inteligente, tableta, ordenador portátil, asistente digital personal o cualquier otro dispositivo informático.
En algunas formas de realización, el procesador está en comunicación sobre una red, que podría ser cableada o inalámbrica, con un procesador externo utilizado para realizar una o más etapas de cálculo y/o una unidad electrónica de almacenamiento de datos conectada a la red. En algunas formas de realización, la presente divulgación hace uso de computación en la nube para realizar en remoto una o más etapas de cálculo y/o almacenamiento remoto para habilitar el almacenamiento de datos de manera remota para análisis colaborativo o remoto. En algunas formas de realización, el sistema comprende una pluralidad de interfaces gráficas de usuario para permitir que múltiples usuarios vean o analicen los mismos datos.
En algunas formas de realización, el sistema funciona para proporcionar a uno o más usuarios una visualización de un modelo dental virtual de los dientes de un paciente, que puede modificarse para visualizar el efecto de una o más alteraciones dentales u ortodónticas. En algunas formas de realización, esto permite que uno o más usuarios visualicen una imagen de dentición “antes”, es decir, la apariencia de la dentición del paciente antes de una intervención dental u ortodóntica, y una imagen de dentición “después”, es decir, una representación de la apariencia esperada de la dentición del paciente después de una intervención dental u ortodóntica propuesta. En algunas formas de realización, el sistema funciona capturando información relacionada con la dentición de un paciente usando una cámara, creando un modelo de la dentición del paciente en un procesador, ajustando un modelo de una dentición postalteración propuesta a la dentición del paciente en el procesador, coloreando el modelo de la dentición posalteración propuesta para que coincida con una coloración posalteración real esperada, y visualizando el modelo ajustado de la dentición posalteración propuesta en lugar de la dentición real del paciente en una pantalla que muestra de otra forma las características faciales reales del paciente. La información relacionada con la dentición del paciente, el modelo de la dentición del paciente, y el modelo de la dentición posalteración propuesta pueden almacenarse en una unidad electrónica de almacenamiento de datos. En algunas formas de realización, las operaciones se realizan en tiempo real.
En algunas formas de realización, una interfaz de usuario está configurada de tal manera que un usuario puede ver la imagen de la dentición “antes” y la imagen de la dentición “después” simultáneamente una al lado de otra o con una superposición completa o parcial.
Como se utiliza en la presente memoria, el término “no transitorio” es una limitación en el propio medio de almacenamiento legible por ordenador, esto es, es tangible y no una señal como opuesta a una limitación en la persistencia del almacenamiento de datos. Un medio de almacenamiento legible por ordenador no transitorio no almacena necesariamente información de manera permanente. La memoria de acceso aleatorio (que puede ser volátil, no volátil, dinámica, estática, etc.), una memoria de solo lectura, una memoria flash, cachés de memoria o cualquier otro medio de almacenamiento tangible, legible por ordenador, ya sea síncrono o asíncrono, lo realiza. Aunque la invención se ilustra con anterioridad, parcialmente con referencia a algunas formas de realización preferidas, debe entenderse que pueden realizarse numerosas modificaciones y combinaciones de diferentes características de las formas de realización. Todas estas modificaciones están dentro del alcance de las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES
1. Procedimiento para visualización de un modelo dental virtual (1) en una imagen (20) de una cara que comprende por lo menos una región bucal interior de la cara, comprendiendo la región bucal interior unos dientes (31) y un fondo de cavidad bucal (35), caracterizado por que el procedimiento comprende las etapas siguientes: - utilizar un algoritmo de restauración de imágenes
- para calcular, sobre la base de los píxeles de fondo correspondientes al fondo de cavidad bucal (35), unos píxeles de fondo calculados para por lo menos una parte de los píxeles de diente de la imagen (20), correspondiendo los píxeles de diente a los dientes (31), y
- para sustituir por lo menos una parte de los pixeles de diente por píxeles de fondo calculados, retirando por lo menos parcialmente los dientes (31) de la imagen (20); y
- visualizar la imagen (20) con los dientes (31') por lo menos parcialmente retirados, estando la imagen (20) superpuesta a una representación (21) del modelo dental (1).
2. Procedimiento según la reivindicación 1, caracterizado por utilizar un algoritmo de reconocimiento para determinar en la imagen (20) unos píxeles de fondo correspondientes al fondo de cavidad bucal (35) y unos píxeles de diente correspondientes a los dientes (31), comprendiendo el fondo de cavidad bucal (35) por lo menos una lengua y/o un paladar.
3. Procedimiento según la reivindicación 1, caracterizado por utilizar un algoritmo de reconocimiento para determinar en una imagen previamente capturada de la misma cara los píxeles de fondo correspondientes al fondo de cavidad bucal (35), en particular siendo visible más del fondo de cavidad bucal (35) en la imagen previamente capturada que en la imagen (20), comprendiendo el fondo de cavidad bucal (35) por lo menos una lengua y/o un paladar.
4. Procedimiento según la reivindicación 3, caracterizado por utilizar el algoritmo de reconocimiento para determinar en la imagen (20) unos píxeles de diente correspondientes a los dientes (31).
5. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el cálculo de los píxeles de fondo calculados comprende un estiramiento de una textura del fondo de cavidad bucal (35) a lo largo de una dirección vertical de la cara en el espacio de imagen, siendo particularmente la dirección vertical una dirección de nariz a barbilla o una dirección de barbilla a nariz.
6. Procedimiento según la reivindicación 5, caracterizado por que
- se utiliza una geometría de proxy tridimensional para el estiramiento de la textura del fondo de cavidad bucal (35), siguiendo la geometría de proxy por lo menos aproximadamente una forma de arco que se extiende ligeramente más allá de los dientes (31); y/o
- un sombreador de fragmentos, que utiliza particularmente una consulta de texel hacia abajo con una longitud de vector ponderada, se usa para el estiramiento de la textura del fondo de cavidad bucal (35).
7. Procedimiento según la reivindicación 5 o la reivindicación 6, caracterizado por que se determina una distancia en la imagen (20) entre los dientes (31) del maxilar inferior y el maxilar superior, siendo el estiramiento de la textura del fondo de cavidad bucal (35) llevado a cabo solo si la distancia está situada por encima de un umbral predeterminado.
8. Procedimiento según cualquiera de las reivindicaciones 5 a 7, caracterizado por que
- se determina un grado de estiramiento necesario, siendo el grado de estiramiento necesario aquella intensidad de estiramiento de la textura del fondo de cavidad bucal (35) que es necesaria para sustituir todos los píxeles de diente que serían visibles cuando la imagen (20) está superpuesta al modelo dental (1); y
- la textura del fondo de cavidad bucal (35) se estira por lo menos con el grado de estiramiento necesario determinado.
9. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el modelo dental virtual (1)
- es un modelo dental de maxilar superior, siendo el procedimiento llevado a cabo solo para el maxilar superior, siendo solo los píxeles de diente correspondientes a los dientes (31) del maxilar superior determinados y sustituidos; o
- es un modelo dental de maxilar inferior, siendo el procedimiento llevado a cabo solo para el maxilar inferior, siendo solo los píxeles de diente correspondientes a los dientes (31) del maxilar inferior determinados y sustituidos; o
- comprende un modelo dental de maxilar superior y un modelo dental de maxilar inferior, siendo llevadas a cabo seguidamente la determinación y sustitución de los píxeles de diente correspondientes a los dientes (31) del maxilar superior y la determinación y sustitución de los píxeles de diente correspondientes a los dientes (31) del maxilar inferior.
10. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por determinar, antes de utilizar el algoritmo de restauración de imágenes, si los píxeles de diente son visibles cuando la imagen (20) está superpuesta al modelo dental (1), siendo la visibilidad determinada solo para aquellos píxeles de diente que corresponden a los dientes (31) de un maxilar en el que están posicionados los dientes del modelo dental virtual (1).
11. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por que la imagen (20) es parte de un flujo de imágenes, y el procedimiento se lleva a cabo en tiempo real para por lo menos una multitud de imágenes (20) del flujo de imágenes.
12. Procedimiento según la reivindicación 11, caracterizado por que el procedimiento comprende asimismo capturar el flujo de imágenes por medio de una cámara (4) y visualizar el modelo dental (1) y la imagen bidimensional (20) en un dispositivo de visualización (12) para un usuario, siendo la cara particularmente la cara del usuario, en particular siendo la cámara (4) y el dispositivo de visualización (12) parte del mismo dispositivo móvil (10), siendo el procedimiento llevado a cabo por medio de uno o más algoritmos instalados en una unidad informática del dispositivo móvil (10).
13. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el modelo dental virtual (1) está en un formato de malla poligonal y comprende una pluralidad de vértices.
14. Dispositivo móvil (10) que comprende una cámara (4) y una pantalla (12) que están dispuestas de modo que las imágenes (20) de la cara de un usuario puedan ser capturadas por la cámara (4) mientras el usuario mira la pantalla (12), caracterizado por que el dispositivo comprende una unidad informática con por lo menos un algoritmo que está adaptado para llevar a cabo el procedimiento según una de las reivindicaciones anteriores.
15. Producto de programa informático que comprende un código de programa que se almacena en un medio legible por máquina, o que se materializa mediante una onda electromagnética que comprende un segmento de código de programa y que presenta unas instrucciones ejecutables por ordenador para llevar a cabo el procedimiento según cualquiera de las reivindicaciones 1 a 13, en particular cuando se ejecuta en la unidad informática del dispositivo móvil (10) según la reivindicación 14.
ES18197645T 2018-09-28 2018-09-28 Renderización de un modelo dental en una imagen Active ES2889575T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP18197645.7A EP3629301B1 (en) 2018-09-28 2018-09-28 Rendering a dental model in an image

Publications (1)

Publication Number Publication Date
ES2889575T3 true ES2889575T3 (es) 2022-01-12

Family

ID=63713687

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18197645T Active ES2889575T3 (es) 2018-09-28 2018-09-28 Renderización de un modelo dental en una imagen

Country Status (3)

Country Link
EP (1) EP3629301B1 (es)
DK (1) DK3629301T3 (es)
ES (1) ES2889575T3 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4047546A1 (en) 2021-02-19 2022-08-24 Electrolux Appliances Aktiebolag Method, apparatus and computing device for compensating disturbing objects in an image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning

Also Published As

Publication number Publication date
EP3629301A1 (en) 2020-04-01
DK3629301T3 (da) 2021-10-04
EP3629301B1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
US11083552B2 (en) Rendering of dental models
US11903788B2 (en) Multifaceted registration of intraoral scans
US10980621B2 (en) Dental design transfer
US11517272B2 (en) Simulated orthodontic treatment via augmented visualization in real-time
US10503962B2 (en) Navigating among images of an object in 3D space
US20240225784A1 (en) Synthetic video generation showing modified face
JP6327845B2 (ja) 口腔内画像と体積画像の統合
ES2864684T3 (es) Procedimiento y sistema para retirar los aparatos ortodónticos de la malla digital de la dentición
KR101799878B1 (ko) 2d 영상 장치
ES2717447T3 (es) Creación asistida por ordenador de una preparación de diente habitual usando análisis facial
US10368719B2 (en) Registering shape data extracted from intra-oral imagery to digital reconstruction of teeth for determining position and orientation of roots
US20210338392A1 (en) Rendering a dental model in an image
CN110200710A (zh) 一种基于三维成像与实时建模的口腔修复方法
US11244519B2 (en) Dental model attributes transfer
ES2882585T3 (es) Procedimiento para alinear un modelo tridimensional de una dentadura de un paciente sobre una imagen del rostro del paciente grabada por una cámara
JP2014117611A5 (es)
CN106537225A (zh) 一种对患者口腔内部的可视化装置
CN110992464B (zh) 渲染牙模型
ES2889575T3 (es) Renderización de un modelo dental en una imagen
EP3629336A1 (en) Dental design transfer
WO2022069775A1 (es) Procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones
ES2877219T3 (es) Disposición de imágenes en 2D