Nothing Special   »   [go: up one dir, main page]

DE102014102111B4 - Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen - Google Patents

Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen Download PDF

Info

Publication number
DE102014102111B4
DE102014102111B4 DE102014102111.8A DE102014102111A DE102014102111B4 DE 102014102111 B4 DE102014102111 B4 DE 102014102111B4 DE 102014102111 A DE102014102111 A DE 102014102111A DE 102014102111 B4 DE102014102111 B4 DE 102014102111B4
Authority
DE
Germany
Prior art keywords
image data
face
data
tooth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014102111.8A
Other languages
English (en)
Other versions
DE102014102111A1 (de
Inventor
Wolfgang Brunner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebris Medical GmbH
Original Assignee
Zebris Medical GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebris Medical GmbH filed Critical Zebris Medical GmbH
Priority to DE102014102111.8A priority Critical patent/DE102014102111B4/de
Publication of DE102014102111A1 publication Critical patent/DE102014102111A1/de
Application granted granted Critical
Publication of DE102014102111B4 publication Critical patent/DE102014102111B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • A61C19/045Measuring instruments specially adapted for dentistry for recording mandibular movement, e.g. face bows
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations

Landscapes

  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen am Kopf eines Menschen oder anderen Wirbeltiers, wobei
- mindestens eine digitale frontale und sagittale 2D-Standbildaufnahme oder eine 3D-Standbildaufnahme (P) des Gesichts (F) erzeugt wird und die Daten als primäre Bilddaten gespeichert werden,
- die Positionen charakteristischer Punkte im Gesicht und optional an den Kopfseiten durch Antasten mit einem Positionsmarkierungs-Taster (7) eines Positionsbestimmungssystems bestimmt und die Daten als Gesichts-Positionsdaten gespeichert werden,
- die primären Bilddaten der oder jeder Standbildaufnahme anhand der Gesichts-Positionsdaten bearbeitet, insbesondere positionsgetreu entzerrt und/oder mit den Gesichts-Positionsdaten bestmöglich zur Deckung gebracht, und auf ein raumfestes Koordinaten-system bezogen wird/werden, wodurch ein sekundärer Bilddatensatz gewonnen wird,
- die Lage der Kauebene/Okklusalebene unter Einsatz eines im Mund gehaltenen, mit Positionsmarken des Positionsbestimmungssystems versehenen Bisslöffels (9) oder durch Antasten ausgewählter Punkte an Zähnen am Ober- und Unterkiefer oder des Bisslöffels mittels des Positionsmarkierungs-Tasters (7) bestimmt wird und die gewonnenen Positionsdaten als Kauebenen-Positionsdaten gespeichert werden,
- zur Bestimmung von Konturen und Positionen von Zähnen ein, jeweils mit Positionsmarkern (11) versehener Bisslöffel (9) mit Registrat-Füllung oder Bisslöffel mit zusätzlichen Aussparungsbereichen zur Freilegung von Zahnoberflächenab-schnitten im Mund gehalten wird und
- aus den im Registrat erzeugten Impressionen anschließend außerhalb des Mundes eine digitale Zahnoberflächen-Aufnahme erzeugt wird und deren Bilddaten als Zahn-Positions-/Bilddaten gespeichert werden und/oder bei Einsatz des Bisslöffels mit Aussparungen mittels eines intraoralen Scanners die vom Scanner im Mund gelieferten Bilddaten der freiliegenden Zahnabschnitte als Zahn-Positions-/Bilddaten gespeichert werden,
- in den sekundären Bilddatensatz die Kauebenen-Positionsdaten und/oder die Zahn-Positions-/Bilddaten eingefügt werden und
- aufgrund des hiermit gewonnenen Gesamt-Bilddatensatzes ein die Lage der Kauebene/Okklusalebene und/oder die Konturen der Zähne darstellendes Bild des Gesichts erzeugt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen am Kopf eines Menschen oder anderen Wirbeltiers gemäß Anspruch 1 sowie eine Anordnung zur Durchführung eines solchen Verfahrens gemäß Anspruch 10.
  • Im Zusammenhang mit verschiedenen zahnärztlichen Leistungen, speziell der Bereitstellung von hochwertigen Teil- oder Totalprothesen oder Schienen, ist eine präzise Zuordnung der Zahnabdrücke zur Lage der Kiefergelenke (Kondylen) wünschenswert. Hierzu wurden von der Anmelderin in der DE 102 18 435 B4 ein Positionsbestimmungssystem sowie eine speziell gestaltete Bissgabel zum Einsatz in einem solchen vorgeschlagen. Die Bissgabel hat einen Fortsatz, an dem eine Haltevorrichtung für Positionssensoren bzw. -marker des Positionsbestimmungssystems (etwa Ultraschallmarker) angebracht werden kann. Eine weiter entwickelte Bissgabel dieser Art ist auch in der unveröffentlichten WO 2011/147988 A2 der Anmelderin beschrieben. An jener Bissgabel ist eine Röntgenmarker-Konfiguration fest angebracht oder anbringbar.
  • Die DE 20 2013 001 910 U1 der Anmelderin beschreibt neben einer weiter verbesserten Bissgabelanordnung ein System zur Bewegtbild-Darstellung des Gebisses, welches neben einer geeigneten Bissgabelanordnung Zahnoberflächen-Erfassungsmittel zur Bereitstellung eines Abbildes mindestens eines Teils der Zahnoberflächen des Gebisses sowie verschiedene Positionserfassungsmittel und Verarbeitungseinheiten umfasst, mit denen letztlich eine realitätsnahe Bewegtbild-Darstellung des Gebisses aufgrund eines raumkoordinatengetreuen Abbildes der Zahnoberflächen realisiert werden kann. In Ausgestaltungen des in jener Druckschrift vorgeschlagenen Systems ist der Einsatz eines intraoralen optischen Scanners zur Abbildung der Zahnoberflächen ebenso vorgesehen wie ein verstellbarer Markierstab, mit dessen Hilfe die räumliche Beziehung der Lage der Bissgabel im Mund eines Patienten bezüglich der Symmetrieebene des Gesichts visualisiert werden kann.
  • Mit diesem Hilfsmittel wird dazu beigetragen, eine ästhetisch sinnvolle Ausrichtung von Zahnersatz in Abstimmung auf das Gesicht des Patienten, insbesondere auf Augenposition und Gesichtskontur, zu realisieren. Die durch den Markierstab diesbezüglich gebotenen Möglichkeiten sind jedoch relativ beschränkt.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Anordnung bereitzustellen, mit denen zahnmedizinische Maßnahmen hinsichtlich ihrer ästhetischen Randbedingungen und Wirkungen noch besser geplant werden können.
  • Diese Aufgabe wird in ihrem Verfahrensaspekt durch ein Verfahren mit den Merkmalen des Anspruchs 1 und in ihrem Vorrichtungsaspekt durch eine Anordnung mit den Merkmalen des Anspruchs 10 gelöst. Zweckmäßige Fortbildungen des Erfindungsgedankens sind Gegenstand der abhängigen Ansprüche.
  • Die Erfindung schließt das Konzept eines koordinatengetreuen „Matching“ zwischen den äußerlichen Merkmalen des Gesichts eines Dentalpatienten und wesentlichen Merkmalen seines Gebisses im Rahmen einer zusammenhängenden Visualisierung ein. Sie schließt weiter den Gedanken ein, dieses Konzept mit mindestens einer (bevorzugt aber mehreren) digitalen Standbildaufnahme(n) des Gesichts zu implementieren, aus der/denen mindestens ein primärer Bilddatensatz gewonnen wird, und diesen bzw. jeden Bilddatensatz einer Verarbeitung mit absoluten (also auf ein raumfestes Koordinatensystem bezogenen) Positionsdaten ausgewählter Punkte bzw. Elemente der Gesichts-Anatomie zu unterziehen. Es wird vorgeschlagen, diese Positionsdaten durch Antasten charakteristischer Punkte im Gesicht und optional auch seitlich am Kopf (z.B. an den Ohren) zu gewinnen, grundsätzlich kommt aber auch eine präzise Erfassung der Position und Aufnahmerichtung der Kamera, einschließlich Berücksichtigung der optischen Parameter des Kameraobjektivs, hierfür in Betracht.
  • Ein aufgrund der kombinierten Verarbeitung der primären Bilddaten und Gesichts-Positionsdaten gewonnener (sekundärer) Bilddatensatz des Gesichts wird in einer zweiten Verfahrensphase mit Positionsdaten und wahlweise zusätzlich Bilddaten kombiniert, die das Gebiss des Patienten zumindest hinsichtlich der Lage der Kauebene/Okklusalebene oder einer anderen charakteristischen Ebene kennzeichnen. Alternativ oder zusätzlich können auch Zahn-Positions-/Bilddaten herangezogen werden, um speziell auch lokal begrenzte prothetische oder implantologische Eingriffe in ihren ästhetischen Auswirkungen abschätzen zu können.
  • Die Kauebenen-Positionsdaten können mit verschiedenen bekannten Verfahren gewonnen werden, speziell mittels eines mit Positionsmarkern versehenen im Mund gehaltenen Bisslöffels oder unter Heranziehung von durch Antasten ausgewählter Zähne des OK und UK gewonnenen Positionsdaten. Die Zahn-Positions-/Bilddaten können mit verschiedenen, an sich bekannten Verfahren gewonnen werden, etwa durch Abnahme und Auswertung von Zahnimpressionen mit einem mit Registrat gefüllten Bisslöffel, dessen Position registriert wird. Daneben kommt auch die Verwendung eines speziellen Bisslöffels in Betracht, der mit Aussparungen zur Freilegung eines Teiles der Zahnoberflächen versehen ist, um diese bereits intraoral scannen zu können. Ein solcher Bisslöffel wird also in Verbindung mit einem intraoralen Scanner eingesetzt, wobei die Positionsmarker des Bisslöffels Positionssignale liefern, die mit den Bildsignalen des Scanners gematcht werden.
  • Durch das Zusammenführen des sekundären Bilddatensatzes und der Kauebenen-Positionsdaten und/oder Zahn-Positions-/Bilddaten entsteht ein Gesamt-Bilddatensatz, der schließlich der gewünschten Visualisierung, also Gesamtdarstellung des Gesichts mit eingetragenen Gebissmerkmalen, zugrunde gelegt wird.
  • In einer Ausführung des Verfahrens wird die oder jede Standbildaufnahme des Gesichts mittels einer Kamera erzeugt, die in fester Positionsbeziehung zum Oberkiefer des Menschen gehalten, insbesondere an einem Stirnbogen fixiert ist. In einer weiteren Ausgestaltung werden eine entfernt vom Kopf angeordnete und zusätzlich eine am Stirnbogen fixierte Kamera zur Erzeugung erster und zweiter Standbilder eingesetzt. Aus diesen werden erste und zweite primäre Bilddaten gewonnen, die zur Gewinnung eines einzelnen sekundären Bilddatensatzes unter Nutzung der Gesichts-Positionsdaten miteinander verarbeitet werden.
  • In einer weiteren Ausgestaltung wird bei der Erzeugung der oder zumindest einer Standbildaufnahme eine eindimensionale Skala oder ein XY-Koordinatenraster aufgenommen, und im Schritt der Bearbeitung der Standbildaufnahme wird die Abbildung der Skala oder des Koordinatenrasters zur Herausrechnung objektivbedingter Verzerrungen genutzt.
  • In einer weiteren Ausführung werden im Schritt der Erzeugung des Bildes des Gesichts aufgrund des Gesamt-Bilddatensatzes die Lage der Kauebenen als Linie und die Konturen der Zähne als Linie oder als grautoniger oder farbiger Schattenriss dargestellt.
  • In einer weiteren Ausführung wird zusätzlich zu den Standbildaufnahmen eine Videoaufnahme des Gesichts erzeugt, und für jedes Einzelbild der Videoaufnahme wird ein Gesamt-Bilddatensatz erzeugt, in den die Kauebenen-Positionsdaten und/oder wahlweise Zahn-Positions-/Bilddaten eingefügt sind. Hiermit wird dann eine modifizierte Video-Darstellung mit den entsprechenden Gesamt-Bilddatensätzen der Einzelbilder erzeugt. In einer Ausgestaltung dieser Ausführung wird über ein dem Oberkiefer starr zugeordnetes Inertialsensorsystem Bewegungen des Kopfes sensorisch erfasst, und die Sensorsignale werden bei der Gewinnung der Gesamt-Bilddatensätze der Einzelbilder als Korrekturgröße berücksichtigt.
  • In einer weiteren Ausführung werden - im Sinne einer Visualisierung möglicher zahnärztlicher Behandlungssituationen und -ergebnisse - zusätzliche Bilder des Gesichts aufgrund eines modifizierten Gesamt-Bilddatensatzes erzeugt, der Positionsdaten einer hypothetischen Kauebene/Okklusalebene und/oder auf das raumfeste Koordinatensystem bezogene Bilddaten von Zahnersatzelementen umfasst. Die Bilder von Zahnersatzelementen (oder auch mehrere ursprüngliche Zähne umfassenden Prothesen) können aus einer entsprechenden Datenbasis geladen werden, wobei selbstverständlich eine Größen- und ggfs. auch Korrekturanpassung an die individuelle Gebisssituation des Patienten vorgesehen ist.
  • In einer Ausgestaltung dieser Ausführung ist vorgesehen, dass der Gesamt-Bilddatensatz weiterer Bilder des Gesichts im Ergebnis einer Korrekturverarbeitung des ursprünglichen sekundären Bilddatensatzes mit den Positionsdaten der jeweiligen hypothetischen Kauebene und/oder den Bilddaten des oder jedes jeweils berücksichtigten Zahnersatzelementes gewonnen wird. Bei der Visualisierung werden also, soweit erforderlich, die Konsequenzen bestimmter Eingriffe in die Gebisssituation auf die Gesichtszüge des Patienten (etwa die Mundstellung) visuell verdeutlicht.
  • Vorrichtungsaspekte der Erfindung ergeben sich weitgehend aus den vorgenannten Verfahrensaspekten, so dass insofern von Wiederholungen abgesehen werden kann. Es sei jedoch darauf hingewiesen, dass mindestens eine Digitalkamera und ein drahtloses Positionsbestimmungssystem (mitunter auch bezeichnet als „Navigationssystem“), wie es aus der Robotertechnik oder Chirurgie bekannt ist, sowie ein Bildverarbeitungs-Rechner mit mindestens zwei Verarbeitungsstufen als Minimalkonfiguration anzusehen sind. Üblicherweise werden zum System auch Mittel zur Positionserfassung der Kauebene/Okklusalebene und/oder zur Erfassung (mit absoluter Positionszuordnung) von Zahnoberflächen gehören, etwa mindestens entweder ein mit Positionsmarkern bestückter Bisslöffel oder ein mit Aussparungen versehener Bisslöffel und ein intraoraler Scanner. Auch eine Bildanzeigeeinheit wird üblicherweise zum System gehören, diese kann aber entfernt von den übrigen Systemkomponenten angeordnet und beispielsweise auch als drahtlos angebundener Tablet-Computer realisiert sein.
  • Bevorzugt werden, vor allem bei Nutzung eines Bisslöffels und Verwendung von hierin erzeugten Impressionen zur Gewinnung von Zahn-Bilddaten, mehrere Kameras mit an die jeweilige Erfassungsaufgabe angepassten optischen Eigenschaften zum Einsatz kommen. Hierzu kann insbesondere auch eine Videokamera zählen, und der Bildverarbeitungs-Rechner wird dann über hinreichende Verarbeitungs- und Speicherleistung zur Verarbeitung von Videobildern des Patienten verfügen.
  • Als solche bekannte Bisslöffel-Konfigurationen mit angefügten Positionsmarkern und wahlweise mit Aussparungen sowie Handtaster, wie auch Stirnbögen, können entweder in einer im Stand der Technik beschriebenen Weise oder nach fachmännischer Anpassung an die spezifische Visualierungs-Problematik zum Einsatz kommen.
  • Vorteile und Zweckmäßigkeiten der Erfindung werden im Übrigen aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Figuren deutlich. Von diesen zeigen:
    • 1A und 1B Skizzen zur Verdeutlichung des Verfahrensschrittes der Aufnahme von 2D-Standbildern des Gesichts von Frontal (1A) bzw. der rechten Kopfseite sagittal (1B),
    • 2 eine alternative Realisierung dieses Verfahrensschrittes mittels einer an einem Stirnbogen verstellbar angebrachten Kamera,
    • 3 den Einsatz eines am Stirnbogen angebrachten XY-Koordinatenrasters als Hilfsmittel für die Entzerrung der aufgenommenen Standbilder bzw. Verarbeitung der entsprechenden primären Bilddaten,
    • 4A bis 4E Skizzen zur Verdeutlichung der Positionsbestimmung charakteristischer Punkte der Gesichts-Anatomie,
    • 5 die skizzenartige Darstellung des Einsatzes eines mit Positionsmarkern bestückten Bisslöffels in Kombination mit einem Stirnbogen, welcher Empfangselemente eines zugehörigen Positionsbestimmungssystems trägt, und
    • 6 ein Blockschaltbild des Gesamtsystems gemäß einer Ausführung der Erfindung.
  • Wie in 1A und 1B dargestellt, wird im Rahmen der nachfolgend beschriebenen Ausführung des vorgeschlagenen Verfahrens mittels zweier Digitalkameras 1a und 1b je eine fotografische Aufnahme des Gesichts F von vorne (frontal) und der Seite (sagittal) aufgenommen. Alternativ dazu können auch 3D Aufnahmen, z.B. mit einem Streifenlichtscanner oder einer TOF Kamera, gemacht werden. Gegebenenfalls können die Aufnahmen mit und ohne Kopfbogen durchgeführt werden, wobei am Kopfbogen ein XY-Koordinatenraster angebracht werden kann, das es erlaubt, die 2D-Fotoaufnahmen zu entzerren. Ggf. können mit dem Raster auch anatomische Punkte z.B. bezüglich der Kondylenpositionen am Ohr, bestimmt und in das globale Koordinatensystem des Positionssystems am Kopfbogen überführt werden.
  • Optional können im Kopfbogen 3, wie in 2 dargestellt, eine oder mehrere Kameras 1a', 1b' vorgesehen sein z.B. eine von vorne, und zwei von der Seite. Die Kameras 1a', 1b' können mit extremem Weitwinkelobjektiv ausgestattet sein, wobei die Bilder entsprechend entzerrt werden müssten.
  • In 3 ist zu sehen, wie das (weiter oben bereits erwähnte) XY-Koordinatenraster 5 am Stirnbogen 3 befestigt sein kann. Kameras sind hier nicht dargestellt; diese können sowohl entfernt vom Patienten aufgestellt oder (wie in 2) ebenfalls am Stirnbogen befestigt sein.
  • Mit einem Handtaster 7 eines Positions- bzw. Bewegungsmesssystem werden, wie in 4A bis 4E erläuternd dargestellt, charakteristische Punkte im Gesicht wie der linke und rechte Mundwinkel, der linke und rechte Augenwinkel sowie das Gesichtsprofil angetastet und bezüglich eines kopfbezogenen Koordinatensystems abgespeichert. Hierbei kann die Empfangseinheit des Positionsbestimmungssystems durch (nicht einzeln bezeichnete) Empfangselemente am Stirnbogen 3 realisiert sein, die in Signalverbindung mit korrespondierenden (ebenfalls nicht einzeln bezeichneten) Sendeelementen oder reflektierenden Markern am Handtaster 7 stehen.
  • Danach wird, wie in 5 skizzenartig dargestellt, die Lage der Okklusalebene/ Kauebene bzw. der Zähne bestimmt. Dies geschieht über die Bestimmung der Position einer Bisslöffels 9, an dem ein Positionsmarker-Zusatzteil 11 mit ähnlicher Positionsmarker-Konfiguration wie beim Handtaster 7 gemäß 4A bis 4E angebracht ist. Wird der Löffel mit einem Registriermaterial (z.B. Silikonkautschuk) gefüllt, so kann nicht nur die Kauebene ermittelt werden, sondern es können auch die Positionen und Zahnoberflächen der Zähne bestimmt werden. Alternativ dazu kann die Kauebene auch dadurch bestimmt werden, dass mit einem Taststift (ähnlich wie in 4A bis 4E) die Positionen von mindestens drei Punkten an Oberkieferzähnen (z.B. zwei hinten einer vorne) oder mindestens drei Punkte an definierten Positionen des Bisslöffels bestimmt werden.
  • In einer ersten Bildverarbeitungseinheit eines BIldverarbeitungs-Rechners wird nun das Koordinatensystem des Positionssystems am Kopfbogen mit den Bilddaten der fotografischen Aufnahmen zusammengematcht. Hierzu werden die mit dem Taststift eingegebenen Punkte bzw. Linien mit den analogen Punkten und der Gesichtskontur überein gebracht. Die entsprechenden Punkte auf den 2D oder 3D Aufnahmen können von Hand z.B. mit der Computermaus, eingezeichnet werden, oder sie werden von einem Bildverarbeitungsprogramm automatisch erkannt. Zur Übereinbringung müssen die fotographischen Aufnahmen ggf. entzerrt und in Ihrer Größe angepasst werden.
  • Ist dieser Vorgang abgeschlossen, so kann in einer zweiten Bildverarbeitungseinheit in die 2D Fotoaufnahmen (oder auch in die 3D Aufnahmen) die Kauebene eingebracht werden. Sind die Zahnoberflächen bekannt (erfasst z.B. über einen intraoralen oder extraoralen Scanner), so können neben der Kauebene auch die Zähne des Patienten mit eingezeichnet werden.
  • Diese können verändert werden, um dem Patienten den Effekt der zahnmedizinischen Behandlung aufzuzeigen. Dabei werden z.B. bei einer Bissanhebung die vorhandenen Zähne in der Visualisierung „verlängert“ und auch die fotografische Aufnahme angepasst. Insbesondere können Darstellungen von Zähnen bzw. Zahnmodelle (nachfolgend auch als Zahnelement-Bilder bezeichnet) aus einer Datenbank entnommen und in die Aufnahme eingefügt werden. Dabei werden vorzugsweise Bildabschnitte vorhandener Zähne durch Zahnelement-Bilder aus der Datenbank ersetzt. Dies entspricht der späteren zahnmedizinischen Vorgehensweise, bei der vorhandene Zähne beschliffen und überkront werden.
  • In einer besonderen Ausführung werden die Foto- oder 3D-Aufnahmen nicht nur statisch, sondern auch dynamisch während einer Mundöffnung, dem Sprechen oder Lachen durchgeführt. Das Hineinmatchen der Kauebene erfolgt nach den Regeln der Einzelbilder und wird ggf. anhand von Bildmerkmalen und Bildverarbeitung automatisch durchgeführt.
  • In einer besonderen Ausführungsform werden im Foto händisch oder auch automatisch wichtige anatomische Punkte, z.B. die der Kondylenpositionen über die Analyse der Ohrstruktur in das Koordinatensystem des Positionssystems am Kopfbogen überführt. Diese Punkte können dann bei der Bewegungsanalyse der knöchernen Strukturen verwendet werden. Dies ist besonders auch dann wichtig, wenn es darum geht, die Ebenen und Kondylenpositionen virtueller oder mechanischer Artikulatoren zu bestimmen und mit den anatomischen Daten des Patienten überein zu bringen.
  • 6 zeigt, in einem Funktions-Blockschaltbild, eine aus derzeitiger Sicht bevorzugte Systemkonfiguration einer Mess- und Verarbeitungsanordnung 100. Es wird ausdrücklich darauf hingewiesen, dass zur Durchführung des erfindungsgemäßen Verfahrens nicht sämtliche hier gezeigten Komponenten erforderlich sind und dass die Konfiguration auch hinsichtlich der signalmäßigen Verknüpfung der Komponenten sowie der Schrittfolge einzelner Verfahrensschritte modifiziert sein kann. Soweit möglich, korrespondieren die in 6 angegebenen Bezugsziffern zu den Bezugsziffern von in 1 bis 5 bereits gezeigten oder funktionsgleichen Komponenten.
  • In einem ersten Schritt S1 wird mittels mindestens einer Digitalkamera 101 ein Digitalfoto bzw. ein entsprechender primärer Bilddatensatz des Gesichts F des zu visualisierenden Patienten aufgenommen. In einem zweiten (mehrteiligen) Schritt S2 werden mittels eines Handtasters bzw. Taststiftes verschiedene markante Punkte im Gesicht angetastet und die entsprechenden Positionssignale in einer Empfangs- und Verarbeitungseinheit 113 des Positionsbestimmungssystems zu absoluten Raumkoordinaten der entsprechenden Punkte verarbeitet. Die gewonnenen Gesichts-Positionsdaten werden, ebenso wie die primären Bilddaten, einer ersten Bildverarbeitungseinheit 115 zugeführt, und in einem Schritt S3 werden die primären Bilddaten anhand der Gesichts-Positionsdaten mit einer Raumkoordinatenzuordnung versehen, wodurch ein sekundärer Bilddatensatz entsteht.
  • In einem vierten Schritt S4 werden, in grundsätzlich zum Schritt S2 analoger Weise, die Signale eines an einem Bisslöffel 109 angebrachten Positionsmarker-Satzes 111 in der Empfangs- und Verarbeitungseinheit 113 des Positionsbestimmungssystems empfangen und verarbeitet und hieraus Kauebenen-Positionsdaten gewonnen, die die absolute räumliche Lage der Kauebene des Patienten charakterisieren. Diese werden, ebenso wie die sekundären Bilddaten, einer zweiten Bildverarbeitungseinheit 117 zugeführt. Je nach konkreter Ausgestaltung parallel hierzu oder anschließend hieran werden - gemäß den weiter oben erwähnten Varianten - mithilfe des Bisslöffels 109 und des temporär daran angebrachten Positionsmarker-Satzes 111 unter Einsatz einer weiteren Digitalkamera 101' Zahnoberflächen-Bilddaten mit Positionszuordnung gewonnen, die hier verkürzt auch als Zahn-Positions-/Bilddaten bezeichnet sind. Die Herstellung einer Positionszuordnung zu den jeweiligen Bilddaten wird in der Figur durch eine Verknüpfung des Signalweges von Block 101' zu Block 117 mit demjenigen von Block 113 zu Block 117 symbolisiert. Der in diesem Schritt S5 gewonnene Satz Zahn-Positions-/Bilddaten wird ebenso wie die Kauebenen-Positionsdaten in einem Schritt S6 in der zweiten Verarbeitungseinheit 117 mit den sekundären Bilddaten des Gesichts gematcht.
  • Hieraus entsteht ein Gesamt-Bilddatensatz, der in einem Schritt S7 in einer Bildanzeigeeinheit 119 in Form einer Abbildung F‘ des Gesichts dargestellt werden kann, in der die Lage der Kauebene und die Zahnkonturen erkennbar sind.
  • Parallel kann der Gesamt-Bilddatensatz weiter verarbeitet werden, indem aus einer Datenbasis 121, in der Bilder von Zahnersatzelementen gespeichert sind, ein oder mehrere solche Bilder in eine Zahnersatzelement-Anpassungsstufe 123 geladen werden. Dort werden diese Bilddaten in einem Schritt S8 an die aktuelle Bilddarstellung angepasst und schließlich in einer dritten Verarbeitungsstufe 125 in einem Schritt S9 mit dem Gesamt-Bilddatensatz gematcht werden. Auch der hieraus resultierende modifizierte Gesamt-Bilddatensatz kann der Bildanzeigeeinheit 119 zugeführt und in einem Schritt S10 zusätzlich zur Darstellung des vorhandenen Gebisses des Patienten visualisiert werden.
  • Die Ausführung der Erfindung ist nicht auf diese Beispiele beschränkt, sondern ebenso in einer Vielzahl von Abwandlungen möglich, die im Rahmen fachgemäßen Handelns liegen.

Claims (17)

  1. Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen am Kopf eines Menschen oder anderen Wirbeltiers, wobei - mindestens eine digitale frontale und sagittale 2D-Standbildaufnahme oder eine 3D-Standbildaufnahme (P) des Gesichts (F) erzeugt wird und die Daten als primäre Bilddaten gespeichert werden, - die Positionen charakteristischer Punkte im Gesicht und optional an den Kopfseiten durch Antasten mit einem Positionsmarkierungs-Taster (7) eines Positionsbestimmungssystems bestimmt und die Daten als Gesichts-Positionsdaten gespeichert werden, - die primären Bilddaten der oder jeder Standbildaufnahme anhand der Gesichts-Positionsdaten bearbeitet, insbesondere positionsgetreu entzerrt und/oder mit den Gesichts-Positionsdaten bestmöglich zur Deckung gebracht, und auf ein raumfestes Koordinaten-system bezogen wird/werden, wodurch ein sekundärer Bilddatensatz gewonnen wird, - die Lage der Kauebene/Okklusalebene unter Einsatz eines im Mund gehaltenen, mit Positionsmarken des Positionsbestimmungssystems versehenen Bisslöffels (9) oder durch Antasten ausgewählter Punkte an Zähnen am Ober- und Unterkiefer oder des Bisslöffels mittels des Positionsmarkierungs-Tasters (7) bestimmt wird und die gewonnenen Positionsdaten als Kauebenen-Positionsdaten gespeichert werden, - zur Bestimmung von Konturen und Positionen von Zähnen ein, jeweils mit Positionsmarkern (11) versehener Bisslöffel (9) mit Registrat-Füllung oder Bisslöffel mit zusätzlichen Aussparungsbereichen zur Freilegung von Zahnoberflächenab-schnitten im Mund gehalten wird und - aus den im Registrat erzeugten Impressionen anschließend außerhalb des Mundes eine digitale Zahnoberflächen-Aufnahme erzeugt wird und deren Bilddaten als Zahn-Positions-/Bilddaten gespeichert werden und/oder bei Einsatz des Bisslöffels mit Aussparungen mittels eines intraoralen Scanners die vom Scanner im Mund gelieferten Bilddaten der freiliegenden Zahnabschnitte als Zahn-Positions-/Bilddaten gespeichert werden, - in den sekundären Bilddatensatz die Kauebenen-Positionsdaten und/oder die Zahn-Positions-/Bilddaten eingefügt werden und - aufgrund des hiermit gewonnenen Gesamt-Bilddatensatzes ein die Lage der Kauebene/Okklusalebene und/oder die Konturen der Zähne darstellendes Bild des Gesichts erzeugt wird.
  2. Verfahren nach Anspruch 1, wobei im Schritt der Erzeugung des Bildes (F) des Gesichts (F) aufgrund des Gesamt-Bilddatensatzes die Lage der Kauebenen als Linie und die Konturen der Zähne als Linie oder als grautoniger oder farbiger Schattenriss dargestellt werden.
  3. Verfahren nach Anspruch 1 oder 2, wobei zusätzliche Bilder des Gesichts (F) aufgrund eines modifizierten Gesamt-Bilddatensatzes erzeugt werden, der Positionsdaten einer hypothetischen Kauebene/Okklusalebene und/oder auf das raumfeste Koordinatensystem bezogene Zahnelement-Positions-/Bilddaten von Zahnersatzelementen umfasst.
  4. Verfahren nach Anspruch 3, wobei der Gesamt-Bilddatensatz weiterer Bilder des Gesichts (F) im Ergebnis einer Korrekturverarbeitung des ursprünglichen sekundären Bilddatensatzes mit den Positionsdaten der jeweiligen hypothetischen Kauebene und/oder den Zahnelement-Positions-/Bilddaten des oder jedes jeweils berücksichtigten Zahnersatzelementes gewonnen wird.
  5. Verfahren nach einem der vorangehenden Ansprüche, wobei die oder jede Standbildaufnahme (F) des Gesichts (F) mittels einer Kamera (1a, 1b; 1a', 1b') erzeugt wird, die in fester Positionsbeziehung zum Oberkiefer des Menschen gehalten, insbesondere an einem Stirnbogen (3) fixiert ist.
  6. Verfahren nach Anspruch 5, wobei eine entfernt vom Kopf angeordnete (1a, 1b) und zusätzlich eine am Stirnbogen fixierte Kamera (1a', 1b') zur Erzeugung erster und zweiter Standbilder (F) eingesetzt werden, aus denen erste und zweite primäre Bilddaten gewonnen werden, wobei die ersten und zweiten primären Bilddaten zur Gewinnung eines einzelnen sekundären Bilddatensatzes unter Nutzung der Gesichts-Positionsdaten miteinander verarbeitet werden.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei bei der Erzeugung der oder zumindest einer Standbildaufnahme (F) eine eindimensionale Skala oder ein XY-Koordinatenraster (5) aufgenommen wird und im Schritt der Bearbeitung der Standbildaufnahme die Abbildung der Skala oder des Koordinatenrasters zur Herausrechnung objektivbedingter Verzerrungen genutzt wird.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei zusätzlich zu den Standbildaufnahmen (F) eine Videoaufnahme des Gesichts (F) erzeugt wird und für jedes Einzelbild der Videoaufnahme ein Gesamt-Bilddatensatz erzeugt wird, in den die Kauebenen-Positionsdaten und/oder Zahn-Positions-/Bilddaten eingefügt sind, und wobei eine modifizierte Video-Darstellung mit den entsprechenden Gesamt-Bilddatensätzen der Einzelbilder erzeugt wird.
  9. Verfahren nach Anspruch 8, wobei über ein dem Oberkiefer starr zugeordnetes Inertialsensorsystem Bewegungen des Kopfes sensorisch erfasst und die Sensorsignale bei der Gewinnung der Gesamt-Bilddatensätze der Einzelbilder als Korrekturgröße berücksichtigt werden.
  10. Anordnung zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche, wobei die Anordnung umfasst: eine zur Gewinnung eines Standbildes des gesamten Kopfes des Menschen ausgebildete und positionierte Digitalkamera (1a, 1b; 1a', 1b'; 101) zur Gewinnung primärer Bilddaten, ein Positionsbestimmungssystem (7, 11) zur Bestimmung der Raumposition von Anatomieelementen oder -punkten des Kopfes in einem raumfesten Koordinatensystem, welches mindestens einen Positionsmarkierungs-Taster (7) und eine angepasste Aufnahmeeinheit (11) aufweist und ausgangsseitig Gesichts-Positionsdaten bereitstellt, eine eingangsseitig mit der Digitalkamera und der Aufnahmeeinheit des Positionsbestimmungssystems verbundene erste Bildverarbeitungseinheit (115) zur Verarbeitung des oder jedes Satzes primärer Bilddaten anhand der Gesichts-Positionsdaten, und zur ausgangsseitigen Bereitstellung des sekundären Bilddatensatzes, Mittel (113) zur Bestimmung der Kauebenen-Positionsdaten und/oder Zahn-Position-/Bilddaten, eine eingangsseitig mit den Mitteln zur Bestimmung der Kauebenen-Positionsdaten und/oder Zahn-Position-/Bilddaten verbundene zweite Bildverarbeitungseinheit (117) zur Gewinnung des Gesamt-Bilddatensatzes aufgrund des sekundären Bilddatensatzes und der Kauebenen-Positionsdaten und/oder Zahn-Positions-/Bilddaten und eine Bildanzeigeeinheit (119) zur Anzeige des aufgrund des Gesamt-Bilddatensatzes erzeugten Bildes des Gesichts.
  11. Anordnung nach Anspruch 10, wobei die Mittel (113) zur Bestimmung der Kauebenen-Positionsdaten und/oder Zahn-Position-/Bilddaten einen mit Positionsmarkern des Positionsbestimmungssystems verbundenen Bisslöffel (9) aufweisen, der wahlweise Aussparungen zur Freilegung von Zahnabschnitten zur Erfassung mittels eines intraoralen Scanners aufweist.
  12. Anordnung nach Anspruch 11, wobei zusätzlich eine zur Bildaufnahme der Impressionen im Registrat des Bisslöffels ausgebildete und positionierte Digitalkamera (101) oder ein Oberflächenscanner vorgesehen und deren/dessen Ausgang zur Bereitstellung der Zahn-Positions-/Bilddaten mit dem Eingang der zweiten Bildverarbeitungseinheit (117) verbunden ist.
  13. Anordnung nach Anspruch 11, wobei zusätzlich zu dem Aussparungen zur Freilegung von Zahnabschnitten aufweisenden Bisslöffel (9) ein zur Bildaufnahme der freiliegenden Zahnabschnitte ausgebildeter intraoraler Scanner vorgesehen und dessen Ausgang zur Bereitstellung der Zahn-Positions-/Bilddaten mit dem Eingang der zweiten Bildverarbeitungseinheit (117) verbunden ist.
  14. Anordnung nach einem der Ansprüche 10 bis 13, welche weiterhin einen Stirnbogen zur Halterung der Digitalkamera (1a', 1b') zur Aufnahme des Gesichts (F) in vorbestimmter fester Positionsrelation zum Oberkiefer des Menschen aufweist.
  15. Anordnung nach einem der Ansprüche 10 bis 14, wobei mindestens zwei Digitalkameras (1a, 1b; 1a', 1b') zur Gewinnung von Standbildern des Kopfes und zur Gewinnung mindestens eines ersten und zweiten Satzes primärer Bilddaten vorgesehen sind und die erste Bildverarbeitungseinheit (115) zur kombinierten Verarbeitung des ersten und zweiten Satzes primärer Bilddaten mit den Gesichts-Positionsdaten ausgebildet ist.
  16. Anordnung nach einem der Ansprüche 10 bis 15, welche zusätzlich eine Skala oder ein XY-Koordinatenraster (5), als Hilfsmittel zur Herausrechnung objektiv bedingter Verzerrungen des oder jedes Standbildes aufweist, wobei die Skala oder das XY-Koordinatenraster insbesondere zur Anbringung am Stirnbogen (3) ausgebildet ist.
  17. Anordnung nach einem der Ansprüche 10 bis 16, wobei die Digitalkamera (1a, 1b; 1a', 1b'; 101) zusätzlich zur Erzeugung von Videoaufnahmen des Gesichts ausgebildet oder eine zusätzliche Videokamera zu diesem Zweck vorgesehen ist.
DE102014102111.8A 2014-02-19 2014-02-19 Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen Active DE102014102111B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014102111.8A DE102014102111B4 (de) 2014-02-19 2014-02-19 Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014102111.8A DE102014102111B4 (de) 2014-02-19 2014-02-19 Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen

Publications (2)

Publication Number Publication Date
DE102014102111A1 DE102014102111A1 (de) 2015-08-20
DE102014102111B4 true DE102014102111B4 (de) 2018-08-23

Family

ID=53758761

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014102111.8A Active DE102014102111B4 (de) 2014-02-19 2014-02-19 Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen

Country Status (1)

Country Link
DE (1) DE102014102111B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020182567A1 (de) 2019-03-11 2020-09-17 Zebris Medical Gmbh Zahnschiene und verfahren zu deren herstellung
DE102021109909A1 (de) 2021-04-20 2022-10-20 Zebris Medical Gmbh Zahnschiene als Ausbildungsmittel und Verfahren zu deren Herstellung

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202019001108U1 (de) 2019-03-10 2019-04-09 Zebris Medical Gmbh Positionsbestimmungsvorrichtung
AT525473B1 (de) * 2021-09-21 2024-05-15 Heinrich Steger Anordnung zur Erfassung einer Position eines menschlichen Oberkiefers und/oder Kopfs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10218435B4 (de) 2002-04-25 2010-03-04 Zebris Medical Gmbh Verfahren und Vorrichtung zur 3-dimensionalen Bewegungsanalyse von Zahnoberflächen des Oberkiefers in Relation zum Unterkiefer
WO2011147988A2 (de) 2010-05-28 2011-12-01 Zebris Medical Gmbh Dental-werkzeug
DE202013001910U1 (de) 2013-02-27 2013-04-09 Zebris Medical Gmbh Bissgabelanordnung und System zur Bewegtbild-Darstellung des Gebisses
DE202013105962U1 (de) 2013-12-30 2014-01-22 Zebris Medical Gmbh Kopfbogen einer Vorrichtung zur Bestimmung der Position und von Bewegungsfreiheitsgraden des Unterkiefers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10218435B4 (de) 2002-04-25 2010-03-04 Zebris Medical Gmbh Verfahren und Vorrichtung zur 3-dimensionalen Bewegungsanalyse von Zahnoberflächen des Oberkiefers in Relation zum Unterkiefer
WO2011147988A2 (de) 2010-05-28 2011-12-01 Zebris Medical Gmbh Dental-werkzeug
DE202013001910U1 (de) 2013-02-27 2013-04-09 Zebris Medical Gmbh Bissgabelanordnung und System zur Bewegtbild-Darstellung des Gebisses
DE202013105962U1 (de) 2013-12-30 2014-01-22 Zebris Medical Gmbh Kopfbogen einer Vorrichtung zur Bestimmung der Position und von Bewegungsfreiheitsgraden des Unterkiefers

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020182567A1 (de) 2019-03-11 2020-09-17 Zebris Medical Gmbh Zahnschiene und verfahren zu deren herstellung
DE102021109909A1 (de) 2021-04-20 2022-10-20 Zebris Medical Gmbh Zahnschiene als Ausbildungsmittel und Verfahren zu deren Herstellung
WO2022223579A1 (de) 2021-04-20 2022-10-27 Zebris Medical Gmbh Zahnschiene als ausbildungsmittel und verfahren zu deren herstellung

Also Published As

Publication number Publication date
DE102014102111A1 (de) 2015-08-20

Similar Documents

Publication Publication Date Title
EP2964136B1 (de) Bissgabel mit aussparungen
DE102013211200B4 (de) Scanbarer Löffel zur Herstellung einer Dentalprothese
WO2017085160A1 (de) Verfahren zur visualisierung einer zahnsituation
DE102010033109A1 (de) Vorrichtung zur Erfassung von Bewegungen eines Unterkiefers
DE102010021934A1 (de) Dental-Werkzeug
EP3422996B1 (de) Vorrichtung und verfahren zur vermessung einer unterkieferbewegung
DE202013001910U1 (de) Bissgabelanordnung und System zur Bewegtbild-Darstellung des Gebisses
DE102014102111B4 (de) Verfahren zur Visualisierung zahnmedizinisch relevanter anatomischer Relationen und/oder Strukturen
DE102014111643A1 (de) Bewegtbild-Erzeugungsverfahren zur Erzeugung einer koordinatengetreuen Bewegungsbildfolge des Gebisses eines Wirbeltiers
WO2014044783A2 (de) Verfahren zur simulation der dynamischen okklusion
DE202014102968U1 (de) Kopplungslöffel
EP3419521A1 (de) System zur intraoralen messung von kieferverlagerungen
DE102015222821A1 (de) Verfahren und Vorrichtung zum Betreiben eines dentaldiagnostischen Bilderzeugungssystems
DE102014102770A1 (de) Bissgabel sowie Verfahren und System zur Darstellung eines Gebisses
WO2018130656A1 (de) Vorrichtung und verfahren zur vermessung einer unterkieferbewegung
DE102015211166A1 (de) Verfahren und Vorrichtung zur Registrierung von intraoralen Oberflächendaten relativ zu extraoralen Oberflächendaten
DE102019106403A1 (de) Vorrichtung und Verfahren zur Erfassung von Kieferrelationsdaten
DE112010004857B4 (de) Vorrichtung und Verfahren zur intraoralen 3D-Datenerfassung
DE102017131134B4 (de) Digitaler Transferbogen
DE102017005185B4 (de) Dentaldatengeber zur Bereitstellung von Eingangsdaten für die maschinengesteuerte Erstellung von Zahnersatz oder dergleichen
EP3331448B1 (de) Verfahren zur erstellung einer dentalen 3d-röntgenaufnahme
EP4151178B1 (de) Anordnung zur erfassung einer position eines menschlichen oberkiefers und/oder kopfs
DE102010000451A1 (de) Verfahren zur Erstellung eines digitalen dreidimensionalen Datenmodells
DE102011005953A1 (de) Gesichtsbogen mit Zielvorrichtung
EP3636202B1 (de) Dentales fuehrungssystem zur zahnpraeparation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final