DE102005045628B3

DE102005045628B3 - Vorrichtung und Verfahren zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist

Info

Publication number: DE102005045628B3
Application number: DE102005045628A
Authority: DE
Inventors: Thomas Dr.-Ing. Sporer; Michael Dipl.-Ing. Beckinger
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2005-06-22
Filing date: 2005-09-23
Publication date: 2007-01-11
Anticipated expiration: 2025-09-24
Also published as: EP1894199A1; JP5137826B2; WO2006136300A1; JP2008547145A

Abstract

Es wird eine Vorrichtung zum Ermitteln einer Stelle in einem Film (110), der in einer zeitlichen Folge aufgebrachte Filminformationen (112, 114) aufweist, geschaffen, wobei die Vorrichtung einen Speicher (320) zum Speichern einer Referenzfingerabdruckdarstellung der Filminformationen (112, 114) aufweist, wobei die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung vonm einem zeitlichen Verlauf der Filminformationen abhängt, und wobei einer gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist, wobei die Vorrichtung eine Einrichtung (340) zum Empfangen eines von dem Film (110) gelesenen Abschnitts aufweist, eine Einrichtung (350) zum Extrahieren einer Testfingerabdruckdarstellung aus dem eingelesenen Abschnitt aufweist, und eine Einrichtung (360) zum Vergleichen der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung aufweist, um auf der Basis des Vergleichs und der Zeitskala die Stelle in dem Film (110) zu ermitteln.

Description

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist, um beispielsweise Filmereignisse mit einer Bildwiedergabe zu synchronisieren.
Audio-Video-Daten sind auf Datenträgern, z.B. Film oder Band, oder Übertragungskanälen, z.B. Rundfunk oder Telefon, in einem festen Format gespeichert, welches eine Erweiterung um neuartige Audioformate oder andere synchrone bzw. bildsynchrone Zusatzdienste, wie z.B. Untertitel, nicht zulässt. Bei der Einführung beispielsweise neuer Audioformate müssen daher neue Datenträger bzw. Filmkopien produziert werden, die die neuen Audioformate aufweisen.
8 zeigt einen beispielhaften Film 110. Auf dem Film sind in räumlicher Folge, bzw. während des Abspielens entsprechend in zeitlicher Folge, Filminformationen aufgebracht, z.B. Videoinformation bzw. Bilder 112, die im Englischen auch als „Frames" bzw. „Video-Frames" bezeichnet werden, und Audio-Informationen bzw. eine oder eine Mehrzahl von analogen oder digitalen Tonspuren 114, die im digitalen Fall „Audio-Frames" aufweisen. Des weiteren weist der Film 110 beispielhaft Vorschubperforationen 116 auf, mit deren Hilfe der Film abgespielt wird.
Zur Synchronisation von Zusätzen sind prinzipiell zwei Methoden bekannt.
Die erste Methode beinhaltet das Speichern eines Timecodes auf dem Datenträger, wie z.B. bei DTS (DTS = Digital Theatre System) für Kinoton, bzw. in einem Zusatzkanal, der mit dem Audiosignal verbunden ist. Beispiele hierfür sind anxilliary data by DAB und mp3. Der Timecode wird dann verwendet, um Ton- bzw. Zusatzinformationen synchron von einem externen Datenträger, bei DTS z.B. CD, abzuspielen. Nachteilig an dieser Methode ist jedoch, dass jedes zusätzliche Format weiteren Platz auf dem Datenträger bzw. Übertragungskanal benötigt, der unter Umständen aber nicht mehr verfügbar ist. Beim Film sind dies z.B. die Spuren für Analog-Ton, Dolby-Digital, DTS, SDDS (SDDS = Sony Dynamic Digital Sound). Proprietäre Formate verhindern jedoch die Nutzung des Timecodes einer Erweiterung durch andere Erweiterungen. Gegenseitige Störungen der Erweiterungen sind nicht immer zu verhindern, ein Beispiel hierfür ist die Nutzung von anxilliary data in mp3 für Zusatzinformationen und Bandbreitenerweiterung verschiedener Hersteller.
Die zweite Methode basiert auf der missbräuchlichen Benutzung von Analog-Ton-Spuren zur Speicherung von Timecode, wie sie z.B. in einem Prototypenkino, das mit einem IOSONO-System ausgestattet ist, verwendet wird. Nachteilig an dieser Methode ist jedoch, dass die Analogspur in allen Systemen vorhanden ist und oft als Fallback-Lösung bei Störungen der anderen Systeme verwendet wird, das heißt, eine Zweckentfremdung der Analogspur verhindert die Fallback-Möglichkeit. Die automatische Umschaltung auf die Analogspur, die in die meisten Kinos eingebaut ist, führt dazu, dass der Timecode als Analogsignal abgespielt wird, wenn auf den „moderneren" Spuren für Dolby-Digital bzw. DTS kein Signal vorhanden ist. In dem Prototypenkino muss daher bei einer reinen Wellenfeldsynthese-Wiedergabe, die im folgenden noch erläutert wird, die redundante Analogwiedergabe manuell abgeschaltet werden, weil sonst der Timecode über die redundanten weiteren Lautsprecher zu hören ist.
Die akustische Wellenfeldsynthese, kurz WFS, geht über die Surround-Ansätze der Formate Dolby, SDDS oder DTS hinaus. Bei der WFS wird versucht, die Luftschwingungen einer realen Situation, die den Schall ausmachen, über einen ganzen Raum nachzubilden. Im Gegensatz zur herkömmlichen Wiedergabe über zwei oder mehr Lautsprecher, bei der die Abbildung der Position der originären Schallquellen sich auf eine Linie zwischen den Lautsprechern beschränkt, soll die Wellenfeldsynthese das gesamte Schallfeld originalgetreu auf den Raum übertragen. Das bedeutet, dass die virtuellen Schallquellen exakt räumlich lokalisierbar sind, und gegebenenfalls sogar mitten im beschallten Raum zu existieren scheinen, somit umgehbar werden. Systeme mit bis zu 200 Lautsprechern in Kinosystemen und bis zu 900 Lautsprechern in Theaterbeschallungssystemen sind derzeit schon realisiert worden.
Die Wellenfeldsynthese basiert auf dem Huygensschen Prinzip, das besagt, dass jeder Punkt auf einer Wellenfront als Ausgangspunkt für eine elementare sphärische Welle angesehen werden kann. Durch Interferenz aller Elementarwellen entsteht eine neue Wellenfront, die mit der ursprünglichen Welle identisch ist.
Ein derartiges Klangsystem ist vom Fraunhofer-Institut für Digitale Medientechnologie unter dem Namen IOSONO entwickelt worden und im Kino Ilmenau im Einsatz.
Als Beispiel aus der Praxis sei daher das Kino Ilmenau genannt, bei dem die Wellenfeldsynthese in zwei Modi betrieben wird.
Im ersten Modus wird das Kino als „echtes" Wellenfeldsynthese-System betrieben, wobei hier auf der Analogspur des 35 mm Films der Timecode gespeichert ist, wie dies bezüglich der zweiten „missbräuchlichen" Methode zuvor erläutert wurde, und der WFS-Ton von einem externen Medium, z.B. Festplatte oder DVD, zugespielt wird.
In dem zweiten Modus, der „kompatiblen Wiedergabe", wird der auf jedem 35 mm Film gespeicherte Ton von einem Dolby-Prozessor, alternativ könnte auch DTS bzw. SDDS eingesetzt werden, ausgelesen und decodiert, wobei der Dolby-Prozessor ggf. auch automatisch auf die Analogspur umschaltet, und das entstehende Multikanalsignal via WFS auf virtuelle Lautsprecher abbildet.
Da für beide Modi unterschiedliche Signalpfade notwendig sind, ist eine Teilung des Signals, das vom Lesekopf für das Analogsignal kommt, notwendig, was zusätzlichen technischen Aufwand zur Folge hat.
Zusammenfassend kann daher gesagt werden, dass auf den heutigen Kinofilmrollen kein Platz mehr ist, um eine weitere Synchronisationsspur für beispielsweise externe Tonsysteme oder Untertitelsysteme anzubringen. Alle bisher erhältlichen Kinotonsysteme, analog und digital, erhalten ihre Tonspur entweder direkt über eine oder eine Mehrzahl von Tonspuren auf der Filmrolle oder durch ein herstellerspezifisches Zeitcodesignal auf der Filmrolle. Dies bedeutet, dass für beide bekannten Ansätze, wie zuvor erläutert, neue Kopien der Filme zu meist erheblichen Kosten erstellt werden müssen. Dabei ermöglichen Audioformate wie Dolby Digital und SDDS zwar moderne Audioerlebnisse, weisen jedoch immer noch keine Timecodes für die Synchronisation von beispielsweise Untertiteln oder anderssprachigen Versionen der Filmvertonung auf.

Frank Jordan und Jesper Dannow schlagen daher in ihrer Veröffentlichung „Generating Timecode Information from Analog Sources", 118. Convention, Audio Engineering Society vom 28. bis 31. Mai 2005, in Barcelona, Spanien, Convention Paper 6473, vor, einen Timecode auf der Basis der analogen Tonspur zu erzeugen. Die Veröffentlichung beschreibt ein System mit der Bezeichnung „Soundtitles", das an die analoge Tonspur des Projektors angeschlossen wird. Basierend auf einer bearbeiteten, digitalen Kopie der Tonspur und dem analogen Signal des Filmprojektors wird eine Zeitinformation bzw. ein Timecode durch Kreuzkorrelation bestimmt. Das System „Soundtitles" besteht aus drei Komponenten. Das Kernmo dul „Sync Tracker erzeugt das Zeitcodesignal. Das zweite Modul, der „Sync Player" erzeugt Untertitel, die mit beispielsweise einem Beamer projiziert werden. Das dritte Modul, der „Clip Player" spielt synchronisierte Audio-Clips ab, die über kabellose Kopfhörer an den Kinobesucher übertragen werden.

Nachteilig an dem zuvor beschriebenen Stand der Technik ist, dass die Synchronisation und Zeitpunktbestimmung innerhalb des Films, wie in der Veröffentlichung beschrieben, auf ein Suchfenster von beispielsweise einer 1 Minute begrenzt ist. Gerade in der Anfangsphase des Films ist es jedoch schwierig, das richtige Fenster für eine erfolgreiche Synchronisation zu definieren bzw. zu bestimmen. Liegt der vom Film gelesene bzw. abgetastete Abschnitt nicht in dem Abschnitt der gespeicherten Filminformation, der für die Synchronisation verwendet wird, bleibt die Synchronisation erfolglos oder es erfolgt eine falsche Synchronisation. Der Kinobesucher bzw. Filmzuschauer hört dann keinen oder einen falschen Ton zum Film.

Die DE 103 22 722 A1 beschreibt eine Vorrichtung zum Synchronisieren eines Audiosignals mit einem Film, der Einzelbilder aufweist, wobei jedes Einzelbild einen aufbelichteten Zeitcode aufweist, die Vorrichtung eine Einrichtung zum Erfassen des aufbelichteten Zeitcodes für die Folge von Einzelbindern umfasst, um eine erfasste Folge von Zeitcodes zu erhalten, Ferner ist ein Zeitcodegenerator vorgesehen, der ausgebildet ist, um eine Folge von Synthese-Zeitcodes, ausgehend von einem Startwert, zu erzeugen. Ein Decodierer ist ferner vorgesehen, um einen Zeitcode der erfassten Folge von Zeitcodes zu decodieren, um den Startwert für den Zeitcodegenerator zu liefern. Ein erfasster Zeitcode und ein entsprechender Synthese-Zeitcode werden verglichen, um dann, wenn eine Phasenabweichung über einen Abweichungs-Schwellwert festgestellt worden ist, den Synthese-Zeitcode für dieses Einzelbild zu manipulieren, dahin gehend, dass er in seiner zeitlichen Länge verändert wird. Dieser Synthese-Zeitcode wird dann zu einer Audioverarbeitungseinrichtung geliefert, die ausgebildet ist, um ansprechend auf eine Erfassung des Synthese-Zeitcodes für ein Einzelbild, die diesem Einzelbild zugeordneten Abtastwerte des Audiosignals zeitlich gesteuert bereitzustellen.

Die US 2005/0022252 A1 befasst sich mit der Erkennung, Verarbeitung und Indizierung von Multimedia-Daten unter Verwendung bekannter Bildverarbeitungsverfahren. Es wird eine synchrone Steuerung audiovisueller und textueller Medien bereitgestellt. Hierzu werden sogenannte „Tags" als Metadaten generiert, gespeichert und mit Referenzen verglichen.

Die Veröffentlichung von Kashino, Kunio; Kurozumi, Takayuki; Murase, Hiroshi: A Qick Search Method for Audio and Video Signals Based on Histogram Pruning. IEEE Transactions on Multimedia, Vol. 5, No. 3, Sept. 2003, pp. 348-357 beschreibt eine Schnellsuchmethode basierend auf ähnlichkeitsbasiertem Signalsuchen, um ein spezifisches Audio- oder Videosignal in einem gespeicherten langen Audio- oder Videosignal zu detektieren und zu lokalisieren. Der Schlüssel für die Beschleunigung des Verfahrens ist ein effektiver Pruning-Algorithmus, der in der Merkmalsvergleichsstufe mittels Merkmalshistogrammen eingeführt wird. Dabei wird unter Histogramm eine Häufigkeitsverteilung von Merkmalsvektoren über einem Fenster bezeichnet und die Fensterlänge des betrachteten Abschnitts des langen Signals entspricht der Dauer des gesuchten kurzen Signals.

Die US 2004/0073916 A1 betrifft das sogenannte „Monitoring" von Medien, wie beispielsweise Audio- und audiovisuellen Inhalten, um objektive Daten bezüglich der Nutzung von spezifischen Medieninhaltsaufnahmen innerhalb der Übertragung von Audio- und audiovisuellen Inhalten zu erhalten. Dabei werden Methoden für den Einsatz von Inhalteidentifikationstechnologien beschrieben, um effizient und automatisch besagte Monitoring-Daten für die untersuchten Übertragungen zu erhalten.

Die WO 94/1644 A1 beschreibt ein Verfahren und Vorrichtungen zur Elimination von Fernsehwerbespots. Dazu werden Merkmale aus Video- und Audio-Signalen innerhalb eines Abtastfensters extrahiert.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein effizientes Konzept zu schaffen, um eine Stelle in einem Film zu ermitteln.

Diese Aufgabe wird durch eine Vorrichtung zum Ermitteln einer Stelle in einem Film gemäß Anspruch 1, einem Verfahren zum Ermitteln einer Stelle in einem Film gemäß Anspruch 5 und durch ein Computerprogramm gemäß Patentanspruch 6 gelöst.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass jede Stelle eines Films im allgemeinen für diese Stelle spezifische Filminformationen aufweist, so dass bei einer Merkmalsextraktion unterschiedliche Stellen eines Films unterschiedliche, spezifische Ausprägungen der Merkmale aufweisen. Damit weisen in anderen Worten unterschiedliche Stellen in einem Film unterschiedliche „Fingerabdrücke" auf. Diese Fingerabdrücke können wiederum genutzt werden, um eine Stelle in einem Film zu ermitteln.

Erfindungsgemäß wird daher eine Vorrichtung zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist, geschaffen, mit folgenden Merkmalen: einem Speicher zum Speichern einer Referenzfingerabdruckdarstellung (FAD) der Filminformationen, wobei die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen Verlauf der Filminformation abhängt, wobei einer gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist, eine Einrichtung zum Empfangen eines von dem Film gelesenen Abschnitts, einer Einrichtung zum Extrahieren einer Testfingerabdruckdarstellung aus dem eingelesenen Abschnitt, und eine Einrichtung zum Vergleichen der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung, um auf der Basis des Vergleichs und der Zeitskala die Stelle in dem Film zu ermitteln.

Die Vorrichtung und das Verfahren zum Ermitteln einer Stelle in einem Film ermöglichen es, zu einem beliebigen Zeitpunkt eine beliebige Stelle in einem Film zu bestimmen, ohne den Film selbst präparieren oder ändern zu müssen. Die relevante Zeitinformation, die Zeitskala, wird zusammen mit einer gespeicherten Version des Films gespeichert. Dabei wird der Film in Form einer Referenzfingerabdruckdarstellung gespeichert, was einer Merkmalsextraktion entspricht. Damit kann der benötigte Speicherplatz und auch die Rechenleistung und/oder die Dauer zum Ermitteln der Stelle reduziert werden. Bevorzugte Ausführungsbeispiele haben weiterhin den Vorteil, bei geeigneter Wahl der Fingerabdruckdarstellung, eine eindeutige Ermittlung der Stelle zu ermöglichen.

Die Vorrichtung und das Verfahren zum Ermitteln einer Stelle in einem Film kann beispielsweise in einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem eingesetzt werden, dass Filmereignisse mit einer Bildwiedergabe synchronisiert. Beispiele für Filmereignisse sind der Audio-Ton, Untertitel und Spezialeffekte, wobei Spezialeffekte z.B. Luftströmungen, Wackeln an den Kinostühlen, Gerüche oder Lichteffekte an Seiten- und Rückwand umfassen können. Dabei sind bezüglich des Audio-Ereignisses sowohl unterschiedliche Sprachen, wie z.B. gleichzeitiges Abspielen der Originalversion und von Übersetzungen in andere Sprachen, als auch verschiedene Audio-Techniken möglich, wie z.B. die Synchronisierung von digitalen Surround-Systemen wie der Wellenfeldsynthese. Dabei dienen die Vorrichtung oder das Verfahren zum Ermitteln einer Stelle insbesondere zur Synchronisation in einer Anfangsphase des Films, bewirken jedoch auch eine höhere Toleranz gegenüber beispielsweise Sprüngen mitten im Film, um so selbst unter widrigen Umständen eine optimale Synchronisation bzw. Bestimmung einer Stelle in einem Film zu gewährleisten.

Auch wenn die zuvor beschriebenen und noch folgenden Beispiele von einem Kinobesucher oder einem Film sprechen, so beschränkt sich die Erfindung nicht nur auf Kinofilme für einen Kinobesucher, sondern bezieht sich allgemein auf Filme bzw. Audio-Video-Signale, unabhängig davon, ob es sich dabei um auf Filmen oder anderen Datenträgern und Speichermedien, z.B. Magnetbänder oder Festplatten, gespeicherte Filminformationen handelt. Darüber hinaus kann die Erfindung auch für reine Tonsysteme ohne Video eingesetzt werden oder beispielsweise mittels einer Video-ID auch zur Synchronisation von reinem Videomaterial, d.h. ohne Ton, mit beliebigen Ereignissen verwendet werden.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
1 ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem;
2a ein prinzipielles Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zum Durchführen einer Korrelation;
2b ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Durchführen einer Korrelation;
2c.1 einen beispielhaften Abschnitt eines Films
2c.2 einen beispielhaften Verlauf eines Tonsignals des in 2c.1 dargestellten Abschnitts des Films bei einer variablen, ersten Abspielgeschwindigkeit und einer konstanten Testabtastrate;
2c.3 einen beispielhaften Verlauf eines Tonsignals des in 2c.1 dargestellten Abschnitts des Films bei einer variablen, zweiten Abspielgeschwindigkeit und einer konstanten Testabtastrate;
2c.4 einen beispielhaften Verlauf eines Tonsignals des in 2c.1 dargestellten Abschnitts des Films bei einer variablen, dritten Abspielgeschwindigkeit und einer konstanten Testabtastrate;
2d.1 zwei beispielhafte Abschnitte eines Films;
2d.2 einen beispielhaften Verlauf eines Referenztonsignals des Films;
2d.3 einen beispielhaften Verlauf eines Testtonsignals, basierend auf einer ersten Abspielgeschwindigkeit und einer konstanten Testabtastrate, für einen Abschnitt des Films;
2d.4 ein beispielhaftes erstes Korrelationsergebnis aus der Korrelation des Referenztonsignals gemäß 2d.2 und des Testtonsignals gemäß 2d.3;
2d.5 zwei beispielhafte Abschnitte eines Films gemäß 2d.1;
2d.6 einen beispielhaften Verlauf eines Referenztonsignals des Films gemäß 2d.2;
2d.7 einen beispielhaften Verlauf eines Testtonsignals, basierend auf einer zweiten Abspielgeschwindigkeit und einer konstanten Testabtastrate, für einen Abschnitt des Films;
2d.8 ein beispielhaftes zweites Korrelationsergebnis aus der Korrelation des Referenztonsignals gemäß 2d.6 und des Testtonsignals gemäß 2d.7;
3a ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Ermitteln einer Stelle in einem Film mittels einer Fingerabdruckdarstellung;
3b.1 zwei Abschnitte eines Films;
3b.2 einen beispielhaften Verlauf des Referenztonsignals für die zwei Abschnitte gemäß 3b.1;
4 ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Ermitteln einer Stelle in einem Film mittels einer groben und einer nachfolgenden feinen Bestimmung der Stelle;
5a ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem;
5b.1 zwei Abschnitte eines Films;
5b.2 einen beispielhaften Verlauf eines Referenztonsignals für einen ersten Abschnitt des Films;
5b.3 einen beispielhaften Verlauf eines Testtonsignals für einen zweiten Abschnitt des Films;
5b.4 ein beispielhaftes Korrelationsergebnis aus der Korrelation des Referenztonsignals gemäß 5b.2 und des Testtonsignals gemäß 5b.3;
6a ein prinzipielles Blockschaltbild eines beispielhaften Filmvorführsystems mit einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem und einem Filmereignissystem;
6b ein prinzipielles Blockschaltbild eines beispielhaften Filmvorführsystems mit einer Vorrichtung zum Erzeugen eines Steuersignals mit einem beispielhaften Audio-Filmereignissystem;
7 eine schematische Darstellung einer beispielhaften Zuordnung einer Zeitskala zu einer Filminformation;
8 eine schematische Darstellung eines beispielhaften Films mit aufgebrachten Filminformationen.
In der nachfolgenden Beschreibung der Erfindung bzw. der bevorzugten Ausführungsbeispiele werden für gleiche oder gleich wirkende Elemente gleiche Bezugszeichen verwendet.
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die als Filminformation das Tonsignal, das auf dem Film aufgebracht ist, nutzen. Dies soll jedoch die Erfindung nicht einschränken, sondern dient allein der Veranschaulichung.
1 zeigt ein prinzipielles Blockschaltbild einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem und einen beispielhaften Film 110, wie er zuvor bzgl. 8 erläutert wurde, wobei die Vorrichtung zum Erzeugen eines Steuersignals eine Einrichtung zum Speichern 120 der Filminformation, eine Einrichtung zum Empfangen eines von dem Film gelesenen Abschnitts 140, eine Einrichtung 160 zum Vergleichen des gelesenen Abschnitts mit der gespeicherten Filminformation 112, 114 und eine Einrichtung 180 zum Ermitteln des Steuersignals, basierend auf dem Vergleich und der Zeitskala aufweist.
Die gespeicherte Filminformation 112, 114 umfasst beispielsweise die Ton- bzw. Audio-Signale, die Bilder bzw. Video-Signale oder auch Marken, die schon heute auf Filmen zu finden sind, und z.B. festlegen, wo die Blende aufgeht bzw. ab wann Ton gespielt wird, bzw. wann der Film anhält. Die gespeicherten Audio- und/oder Videosignale liegen beispielsweise in digitalisierter Form vor, vorzugsweise in komprimierter Form, um den Speicherbedarf zu reduzieren.
Ein Vorteil der digitalisierten Speicherung liegt in der einfachen und vor allem fehlerfreien Vervielfältigbarkeit des gespeicherten Abbildes der Filminformationen.
Im Gegensatz zu herkömmlichen Systemen, bleibt der Film wie zuvor beschrieben unverändert, es wird lediglich einmal ein gespeichertes Abbild der Filminformationen erzeugt, z.B. bei der Herstellung des Films.
Bei dem Abspielen des Films mittels eines Filmabspielgerätes, beispielsweise eines Filmprojektors, wird beispiels weise das auf der Tonspur 114 enthaltende Tonsignal von der Einrichtung 140 zum Empfangen empfangen und für die Einrichtung 160 zum Vergleichen aufbereitet, beispielsweise mit einer gegebenen Abtastrate abgetastet und als Abschnitt einer gegebenen Länge bzw. einer gegebenen Anzahl von Abtastwerten weitergegeben.
Die Einrichtung 160 ist ausgebildet, diesen von dem Film gelesenen Abschnitt mit der gespeicherten Filminformation zu vergleichen, wobei die Einrichtung 160 zum Vergleichen ausgebildet sein kann, den gelesenen Abschnitt mit der gesamten gespeicherten Filminformation zu vergleichen, vorzugsweise jedoch den gelesenen Abschnitt mit einem Abschnitt der gespeicherten Filminformation vergleicht, um den Rechenaufwand zu minimieren. Der Vergleich kann beispielsweise mittels Kreuzkorrelation, aber auch mittels Berechnen des Unterschieds, z.B. durch Berechnung einer komprimierten Hash-Summe und Suche dieser in einer Datenbank erfolgen. Der Vergleich kann auf dem Tonsignal allein, dem Video-Signal allein, einem Vergleich des Ton-Signals und des Video-Signals sowie einer Kombination mit einer Auswertung der zuvor genannten Merkmale bestehen. Basierend auf dem Ergebnis des Vergleichs der Einrichtung zum Vergleichen 160 und der Zeitskala ermittelt die Einrichtung 180 zum Ermitteln das Steuersignal 190. Mittels des Steuersignals 190 wird ein Filmereignissystem gesteuert, das basierend auf dem Steuersignal 190 zeitsynchron zu dem abgespielten Film 110 beispielsweise WFS-Tonsignale oder Untertitel erzeugt. Dabei kann die Vorrichtung zum Erzeugen eines Steuersignals oder im Speziellen die Einrichtung zum Ermitteln des Steuersignals 180 so ausgebildet sein, dass das Steuersignal ein beliebiges Zeitcodeformat ist, proprietär oder standardisiert wie z.B. das nach SMPTE (Society of Motion Picture and Television Engineers) standardisierte LTC-Zeitcodeformat (LTC = Longitudinal Time Code).
Zeitsynchron bedeutet, dass basierend auf dem Steuersignal 190 das Filmereignissystem einer der gerade vom Film abge spielten Stelle, der in der gespeicherten Filminformationen ein Zeitpunkt auf der Zeitskala zugeordnet ist, einem diesem Zeitpunkt der Zeitskala entsprechendes, gleichzeitiges Ereignis erzeugt wird.
Dabei kann abweichend von dem erläuterten Ausführungsbeispiel statt des Filmprojektors ein beliebiges Filmabspielgerät verwendet werden, beliebige Filmformate, z.B. Stummfilme (z.B. mit Synchronisation auf Basis von Videoinformationen), Filme mit analoger oder digitaler Tonspur, einer Tonspur oder mehreren parallelen Tonspuren verwendet werden, oder alternativ zu einem Film beliebige andere Speichermedien verwendet werden, beispielsweise Kassetten oder Festplatten, deren Format nicht geändert werden kann oder soll, um beispielsweise weiterhin mit dem Filmabspielgerät kompatibel zu sein, zu denen jedoch gleichzeitig andere Filmereignisse synchronisiert werden sollen.
In einem bevorzugten Ausführungsbeispiel wird das Tonsignal als Filminformation für die Synchronisation verwendet. Dabei wird der von dem Film gelesene Abschnitt mit einer gegebenen Abtastrate, die im Folgenden als Testabtastrate bezeichnet wird, abgetastet, um ein Testtonsignal zu erzeugen, und die gespeicherte Filminformation in digitaler Form gespeichert, wobei die gespeicherte Filminformation im Folgenden als Referenz-Signal bezeichnet wird, und das Testtonsignal und Referenztonsignal in der Einrichtung 160 zum Vergleichen mittels Kreuz-Korrelation verglichen werden.
In einem Ausführungsbeispiel sind die Testsignal-Abtastrate und die Referenzsignal-Abtastrate unveränderlich, das heißt konstant. Die Einrichtung 160 zum Vergleichen kann dann beispielsweise ausgebildet sein, um zu einem ersten Zeitpunkt auf der Basis eines ersten Testtonsignals und einem ersten Referenztonsignal ein erstes Korrelationsergebnis zu erzeugen, um einen ersten Zeitpunkt der Zeitskala zu bestimmen, und zu einem zweiten Zeitpunkt ein zweites Testtonsignal und einem zweiten Referenztonsignal ein zweites Korrelationsergebnis zu erzeugen, um einen zweiten Zeitpunkt der Zeitskala zu bestimmen, um daraus beispielsweise eine Zeitdifferenz bzw. Abspielgeschwindigkeit zu bestimmen oder im Vergleich zu einer Soll- oder Referenzabspielgeschwindigkeit eine Geschwindigkeitsdifferenz zu bestimmen. Auf dieser Basis bestimmt die Einrichtung 180 zum Ermitteln des Steuersignals das Steuersignal, um beispielsweise das Filmereignissystem zu synchronisieren.
Nachteilig an einer konstanten Abtastrate ist jedoch, dass sich bei einer sich verändernden Testabspielgeschwindigkeit das Korrelationsergebnis verschlechtert, und damit auch die Genauigkeit der Bestimmung des Zeitpunktes bzw. der Stelle im Film ungenauer wird und damit die Synchronisation schlechter wird. Dieser Nachteil kann durch Variation der Abtastraten, also der Testabtastrate und/oder der Referenzabtastrate, kompensiert werden.
2a zeigt ein prinzipielles Blockschaltbild einer Vorrichtung zum Durchführen einer Korrelation zwischen einem Testtonsignal, das mit einer variablen Abspielgeschwindigkeit abspielbar ist und einem Referenztonsignal, das eine digital gespeicherte Version des Testtonsignals ist, wobei die Vorrichtung zum Durchführen einer Korrelation eine Einrichtung 210 zum Ermitteln eines Maßes für eine Testabspielgeschwindigkeit, eine Einrichtung 230 zum Variieren einer Testabtastrate oder einer Referenzabtastrate und eine Einrichtung 250 zum Vergleichen aufweist. Die Einrichtung 230 ist ausgebildet, um eine Testabtastrate, mit der das Testtonsignal 270 abgetastet wird, zu variieren, um ein modifiziertes Testsignal 272 zu erzeugen, oder um eine Referenzabtastrate zu variieren, um auf der Basis eines Referenztonsignals 274 ein modifiziertes Referenztonsignal 276 zu erzeugen. Die Einrichtung 230 zum Variieren ist ferner ausgebildet, die Testabtastrate oder Referenzabtastrate so zu variieren, dass eine Abweichung zwischen einer Testabspielgeschwindigkeit, die dem Testtonsignal zugeordnet ist, oder einer Referenzabspielgeschwindigkeit, die dem mo difizierten Referenztonsignal 276 zugeordnet ist, reduziert ist, oder dass eine Abweichung zwischen einer Testabspielgeschwindigkeit, die dem modifizierten Testtonsignal 272 zugeordnet ist und einer Referenzabspielgeschwindigkeit, die dem Referenztonsignal 274 zugeordnet ist, oder dass eine Abweichung zwischen einer Testabspielgeschwindigkeit, die dem modifizierten Testtonsignal 272 zugeordnet ist und einer Referenzabspielgeschwindigkeit, die einem modifizierten Referenztonsignal 276 zugeordnet ist, reduziert ist, wobei der Begriff Abspielgeschwindigkeit bzw. die Problematik einer variablen Abspielgeschwindigkeit im Folgenden noch näher erläutert wird.
Die Einrichtung 250 zum Vergleichen des modifizierten Testtonsignals 272 und des Referenztonsignals 274, oder des Testtonsignals 270 und des modifizierten Referenztonsignals 276, oder des modifizierten Testtonsignals 272 und des modifizierten Referenztonsignals 276 ist ausgebildet, um ein Ergebnis 278 der Korrelation zu ermitteln.
Das in 2a gezeigte Ausführungsbeispiel der Vorrichtung zum Durchführen einer Korrelation kann beispielsweise in einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem, wie es beispielsweise in 1 gezeigt ist, als Einrichtung 160 zum Vergleichen eingesetzt werden.
2b zeigt ein prinzipielles Blockschaltbild eines bevorzugten Ausführungsbeispiels einer Vorrichtung zum Durchführen einer Korrelation zwischen einem Testtonsignal und einem Referenztonsignal.
2b zeigt eine Einrichtung 280 zum Speichern eines Referenztonsignals 274, das eine digitale Version des Testtonsignals 270 ist, wobei das Referenztonsignal 274 einmal basierend auf einer gegebenen Speicherreferenzabspielgeschwindigkeit und einer Speicherreferenzabtastrate erzeugt wurde.
Das Testtonsignal wird mit einer variablen Testabspielgeschwindigkeit abgespielt und mit einer Testabtastrate abgetastet, um das Testtonsignal 270 zu erzeugen.
Die Einrichtung 210 zum Ermitteln des Maßes für die Testabspielgeschwindigkeit des Testtonsignals 270 steuert auf der Basis des Maßes für die Testabspielgeschwindigkeit die Einrichtung 230 zum Variieren. Die Einrichtung 230 zum Variieren wiederum steuert einen Referenz- bzw. Abtastratenkonverter 232 und einen variablen Abtaster 234, wobei der Abtastratenkonverter 232 ausgebildet ist, aus dem Referenztonsignal, das auf der Speicherreferenzabspielgeschwindigkeit und einer Speicherreferenzabtastrate basiert, in ein modifiziertes Referenztonsignal 276 umzuwandeln, das einem Referenztonsignal entspricht, das auf einer anderen Speicherreferenzabspielgeschwindigkeit und/oder Speicherreferenzabtastrate basiert, und wobei der variable Abtaster 234 ausgebildet ist, das Testtonsignal mit einer variierten, also von der Standard- oder Grundabtastrate unterschiedlichen, Abtastrate abzutasten, um ein modifiziertes Testtonsignal 272 zu erzeugen.
Abweichend von 2b kann die Vorrichtung zum Durchführen einer Korrelation auch derart ausgebildet sein, dass das Testtonsignal 270 immer über den variablen Abtaster 234 der Einrichtung 250 zum Vergleichen zugeführt wird, wobei der variable Abtaster 234, dann derart ausgebildet ist, dass eine der variablen Testabtastraten der Standard- oder Grund-Abtastrate entspricht, und ferner ausgebildet sein, dass das Referenztonsignal 274 immer über den Referenzabtastratenkonverter 232 der Einrichtung 250 zum Vergleichen zugeführt wird, wobei der Referenzabtastratenkonverter 232 derart ausgebildet ist, dass er bei entsprechender Ansteuerung durch die Einrichtung 230 zum Variieren das Referenztonsignal 274 unmodifiziert an die Einrichtung 250 zum Vergleichen weitergibt.
Die in 2b gewählte Darstellung der getrennten Zuführung des Testtonsignals 270 gegenüber dem modifizierten Testtonsignals 272 und dem Referenztonsignal gegenüber dem modifizierten Referenztonsignals 276 zu der Einrichtung 250 zum Vergleichen, dient dazu, die alternativen Ausführungsmöglichkeiten bzw. Realisierungsmöglichkeiten darstellen zu können.
So ist beispielsweise in einem Ausführungsbeispiel, bei dem die Einrichtung 250 zum Vergleichen ausgebildet ist, das modifizierte Testtonsignal 272 mit dem nicht-modifizierten Referenzton-Signal 274 zu vergleichen, kein Referenzabtastratenkonverter 232 notwendig bzw. weist die Vorrichtung zum Durchführen einer Korrelation gemäß 2b keinen Referenzabtastratenkonverter 232 auf. Ebenso, weist eine Einrichtung 250 zum Vergleichen, die ausgebildet ist, das nicht-modifizierte Testtonsignal 270 mit dem modifizierten Referenztonsignal 246 zu vergleichen, keinen variablen Abtaster 234 auf.
In einem weiteren Ausführungsbeispiel ist die Einrichtung 280 zum Speichern eine Einrichtung zum Speichern einer Filminformation, wobei der gespeicherten Filminformation eine Zeitskala zugeordnet ist, und das Testtonsignal 270 beispielsweise ein Film-Tonsignal. Die Vorrichtung zum Durchführen einer Korrelation gemäß 2b kann dann beispielsweise als Einrichtung zum Vergleichen 160 gemäß 1 eingesetzt werden.
2c.1 zeigt einen Abschnitt eines beispielhaften Films 110 mit einer Tonspur 114, wie in 1 zuvor beschrieben. In 2c.1 sind zwei Stellen des Films 110 eingezeichnet, eine erste Stelle, im Weiteren als Stelle L₁ bezeichnet, und eine zweite Stelle, im Weiteren als Stelle L₂ bezeichnet. Die zwei Stellen L₁ und L₂ definieren einen Abschnitt auf dem Film 110, der eine Länge von ΔL = L₁ – L₂ aufweist.
2c.2 zeigt einen beispielhaften Verlauf des Testtonsignals, das dem in 2c.1 beschriebenen Abschnitt zwischen der Stelle L₁ und L₂ zugeordnet ist, wobei ferner der Zeitpunkt zu dem die Stelle L₁ des Films abgespielt wird, als Zeitpunkt T₁ bezeichnet wird, und der Zeitpunkt, zu dem die Stelle L₂ des Films abgespielt wird, als Zeitpunkt T₂ bezeichnet wird. Die Zeitdauer ΔT = T₁ – T₂ ist abhängig von der Länge des betreffenden Abschnitts und der Abspielgeschwindigkeit v des Films, es gilt: ΔT = ΔL/vbzw. T2 – T1 = (L2 – L1)/v.
Bei Abtastung des Testtonsignals mit der Abtastrate f = 1/Δt, wobei Δt die Abtastperiode ist und ΔT = n·Δt gilt, kann das Testtonsignal als Folge von n + 1 Abtastwerten, wie beispielhaft in 2c.2 mit n = 10 gezeigt, dargestellt werden.
Beim Abspielen des Films mit einer Abspielgeschwindigkeit v und einer Abtastrate f = 1/Δt wird der Filmabschnitt zwischen L₁ und L₂ bzw. T₁ und T₂ beispielsweise in n Zeitabschnitte unterteilt bzw. durch n + 1 Abtastwerte dargestellt, wobei gilt: n = ΔL/(Δt·v)bzw. n = ΔL·f/v,das heißt, die Anzahl der Abtastperioden bzw. Abtastwerte für einen gegebenen Filmabschnitt ΔL ist proportional zur Abtastrate f bzw. antiproportional zur Abtastperiode Δt und antiproportional zur Abspielgeschwindigkeit v. Anders ausgedrückt, bei einem Abschnitt konstanter Länge ΔL muss der Quotient „f/v" bzw. das Produkt „Δt·v" konstant sein, wenn n oder die Anzahl der Abtastwerte n + 1 konstant sein soll. Ist in diesem Fall der erste Abtastwert gleich, so sind unter der zuvor genannten Bedingung auch die einzelnen Abtastwerte gleich.
Entsprechend wird beim Erzeugen der gespeicherten Filminformation bzw. des Referenztonsignals bei einer Speicherabtastrate f_Speicher und einer Speicherabspielgeschwindigkeit v_Speicher der gespeicherte Abschnitt der Filminformation bzw. des Testtonsignals beispielsweise durch n_Speicher + 1 Referenzabtastwerte dargestellt und gespeichert.
Zur Veranschaulichung des Sachverhalts, zeigen die 2c.2 bis 2c.4 beispielhafte Abtastungen oder Speicherungen des Filmabschnitts zwischen der Stelle L₁ und der Stelle L₂ für eine konstante Abtastrate f bzw. eine konstante Abtastperiode Δt und einer variablen Abspielgeschwindigkeit, wobei 2.c2 eine beispielhafte Abtastung oder Speicherung für eine erste Abspielgeschwindigkeit v₁ zeigt, 2c.3 eine Abtastung oder Speicherung desselben Filmabschnitts bei einer zweiten Abspielgeschwindigkeit v₂ zeigt, und 2c.4 eine Abtastung desselben Filmabschnitts für eine dritte Abtastgeschwindigkeit v₃ zeigt. Dabei ist in diesem Beispiel v₁ halb so gross wie v₂ und doppelt so gross wie v₃:
v₁ = v₂/2 und v₁ = 2·v₃.
Alle drei in den 2c.2 bis 2c.4 dargestellten Tonsignale weisen denselben ersten Abtastwert an der Stelle L₁ bzw. zum entsprechenden Zeitpunkt T₁ auf. Daher wird entsprechend, wie in den 2c.2 bis 2c.4 beispielhaft dargestellt, die gespeicherte Bildinformation bzw. das Referenztonsignal in 2c.2 durch n₁ + 1 = 11 Abtastwerte dargestellt, in 2c.3 derselbe Filmabschnitt mit n₂ + 1 = 6 Abtastwerten dargestellt, und in 2c.4 derselbe Filmabschnitt mit n₃ + 1 = 21 Abtastwerten dargestellt.
Wie aus den 2c.2 bis 2c.4 ersichtlich ist, entspricht bei konstanter Abtastrate, eine Erhöhung der Abspielgeschwindigkeit v einer zeitlichen Stauchung des Tonsignals, d.h. eine Verdopplung der Abspielgeschwindigkeit v₁ aus 2c.2 führt wie in 2c.3 dargestellt zu einer Halbierung von T₂ – T₁ und n, und eine Reduzierung der Ab- spielgeschwindigkeit v zu einer zeitlichen Streckung des Tonsignals, d.h. eine Halbierung der Abspielgeschwindigkeit v₁ aus 2c.2 führt wie in 2c.4 dargestellt zu einer Verdopplung von T₂ – T₁ und n.
Die 2d.1 und 2d.2 entsprechen im Wesentlichen den 2c.1 und 2c.2. Im Vergleich zu 2c.1 zeigt 2d.1 zwei zusätzliche Stellen, die einen Suchabschnitt oder ein Suchfenster bezüglich des Films und der darauf aufgebrachten Filminformationen definieren, wobei eine erste Stelle des Suchfensters mit L₀ bezeichnet wird, und eine zweite Stelle des Suchfensters mit L₃ bezeichnet wird, wobei der Abschnitt zwischen der Stelle L₀ und der Stelle L₃ größer ist als der Abschnitt, der durch die Stellen L₁ und L₂ definiert wird, bzw. es gilt ΔL_Fenster > ΔL mit ΔL_Fenster = L₃ – L₀ und ΔL = L₂ – L₁. Entsprechend wurde in 2d.2 zusätzlich zu 2c.2 der Zeitpunkt T₀, der basierend auf einer gegebenen Abspielgeschwindigkeit den der Stelle L₀ zugeordneten Zeitpunkt darstellt und der Zeitpunkt T₃, der basierend auf einer gegebenen Abspielgeschwindigkeit den der Stelle L₃ zugeordneten Zeitpunkt darstellt, hinzugefügt.
Auf die Erzeugung der gespeicherten Filminformationen bzw. des Referenztonsignals und der zusätzlich gespeicherten Zeitskala übertragen, bedeutet dies, dass T₀ beispielsweise den Zeitpunkt auf der Zeitskala definiert, der der Stelle L₀ zugeordnet ist, der Zeitpunkt T₁ den Zeitpunkt auf der Zeitskala definiert, der der Stelle L₁, der Zeitpunkt T₂ den Zeitpunkt auf der Zeitskala definiert, der der Stelle L₂ und der Zeitpunkt T₃ den Zeitpunkt auf der Zeitskala definiert, der der Stelle L₃ auf dem Film zugeordnet ist.
2d.3 entspricht der 2c.2.
Im Folgenden soll anhand der 2d.2 bis 2d.4 ein prinzipieller Verlauf eines Vergleichs zweier Signale mittels Korrelation bzw. die Problematik einer variablen Abspielge schwindigkeit bei einem Vergleich zweier Signale beispielhaft dargestellt und erläutert werden.
Dabei stellt 2d.3 eine aktuell abgelesene einer auf den Film aufgebrachten Filminformation bzw. das Testtonsignal 270 dar und 2d.2 eine gespeicherte Filminformation bzw. ein Referenztonsignal dar, wobei in einem optimalen Fall, der hier durch die 2d.2 und 2d.3 darstellt ist, die Speicherabspielgeschwindigkeit und die Speicherabtastrate, mit der das Referenztonsignal erzeugt wurde, mit der Abspielgeschwindigkeit des Testtonsignals und der Abtastrate des Testtonsignals übereinstimmen bzw. wie zuvor gezeigt, der Quotient aus Speicherabtastrate f_Speicher und Speicherabspielgeschwindigkeit v_Speicher mit dem Quotient aus der Abtastrate für das Testtonsignal f und der Abspielgeschwindigkeit des Testtonsignals v übereinstimmen. In diesem Fall kann das Referenztonsignal bzw. ein Abschnitt des Referenztonsignals, der durch T₁ und T₂ definiert ist, mit dem Testtonsignal, das den Abschnitt zwischen T₁ und T₂ darstellt, genauer gesagt deren Abtastwertefolgen, exakt übereinstimmen, und mittels Korrelation ein klares lokales Maximum bzw. ein Korrelations-Peak gewonnen werden, wie dies beispielhaft in 2d.4 gezeigt ist.
Die Position des Peaks wiederum gibt die zeitliche Verschiebung des Testtonsignals gegenüber dem Referenztonsignal bzw. dem Suchfenster an. Darauf basierend kann dann der aktuelle Zeitpunkt bezüglich der gespeicherten Zeitskala bestimmt werden.
Die 2d.5 bis 2d.8 zeigen im Unterschied zu den 2d.1 zu 2d.4 ein Beispiel, bei dem die Abspielgeschwindigkeit des Testtonsignals, dargestellt in 2d.7 gegenüber der Abspielgeschwindigkeit des Testtonsignals, wie es in 2d.2 gezeigt wird, verringert ist.
2d.5 entspricht der 2d.1. 2d.6 entspricht der 2d.2, das heißt, 2d.6 stellt einen beispiel haften Verlauf eines Referenztonsignals dar, das auf einer Speicherabtastrate f_Speicher und einer Speicherabspielgeschwindigkeit v_Speicher basiert. 2d.7 zeigt einen beispielhaften Verlauf bzw. eine beispielhafte Abtastung des Testtonsignals, basierend auf einer gegenüber 2d.3 bzw. 2d.6 unveränderten Testabtastrate f jedoch einer veränderten, reduzierten Abspielgeschwindigkeit v' des Testtonsignals.
Bezogen auf einen betrachteten Zeitabschnitt ΔT bedeutet dies, dass in dem gleichen Zeitabschnitt ΔT bei einer reduzierten Geschwindigkeit v' nur ein geringerer Abschnitt bzw. ein Abschnitt geringerer Länge ΔL' gemäß ΔL' = v'·ΔT von dem Film abgespielt wird, so dass bezogen auf den gerade abgespielten Film nach dem Zeitabschnitt ΔT nur eine Stelle L'₂, die vor der Stelle L₂ liegt, erreicht wird, wie dies in 2d.5 dargestellt ist. Bezogen auf das Referenztonsignal und der diesem zugeordneten Zeitskala ist der Stelle L'₂ der Zeitpunkt T'₂ der Zeitskala zugeordnet, wie dies in 2d.7 gezeigt wird.
Bezogen auf die einzelnen Abtastwerte des Testtonsignals bedeutet dies, dass der durch die Tonspur des Films vorgegebene „räumliche" Verlauf des Testtonsignals unveränderlich ist, so dass bei einer geringeren Abspielgeschwindigkeit v' eine Abtastperiode Δt bzw. ein entsprechender räumlicher Abtastabschnitt Δ1' entspricht, der kleiner ist als Δ1, so dass, wie dies in 2d.7 gegenüber 2d.6 dargestellt ist, die Abtastwerte des Testtonsignals bezüglich des „räumlichen" Signalverlaufs nach links „wandern".
In dem entgegengesetzten Fall, dass die veränderte Abspielgeschwindigkeit v' größer ist als die Speicherabspielgeschwindigkeit v_Speicher, ergibt sich der umgekehrte Fall, im gleichen Zeitabschnitt Δt wird ein größerer räumlicher Abschnitt Δ1 abgespielt, so dass die Abtastwerte des Testtonsignals auf dem „räumlichen" Verlauf des Testtonsignals nach „rechts" auf dem Signalverlauf „wandern".
Bei einer veränderten Abspielgeschwindigkeit, unabhängig davon, ob sie höher oder niedriger als die Speicherabspielgeschwindigkeit ist, verschlechtert sich damit das Ergebnis des Vergleichs, da selbst unter sonst optimalen Bedingungen, das Testtonsignal und das Referenztonsignal zwei verschiedene räumliche Abschnitte des Films wiedergeben. Das Ergebnis des Vergleichs wird umso schlechter, je größer die Abweichung der Speicherabspielgeschwindigkeit von der Testabspielgeschwindigkeit abweicht. Bei einem Vergleich mittels Korrelation nimmt dabei der Betrag des lokalen Maximums bzw. Peaks ab und das Maximum selbst wird dadurch beispielsweise breiter und flacher, so dass die Zeitpunktbestimmung bezüglich der Zeitskala immer ungenauer wird, bis sie nicht mehr möglich ist.
Unter realen Bedingungen variiert die Abspielgeschwindigkeit des Testtonsignals beispielsweise nicht nur zwischen verschiedenen Filmabspielgeräten, sondern kann auch während eines Films variieren. Eine exakte Nachsteuerung ist daher unerlässlich, um während eines gesamten Films Synchronität zu gewährleisten.
Die Vorrichtung zum Durchführen einer Korrelation variiert daher die Abtastrate des Testtonsignals oder die Abtastrate des Referenztonsignals, um den nachteiligen Effekt einer variablen Ablaufgeschwindigkeit des Testtonsignals, wie er zuvor beschrieben wurde, gemäß der zuvor beschriebenen Bedingung, dass der Quotient aus Abtastrate und Abspielgeschwindigkeit des Testtonsignals und des Referenztonsignals gleich groß sein müssen, um den gleichen Filmabschnitt mit den gleichen Abtastwerten darzustellen, zu minimieren.
Bei einem digitalen Referenztonsignal, das zuvor mit einer Speicherabtastrate erzeugt wurde, wird die Änderung der Abspielgeschwindigkeit durch eine Abtastratenkonversion bewirkt, wobei das gespeicherte Referenztonsignal 274 beispielsweise entsprechend interpoliert wird, um ein Refe renztonsignal mit der Abtastrate zu erzeugen, das der geänderten Abspielgeschwindigkeit entspricht.
Die 2d.1–2d.8 stellen vereinfachte Beispiele dar, bei denen der Anschaulichkeit halber davon ausgegangen wurde, dass die Speicherabspielgeschwindigkeit v_Speicher einer normalen bzw. üblichen Abspielgeschwindigkeit eines Abspielgerätes zum Erzeugen eines Testtonsignals entspricht. Wie zuvor erläutert, ist jedoch der Quotient aus Abtastrate f und der Abspielgeschwindigkeit v die Größe, die für das Referenztonsignal und das Testtonsignal gleich sein müssen, um wie zuvor dargestellt, denselben Abschnitt des Films mit denselben Abtastwerten darstellen zu können. Beispielsweise kann bei dem Erzeugen des Referenztonsignals auch eine doppelte Abspielgeschwindigkeit genutzt werden, wenn gleichzeitig die Abtastrate verdoppelt wird.
In einem Ausführungsbeispiel gemäß 2b, kann die Einrichtung 210 zum Ermitteln, basierend auf dem Ergebnis 278 der Korrelation ein Maß für eine Testabspielgeschwindigkeit ermitteln.
Eine Möglichkeit besteht darin, ein einzelnes Korrelationsergebnis für die Bestimmung eines Maßes der Abspielgeschwindigkeit heranzuziehen, indem beispielsweise eine Amplitude eines Peaks mit einem vorgegebenen Schwellwert verglichen wird, um zu ermitteln, ob eine Abweichung zwischen einer Abspielgeschwindigkeit eines Testtonsignals und eines Referenztonsignals in einem vorgegeben Bereich liegt.
Bei einem bevorzugten Ausführungsbeispiel werden mindestens zwei verschiedene Referenztonsignale, die auf verschiedenen Referenzabtastraten basieren bzw. verschiedenen Referenzabspielgeschwindigkeiten entsprechen, mit dem Testtonsignal verglichen, um die Ergebnisse der Korrelation beispielsweise mittels einer Qualitätsbeurteilung, die bezüglich 5 noch näher erläutert wird, zu vergleichen, um aus diesen ein ähnlichstes Referenztonsignal und damit basierend auf der bekannten Abtastrate und der bekannten Speicherabspielgeschwindigkeit ein Maß für die Abspielgeschwindigkeit des Testtonsignals zu bestimmen. Dabei können die verschiedenen Referenztonsignale nacheinander gebildet und mit dem Testtonsignal verglichen werden oder gleichzeitig gebildet und verglichen werden.
Ein besonders bevorzugtes Ausführungsbeispiel der Vorrichtung zum Durchführen einer Korrelation erzeugt drei Referenztonsignale, die auf verschiedenen Referenzabtastraten basieren, wobei das Referenztonsignal der mittleren der drei Abtastraten auf der Referenzabtastrate des Referenztonsignals basiert, das in einem vorhergehenden Vergleich die beste Qualität bzw. maximale Übereinstimmung mit dem Testtonsignal aufwies, und die zwei anderen Referenztonsignale jeweils eine Referenzabtastrate die höher oder niedriger als die Referenzabtastrate des mittleren Referenztonsignals bzw. Referenzabtastrate ist, aufweisen. Dies wird von der Einrichtung 230 zum Variieren auf der Basis eines Ausgangssignals der Einrichtung 210 zum Ermitteln des Maßes für die Testabspielgeschwindigkeit gesteuert. So ist gewährleistet, dass die Referenzabtastrate bzw. die Referenzabspielgeschwindigkeit des Referenztonsignals an die Abspielgeschwindigkeit bzw. Referenzabtastrate des Testtonsignals angepasst wird.
3a zeigt einen beispielhaften Film, wie in 8 dargestellt, und ein prinzipielles Blockschaltbild einer Vorrichtung zum Ermitteln einer Stelle in dem Film.
Das in 3a gezeigte Ausführungsbeispiel der Vorrichtung zum Ermittlen einer Stelle in einem Film kann beispielsweise in einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem, wie es beispielsweise in 1 gezeigt ist, als Einrichtung 180 zum Ermitteln des Steuersignals eingesetzt werden.
Die Vorrichtung zum Ermitteln einer Stelle in einem Film weist einen Speicher 320 zum Speichern einer Referenzfingerabdruckdarstellung der Filminformation auf, wobei die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen Verlauf der Filminformation abhängt, und wobei einer gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist, eine Einrichtung 340 zum Empfangen eines von dem Film gelesenen Abschnitts aufweist, eine Einrichtung 350 zum Extrahieren einer Testfingerabdruckdarstellung aus dem eingelesenen Abschnitt und eine Einrichtung 360 zum Vergleichen der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung aufweist, um auf der Basis des Vergleichs und der Zeitskala die Stelle in dem Film zu ermitteln.
Bei einem bevorzugten Ausführungsbeispiel umfasst die Fingerabdruckdarstellung eine Darstellung in Form einer spektralen Flachheit, wobei ein zeitlicher Verlauf der Fingerabdruckdarstellung einen zeitlichen Verlauf der spektralen Flachheit umfasst.
3b.1 zeigt einen beispielhaften Film 110, wie in 8 dargestellt. Dabei entsprechen beispielsweise einer Stelle L₁₀₀ des Films bei einem Abspielen des Films mit einer gegebenen Abspielgeschwindigkeit der Zeitpunkt T₁₀₀ der Zeitskala, der Stelle L₁₀₃ der Zeitpunkt T₁₀₃ der Zeitskala, der Stelle L₁₁₃, die der Zeitpunkt T₁₁₃ der Zeitskala und der Stelle L₁₁₆ der dem Zeitpunkt T₁₁₆ der Zeitskala.
Bei dem Schritt des Erzeugens der Referenzfingerabdruckdarstellung der Filminformation wird in einem Ausführungsbeispiel für bestimmte räumliche bzw. zeitliche Abschnitte des Films ein Fingerabdruck bestimmt.
3b.2 zeigt beispielsweise einen ersten Abschnitt, der den Abschnitt von der Stelle L₁₀₀ bis L₁₁₃ bzw. T₁₀₀ bis T₁₁₃ umfasst, und einen zweiten Abschnitt, der den Abschnitt von der Stelle L₁₀₃ bis zu der Stelle L₁₁₃ bzw. von dem Zeitpunkt T₁₀₃ bis zu dem Zeitpunkt T₁₁₆ umfasst. Basierend auf diesen Abschnitten wird auf der Basis von beispielsweise einer Spektralanalyse, Fourier-Transformation oder anderen Methoden der Merkmalsextraktion ein diesem Abschnitt zugeordneter Fingerabdruck erstellt. In einem besonders bevorzugten Ausführungsbeispiel umfasst der Fingerabdruck die spektrale Flachheit γ_x2, die aus dem Verlauf des Leistungsdichtespektrums berechnet wird, so dass für jeden Abschnitt der Wert der spektralen Flachheit bestimmt wird, und sich in Abhängigkeit von dem zeitlichen Verlauf der Filminformationen, beispielsweise des Tonsignals, eine Folge von spektralen Flachheiten ergibt, die in dem Speicher 320 mit der zugeordneten Zeitskala gespeichert werden.
Abtastrate, Länge bzw. Dauer des Abschnitts oder der Abstand zwischen zwei aufeinander folgenden Abschnitten werden entsprechend der Anforderungen beispielsweise bzgl. Eindeutigkeit oder Genauigkeit der Bestimmung der Stelle in dem Film bestimmt. Je länger der Abschnitt desto eindeutiger ist die Ausprägung des Merkmals im allgemeinen, je höher die Abtastrate und/oder je geringer der Abstand zwischen zwei Abschnitten, desto genauer kann die Stelle im Film bestimmt werden. Je höher die Abtastrate, je länger die Abschnitte und je geringer die Abstände zwischen den Abschnitten, desto höher ist der Speicherbedarf für das Referenzsignal bzw. die Anforderung an die Rechenleistung bei der Signalverarbeitung.
Ein wesentlicher Vorteil der Fingerabdruckdarstellung in Form der spektralen Flachheit ist ihr geringer Speicherbedarf gegenüber beispielsweise einer kompletten Speicherung des Leistungsdichtespektrums für einen gleichen Abschnitt. Bevorzugt wird ein Verlauf bzw. eine Folge von spektralen Flachheiten als Fingerabdruck für einen Abschnitt verwendet.
4a zeigt einen beispielhaften Film 110, wie in 8 dargestellt, sowie eine Vorrichtung zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist.
Das in 4a gezeigte Ausführungsbeispiel der Vorrichtung zum Ermittlen einer Stelle in einem Film kann beispielsweise in einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem, wie es beispielsweise in 1 gezeigt ist, als Einrichtung 180 zum Ermitteln des Steuersignals eingesetzt werden.
Die Vorrichtung zum Ermitteln einer Stelle weist einen Speicher 420 zum Speichern von Filminformationen, die auf einem Film in zeitlicher Folge aufgebracht sind, auf, wobei den gespeicherten Filminformationen eine Zeitskala zugeordnet ist, eine Einrichtung 440 zum Empfangen eines von dem Film gelesenen Abschnitts und eine Synchronisationseinrichtung 460 auf, die ausgebildet ist, eine Folge von Abtastwerten des gelesenen Abschnitts, denen eine erste Abtastrate zugrunde liegt, und ein erstes Suchfenster der gespeicherten Filminformationen zu vergleichen, um ein Grobergebnis zu erhalten, und um eine Folge von Abtastwerten des gelesenen Abschnitts, dem eine zweite Abtastrate zugrunde liegt, und ein zweites Suchfenster der gespeicherten Filminformationen zu vergleichen, um ein Feinergebnis zu erhalten, das auf die Stelle des Films hinweist, wobei eine Position des zweiten Suchfensters in der gespeicherten Filminformation von dem Grobergebnis abhängt, und wobei das erste Suchfenster zeitlich länger als das zweite Suchfenster ist und wobei ferner die erste Abtastrate niedriger als die zweite Abtastrate ist.
5a zeigt einen beispielhaften Film 110, wie in 8 dargestellt, sowie eine bevorzugtes Ausführungsbeispiel einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem, das ausgebildet ist, auf der Basis einer auf dem Film aufgebrachten analogen Tonspur einen von dem Film gelesenen Abschnitt des Audiosignals bzw. Testtonsignals und einer gespeicherten, digitalen Version des Testtonsignals, im weiteren als Referenztonsignal bezeichnet, dem eine Zeitskala zugeordnet ist, durch Vergleichen des Testtonsignals und des Referenztonsignals mittels der Zeitskala das Steuersignal zu ermitteln.
5a zeigt ein bevorzugtes Ausführungsbeispiel einer Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem, das einen ersten Filmtonabtaster 542 aufweist, der mit einem ersten A/D-Wandler 544 verbunden ist (A/D = Analog/Digital), wobei der erste A/D-Wandler 544 mit einem ersten Merkmals-Extraktor 552, mit einer ersten Einrichtung 562 für eine Korrelation mit einem ersten Referenztonsignal, das auf einer ersten Abtastrate basiert, mit einer zweiten Einrichtung 564 für eine Korrelation mit einem zweiten Referenztonsignal, das auf einer zweiten Abtastrate basiert, und mit einer dritten Einrichtung 566 für eine Korrelation mit einem dritten Referenztonsignal, das auf einer dritten Abtastrate basiert, verbunden ist, wobei die Abtastrate im Englischen auch als sample rate bezeichnet wird. Ein Eingang der ersten Einrichtung 562 für eine Korrelation, ein Eingang einer zweiten Einrichtung 564 für eine Korrelation und ein Eingang der dritten Einrichtung 566 für eine Korrelation sind mit einem Ausgang eines Abtastratenkonverters 232, der im Englischen als sample rate converter (SRC) bezeichnet wird, verbunden.
Ein Ausgang der ersten Einrichtung 562 für eine Korrelation, ein Ausgang der zweiten Einrichtung 564 für eine Korrelation und ein Ausgang der dritten Einrichtung 566 für eine Korrelation sind mit einem Eingang einer ersten Einrichtung 568 zur Qualitätsbeurteilung verbunden. Die Einrichtung 568 zur Qualitätsbeurteilung wiederum ist mit dem Abtastratenkonverter 232 und einer Einrichtung 570 zur Abtasterwahl gekoppelt, wobei ein Ausgang der Einrichtung 570 zur Abtasterwahl mit einem Eingang eines Zeitgebers 582 verbunden ist. Der Zeitgeber 582 wiederum ist mit der gespeicherten Tonspur bzw. einer Einrichtung 522 zum Speichern der Tonspur verbunden, wobei ein Ausgang der Einrichtung 522 zum Speichern der Tonspur mit einem Eingang des Abtastratenkonverters 232 verbunden ist.
Ein Ausgang des ersten Merkmals-Extraktors 552 ist mit einem Eingang einer Einrichtung 554 zum Vergleichen eines Merkmals, die beispielsweise einen Merkmals-Klassifikator und eine Datenbank von Merkmalen aufweist, verbunden, wobei ein Ausgang der Einrichtung 554 zum Vergleichen eines Merkmals mit einem Eingang des Zeitgebers 582 verbunden ist.
Ein Ausgang des Zeitgebers 582 ist mit einem Eingang einer Einrichtung 584 zur Zeitcodeerzeugung gekoppelt, die eine Zeitcodedatenbank aufweist oder mit einer Zeitcodedatenbank gekoppelt ist, wobei ferner ein Ausgang der Einrichtung 584 zur Zeitcodeerzeugung mit einem Eingang einer Einrichtung 586 zum Zeitcodeglätten verbunden ist, wobei die Einrichtung 586 zum Zeitcodeglätten ausgebildet ist, einen Zeitcode 592 auszugeben, und wobei ferner ein Ausgang der Einrichtung 586 zum Zeitcodeglätten mit einem Eingang eines Wordclock-Generators 588 verbunden ist, der wiederum ausgebildet ist, ein Wordclock-Signal 594 auszugeben.
Die Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem weist optional ferner einen zweiten Filmtonabtaster 542' auf, der mit einem zweiten A/D-Wandler 544' verbunden ist, wobei der zweite A/D-Wandler 544' mit einem zweiten Merkmalsextraktor 552', mit einer vierten Einrichtung 562' für eine Korrelation mit einem vierten Referenztonsignal, das auf der ersten Abtastrate basiert, mit einer fünften Einrichtung 564' für eine Korrelation mit einem fünften Referenztonsignal, das auf der zweiten Abtastrate basiert, und mit einer sechsten Einrichtung 566' für eine Korrelation mit einem sechsten Referenztonsignal, das auf der dritten Abtastrate verbunden ist.
Ein Ausgang der vierten Einrichtung 562' für eine Korrelation, ein Ausgang der fünften Einrichtung 564' für eine Korrelation und ein Ausgang der sechsten Einrichtung 566' für eine Korrelation sind mit einem Eingang einer zweiten Einrichtung 568' zur Qualitätsbeurteilung verbunden, wobei ein Ausgang der zweiten Einrichtung 568' zur Qualitätsbeurteilung mit einem Offset-Ausgleich 569 und ein weiterer Ausgang mit einem Eingang des Abtastratenkonverters 232 verbunden ist, und wobei ferner der die Einrichtung zum Offset-Ausgleich 569 mit der Abtasterwahl 570 verbunden ist.
Dabei wird der erste Filmtonabtaster 542, der auch als Hauptabtaster bezeichnet wird, so positioniert, dass der Vorrichtung zum Erzeugen eines Steuersignals genug Zeit bleibt, sich aufzusynchronisieren. Der erste Filmtonabtaster 542 liefert also ein vorverzögertes Signal. Zur Aufsynchronisationszeit addiert sich noch die Korrelationsfensterbreite bzw. Breite des Abschnitts des Testtonsignals. Anhand der Perforationen auf der Filmrolle lässt sich die Zeitdifferenz für die Vorverzögerung genau einstellen. Als erster Anhaltspunkt wird drei Sekunden empfohlen.
Im Folgenden wird die Funktionsweise des Ausführungsbeispiels der Vorrichtung zum Erzeugen eines Steuersignals für ein Filmereignissystem näher erläutert, wobei das Prinzip anhand des durch den ersten Filmtonabtaster 542 erzeugten Testtonsignals bzw. dessen Signalverarbeitungskette erläutert wird, da die zweite, optionale Signalverarbeitungskette bzw. Signalverarbeitung des durch den zweiten Filmtonabtaster 542' erzeugten Testtonsignals dem ersten entspricht, es wird daher lediglich auf die Einrichtung 569 zum Offset-Ausgleich spezifisch eingegangen.
Der erste Filmtonabtaster 542 liest von der Tonspur des Films das Tonsignal bzw. tastet von der Tonspur des Films das Tonsignal ab, und gibt dieses Signal an den ersten A/D-Wandler 544 weiter, wobei der erste A/D-Wandler 544 ausge bildet ist, um basierend auf der Abtastrate des ersten Filmtonabtasters 542 und der Abspielgeschwindigkeit des Films, von dem die Tonspur bzw. die Filminformation gelesen wird, ein digitales Audiosignal oder Testtonsignal zu erzeugen.
Auf der Basis des Testtonsignals 270 wird ein oder eine Mehrzahl von Merkmalen extrahiert bzw. eine Testfingerabdruckdarstellung gebildet. Für die Merkmalsextraktion bzw. Fingerabdruckdarstellung wird beispielsweise die spektrale Flachheit als Merkmal bzw. Fingerabdruck eingesetzt. Die Testfingerabdruckdarstellung wird dann von der Einrichtung 554 zum Vergleichen eines Merkmals bzw. einer Fingerabdruckdarstellung mit einer Referenzfingerabdruckdarstellung verglichen, wobei wie zuvor dargelegt, die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen Verlauf der Filminformationen abhängt, und wobei einer in der Einrichtung 554 zum Vergleichen eines Merkmals gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist, und die Einrichtung 554 zum Vergleichen ausgebildet ist, um auf der Basis des Vergleichs der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung und der Zeitskala eine Stelle in dem Film zu ermitteln bzw. ein Zeitcodesignal 554Z zu erzeugen.
Der Abtastratenkonverter erzeugt auf der Basis des gespeicherten Referenztonsignals 274 dasselbe Signal mit leicht unterschiedlichen Abtastraten, d.h. modifizierte Referenztonsignale, für die parallel zu berechnenden Korrelationen. Dabei ist der Fall, dass ein modifiziertes Referenztonsignal die gleiche Abtastrate wie das ursprüngliche Referenztonsignal aufweist hierin inbegriffen, so dass für die Diskussion der 5 im weiteren allgemein der Begriff Referenztonsignale verwendet wird.
Anders ausgedrückt, der Abtastratenkonverter 232 erzeugt drei Referenztonsignale 276 bzw. modifizierte Referenzton signale 276, wobei ein erstes Referenztonsignal auf einer ersten Abtastrate basiert und der ersten Einrichtung 562 für eine Korrelation zugeführt wird, wobei ein zweites Referenztonsignal 276 auf einer zweiten Abtastrate basiert und der zweiten Einrichtung 564 für eine Korrelation zugeführt wird, und ein drittes Referenztonsignal 276 auf einer dritten Abtastrate basiert und einer dritten Einrichtung 566 für eine Korrelation zugeführt wird. Der Abtastratenwandler 232 liefert niedrig abgestufte, in der Abtastrate unterschiedliche Signale an die Korrelation bzw. an die Einrichtungen 562, 564, 566 für eine Korrelation, wobei die Abtastrate immer in Abhängigkeit zum vorherigen gemessenen maximalen Peak-to-Noise-Wert aus der Korrelation eingestellt wird. Jeweils eine Korrelation bekommt ein modifiziertes Referenztonsignal mit dieser Abtastrate, eine weitere Korrelation bekommt eine etwas geringere, eine Stufe niedrigere, und eine weitere Korrelation bekommt eine etwas höher gestufte Abtastrate. Dadurch wird sichergestellt, dass sich der Abtastratenwandler beispielsweise auf eine Geschwindigkeitsänderung des Analog-Tonsignals abstimmen bzw. aufsynchronisieren kann.
Die Einrichtung 522 zum Speichern der Tonspur und der Abtastratenkonverter 232 sind vorzugsweise ausgebildet, eine Fensterbreite von 2ⁿ zu verwenden, um aufwandsgünstig große Korrelationsfenster mittels der schnellen Fourier-Transformation (FFT = Fast Fourier transformation) zu berechnen. Es können parallel auch mehr als drei Korrelationen berechnet werden, um schlagartige Sprünge in der Tonspur zu kompensieren. Das Korrelationsfenster wird groß gewählt, um einen deutlichen Korrelationspeak zu erhalten. Um die Erkennungsgenauigkeit des Korrelations-Peaks unter einem Sample bzw. einer Abtastperiode zu erhalten, kann mit Überabtastung des Eingangssignals bzw. Testtonsignals gearbeitet werden.
Die Einrichtung 522 zum Speichern der Tonspur gibt in Abhängigkeit vom zugeführten Zeitcodesignal 582Z des Zeitge bers 582 das Referenztonsignal in der Länge des Korrelationsfensters aus, wobei das Korrelationsfenster das Suchfenster ist, in dem das Testtonsignal gesucht wird.
Die erste Einrichtung 568 zur Qualitätsbeurteilung ist ausgebildet, eine Maximalwertsuche in der Kreuzkorrelierten der Signale bzw. der Beträge der Signale durchzuführen und die Güte der Kreuzkorrelierten, je nach Höhe des Korrelations-Peaks im Vergleich zu anderen Spitzen in der Kreuzkorrelierten zu gewichten, bzw. anhand des Peak-to-Noise-Abstands die Qualität jeder einzelnen Korrelation zu bestimmen.
Anhand der Qualitätsbeurteilung wird das Referenztonsignal mit der besten Güte bzw. Qualität bestimmt und anhand der Position des Peaks des Referenztonsignals mit der besten Qualität bzw. Güte die Verschiebung des Peaks gegenüber dem Suchfenster bestimmt, und beispielsweise als Zeitcodedifferenz zwischen gemessenem und derzeit gültigem Zeitcode oder als relativer Zeitcode ausgegeben.
Abhängig von dem Ergebnis der Qualitätsbeurteilung sendet die erste Einrichtung 568 zur Qualitätsbeurteilung ein Steuersignal 568A an den Abtastratenkonverter 232, das beispielsweise nur die drei Signalwerte "0", "+1" und "–1" unterscheidet, wobei beispielsweise bei "0" die Abtastraten der letzten Abtastraten-Konvertierung bzw. Korrelation beibehalten werden, weil das Korrelationsergebnis aus dem modifizierten Referenztonsignal mit der mittleren Abtastrate als das qualitativ hochwertigste bestimmt wurde, bei "+1" die Abtastraten gegenüber der letzten Abtastratenkonversion bzw. Korrelation um eine Stufe erhöht werden, weil das Korrelationsergebnis aus dem modifizierten Referenztonsignal mit der höchsten Abtastrate als das qualitativ hochwertigste bestimmt wurde, und bei "–1" die Abtastraten gegenüber der vorhergehenden Abtastratenkonversion bzw. Korrelation um eine Stufe reduziert werden, da die Korrelation aus dem Testtonsignal und dem modifizierten Referenztonsignal mit der niedrigsten Referenzabtastrate das beste Korrelationsergebnis bzw. den besten Peak-to-Noise-Abstand aufwies.
In anderen Worten, abhängig davon, mit welcher Abtastrate (erste, zweite oder dritte) der beste Korrelationspeak erhalten worden ist, wird der Abtastratenkonverter z.B. um ein Abtastraten-Deltawert erhöht oder erniedrigt, oder so angesteuert, dass er keine Abtastratenkonversion durchführt.
Dabei dient die Korrelation zur Adressierung von zwei wesentlichen Aspekten. Erstens, der Bestimmung der Stelle im Film bzw. Bestimmung des Zeitpunktes im Film auf Basis der Zeitcodedifferenz aus der Korrelation. Zweitens, der Bestimmung des Maßes für die Abspielgeschwindigkeit, um die optimale Referenzabtastrate bzw. optimale Abtastratenkonversion der Referenzabtastrate zu ermitteln. Wobei die Anpassung der Abtastraten bzw. das Nachempfinden angepasster Abspielgeschwindigkeiten wiederum bessere Korrelationsergebnisse ermöglicht und damit wiederum die Zeitpunktbestimmung bzw. Bestimmung der Stelle in dem Film verbessert und somit wiederum die Synchronisation und die Prädiktion verbessert.
Ein bevorzugtes Ausführungsbeispiel gemäß 5 ist ausgebildet, mittels einer Signalanalyse, um Signalteile mit bestimmten Charakteristika zu detektieren, um diese dann bei der Synchronisation auszublenden und damit falsche Detektionen bzw. Synchronisationen zu unterbinden oder zufällige Schwankungen der Zeitachse zu vermeiden.
Solche Charakteristika können beispielsweise die Lautheit des Signalteils oder die „Problemheit" eines Signals sein und die Signalanalyse bzw. Detektion problematischer Teile auf der Basis von SNR (Signal-to-Noise-Ratio), PNR (Peakto-Noise), Spectral power oder Leitungsdichtespektrum, spektraler Flachheit oder der Mittelwertbildung einer zeitlichen Abfolge basieren.
Beispielsweise kann unterhalb eines Schwellwerts des Peakto-Noise-Werts bzw. Spitze-Rausch-Abstands die Zeitcodedifferenz als ungültig erkannt werden. Oder werden beispielsweise mehrere Peaks mit ähnlichem Spitze-Rausch-Abstand festgestellt, kann die Zeitcodedifferenz ebenso als ungültig erkannt werden.
Des Weiteren ist zum Beispiel die Qualität von Korrelationen mit leisen Signalteilen, das heißt Signalteilen mit geringer Amplitude, wegen des höheren Quantisierungsgeräuschs bei der digitalen Abtastung geringer als von Korrelationen mit lauten Signalen, daher werden leise Signalteile anhand von Schwellwerten bzw. adaptiv ausgeblendet, um zufällige Schwankungen der Zeitachse zu vermeiden. Zusätzlich kann die Signalenergie ein weiteres Qualitätsmerkmal sein.
Ein weiteres Beispiel ist das Ausblenden von problematischen, weil wiederkehrenden Signalteilen, um Mehrdeutigkeiten und damit beispielsweise falsches Aufsynchronisieren zu vermeiden.
Problematische Signalteile bzw. Abschnitte können ferner zum Beispiel als Metadaten signalisiert werden, um unabhängig von der Qualität der aktuellen Korrelation, diese Signalteile auszublenden.
Die Einrichtung 584 zur Zeitcodeerzeugung ist ausgebildet, um basierend auf dem Zeitcodesignal 582Z des Zeitgebers 582, das beispielsweise auf einem internen oder proprietären Zeitcode basieren kann, beispielsweise in einen standardisierten Zeitcode bzw. ein Zeitcodesignal, das auf einem standardisierten Zeitcode basiert, umzuwandeln.
Der Zeitgeber 582 wird von einer internen Uhr gesteuert (Intervall bzw. Häufigkeit der Korrelationen), einem groben Audio-ID-Fingerabdruck bzw. Fingerabdruckdarstellung, beispielsweise dem Zeitcodesignal 554Z aus der Merkmalsbestim mung bzw. Fingerabdruckdarstellung, und der ermittelten Korrelationsdifferenz, beispielsweise dem aus der Korrelation ermittelten Zeitcodedifferenzsignal 570Z der Einrichtung 570 zur Abtasterwahl. Der Zeitgeber muss eine Priorisierung aus Korrelationssignal (höchste Priorität), Zeitcode aus der Merkmalsbestimmung und interner Uhr (niedrigste Priorität) vornehmen.
Die Einrichtung 586 zum Zeitcodeglätten ist ausgebildet, um das Zeitcodesignal 584Z zu glätten, um so beispielsweise einen stark springenden Zeitcode zu vermeiden oder falls Zeitcodes aus der Korrelation fehlen, sinnvolle Zwischenwerte zu finden, um z.B. Pausen in dem Analogton auszugleichen. Das von der Einrichtung 586 zum Zeitcodeglätten erzeugte Zeitcodesignal 592 ist vorzugsweise ein standardisierter Zeitcode mit dem das Filmereignissystem synchronisiert bzw. gesteuert wird. Das Zeitcodesignal 592 kann jedoch auch dafür genutzt werden, um über eine sehr langsam regelnde Phasenregelschleife (PLL = Phase Locked Loop) einen entsprechenden Sample-takt oder einen Abtasttakt zu erzeugen, falls das eingeschlossene Tonwiedergabesystem digitaler Art ist. Solche Phasenregelschleifen sind als fertige Geräte erhältlich und nicht Gegenstand dieses Patents.
Optional können mehr als ein Filmabtaster mit zeitlich unterschiedlichem Offset von der Projektionslinse zur Verbesserung der Robustheit bei Schäden am Film bzw. bei zur Synchronisation schlecht geeigneter Abschnitte verwendet werden.
Ein zweiter Filmtonabtaster 542' kann dann beispielsweise benutzt werden, da der zweite Filmtonabtaster 542' schon in herkömmlichen Kinosystemen vorhanden ist. Pausen in dem Analogton können hier durch die an unterschiedlichen Stellen am Kinofilm angebrachten Filmtonabtaster 542, 542' überbrückt werden, da die Wahrscheinlichkeit bei kurzen Pausen im Filmton steigt, das wenigstens ein Abtaster, der erste Filmtonabtaster 542 oder der zweite Filmtonabtaster 542', genug Signal für eine Korrelation und die damit verbundene Synchronisation liefert.
Des Weiteren können wahlweise verschiedene Abtaster, z.B. für Analog-Ton, Dolby-Digital-Ton (incl. Decoder), DTS-Digitalton (incl. DTS-Decoder) oder ein anderer Ton sowie einer Kombination aus den oben genannten als Referenztonspur und/oder Testtonspur verwendet werden.
Dabei können einzelne Spuren für den Vergleich unter Verwendung von Mittelung, Mehrheitsentscheidung oder Priorisierung, automatisch oder über Metadaten, der daraus erzeugten Zeitinformationen verwendet werden, sowie ein Down-Mix auf Mono.
Allgemein gesprochen, können verschiedene Abtaster für verschiedene Tonformate und/oder verschiedenen Filmabtastern mit zeitlich unterschiedlichen Offsets verwendet werden.
Die Verwendung eines Downmixes auf Mono hat den Vorteil, dass dann, wenn die Monospur als gespeicherte Tonspur verwendet wird, weniger gespeichert werden muss, als wenn man beispielsweise fünf Kanäle speichert.
Die Abspeicherung verschiedener, das heißt mehr als einer Tonspur, das heißt also kein Downmix, bedeutet, dass sämtliche Kanäle unabhängig voneinander abgespeichert werden und dass dann beispielsweise, wie zuvor erläutert, entsprechende Vergleiche bzw. Mehrheitsentscheidungen durchgeführt werden, um dann die Synchronisation unter Verwendung eines bestimmten Kanals, der tatsächlichen Tonspur und eines entsprechenden Kanals der gespeicherten Tonspur, durchzuführen.
Die Initialisierungsphase bzw. erste Synchronisation und die Resynchronisation nach einer Tonpause bilden zwei kritische Phasen während einer Filmvorführung bzw. einer Synchronisation eines Filmereignissystems.
Bevorzugte Ausführungsbeispiele berechnen daher am Anfang mehr als drei parallele Korrelationen, da noch keine Aufsynchronisation erfolgt ist, das heißt, mehr als drei Referenztonsignale verschiedener Abtastraten werden mit dem Testtonsignal verglichen bzw. korreliert, um schnellstmöglich die richtige Abtastrate bzw. Abspielgeschwindigkeit des Testtonsignals zu bestimmen. Hier können auch der Reihe nach verschiedene Abtastraten durchprobiert werden, bis eine der Korrelationen den besten Signalrauschabstand besitzt.
Alternativ oder zusätzlich liefern der erste Merkmalsextraktor 552 und die Einrichtung 554 zur Merkmalsklassifikation im Verbund mit der Datenbank einen groben absoluten Zeitcodewert, der einen grobe Stelle in dem Film definiert, um in einem zweiten Schritt beispielsweise durch die Korrelation eine feine Bestimmung der Stelle des Films bzw. eine feine Zeitcodebestimmung durchzuführen. Sobald die Synchronisation erfolgt ist, kann beispielsweise mit drei Korrelationen gearbeitet werden, um Veränderungen der Abspielgeschwindigkeit des Testtonsignals während der Filmvorführung nachzusynchronisieren.
Die Genauigkeit, mit der eine Stelle in einem Film bzw. einer der Stelle zugeordnete Zeitpunkt auf einer Zeitskala (Zeitcode) zugeordnet werden kann, hängt von der Abtastrate des Referenztonsignals und der Abtastrate des Testtonsignals ab, je höher die Abtastrate, desto genauer kann die Stelle in dem Film bestimmt werden. Eine geringere Abtastrate hat jedoch den Vorteil, dass mit der gleichen Anzahl von Abtastwerten ein längerer Abschnitt des Referenztonsignals oder des Testtonsignals dargestellt werden kann. Ein bevorzugtes Ausführungsbeispiel ist daher ausgebildet, in einem ersten Schritt eine grobe Bestimmung einer Stelle in einem Film zu ermitteln, indem ein längerer Abschnitt des Films durch ein Referenztonsignal mit geringerer Abtastrate dargestellt wird, und auch ein Testtonsignal durch Abtas tung mit einer geringeren Abtastrate gewonnen wird. Auf Basis der groben Stelle im Film wird dann in einem zweiten Schritt ein Referenztonsignal höherer Abtastrate und ein Testton-Signal höherer Abtastrate für eine feine Bestimmung der Stelle in dem Film verwendet.
Anders ausgedrückt, wird die Fensterlänge beim Korrelieren angepasst. Zu Beginn des Suchens werden zeitlich lange Fenster, aber eine reduzierte Abtastrate der Signale verwendet, wenn ein Zeitpunkt ungefähr gefunden und nur nachgeführt werden soll, werden kurze Fenster evtl. sogar mit Überabtastung der Signale verwendet, um eine höhere zeitliche Genauigkeit zu erreichen.
In der Initialisierungsphase kann beispielsweise eine „kompatible Wiedergabe" des „alten" Audioformats erfolgen bis die genaue Position bestimmt ist.
Genauso kann eine „kompatible Wiedergabe" des „alten" Audioformats erfolgen, wenn die Synchronisation deutlich verloren gegangen ist, bis die genaue Position wieder bestimmt ist.
Die Einrichtung 570 zur Abtasterwahl und die Einrichtung zum Offset-Ausgleich 569 sind nur in Ausführungsbeispielen mit mehr als einem Filmtonabtaster notwendig. So entscheidet beispielsweise die Einrichtung 570 zur Abtasterwahl, ob sich das Ergebnis bzw. die Zeitcodedifferenz der ersten Einrichtung 568 zur Qualitätsbeurteilung (568Z) oder das Ergebnis bzw. die Zeitcodedifferenz 568Z' der zweiten Einrichtung 568' zur Qualitätsbeurteilung an den Zeitgeber 582 zur Bestimmung einer Stelle in dem Film bzw. eines Zeitcodes 582Z weiterleitet. Da der zweite Filmtonabtaster 542' das Testtonsignal an einer anderen Stelle des Films abtastet, wird die Differenz (Offset) zwischen der Stelle, an der der erste Filmtonabtaster 542 den Film abtastet zu der Stelle an der der zweite Filmtonabtaster 542' den Film abtastet durch die Einrichtung 569 zum Offsetausgleich ausge glichen, so dass der Zeitgeber 582 die korrekte Zeitcodedifferenz 570Z unabhängig davon erhält, ob die Zeitcodedifferenz 568Z oder die Zeitcodedifferenz 568Z' gewählt wird, die bezüglich des zuletzt gespeicherten Zeitpunkts bzw. der zuletzt gespeicherten Stelle des Films, die im Zeitgeber gespeichert ist.
Abweichend von dem in 5a dargestellten Ausführungsbeispiel können die verschiedenen Referenztonsignale verschiedener Referenzabtastraten auch nacheinander erzeugt und mit dem Testtonsignal verglichen bzw. korreliert werden, um das Maß für die Abspielgeschwindigkeit des Testtonsignals bzw. die optimale Referenzabtastrate zu bestimmen. Alternativ können auch mehr als drei modifizierte Referenztonsignale mit dem Testtonsignal verglichen werden, parallel oder seriell, um nicht nur in der Anfangsphase eine schnelle Synchronisation zu ermöglichen, sondern auch während einer Filmvorführung das Filmereignissystem nach größeren Sprüngen im Film, z.B. durch Schnitte bzw. im Film fehlende Abschnitte verursacht, schneller wieder auf die aktuelle Stelle im Film aufzusynchronisieren.
Abweichend von dem in 5a dargestellten Ausführungsbeispiel kann eine Synchronisation eines Filmereignissystems auch auf Basis der auf den Film aufgebrachten Bilder erfolgen, sowohl für eine Auswertung von Merkmalen bzw. Fingerabdrücken als auch für eine Korrelation eines Test-Bildsignals mit einem oder einer Mehrzahl von Referenz-Bildsignalen.
Dabei kann, wie zuvor dargestellt die Korrelation von Audio- und/oder Videosignalen zur Bestimmung des zeitlichen Ortes in einem Audio- und/oder Videostroms eingesetzt werden, und ein synchrones Abspielen aufgrund dieser zeitlichen Bestimmung gesteuert werden.
Alternativ kann auch die Bestimmung einer Audio- und/oder Video-Signatur aus dem Rohmaterial in Form einer Audio- ID/Video-ID (ID = Identification) zum groben Bestimmen des Zeitpunkts in einem langen AV-Strom verwendet werden, um ein Aufsynchronisieren an beliebiger Stelle zu ermöglichen.
Der Grundansatz der Erfindung besteht darin, beispielsweise den schon vorhandenen Analogton noch einmal digital abzuspeichern, um dann mittels Korrelation und anderer Merkmalsbestimmung mit der Analogtonspur auf den Kinofilm zu synchronisieren. Das Ausgangssignal bzw. Steuersignal der Vorrichtung zum Erzeugen eines Steuersignals bzw. des Synchronisiergeräts kann ein beliebiges Zeitcodeformat sein. Vorzugsweise wird natürlich z.B. das SMPTE standardisierte LTC Zeitcodeformat eingesetzt. Für jeden Kinofilm muss bei der Produktion ein Datensatz für die Vorrichtung zum Erzeugen eines Steuersignals bzw. für das Synchronisationsgerät erstellt werden.
Für jeden Kinofilm wird bei der Produktion ein extra Datenträger für die vorher beschriebene Einrichtung zum Erzeugen eines Steuersignals bzw. Synchronisationsgerät erstellt. Der Datenträger beinhaltet die digitalisierte analoge Tonspur, z.B. im Dolby-Stereo-Format, wie er auf der Filmrolle zu finden ist, Merkmalsdaten zur Tonspur und dazu passende Zeitcodes.
Im Folgenden wird anhand der 5b.1 bis 5b.4 eine beispielhafte Ermittlung einer Zeitcodedifferenz beschrieben.
5b.1 zeigt einen beispielhaften Film 110 mit einer Tonspur 114, wie schon in 8 beschrieben.
Basierend auf dem Zeitcodesignal 582Z des Zeitgebers 582 wird aus der Einrichtung 522 zum Speichern einer Tonspur ein Referenztonsignal 274 ausgelesen und mittels der Vorrichtung zur Abtastratenkonvertierung 232 ein modifiziertes Referenzton-Signal gemäß 5b.2 erzeugt, das einen Filmabschnitt von der Stelle L₀ bis zu der Stelle L₃ bzw. dem der Stelle L₀ zugeordnete Zeitpunkt T₀ oder einem entspre chenden Zeitcode und dem der Stelle L₃ zugeordneten Zeitpunkt T₃ bzw. Zeitcode darstellt.
5b.3 zeigt ein beispielhaftes Testtonsignal bzw. Abschnitt eines Testtonsignals, der durch den Anfangszeitpunkt T₁ und den Endzeitpunkt T₂ definiert ist und auf der Basis der Abtastrate f = 1/Δt erzeugt worden ist.
5b.4 zeigt das Ergebnis der Korrelation des modifizierten Referenztonsignals gemäß 5b.2 und des Abschnitts des Testtonsignals 5b.3. Die Zeitdifferenz ΔT'' = T₁ – T₀ zwischen dem Anfangszeitpunkt T₀ des Suchfensters bzw. modifizierten Referenztonsignals aus 5b.2 und dem Zeitpunkt T₁ des Suchfensters bzw. Referenztonsignals ist die Zeitverschiebung, auf der basierend Zeitcodedifferenz bzw. der relative Zeitcode gebildet wird. Dabei ist der Zeitpunkt T₁ der Zeitpunkt oder die zeitliche Verschiebung des Testtonsignals, bei dem ein Abschnitt des des n = 11 Abtastwerte langen Referenztonsignals maximal mit dem Testtonsignal übereinstimmt, bzw. eine Korrelation des Referenztonsignals und des N = 11 Abtastwerte langen Testtonsignals als Korrelationsergebnis ein Maximum aufweist.
Dabei ist für die Qualitätsbeurteilung 568 die Kenntnis des absoluten Zeitpunktes T₀ oder des Zeitpunktes T₁ nicht notwendig, da beispielsweise der Zeitgeber 582 den letzten absoluten Zeitpunkt bzw. absoluten Zeitcode kennt und nur die Zeitcodedifferenz 570Z benötigt, um den aktualisierten absoluten Zeitpunkt bzw. Zeitcode zu bestimmen. Die Differenz kann beispielsweise aus der Position des Peaks gegenüber dem Zeitpunkt des Suchfensteranfangs dargestellt werden. In 5b.4 ist der Peak beispielsweise der vierte Abtastwert, d.h das Testonsignal aus 5b.3 ist um „3·Δt" gegenüber dem Referenztonsignal aus 5b.2 verschoben, wobei Δt die der modifizierten Abtastrate entsprechende Abtastperiode ist.
Damit kann die Zeitcodedifferenz 570Z beispielsweise aus dem Wert n = 3 bestehen. Hier kommt der Vorteil der an die variable Abspielgeschwindigkeit des Testtonsignals angepaßte Abtastrate bzw. Abspielgeschwindigkeit des Referenztonsignals vorteilhaft zum tragen, da auch das Δt an die Abspielgeschwindigkeit angepasst ist, eine genauere Bestimmung der Stelle in dem Film bzw. Verschiebung gegenüber dem Suchfenster möglich ist als bei einer festen Abtastrate des Referenztonsignals, da dann nur Vielfache dieser Abtastrate für eine Bestimmung der Stelle in dem Film erzeugt werden.
Dabei kann beispielsweise der Zeitpunkt T₀ des Suchfensters bzw. Referenztonsignals gleich dem T₁ der vorhergehenden Korrelation sein, da der Film nur vorwärts gespielt wird.
6a zeigt ein Ausführungsbeispiel eines Filmsystems, bei dem eine Vorrichtung 100 zum Erzeugen eines Steuersignals 190 mit einem Filmereignissystem 600 gekoppelt ist, dabei erzeugt die Vorrichtung 100 zum Erzeugen eines Steuersignals auf der Basis des Films 110, wie in 8 gezeigt, das Steuersignal 190, beispielsweise einen Zeitcode, mit dem Filmereignissystem 600 synchronisiert wird.
6b zeigt ein Filmsystem, das eine Vorrichtung 100 zum Erzeugen eines Steuersignals 100 aufweist und ein Wellenfeldsynthese-System 610 als beispielhaftes Filmereignissystem, wobei das Ausführungsbeispiel des Wellenfeldsynthesesystems 610 eine Einrichtung 620 zur Steuerung des Wellenfeldsynthesesystems, einen digitalen Speicher 622 für die Wellenfeldsynthese-Audiosignale und eine Mehrzahl von Lautsprechern 624 für das Wellenfeldsynthese-System aufweist. Basierend auf dem Film 110 bzw. einer beispielsweise analogen Filmtonspur 114 erzeugt die Vorrichtung 100 zum Erzeugen eines Steuersignals das Steuersignal 190, um zu einem ursprünglich analogvertonten Film lippensynchron ein Wellenfeldsynthese-Audioerlebnis zu ermöglichen.
Alternativ zu dem Wellenfeldsynthese-System 610 können natürlich auch andere Audiosysteme, beispielsweise digitale Audiosysteme bzw. digitale Sourround-Audiosysteme mittels der Vorrichtung 100 zum Erzeugen eines Steuersignals lippensynchron synchronisiert werden.
7 zeigt einen beispielhaften Film, wie in 8 dargestellt, ein beispielhaftes digital gespeichertes Referenztonsignal 720 und eine Zuordnung einer Zeitskala.
Bei dem Erzeugen der gespeicherten Filminformation bzw. des Referenztonsignals, wird beispielsweise das analoge Tonsignal bei einer gegebenen Abspielgeschwindigkeit und einer gegebenen Abtastrate, beispielsweise 44,1 kHz, abgetastet und Tonabschnitte von beispielsweise 10 ms als ein sog. Audio-Frame abgespeichert, das heißt, das digitale Referenztonsignal liegt als Folge von Audio-Frames auf dem Speicher vor. Der zugeordnete Zeitpunkt einer Zeitskala kann dann beispielsweise darin bestehen, als Zeitcode bzw. Zeitskala die Audio-Frames von 0 oder 1 aufsteigend durch zu nummerieren, Timecode TC1 entspricht Audio-Frame AF1 in 7, oder beispielsweise den Anfangszeitpunkt oder Endzeitpunkt eines Audio-Frames als Zeitcode zu finden, so z.B. für den ersten Audio-Frame entweder 0 ms oder 10 ms, wenn ein Audio-Frame eine Dauer von 10 ms hat.
Timecodes weisen üblicherweise Formate wie Stunde:Minute:Sekunde:Frame auf, wobei sich der Frame üblicherweie auf Video-Frames mit z.B. 24 Frames pro Sekunde (Kinofilm) bezieht. Eine Zeitskala oder Timecode kann daher beispielsweise mehrere Audio-Frames einem Video-Frame zuordnen oder als kleinste Zeitskalaeinheit einen Audio-Frame definieren. Entsprechend kann der Zeitcode bzw. die Zeitskala dann beispielsweise 4 Audio-Frames einem Zeitcode zuordnen, siehe TC1' in 7, der vier Audio-Frames AF1-AF4 umfasst, oder einen einzelnen Audi-Frame einem Zeitcode zuordnen, siehe TC1 in 7, dem ein Audio-Frame AF1 zugeordnet ist. Dabei können je nach Audioformat, die Audio- Frames auch sich zeitlich überlappenden Abschnitte des Audiosignals repräsentieren.
Das Steuersignal 190 kann beispielsweise als Zeitcode ausgebildet sein, aber auch als Folge von Pulsen, wobei beispielsweise jeder Puls einer Zeitskaleneinheit entspricht und ähnlich einem relativem Zeitcode das Filmereignissystem die Pulse aufakkumuliert, um sich mit dem Film zu synchronisieren.
Ein weiteres Ausführungsbeispiel, um weiterhin ein beispielsweise analoges Tonsignal als Fallback zur Verfügung zu haben, aber gleichzeitig auch einen Timecode für synchrone Zusatzdienste zu realisieren, bietet der Ansatz ein Watermark in das Audio- und/oder Videosignal einzubetten. Vorteil dieser Lösung ist, dass auch bei „schwierigen" Audiosignalen, z.B. sehr leisen Passagen oder selbst ähnlichen „monotonen" Geräuschen, eine saubere Taktgewinnung möglich ist. Für diese Variante ist im Prinzip der komplette Satz der einschlägigen Watermark-Patentansprüche, insbesondere im Bereich der Suche nach der korrekten Taktrate bzw. der Nachregelung der Abtastrate, sinnvoll. Der entscheidende Nachteil dieses Ansatzes ist jedoch, dass der eigentliche Film verändert bzw. eine neue Version oder Kopie des Films erstellt werden muss, um die Watermarks in das Audio- und/oder Video-Signal einbetten zu können.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Vorrichtung zum Ermitteln einer Stelle in einem Film (110), der in einer zeitlichen Folge aufgebrachte Filminformationen (112, 114) aufweist, mit folgenden Merkmalen: einem Speicher (320) zum Speichern einer Referenzfingerabdruckdarstellung der Filminformationen (112, 114), wobei die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen Verlauf der Filminformationen abhängt, und wobei einer gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist; einer Einrichtung (340) zum Empfangen eines von dem Film (110) gelesenen Abschnitts; einer Einrichtung (350) zum Extrahieren einer Testfingerabdruckdarstellung aus dem eingelesenen Abschnitt; und einer Einrichtung (360) zum Vergleichen der Testfingerabdruckdarstellung mit der Referenzfingerabdruckdarstellung, um auf der Basis des Vergleichs und der Zeitskala die Stelle in dem Film (110) zu ermitteln.
Vorrichtung nach Anspruch 1, bei der die Filminformation auf einer analogen Tonspur auf dem Film aufgebracht ist, und bei der die Einrichtung (340) zum Empfangen ausgebildet ist, um die analoge Toninformation von der analogen Tonspur zu empfangen.
Vorrichtung nach Anspruch 1 oder 2, bei der die Einrichtung (350) zum Extrahieren ausgebildet ist, um als Fingerabdruckdarstellung eine Darstellung mit ei ner spektralen Flachheit zu berechnen, so dass ein zeitlicher Verlauf der Fingerabdruckdarstellung einen zeitlichen Verlauf der spektralen Flachheit umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 3, die ferner eine weitere Vorrichtung zum Empfangen eines von dem Film gelesenen Abschnitts aufweist, wobei der Abschnitt von dem Abschnitt unterschiedlich ist, der durch die Vorrichtung (140) zum Empfangen empfangen wird.
Verfahren zum Ermitteln einer Stelle in einem Film (110), der in einer zeitlichen Abfolge aufgebrachte Filminformationen (112, 114) aufweist, mit folgenden Schritten: Empfangen eines von dem Film (110) gelesenen Abschnitts; Extrahieren einer Testfingerabdruckdarstellung aus dem gelesenen Abschnitt; und Vergleichen der Test-Fingerabruckdarstellung mit der Referenzfingerabdruckdarstellung, wobei die Fingerabdruckdarstellung so ausgebildet ist, dass ein zeitlicher Verlauf der Fingerabdruckdarstellung von einem zeitlichen Verlauf der Filminformation (112, 114) abhängt, und wobei der gespeicherten Referenzfingerabdruckdarstellung eine Zeitskala zugeordnet ist, um auf der Basis des Vergleichs und der Zeitskala die Stelle in dem Film (110) zu ermitteln.
Computerprogramm mit einem Programm-Code zum Ausführen eines Verfahrens gemäß Anspruch 5, wenn das Computerprogramm auf einem Computer abläuft.