DE69837233T2 - Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild - Google Patents

Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild Download PDF

Info

Publication number
DE69837233T2
DE69837233T2 DE69837233T DE69837233T DE69837233T2 DE 69837233 T2 DE69837233 T2 DE 69837233T2 DE 69837233 T DE69837233 T DE 69837233T DE 69837233 T DE69837233 T DE 69837233T DE 69837233 T2 DE69837233 T2 DE 69837233T2
Authority
DE
Germany
Prior art keywords
image
eyes
eye
eye areas
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69837233T
Other languages
English (en)
Other versions
DE69837233D1 (de
Inventor
Cassandra Turner Aberdeen Swain
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Application granted granted Critical
Publication of DE69837233D1 publication Critical patent/DE69837233D1/de
Publication of DE69837233T2 publication Critical patent/DE69837233T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft im Allgemeinen Verfahren und Vorrichtungen zur Bildbearbeitung und insbesondere ein Verfahren und eine Vorrichtung zur Bearbeitung eines Bildes, welche das Ermitteln der Augenposition in einen Videobild eines Gesichts beinhaltet.
  • In Desktop-Videokonferenzsystemen befindet sich die Kamera aus ersichtlichen Gründen an irgendeiner anderen Stelle als in der Mitte des Bildschirms, auf welchen das Bild des anderen Konferenzteilnehmers dargestellt wird. Vorzugsweise befindet sich die Kamera sogar außerhalb des peripheren Gesichtsfeldes des Benutzers, damit sie nicht auffällt. Als eine logische Konsequenz erscheint der Betrachter, sogar wenn der Betrachter direkt auf den Bildschirm schaut, für den anderen Konferenzteilnehmer so, als ob er unaufmerksam in den Raum starrt, was für den anderen Konferenzteilnehmer sehr ablenkend sein kann. Natürlich könnte der Betrachter die gesamte Zeit in die Kamera schauen, dies würde aber bedeuten, dass der Betrachter viele Informationen verpassen würde, die auf dem Bildschirm dargestellt werden.
  • Als Ergebnis davon, dass die Kamera und der Bildschirm sich an verschiedenen Stellen befinden, stimmt die Augenbewegung in Videokonferenzsystemen nicht mit der bei persönlichen Treffen überein. Der Augenkontakt ist jedoch bei der zwischenmenschlichen Verständigung äußerst wichtig. Bevor Videokonferenzsysteme also diese Treffen von Angesicht zu Angesicht ersetzen können, müssen sie die Optik und das Gefühl der Treffen von Angesicht zu Angesicht erzeugen.
  • Es wurden Versuche unternommen, die Optik und das Gefühl bei Videokonferenzsystemen zu verbessern, so dass sie in dieser Hinsicht den Treffen von Angesicht zu Angesicht gleichen. Auf diesem Gebiet sind in vorgeschlagenen Ansätzen, um das Augenkontaktproblem (auch als Blickverfolgung bekannt) zu lösen, Vorrichtungen wie z.B. elektronische Verschlüsse und Halbreflexionsspiegel verwendet worden, um die Kamera dazu zu bringen, physisch oder optisch auf den Benutzer zu zeigen. Obwohl in gewissem Maße wirksam, sind diese Ansätze aber teuer und unkomfortabel. Insbesondere die Kosten sind für solche Systeme, die dafür vorgesehen sind, auf individuellen Personalcomputern oder Arbeitsplatzrechnern eingesetzt zu werden, rein aufgrund der damit einhergehenden Anzahl ein wichtiger Punkt.
  • Mangelnder Komfort ist auch ein wichtiger Punkt, da die Leute keine Systeme verwenden, welche ungünstig gestaltet und realisiert sind, was den gesamten Zweck von Videokonferenzsystemen zunichte macht.
  • Um zu versuchen, das Problem der Blickverfolgung zu lösen, kann man den Bildteil der Augen modifizieren, so dass die Augen auf der Kameraposition statt auf dem Bildschirm zentriert werden. Dies macht eine Bearbeitung der Pixel in den Augen erforderlich, um diese neu auszurichten, so dass sie auf die andere Person zu sehen scheinen. Unglücklicherweise muss man, um diese Bildbearbeitung durchzuführen, zuerst die Position der Augen in dem Bild ermitteln, da nur die Augen auf diese Weise bearbeitet werden.
  • In einigen Ansätzen sind Kopfgeschirre oder Sensoren verwendet worden, um die Augenposition zu ermitteln, was erforderlich macht, dass der Benutzer sehr ruhig bleibt. Beide Ansätze sind für den Benutzer sehr störend. Aus den unmittelbar zuvor beschriebenen Gründen werden die meisten Benutzer kein Kopfgeschirr tragen.
  • In einen anderen Ansatz wird eine Modellbibliothek mit dem Bild verglichen, bis sich eine Übereinstimmung findet. Hierbei wird eine Modelldatenbank und eine großer Verarbeitungsumfang benötigt. Da es sich bei der Videokonferenz um eine Live-Übertragung handelt, ist jeder große Verarbeitungsumfang ein Hindernis für die Verwirklichung.
  • In noch einem anderen Ansatz werden neuronale Netze angewendet, um die Augenposition zu bestimmen. In diesen Fall werden die neuronalen Netze darauf trainiert, die Augen zu finden, indem Bilder mit verringerter Auflösung verwendet werden. Wie bei allen neuronalen Netzen macht dies ein Trainieren des Netzes erforderlich. Das Trainieren eines neuronalen Netzes ist ein nichttriviales Problem und kann die Realisierung eines Netzes in praktischen Anwendungen oft verzögern oder verhindern.
  • G. Chow u.a. beschreiben in "Towards a System for Automatic Facial Feature Detection", Pattern Recognition, Bd. 26, Nr. 12, S. 1739 bis 1755 (1993), ein Verfahren zur Bearbeitung ein Bild eines Gesichts. Am Anfang wird die Auflösung des Bildes verringert. Das Bild mit der geringen Auflösung wird dann in ein Talbild umgewandelt, und Augenbereiche und ein Mundbereich werden aus dem Talbild extrahiert. Die Augen- und Mundbereiche werden dann bearbeitet, um genauere Positionen für Auge und Mund zu erhalten.
  • Die vorliegende Erfindung stellt ein Verfahren zur Bearbeitung eines Bildes bereit, um Daten zu ermitteln, welche zu den Augen in dem Bild gehören, wobei das Verfahren die folgenden Schritte umfasst: a) Unscharfes Abbilden des Bildes, um ein unscharfes Bild zu erzeugen; b) Ermitteln zweier Augenbereiche in dem unscharfen Bild; c) Eliminieren der Augenbrauen in den beiden Augenbereichen in dem ursprünglichen Bild, basierend auf der Position der beiden Augenbereiche, die im Schritt b) aus dem unscharfen Bild erhalten wurde, wodurch ein erstes bearbeitetes Bild erzeugt wird; d) Segmentieren der Augen in dem ersten bearbeiteten Bild in Einzelteile; und e) Entnehmen mehrerer Augenparameter aus den segmentierten Augen des ersten bearbeiteten Bildes.
  • Die vorliegende Erfindung richtet sich daher auf das Problem der Entwicklung eines Verfahrens und einer Vorrichtung zur Erfassung der Augenposition in einem Bild, welche(s) einfach ist und in einem Videokonferenzsystem realisiert werden kann.
  • Die vorliegende Erfindung löst dieses Problem, indem das Bild zuerst unscharf abgebildet wird, bevor die Augenbereiche extrahiert werden, die Augenbrauen in den Augenbereichen eliminiert werden, die Augen segmentiert werden und dann die Augenparameter entnommen werden.
  • Gemäß einem bevorzugten Verfahren der vorliegenden Erfindung wird das Bild zuerst unter Verwendung eines Gauß'schen Filters, h(x, y), gemäß der folgenden Gleichung unscharf abgebildet:
    Figure 00020001
  • Als Nächstes werden die Augen innerhalb des Bildes lokalisiert. In diesem Schritt wird die Suche zuerst auf die Mitte des Bildes begrenzt, da sich die Augen gewöhnlich in der Nähe der Mitte befinden. Dann wird der Kontrast zwischen den dunklen und den hellen Bereichen benutzt, um die Augenbereiche zu lokalisieren und identifizieren. Der nächste Schritt betrifft wieder das ursprüngliche Bild, in welchem man die Augen und Augenbrauen relativ einfach identifizieren kann. In diesem Schritt werden die Augenbrauen entfernt, indem man sich auf die Tatsache verlässt, dass sie sich üblicherweise über den Augen befinden. Das, was übrig bleibt, sind die Augen. Der nächste Schritt ist es, die Augen in ihre Einzelteile – die Regenbogenhaut, die abgerundeten Winkel und das Weiße der Augen – zu segmentieren. Dies wird unter Verwendung der Intensität gemäß der folgenden Formel erreicht:
    Figure 00030001
  • In diesen Fall wird der Schwellenwert hoch genug eingestellt, um alle Regenbogenhautfarben zu segmentieren, aber niedrig genug, um die gesamte weiße Fläche abzutrennen. Als Nächstes werden die dunklen Flächen als dunkle Bereiche identifiziert, und die Augenwinkel und Regenbogenhäute werden als Intensität 255 gekennzeichnet, und das Weiße als Intensität 0. Als Nächstes werden die Augenparameter entnommen, welche den Radius der Regenbogenhaut, die Mittelposition der Regenbogenhaut und die vier Augenlidpositionen (beide Winkel und das obere und untere Lid) umfassen.
  • Eine Vorrichtung zur Verwirklichung des Verfahrens der vorliegenden Erfindung beinhaltet eine Digitalkamera zum Aufnehmen des Bildes und einen Prozessor. Der Prozessor bildet das Bild zuerst unscharf ab, um die Position der Augen zu ermitteln, extrahiert dann die Augenbereiche und eliminiert die Augenbrauen in den Augenbereichen, segmentiert die Augen und entnimmt dann die Augenparameter. Diese Augenparameter sind dann für die Verwendung durch andere Programme oder Prozessoren verfügbar.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • In 1 ist ein Flussdiagramm des Verfahrens der vorliegenden Erfindung dargestellt.
  • In 2 sind die Augenparameter dargestellt, welche in dem Verfahren der vorliegenden Erfindung entnommen werden.
  • In 3(a) bis (d) sind die Ergebnisse der Augensegmentierung gemäß dem Verfahren der vorliegenden Erfindung dargestellt.
  • In 4 ist ein Blockdiagramm einer Vorrichtung zur Verwirklichung des Verfahrens der vorliegenden Erfindung dargestellt.
  • DETAILLIERTE BESCHREIBUNG
  • Die vorliegende Erfindung stellt einen einfachen Ansatz zur Ermittlung der Augenposition in einem Bild bereit. Unter anderem kann dieser Ansatz in Videokonferenzsystemen angewendet werden, bei welchen dem Verarbeitungsumfang und der Speicherabfrage aufgrund der Echtzeitnatur der Anwendung Grenzen auferlegt sind. Gemäß der vorliegenden Erfindung ist kein Trainieren wie bei neuronalen Netzen erforderlich, und es werden keine Modelle benötigt, um die Augen zu finden. Die Augen werden in einem auf der Intensität basierenden Ansatz unter Anwendung der unscharfen Abbildung eines Bildes lokalisiert und segmentiert. Die Ergebnisse dieser Arbeit können für die Blickerfassung ebenso wie für die Gesichtscodierung verwendet werden.
  • 1 zeigt den Algorithmus 10 der vorliegenden Erfindung. Wie unten beschrieben, beginnt das Verfahren der vorliegenden Erfindung 10 mit dem Schritt 11 des unscharfen Abbildens des Bildes. Die Natur der Augen macht es einfacher, sie in einem unscharfen Bild zu erfassen, als in dem ursprünglichen scharfen Bild. Also wird das Bild vor der Ermittlung der Position der Augen unscharf abgebildet.
  • Als Nächstes werden in dem Verfahren der vorliegenden Erfindung 10 Im Schritt 12 die Augenbereiche aus dem ursprünglichen Bild unter Verwendung der im ersten Schritt erfassten Position extrahiert. Die Augenbereiche werden dann wie folgt bearbeitet.
  • Im Schritt 13 werden die Augenbrauen unter Verwendung der Annahme entfernt, dass sie gewöhnlich über den Augen erscheinen, und dass sich zwischen ihnen und den Augen ein heller Kontrastbereich befindet, es wird also der dunkle Bereich über dem ersten dunklen Bereich entfernt.
  • Im Schritt 14 werden die Augen dann in ihre Einzelteile segmentiert.
  • Schließlich werden im Schritt 15 die Augenparameter erfasst.
  • UNSCHARFES ABBILDEN
  • Der erste Schritt 11 in dem Verfahren der vorliegenden Erfindung ist es, das Bild unscharf abzubilden. Obwohl es verschiedene geeignete Techniken zum unscharfen Abbilden gibt, hat der Erfinder ermittelt, dass ein Gauß'scher Filter in diesen Anwendungen gut zu verwenden ist. Der Gauß'sche Filter der vorliegenden Erfindung, h(x, y), ist durch die folgende Gleichung definiert:
    Figure 00040001
    wobei g(x, y) das resultierende Bild und f(x, y) das ursprüngliche Bild ist.
  • Ein Ausführungsbeispiel der Funktion h(x, y) ist ein Gauß'scher Filter in der Form einer 15×15-Matrix, wie z.B.:
    Figure 00040002
  • Das resultierende Pixelbild ist das unscharf abgebildete Bild, welches im nächsten Schritt zur Lokalisierung der Augenbereiche benutzt wird.
  • LOKALISIEREN DER AUGENBEREICHE
  • In diesem Schritt 12 sind die zwei angewendeten Kriterien, um diese Bereiche zu lokalisieren, die relative Position und der Kontrast. In der Videokonferenzanwendung befinden sich die Augenpositionen im Allgemeinen in der Nähe der Bildmitte. Deswegen ist die Durchsuchung des Bildes auf diese Fläche begrenzt.
  • Eine Ausführungsform der vorliegenden Erfindung begrenzt die Suche auf eine Fläche, welche durch das Mitteldrittel in vertikaler Richtung und das Mitteldrittel in horizontaler Richtung definiert ist. Tatsächlich waren die vom Erfinder verwendeten Daten in horizontaler Richtung verzerrt. Als Folge begrenzte der Erfinder die Suche in horizontaler Richtung auf den Bereich zwischen 25% und 60% der horizontalen Pixel.
  • Weil die Augen in Höhlen liegen, erscheinen die Augen in Bildern schattiert. Die Folge der unscharfen Abbildung des Bildes ist es, dass diese Schattierungen als dunkle Bereiche erscheinen, welche von hellerer Haut umgeben sind. Die dunklen Bereiche beinhalten auch die Augenbereiche. Der Kontrast zwischen den dunklen und hellen Flächen wird benutzt, um die Augenbereiche zu lokalisieren und zu identifizieren.
  • Der Kontrast wird wie folgt benutzt. Zuerst werden die Pixel an einen ersten Schwellenwert, z.B. 50,0 von 255, gemessen, und wenn sie über dem ersten Schwellenwert (50) liegen, werden die Pixel zu einem Teil des Gesichtsbereichs erklärt.
  • Als Nächstes werden jene Pixel, von welchen ermittelt wurde, dass sie im Gesichtsbereich liegen, an einem zweiten Schwellenwert, z.B. 70,0 von 255, gemessen. In der zweiten Untersuchung werden jene Pixel unter dem zweiten Schwellenwert zu einem Teil der Augen erklärt.
  • Als Ergebnis dieser beiden Untersuchungen an dem unscharfen Bild werden zuerst die Pixel ermittelt, welche Teil des Gesichtsbereichs sind, und es werden die Pixel innerhalb des Gesichtsbereichs ermittelt, welche Teil der Augen sind, zumindest in dem begrenzten Suchbereich, wo sich die Augen wahrscheinlich befinden.
  • ELIMINIEREN DER AUGENBRAUEN
  • Nachdem diese Bereiche in dem unscharfen Bild lokalisiert sind, wird die Bearbeitung an dem ursprünglichen Bild fortgesetzt. Das ursprüngliche Bild wird an den Stellen der Augen untersucht, um zu ermitteln, wo sich die Augenbrauen befinden. In dem ursprünglichen Bild können die Augen und Augenbrauen einfach erfasst werden. Der nächste Schritt 13 ist es, die Augenbrauen zu entfernen. Wiederum wird die relative Position benutzt. Die Augenbrauen befinden sich immer über den Augen und sind von diesen getrennt; deswegen können sie einfach eliminiert werden. Dies wird ausgeführt, indem man beachtet, dass die Pixel im Wesentlichen zwei Gruppen zuzuordnen sind, eine unter der anderen für jedes Auge. Die Pixel in der oberen Gruppe werden einfach unter der Annahme eliminiert, dass sie Teil der Augenbrauen sind, statt Teil der Augen. Die verbleibenden Bereiche sind die Augen.
  • SEGMENTIEREN DER AUGEN
  • Wenn die Augen einmal ermittelt worden sind, muss man die Augenparameter entnehmen, um dies zu tun, muss man jedoch die Augen in ihre Einzelteile zerlegen. In diesem Schritt werden die Augen in drei Teile segmentiert: die Regenbogenhaut, die Winkel und das Weiße. Die Segmentierung basiert gemäß der folgenden Gleichung auf der Intensität:
    Figure 00050001
    wobei T ein vorgegebener Schwellenwert und s(x, y) das segmentierte Bild ist. Menschliche Regenbogenhäute weisen unterschiedliche Farben auf; der Rest der Augen ist jedoch weiß. Da weiße Pixel einen Wert von 255 aufweisen, schwarze Pixel einen Wert von 0 aufweisen und die Pixel dazwischen einen dazwischen liegenden Wert aufweisen, wird der Schwellenwert T hoch genug eingestellt, um die Regenbogenhäute von den weißen Pixeln zu trennen. Hierdurch werden die Regenbogenhäute von den weißen Teilen der Augen und den Winkeln segmentiert. In einer Ausführungsform der vorliegenden Erfindung beträgt der verwendete Schwellenwert T 85 von 255.
  • Außerdem werden die Augenwinkel als dunkle Bereiche identifiziert. Dann wird die Intensität der Augenwinkel und der Regenbogenhäute umgekehrt, d.h., die Augenwinkel werden als Intensität 255 gekennzeichnet, und das Weiße wird als Intensität 0 gekennzeichnet, um sie einfach identifizierbar zu machen.
  • ENTNEHMEN DER AUGENPARAMETER
  • Im nächsten Schritt 15 werden die Augenparameter entnommen. In diesen Arbeitsschritt findet man den Radius 25 der Regenbogenhaut, die Mittelposition 22 der Regenbogenhaut und vier Augenlidpositionen (beide Winkel 23, 26 und das obere und untere Lid 21, 24), siehe 2. Die Augenbereiche werden von links nach rechts, von oben nach unten, abgetastet. Die Augenwinkel 23, 26 sind die am weitesten links und am weitesten rechts befindlichen weißen Pixel (negativ gegenüber ihren normalen Farben), und das obere 21 und das untere Lid 24 ist das am weitesten oben 21 und am weitesten unten 24 befindliche weiße Pixel in jedem Augenbereich. Die weißen Pixel, welche die Regenbogenhaut 22 ausmachen, sind von den Winkeln 23, 26 durch schwarze Pixel getrennt, welche das Weiße der Augen 27 darstellen. Diese Trennung macht die Messungen der Breite und der Höhe der Regenbogenhaut einfach. Die Position der Mitte der Regenbogenhaut wird aus der Breite und der Höhe der weißen Pixel errechnet. Das heißt, die Mitte der Regenbogenhaut ist genau die Mitte der Breite und der Höhe der weißen Pixel. Der Radius der Regenbogenhaut ist die Hälfte der Breite der weißen Pixel. Diese ermittelten Augenparameter sind nützlich für die Blickerfassung und für die Augensynthese.
  • ERGEBNISSE
  • 3(a) bis (d) zeigen das Ergebnis dieses Algorithmus. In 3(a) ist das ursprüngliche Bild dargestellt. Das unscharf abgebildete Bild ist in 3(b) dargestellt. Man beachte die dunklen Augenbereiche. In 3(c) ist ein Kasten um den ausgewählten Bereich gezeichnet. Nach Entfernung der Augenbrauen werden die Augen in 3(d) segmentiert. Die weißen Bereiche kennzeichnen die Regenbogenhäute und die Augenwinkel. Die Lücken in jedem Auge sind die weißen Bereiche.
  • Tabelle 1 zeigt die den Figuren entnommenen Parameter.
  • Figure 00060001
  • SYSTEM ZUR REALISIERUNG DES VERFAHRENS
  • Gemäß 4 wird, um das Verfahren der vorliegenden Erfindung zu realisieren, eine Kamera 41 benutzt, um das Bild aufzunehmen. Die Kamera 41 gibt das Bild an einen Konverter 43 aus, welcher das aufgenommene Bild in Pixel umwandelt.
  • Das digitale Bild wird zu einen Prozessor 45, z.B. einem Spezialcomputer, weitergeleitet, bei welchem es sich zum Beispiel um eine Sun SparcStation handeln könnte. Jeder Schritt des Verfahrens der vorliegenden Erfindung kann als einzelne Unterroutine realisiert werden und als Aufrufbefehl an die Unterroutine oder als Teil eines einzelnen Programms ausgeführt werden.
  • Der Prozessor 45 bildet dann das Bild unter Verwendung eines Gauß'schen Filters unscharf ab, ermittelt die Position der beiden Augenbereiche in dem unscharfen Bild, eliminiert die Augenbrauen aus dem Bild, segmentiert die Augen in ihre Einzelteile und entnimmt dann die Vielzahl von Augenparametern. Diese Parameter werden dann für die spätere Abfrage oder weitere Verarbeitung, z.B. die Neuausrichtung der Richtung des Augenkontaktes gemäß bekannten Techniken, in eine Datei im Speicher 47 gestellt.

Claims (25)

  1. Verfahren zur Bearbeitung eines Bildes, um Daten zu ermitteln, welche zu den Augen in dem Bild gehören, wobei das Verfahren die folgenden Schritte umfasst: a) Unscharfes Abbilden (Schritt 11) des Bildes, um ein unscharfes Bild zu erzeugen; b) Ermitteln (Schritt 12) zweier Augenbereiche in dem unscharfen Bild; c) Eliminieren (Schritt 13) der Augenbrauen in den beiden Augenbereichen in dem ursprünglichen Bild, basierend auf der Position der beiden Augenbereiche, welche Im Schritt b) aus dem unscharfen Bild erhalten wurde, wodurch ein erstes bearbeitetes Bild erzeugt wird; d) Segmentieren der Augen in dem ersten bearbeiteten Bild zu Einzelteilen (Schritt 14); und e) Entnehmen (Schritt 15) einer Vielzahl von Augenparametern aus den segmentierten Augen des ersten bearbeiteten Bildes.
  2. Verfahren nach Anspruch 1, wobei der Schritt des unscharfen Abbildens ferner das Filtern des Bildes mit einem Gauß'schen Filter, h(x, y), gemäß der folgenden Gleichung umfasst:
    Figure 00080001
    wobei g(x, y) das resultierende Bild und f(x, y) das ursprüngliche Bild ist.
  3. Verfahren nach Anspruch 2, wobei der Gauß'sche Filter, h(x, y), wie folgt definiert ist:
    Figure 00080002
  4. Verfahren nach Anspruch 1, wobei der Schritt b) des Ermitteln ferner das Begrenzen einer Suche nach der Position der Augenbereiche auf einen Mittelbereich des ursprünglichen Bildes umfasst.
  5. Verfahren nach Anspruch 1, wobei der Schritt b) des Ermitteln ferner das Erfassen eines Kontrastes zwischen dunklen und hellen Flächen umfasst, um die Augenbereiche zu identifizieren.
  6. Verfahren nach Anspruch 1, wobei der Schritt c) des Eliminierens ferner das Entfernen dunkler Pixel in einem oberen Abschnitt der Augenbereiche umfasst.
  7. Verfahren nach Anspruch 1, wobei der Schritt des Segmentierens der Augen das Segmentieren der Augen in drei Teile umfasst: die Regenbogenhaut, die Winkel und das Weiße.
  8. Verfahren nach Anspruch 1, wobei der Schritt des Segmentierens der Augen das Segmentieren der Augen auf Basis der Intensität umfasst.
  9. Verfahren nach Anspruch 8, wobei der Schritt des Segmentierens der Augen das Segmentieren der Augen gemäß der folgenden Funktion umfasst:
    Figure 00090001
    wobei T ein vorgegebener Schwellenwert und s(x, y) das segmentierte Bild ist.
  10. Verfahren nach Anspruch 9, wobei der Schwellenwert T hoch genug eingestellt ist, um alle Regenbogenhautfarben zu segmentieren, aber niedrig genug, um alle weißen Flächen zu segmentieren.
  11. Verfahren nach Anspruch 9, wobei der Schritt des Segmentierens der Augen ferner das Umkehren der Intensität der Augenwinkel, der Regenbogenhäute und des Weißen umfasst bei Intensität.
  12. Verfahren nach Anspruch 1, wobei der Schritt des Extrahierens ferner das Folgende umfasst: (1) Abtasten der Augenbereiche von links nach rechts und von oben nach unten; (2) Identifizieren der Winkel als die am weitesten links und die am weitesten rechts befindlichen weißen Pixel; (3) Identifizieren des oberen und unteren Lids als die obersten und untersten weißen Pixel in jedem Augenbereich.
  13. Verfahren nach Anspruch 12, wobei der Schritt des Extrahierens ferner das Folgende umfasst: (1) Errechnen einer Breite und einer Höhe weißer Pixel, welche von den Winkeln durch schwarze Pixel getrennt sind, welche das Weiße der Augen darstellen; (2) Ermitteln eines Mittelpunktes der Regenbogenhaut aus der Breite und der Höhe; und (3) Ermitteln des Radius der Regenbogenhaut durch Halbieren der Breite.
  14. Vorrichtung zur Erfassung der Augen in einem Bild, umfassend: a) ein Mittel (41) zum Aufnehmen des Bildes; b) ein Mittel (43) zum Umwandeln des Bildes in eine Vielzahl von Pixeln, welches mit dem Aufnahmemittel verbunden ist; und c) einen Prozessor (45), welcher mit dem Mittel zum Umwandeln verbunden ist und welcher in Verwendung die Vielzahl von Pixeln empfangt; dadurch gekennzeichnet, dass der Prozessor das Folgende beinhaltet: (1) ein Mittel zum unscharfen Abbilden des Bildes, um ein unscharfes Bild zu erzeugen; (2) ein Mittel zum Ermitteln zweier Augenbereiche in dem unscharfen Bild; (3) ein Mittel zum Eliminieren der Augenbrauen in den beiden Augenbereichen in dem ursprünglichen Bild, basierend auf der Position der beiden Augenbereiche, welche durch das Mittel zum Ermitteln erhalten wurde, wodurch ein erstes bearbeitetes Bild erzeugt wird; (4) ein Mittel zum Segmentieren der Augen in dem ersten bearbeiteten Bild zu Einzelteilen; und (5) ein Mittel zum Entnehmen einer Vielzahl von Augenparametern aus dem ersten bearbeiteten Bild.
  15. Vorrichtung nach Anspruch 14, wobei der Prozessor (45) zum unscharfen Abbilden des Bildes einen Gauß'schen Filter, h(x, y), gemäß der folgenden Gleichung verwendet:
    Figure 00100001
    wobei g(x, y) das resultierende Bild und f(x, y) das ursprüngliche Bild ist.
  16. Vorrichtung nach Anspruch 14, wobei der Prozessor (45) bei seiner Suche nach der Position der Augenbereiche sein Abtasten auf einen Mittelbereich des Bildes begrenzt.
  17. Vorrichtung nach Anspruch 14, wobei der Prozessor (45) die Augen unter Verwendung der folgenden Funktion segmentiert:
    Figure 00100002
    wobei T ein vorgegebener Schwellenwert und s(x, y) das segmentierte Bild ist.
  18. Vorrichtung nach Anspruch 14, wobei der Prozessor (45) die Parameter wie folgt entnimmt: (1) Abtasten der Augenbereiche von links nach rechts und von oben nach unten; (2) Identifizieren der Winkel als die am weitesten links und die am weitesten rechts befindlichen weißen Pixel; (3) Identifizieren des oberen und unteren Lids als das oberste und unterste weiße Pixel in jedem Augenbereich.
  19. Vorrichtung nach Anspruch 18, wobei der Prozessor (45) die Parameter ferner wie folgt entnimmt: (1) Errechnen einer Breite und einer Höhe weißer Pixel, welche von den Winkeln durch schwarze Pixel getrennt sind, welche das Weiße der Augen darstellen; (2) Ermitteln eines Mittelpunktes der Regenbogenhaut aus der Breite und der Höhe; und (3) Ermitteln des Radius der Regenbogenhaut durch Halbieren der Breite.
  20. Vorrichtung nach einem der Ansprüche 14 bis 19, wobei das Mittel zum Aufnehmen eine Kamera (41) umfasst und das Mittel zum Umwandeln (43) einen D/A-Wandler (43) umfasst.
  21. Vorrichtung nach einem der Ansprüche 14 bis 19, wobei das Mittel zum Aufnehmen eine Digitalkamera (41) umfasst.
  22. Computerlesbares Medium, welches Befehle zur Steuerung einer Rechnereinheit, Augen in einen Bild zu lokalisieren, speichert, wobei die Befehle das Folgende umfassen: a) Unscharfes Abbilden des Bildes, um ein unscharfes Bild zu erzeugen; b) Ermitteln zweier Augenbereiche in dem unscharfen Bild; c) Eliminieren der Augenbrauen in den beiden Augenbereichen in dem ursprünglichen Bild, basierend auf der Position der beiden Augenbereiche, welche in Schritt b) aus dem unscharfen Bild erhalten wurde, wodurch ein erstes bearbeitetes Bild erzeugt wird; d) Segmentieren der Augen in dem ersten bearbeiteten Bild zu Einzelteilen; und e) Entnehmen einer Vielzahl von Augenparametern aus dem ersten bearbeiteten Bild.
  23. Computerlesbares Medium nach Anspruch 22, wobei das unscharfe Abbilden des Bildes ferner das Zusammenlegen der Augenbereiche und Augenbrauen umfasst.
  24. Computerlesbares Medium nach Anspruch 22 oder 23, wobei das Ermitteln zweier Augenbereiche ferner das Erfassen eines Kontrastes zwischen dunklen und hellen Flächen umfasst, um die Augenbereiche in dem unscharfen Bild zu identifizieren.
  25. Computerlesbares Medium nach Anspruch 22, 23 oder 24, wobei das Eliminieren der Augenbrauen ferner das Entfernen dunkler Pixel in einem oberen Abschnitt der Augenbereiche umfasst.
DE69837233T 1997-06-03 1998-05-22 Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild Expired - Fee Related DE69837233T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US867728 1992-04-10
US08/867,728 US6381345B1 (en) 1997-06-03 1997-06-03 Method and apparatus for detecting eye location in an image

Publications (2)

Publication Number Publication Date
DE69837233D1 DE69837233D1 (de) 2007-04-19
DE69837233T2 true DE69837233T2 (de) 2007-12-20

Family

ID=25350364

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69837233T Expired - Fee Related DE69837233T2 (de) 1997-06-03 1998-05-22 Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild

Country Status (4)

Country Link
US (1) US6381345B1 (de)
EP (2) EP0883080B1 (de)
CA (1) CA2236082C (de)
DE (1) DE69837233T2 (de)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US6792134B2 (en) * 2000-12-19 2004-09-14 Eastman Kodak Company Multi-mode digital image processing method for detecting eyes
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
EP1229486A1 (de) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatische Bildmusterdetektion
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7920723B2 (en) * 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8036458B2 (en) * 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8170294B2 (en) * 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
KR20030066512A (ko) * 2003-07-04 2003-08-09 김재민 노이즈에 강인한 저용량 홍채인식 시스템
US9412007B2 (en) * 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US8520093B2 (en) * 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20110102643A1 (en) * 2004-02-04 2011-05-05 Tessera Technologies Ireland Limited Partial Face Detector Red-Eye Filter Method and Apparatus
US7599577B2 (en) * 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
WO2007095553A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
ATE497218T1 (de) 2006-06-12 2011-02-15 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
KR101159830B1 (ko) * 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
JP4309928B2 (ja) * 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
DE102007016403A1 (de) * 2007-04-03 2008-10-09 Micronas Gmbh Verfahren und Vorrichtung zum Aufnehmen, Übertragen und/oder Wiedergeben von Bilddaten, insbesondere Videokonferenz-Bilddaten
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) * 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) * 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8396004B2 (en) 2008-11-10 2013-03-12 At&T Intellectual Property Ii, L.P. Video share model-based video fixing
JP5602708B2 (ja) * 2011-11-09 2014-10-08 楽天株式会社 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US10089525B1 (en) 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
US9846807B1 (en) 2014-12-31 2017-12-19 Morphotrust Usa, Llc Detecting eye corners
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
CN108229276B (zh) * 2017-03-31 2020-08-11 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
EP3755204B1 (de) 2018-02-22 2024-04-03 Innodem Neurosciences Augenverfolgungsverfahren und -system
CN108509894A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 人脸检测方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247410A (ja) * 1985-12-04 1987-10-28 Aisin Seiki Co Ltd 電気装置の付勢制御装置
US4822162A (en) * 1987-08-27 1989-04-18 Richardson Robert W Method and device for measuring retinal response as a function of position of the retina
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
DE69131350T2 (de) * 1990-07-17 1999-12-30 British Telecomm Verfahren und vorrichtung zur bildverarbeitung
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US5537662A (en) * 1992-05-29 1996-07-16 Casio Computer Co., Ltd. Electronic montage composing apparatus
EP0679298B1 (de) * 1993-01-16 1999-03-31 BANGHAM, James Andrew Signalverarbeitungssystem
US5407391A (en) 1993-05-14 1995-04-18 The Walt Disney Company Negative bust illusion and related method
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US5689575A (en) * 1993-11-22 1997-11-18 Hitachi, Ltd. Method and apparatus for processing images of facial expressions
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images

Also Published As

Publication number Publication date
EP0883080A3 (de) 2000-04-12
EP0883080A2 (de) 1998-12-09
US6381345B1 (en) 2002-04-30
EP1669909A1 (de) 2006-06-14
CA2236082C (en) 2001-10-30
EP0883080B1 (de) 2007-03-07
DE69837233D1 (de) 2007-04-19
CA2236082A1 (en) 1998-12-03

Similar Documents

Publication Publication Date Title
DE69837233T2 (de) Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild
DE60203056T2 (de) Räumlich -temporales Modell der visuellen Aufmerksamkeit für eine Video Vollbild -Sequence
DE60313941T2 (de) Personendetektion durch Gesichtsdetektion und Bewegungsdetektion
DE69938173T2 (de) Automatische voreingestellte teilnehmerpositionsbestimmung für videokonferenzsysteme
DE69906403T2 (de) Verfahren und Gerät zum Detektieren eines gesichtsähnlichen Gebiets
DE69333094T2 (de) Vorrichtung zum Extrahieren von Merkmalen eines Gesichtsbildes
EP1119822B1 (de) Verfahren und system zur personenerkennung mit modellbasierter gesichtsfindung
DE60203871T2 (de) Verfahren und system zum selektiven anwenden eines bildverbesserungsprozesses auf ein bild
DE60307583T2 (de) Auswertung der Schärfe eines Bildes der Iris eines Auges
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE19634768A1 (de) Vorrichtung und Verfahren zur Erfassung eines Gesichts in einem Videobild
DE10308549A1 (de) Bildkorrektur-System und -Verfahren
DE112015001656T5 (de) Bildverarbeitungsverfahren und -vorrichtung
DE19956158A1 (de) Bild-Binärisierungsverfahren auf Bereichsbasis
EP3089106B1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE102016122649B3 (de) Biometrisches Verfahren
DE102017220752A1 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
DE112007000738B4 (de) Filter für Störbewegungen
DE60217243T2 (de) Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems
DE60023837T2 (de) Vorrichtung und verfahren zur filterung
EP0993657A1 (de) Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen
DE19754909C2 (de) Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
DE60225268T2 (de) Verfahren zum bestimmen von textfeldern in einem videobild
DE10046859B4 (de) System zur Blickrichtungsdetektion aus Bilddaten
DE60216766T2 (de) Verfahren zum automatischen verfolgen eines sich bewegenden körpers

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee