-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung bezieht
sich auf ein System und ein Verfahren zur Abbildung von Objekten oder
Mustern. Insbesondere bezieht sich die vorliegende Erfindung auf
ein System und ein Verfahren zum gleichzeitigen Erzeugen von mehreren
Bildern eines Objekts oder Musters von mehreren verschiedenen Betrachtungspunkten.
-
VERWEIS AUF
URHEBERRECHT
-
Ein Abschnitt der Offenbarung in
dieser Patentanmeldung enthält
Material, das dem Urheberrecht unterliegt. Der Inhaber des Urheberrechtes
hat keine Einwände
gegen die Kopie der Patentunterlagen durch Dritte oder die Veröffentlichung
des Patents in Form der Unterlagen des Patent- und Markenamts, Patentschriften oder
Aufzeichnungen, behält
sich jedoch im übrigen
alle weiteren Urheberrechte vor.
-
HINTERGRUND
DER ERFINDUNG
-
Maschinelle Abbildungssysteme werden
gemeinhin in der Industrie für
Hochgeschwindigkeitsinspektionen eingesetzt. Insbesondere werden
diese Systeme verwendet, um digitale Bilder von Objekten zu erzeugen,
um mit Hilfe eines Computers festzustellen, ob das Objekt in Bezug
auf vorgegebene Spezifikationen von "akzeptabler" Qualität ist. Beispielsweise kann
mit einem solchen System eine Halbleiter-Chip-Verpackung untersucht werden, um
festzustellen, ob jeder der Drähte
aus der Verpackung heraus die richtigen Maße hat. Ein solches System
kann außerdem
dazu verwendet werden, die Koplanarität von Lötperlen auf ball-grid-Arrays zu
untersuchen.
-
Muster wie Strichcodes und Datencodes
werden durch solche Systeme ebenfalls abgebildet. Bilder dieser
Muster werden von einem Computer analysiert, und zwar um die in
diesen Codes dargestellte Information "zu lesen".
-
Bei maschinellen Abbildungssystemen
wird ein Objekt (oder Muster) üblicherweise
dadurch abgebildet, dass das Objekt mit einer Lichtquelle belichtet
wird und das Licht, das von dem Objekt reflektiert wird, mit einer
Videokamera (d. h. einem Fotodetektor) aufgenommen wird. Aus dem
von der Kamera aufgenommenen Bild wird ein digitales Bild erzeugt,
und die digitalen Daten werden durch einen Computer analysiert,
um die Eigenschaften des Objekts oder des Musters zu bestimmen.
-
Ein geeigneter Kontrast zwischen
dem Objekt oder Muster und dem Hintergrund ist von großer Bedeutung
für das
Erzeugen eines Bildes, damit es ausreichend deutlich ist, um durch
einen Computer genau analysiert werden zu können. Bei der gegenwärtigen Praxis
erzeugt ein Ingenieur oder ein Nutzer mit entsprechenden Kenntnissen
den geeigneten Kontrast durch Variieren der Positionen der Lichtquellen
in Bezug auf das Objekt oder das Muster, das betrachtet wird, und
zwar in Bezug auf die Videokamera, mit der der Beobachtungsbereich
aufgenommen wird. Zusätzlich
werden die Intensität
und möglicherweise
die Polarisation und die Farbe der Lichtquellen variiert. Um den
gewünschten
Kontrast zu erzielen, wird die Beleuchtung oft manipuliert, um den
Hintergrund entweder in Bezug auf die Objektmerkmale oder das Muster
abzudunkeln (Dunkelfeldbeleuchtung) oder um ihn in Bezug auf die
Objektmerkmale oder das Muster aufzuhellen (Hellfeldbeleuchtung).
Das Einstellen der richtigen Belichtung ist besonders schwierig,
wenn man mit spiegelnden (spiegelähnlichen) Oberflächen arbeitet,
insbesondere wenn die spiegelnden Oberflächen gekrümmt sind oder viele Einzelflächen aufweisen.
-
Eine Technik zum Beleuchten eines
Objekts, um es abzubilden, wird in
US
5 461 417 , White et al. (das White-417-Patent), beschrieben.
Das White-417-Patent offenbart ein System zur Erzeugung einer Umgebung mit
gleich bleibendem, gleichförmigem,
diffusem Licht. Dieses System eignet sich für bestimmte Typen von Anwendungen.
Eine weitere Technik zur Belichtung wird in US 5 187 611, White
et al., beschrieben. In diesem Patent wird diffuses, achsennahes
Licht (Diffuse On-Axis Light, DOAL) beschrieben, was sich ebenfalls
als günstig
bei bestimmten Anwendungen erwiesen hat. Jedoch ist es um guten
Kontrast zu erzielen manchmal notwendig, dass Kanten betont werden,
was man am besten dadurch erreicht, dass man kollimiertes, unidirektionales
Licht verwendet, und nicht gleichförmiges, diffuses Licht.
-
Bei bestimmten Objekten kann es von
Vorteil sein, sequenziell ein Objekt von einer Anzahl von verschiedenen
Beobachtungspunkten aus zu beleuchten und bei jeder Beleuchtung
ein Bild des Objektes aufzunehmen. Die Bilder können dann zu einem einzigen
Bild zusammengefasst werden. Ein derartiges System wird in
US 5 060 065 , Wasserman,
beschrieben. Manchmal kann es erwünscht sein, ein Objekt mit
einer Hellfeldbeleuchtung abzubilden und danach dasselbe Objekt
mit einer Dunkelfeldbeleuchtung abzubilden. Das Hellfeld- und das
Dunkelfeldbild können
dann individuell analysiert werden oder zuerst zusammengesetzt und dann
analysiert werden.
-
Jedoch wird durch aufeinander folgende
Beleuchtungen die Aufnahmezeit erhöht, da bei jeder Beleuchtung
ein separates Bild aufgenommen werden muss – jedes Videobild dauert typischerweise
1/30 Sekunden. Wenn daher bei dem Objekt Lichtquellen an drei verschiedenen
Orten verwendet werden, so sind drei Bilder notwendig.
-
Darüber hinaus besteht die Gefahr,
dass das zusammengesetzte Bild verschmiert aussieht, wenn sich das
Objekt und die Kamera relativ zueinander bewegen. Beispielweise
können
Vibrationen dazu führen,
dass sich das Objekt etwas bewegt. Da das Bild des Objekts vor der
Bewegung und das nach der Bewegung nicht exakt aufeinander fallen,
erscheint das zusammengesetzte Bild verschmiert.
-
In
US
4 286 293 wird ein Verfahren zur Abbildung eines Objektes
offenbart, wie es in dem Oberbegriff des Anspruchs 1 ausgeführt wird.
Bei der offenbarten Vorrichtung wird Laserlicht, das von dem Objekt
zurückgeworfen
wird, von mehreren Detektoren aufgefangen. Jeder Detektor erfasst
damit einen anderen Teil des zurückgeworfenen
Lichtes, und es wird eine arithmetische Operation mit dem Ausgangssignal
der Detektoren durchgeführt,
um ein einziges, zusammengesetztes Videosignal zu erzeugen, das
einen höheren
Kontrast aufweist.
-
In
US
5 455 870 wird ebenfalls ein Verfahren zur Abbildung eines
Objektes wie in dem Oberbegriff von Anspruch 1 offenbart. Das offenbarte
System umfasst zwei Videokameras. Die Kameras und die Belichtungsquellen
sind so angeordnet, dass sie beide ein Hellfeldbild und ein Dunkelfeldbild
des Objektes erzeugen, die gemeinsam verarbeitet werden.
-
In
US
4 152 723 wird ein System zur Inspektion eines Objektes
offenbart, das dazu dient, eine gedruckte Leiterplatte abzubilden,
bei dem Fluoreszenz von dem Isolatormaterial der Platte erfasst
wird.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Erfindungsgemäß wird ein Verfahren zur Abbildung
eines Objektes nach Anspruch 1 angegeben und eine Vorrichtung zur
Abbildung eines Objektes nach Anspruch 5 geschaffen.
-
In bevorzugten Ausführungsformen
werden mehrere Lichtleiter mit ihren Eingangsenden so positioniert,
dass sie gleichzeitig Licht empfangen, das von einem Objekt reflektiert
wird, und das empfangene Licht wird zu mehreren Fotodetektoren weitergeleitet.
Die Lichtleiter sind derart angeordnet, dass ihre jeweiligen Eingangsenden
entlang wenigstens eines Abschnittes einer Oberfläche einer
imaginären
Hemisphäre
um das Objekt im Wesentlichen gleich beabstandet sind. Die Signale,
die durch die Fotodetektoren (als Ergebnis der Erfassung des Lichts)
erzeugt werden, werden verarbeitet, und es werden mehrere Bilder
von dem Objekt erzeugt.
-
Die bevorzugten Ausführungsformen
umfassen außerdem
ein Verfahren zum Erzeugen von zusammengesetzten Bildern aus gleichzeitig
aufgezeichneten Bildern. Äquivalente
Bereiche bei jedem Bild (entsprechend geografischen identischen
Teilbildern) werden miteinander verglichen. Das Teilbild mit der
höchsten
Entropie wird ausgewählt
und abgespeichert. Dieser Prozess wird fortgeführt, bis alle Teilbilder berücksichtigt worden
sind. Ein neues, zusammengesetztes Bild wird erzeugt, indem die
ausgewählten
Teilbilder aneinandergesetzt werden.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
Im folgenden werden Ausführungsformen
der Erfindung als Beispiel erläutert,
wobei Bezug auf die beigefügten
Zeichnungen genommen wird.
-
1A ist
die Darstellung eines Systems für
eine Hellfeldbeleuchtung.
-
1B ist
die Darstellung eines Bildes, das unter Verwendung dieser Hellfeldbeleuchtung
erzeugt wurde.
-
2A ist
die Darstellung eines Systems für
eine Dunkelfeldbeleuchtung.
-
2B ist
die Darstellung eines Bildes, das unter Verwendung des Dunkelfeldverfahrens
bei dieser Beleuchtung erzeugt wurde.
-
3 zeigt
ein sequenzielles Beleuchtungssystem.
-
4A ist
die Darstellung eines Beispiels für ein System, das eine Ausführungsform
der vorliegenden Erfindung ist.
-
4B zeigt
ein Beispiel für
eine Fotodetektoranordnung.
-
4C zeigt
ein sequenzielles Beleuchtungssystem zum Auslesen von Zeichenfolgen.
-
4D zeigt
ein Beispiel für
ein System, das eine Ausführungsform
der vorliegenden Erfindung gemäß 4C ist.
-
5 zeigt
eine Vorrichtung, die eine Ausführungsform
der Erfindung ist, mit weiteren Einzelheiten.
-
6 zeigt
den Scanner und die Fotodiodenanordnung nach 5 mit weiteren Einzelheiten.
-
7A ist
ein Flussdiagramm eines Beispiels für einen Prozess zum Korrigieren
eines Bildes.
-
7B ist
ein Flussdiagramm zur Erläuterung
der Erzeugung eines zusammengesetzten Gradientenbildes.
-
8 zeigt,
wie durch einen Scanner ein Punkt auf einer Oberfläche beleuchtet
wird.
-
9 zeigt
eine Matrix, die die Reflektionseigenschaften eines 2-D-Strichcodes wiedergibt.
-
10A zeigt
die Reflektionseigenschaften einer glänzenden Oberfläche.
-
10B zeigt
die Reflektionseigenschaften einer diffus scheinenden Oberfläche.
-
lOC zeigt
die Reflektionseigenschaften einer Spiegelspiegelnden) Oberfläche.
-
11 zeigt
als Beispiel eine Ausführungsform
der Hardware für
die vorherige Aufbereitung.
-
12 zeigt
eine Weiterentwicklung zu 11.
-
BESCHREIBUNG
DER EINZELHEITEN
-
Hellfeldbeleuchtung: Mit Bezug auf
die Zeichnungen und zunächst
auf 1A wird ein einfaches
Hellfeldbeleuchtungssystem 100 erläutert. Eine Videokamera 110 mit
einer Linse 115 wird positioniert, um ein Bild einer glänzenden
Platte 120, auf der ein diffuser (Lambert-) Graukreis 125 aufgemalt
ist, aufzunehmen. Die Reflektionseigenschaften der glänzenden,
diffusen und Spiegelspiegelnden) Oberflächen sind in 10A, 10B bzw. lOC dargestellt. Die glänzende Platte 120 steht
senkrecht zur Sichtachse der Kamera 110. Zwei Lichtquellen
("obere Lichtquellen") 130 und
135 sind gleich beabstandet von der glänzenden Platte 120 und befinden
sich in der Nähe
der Kameralinse 115. Sie beleuchten die glänzende Platte 120 und
den Graukreis 125. Die glänzende Platte 120 reflektiert
Licht direkt zurück
in die Kamera 110. Der Kreis 125 streut das Licht 150,
da er diffus erscheint. 1B zeigt
ein Hellfeldbild, das von der Kamera 110 aufgenommen wurde.
Wie dargestellt, erscheint das Bild des Kreises 125B dunkel
in Bezug auf den hellen Hintergrund 120B. Wenn die glänzende Platte
ersetzt wird durch einen wirklichen Spiegel, so wären ein
Strahlteiler 160 und eine Lampe 170 erforderlich,
um das Licht parallel zu der Kameraachse auszurichten, um eine wirkliche
Hellfeldbeleuchtung zu erhalten.
-
Dunkelfeldbeleuchtung: 2A zeigt ein Dunkelfeldbeleuchtungssystem.
In diesem System werden eine Kamera 210, eine Linse 215 und
eine glänzende
Platte 220 mit einem Graukreis 225 auf dieselbe
Art wie in 1A positioniert.
Hier jedoch sind die Lichtquellen ("untere Lichtquellen") 260 und 265 jeweils
zu einer Seite versetzt (in Bezug auf die Kamera 210 um
deren Blickfeld) positioniert und befinden sich damit in der Nähe der glänzenden
Platte 220. Die Lichtquellen 260 und 265 werden
ebenfalls in etwa gleich beabstandet von der glänzenden Platte 220 positioniert.
Lichtblenden 275 verhindern, dass Licht direkt von den
Lampen 260 und 265 auf die Linse 215 trifft.
Licht, das von den Lichtquellen 260 und 265 ausgeht,
wird durch die glänzende
Platte 220 als Licht 270 in einer Richtung weg
von der Kameralinse 215 reflektiert. Licht, das auf den Graukreis 225 trifft,
wird gestreut. Wie dargestellt, wird wenigstens einiges (280)
von dem Licht, das auf den Graukreis 225 trifft, auf die
Kameralinse 215 reflektiert. 2B zeigt
das Dunkelfeldbild, das von der Kamera 210 aufgenommen
wurde. Hier scheint das Bild des Kreises 225B hell gegenüber dem
dunklen Hintergrund 220B.
-
Kombiniertes System: In sowohl dem
Hellfeldbeleuchtungssystem als auch dem Dunkelfeldbeleuchtungssystem
können
für den
Fall, dass die glänzende
Oberfläche
(in 1A und 2A) nicht perfekt flach ist, andere
helle und dunkle Bereiche im Bildhintergrund auftreten. Zum Beispiel
kann die Oberfläche
derart reflektieren, dass sowohl reale als auch virtuelle Bilder
erzeugt werden, von denen jedes durch die Videokamera aufgenommen
wird. Dann kann es vorteilhaft sein, ein Objekt unter zwei oder
mehreren verschiedenen Winkeln zu beleuchten (in Bezug auf das Objekt).
Wie in 3 gezeigt, kann
dementsprechend ein einzelnes System obere Lichtquellen 330 und 335 (entsprechend
den Lichtquellen 130 und 135 in 1A) wie auch untere Lichtquellen 360 und 365 (entsprechend
den Lichtquellen 260 und 265 in 2A) aufweisen. Jeder Satz von Lichtquellen
(d. h. die oberen Lichtquellen 330 und 335 und
die unteren Lichtquellen 360 und 365) können unabhängig voneinander
verwendet werden, um das Objekt zu beleuchten (hier die glänzende Platte 320 mit Graukreis 325),
wobei jedes Mal durch die Videokamera 310 ein Bild aufgenommen
wird. Die "nützlichen" Abschnitte des Hellfeldbildes
und des Dunkelfeldbildes, die aufgenommen wurden, können unabhängig voneinander
analysiert werden oder können
zusammengesetzt werden, um ein einziges Bild des Objektes zu ergeben.
-
Auf einigen Oberflächen haben
Punkte komplexe Reflektionseigenschaften, die eine Kombination derjenigen
in den 10A, 10B und lOC sind. Außerdem können Oberflächenbereiche gegeben sein,
die durch das System nach 3 abgebildet
werden, die in Bezug auf die Horizontale gekrümmt oder gekippt sein können, was
die Hellfeld- oder Dunkelfeldabbildungen beeinträchtigt. Daher kann es sein,
dass das System nach 3 für eine große Anzahl
von Bedingungen nicht ausreichend ist, bei denen ungewöhnliche
Reflektionseigenschaften oder gekrümmte oder mehrfach geneigte
Oberflächen
gegeben sind.
-
Wie bereits bemerkt, erhöht sich
bei dieser sequenziellen Beleuchtung die Aufnahmezeit, da ein Bild, z.
B. ein Videobild, pro Beleuchtung erforderlich ist. Darüber hinaus
machen zusammengesetzte Bilder einen verschmierten Eindruck, wenn
sich Kamera und Objekt zueinander bewegen.
-
Ausführungsbeispiel: Die vorliegende
Erfindung betrifft viele Abbildungsprobleme, bei denen gleichzeitig
mehrere Bilder des Objektes aufgenommen werden. Ausführungsformen
der Erfindung sorgen für
den richtigen "Kontrast", indem die Lichtquellen
der früheren
Systeme durch äquivalente "Kameras" ersetzt werden und
die Kameras der früheren
Systeme durch äquivalente
Lichtquellen ersetzt werden. Mit einem solchen System hat man die
Wahl vieler Beobachtungspunkte für
die Beleuchtung, um Hellfeld- oder Dunkelfeldbilder erzeugen zu
können,
unabhängig
von den exakten lokalen Oberflächeneigenschaften
oder Orientierungen des Objektes oder des betrachteten Musters.
-
Ein Beispiel für ein System, das die Prinzipien
der vorliegenden Erfindung aufweist, ist in 4A gezeigt. Ein Scanner 410 ist
so positioniert, dass er eine glänzende
Platte 420 beleuchtet, auf der ein diffuser Graukreis 425 aufgezeichnet
ist. Der Scanner 410, der einen Lichtstrahl erzeugt, der
beispielsweise ein Dauerstrich- oder ein alternierender oder ein
pulsmodulierter Strahl ist, erzeugt einen abgestimmten Rasterlichtfleck,
der über
das Objekt fährt,
der jedoch von dem Ort ausgeht, an dem sich vorher die Kameralinse 315 in 3 befunden hat. Der Lichtfleck
kann "weiß" sein oder eine bestimmte
Farbe haben, mit der er beispielsweise von einer Licht emittierenden
Diode (LED) erzeugt wird. Alternativ kann der Lichtfleck eine bestimmte Wellenlänge aufweisen,
wenn er mit einem Laser erzeugt wird.
-
Wie in 4A gezeigt,
werden die Lichtquellen der 3,
d. h. 330, 335, 360 und 365, ersetzt durch Fotodetektoren 430, 435, 460 und 465,
wie zum Beispiel Fotodioden-Anordnungen. Da der Lichtfleck in einem Raster
durchgestimmt wird, erzeugt jeder der Fotodetektoren 430, 435, 460 und 465 ein "Video-" Signal, das mit
allen anderen Fotodetektoren 430, 435, 460 und 465 synchronisiert
ist. Das bedeutet, dass zu jedem Zeitpunkt das Signal, das bei jedem
Fotodetektor 430, 435, 460 und 465 erzeugt
wird, ein Ergebnis der Beleuchtung desselben "Pixels" ist (Lichtfleck auf einem kleinen Bereich
des Objektes). Jedoch variieren die Signale, die von jedem Fotodetektor 430, 435, 460 und 465 erzeugt
werden, in ihrer Amplitude je nach den Reflektionseigenschaften
und Orientierungen des beleuchteten Bereiches in Bezug auf die relative
Position des Scanners 410 und des Fotodetektors 430, 435, 460 und 465.
-
Auf Grund der Umkehrbarkeit von Lichtstrahlen
wird durch einen Bereich des Objekts (d. h. die glänzende Platte 420),
der für
die Kamera 310 in 3 hell
scheinen würde,
wenn er mit einer bestimmten Lichtquelle beleuchtet wird, ein starkes
Signal erzeugt, wenn die Beleuchtung mit einer Lichtquelle erfolgt
(d. h. Scanner 410), die sich an der Position der ursprünglichen
Kamera befindet, das jedoch durch einen Fotodetektor aufgenommen
wird, der sich an dem Ort der ursprünglichen Lichtquelle befindet. Ähnlich wird
durch einen Bereich, der für
die Kamera 310 in 3 abgeschwächt erscheint,
wenn die Beleuchtung mit einer bestimmten Lichtquelle erfolgt, ein
schwaches Signal erzeugt, wenn die Beleuchtung mit einer Lichtquelle
(Scanner 310) an der Position der ursprünglichen Kamera 310 in 3 erfolgt, das jedoch erfasst
wird durch einen Lichtsensor am Ort der ursprünglichen Lichtquelle. Wenn
daher der Hintergrund der glänzenden
Platte 420 mit dem Scanner 410 beleuchtet wird,
erzeugen die Fotodetektoren 430 und 435 ein relativ
starkes Signal, während
die Fotodetektoren 460 und 465 ein relativ schwaches
Signal erzeugen. Wenn darüber
hinaus der diffuse Graukreis 425 von dem Scanner 410 beleuchtet
wird, so erzeugen die Fotodetektoren 430 und 435 ein
relativ schwaches Signal, während
die Fotodetektoren 460 und 465 relativ starke
Signale erzeugen. Dementsprechend nehmen die Fotodetektoren 430 und 435 Hellfeldbilder
der glänzenden
Platte 420 auf, während
die Fotodetektoren 460 und 465 Dunkelfeldbilder
der glänzenden
Platte 420 aufnehmen.
-
Viele äquivalente "Beleuchtungsstandpunkte" können gleichzeitig
aufgenommen werden, indem man einfache Licht-Anordnungen strategisch
positioniert, wie zum Beispiel Fotodioden an Standpunkten um das
zu betrachtende Objekt herum. Dementsprechend können Hellfeldbilder und Dunkelfeldbilder
von verschiedenen Standpunkten aus gleichzeitig aufgenommen werden.
-
Die lichtempfindlichen Vorrichtungen
bei den dargestellten Ausführungsformen
können
Linsen, Faseroptik, Lichtleiter oder einfache Fotodetektoren umfassen.
Die Fotodetektoren können
Fotomultiplier oder Halbleiterfotodioden sein, wie zum Beispiel
Avalanche-Fotodioden oder Fototransistoren.
-
Darüber hinaus können mehrere
Fotodetektoren an bestimmten Standpunkten angeordnet werden, um
verschiedene Typen von Lichtquellen zu ersetzen oder zu ergänzen. In 48 wird ein Beispiel einer Fotodetektoranordnung
gezeigt, allgemein in Entsprechung zu einer Matrix von LEDs mit
Linsen, die bei vielen maschinellen Abbildungsanwendungen eingesetzt
werden. Jede Linse 410B einer Linsenmatrix 420B fokussiert
Licht auf eine entsprechende Fotodiode 430B einer Fotodiodenmatrix 440B.
Das Ausgangssignal von jeder Fotodiode 430B wird an einen
Summierungsverstärker 450B angelegt.
Das Ausgangssignal des Summierungsverstärkers 450B kann dann
abgetastet werden. Bei einer anderen Ausführungsform kann das Ausgangssignal
jeder einzelnen Fotodiode 450B individuell abgetastet werden.
Der Aufbau nach 4B ist
besonders geeignet für
die Abbildung bestimmter spiegelnder Oberflächen, die normalerweise am
besten mit verteilten Lichtquellen abgebildet werden. Als eine Alternative
kann ein einzelnes Faserbündel
oder ein Lichtleiter verwendet werden, um das Licht von jeder Linse
auf seinem Brennpunkt zu bündeln,
und das Licht aller Bündel oder
Lichtleiter kann von einem einzigen Fotodetektor aufsummiert werden.
-
Ein Hauptvorteil ist es, dass kommerziell
verfügbare
automatische Abbildungssystemoptiken oder Faseroptiken eingesetzt
werden können.
Beispielsweise ist Fiber-Lite von Dolan-Jenner Industries ein Beleuchtungssystem,
bei dem Eingangslicht durch eine Faseroptiken gekoppelt wird, um
einen Lichtstrahl (MV – IND 150LA),
einen Lichtbereich (MV – IND
150ABL), einen Lichtpunkt (MV – IND
150FO) oder einen Lichtring (MV – IND 150RL) zu erzeugen. Jeder
dieser Aufbauten kann verwendet werden, um ein entsprechend geformtes "Äquivalent" zu der Lichtquelle zu bilden, indem
das Licht, das normalerweise am Eingang der Faseroptik verwendet
wird, durch eine Fotodetektorvorrichtung ersetzt wird, die die gewünschten
Ausgangssignale erzeugt.
-
Wenn Zeichen abgebildet werden sollen
(z. B. Seriennummern), die sich auf einem Halbleiter-Wafer befinden,
so ist es bei den Systemen nach dem Stand der Technik üblicherweise
notwendig, dass die Lichtquellen an besonders kritischen Orten in
Bezug auf die Reflektionseigenschaften sowohl des Wafers als auch der
Zeichen auf dem Wafer angeordnet werden. Jedoch können sich
die Oberfläche
und die Teiloberflächeneigenschaften
in Abhängigkeit
davon ändern,
wo in dem Herstellungsprozess des Halbleiters (d. h. bei welchem
Prozessschritt) die Zeichen abgebildet werden. Bei den Systemen
nach dem Stand der Technik müssen viele
Belichtungsorte getestet werden, bevor die Zeichen richtig gelesen
werden können.
Ein Beispiel für
verschiedene Arten der Beleuchtung, die für die Abbildung von Zeichen
auf einem Wafer verwendet werden können, wenn standardmäßige automatische
Abbildungstechniken eingesetzt werden, ist in 4C gezeigt. Wie dargestellt, werden Zeichen
auf dem Wafer 400C sequenziell durch eine starke Dunkelfeldlichtquelle 410C beleuchtet
(eingesetzt zum Erzeugen eines Dunkelfeldbildes), eine starke DOAL
(diffuse achsennahe Belichtung) 420C (angeordnet, um ein
Hellfeldbild zu erzeugen) sowie eine schwache DOAL 430C (angeordnet,
um ein Hellfeldbild zu erzeugen). Eine Kamera 450C muss
drei separate Bilder der Zeichen aufnehmen, eins pro Lichtquelle.
-
In 4D wurde
jede der Lichtquellen (d. h. 410C, 420C und 430C)
ersetzt durch eine entsprechende Fotodetektorvorrichtung (410D, 420D und 430D),
während
die Kamera 450B durch einen Laserscanner (450C)
ersetzt wurde. Hier müssen
die Zeichen auf dem Wafer nur einmal gescannt werden, wobei gleichzeitig drei
Bilder durch die Fotodetektoren 410D, 420D, und 430D aufgenommen
werden.
-
Darstellung der Einzelheiten: Ein
Scanner 500 ist so angeordnet, dass er ein Objekt 501 (wie
zum Beispiel eine Halbleiterverpackung) belichtet, und er wird durch
eine Scan-Steuerschaltung 502 (gesteuert von den Sync-Signalen
eines Mikroprozessors oder einer dazugehörigen Hardware 503)
gesteuert, um das Objekt 501 in einem Raster abzutasten.
Insbesondere erzeugt die Scan-Steuerschaltung 502 horizontale
und vertikale Scan-Steuersignale 504 sowie ein Pixel-Taktsignal 505 zum
Steuern des Scanners 500, um sequenziell jeden Fleck (d.
h. Pixel) auf dem Objekt 501 zu belichten.
-
Beispielsweise werden die Fotodioden
PD1–PDn
so angeordnet, dass sie Licht aufnehmen, das von dem Objekt 501 reflektiert
wurde (als Ergebnis der Belichtung durch den Scanner 500),
und zwar von verschiedenen Beobachtungspunkten aus. Wie dargestellt,
erzeugen bei einer horizontalen Oberfläche die Fotodioden, die am
nächsten
zu dem Objekt 501 (d. h. Fotodioden PD5–PDn) aufgestellt sind, Dunkelfeldbilder,
während die
restlichen Fotodioden (d. h. PD1– PD4) für eine Hellfeldabbildung angeordnet
sind. Wenn jedoch ein Abschnitt einer spiegelnden Oberfläche abgebildet
wird, die sich in einem spitzen Winkel zur Horizontalen befindet,
so können
sich die Rollen der PD1–PD4
und PD5–PDn
umkehren, wobei in diesem Fall PD5–PDn Hellfeldbilder und PD1–PD4 Dunkelfeldbilder
erzeugen würden.
In Abhängigkeit
von der Komplexität
der abgebildeten Oberflächen
können
mehr oder weniger Fotodioden als in 5 gezeigt
verwendet werden, um ausreichend Daten für eine bestimmte automatische
Abbildungsanwendung zu sammeln.
-
Jede der Fotodioden PD1–PDn wird
mit einem Verstärker
A1–An
zum Verstärken
der Signale (als Darstellung der Intensität des reflektierten Lichtes,
das durch die Fotodioden PD1–PDn
erfasst wird) verbunden, die durch die Fotodioden PD1–PDn erzeugt
werden. Auf Grund der Änderung
in Bezug auf das Maß der
Spiegelung der Oberflächen
des abgetasteten Objekts 501 können die Lichtintensitätspegel
in den Fotodioden PD1–PDn
einen sehr großen
Dynamikbereich abdecken. Dementsprechend werden vorzugsweise logarithmische
Verstärker
verwendet. Bei der als Beispiel gegebenen Ausführungsform der vorliegenden
Erfindung haben logarithmische Verstärker, obgleich auch andere
Verstärker
verwendet werden können,
verschiedene Vorteile gegenüber
linearen Verstärkern
(obgleich auch andere Typen von Verstärkern verwendet werden können):
- – das
logarithmische Ausgangssignal wird komprimiert, so dass weniger
Bits benötigt
werden, um das Signal darzustellen, obwohl der Dynamikbereich so
groß ist,
- – logarithmische
Ausgangssignale können
leicht verarbeitet werden, wenn man die signifikanten Änderungen
(Kanten) betrachtet, da dieselbe prozentuale Änderung in einem Signal immer
derselben numerischen Differenz entspricht, unabhängig von
der Signalamplitude,
- – die
logarithmischen Ausgangssignale können einfach normalisiert werden,
da das Dividieren des Ausgangssignals durch ein Referenzsignal einfach
durch Subtrahieren der Referenz vom Ausgangssignal erfolgt.
-
Jeder der Verstärker A1–An ist mit einem Abtasthalteglied
(oder Register) SH1–SHn
zum Abtasten der von den Verstärkern
A1–An
ausgegebenen Signale verbunden. Die Abtasthalteglieder SH1–SHn werden
mit dem Scanner durch die Scan-Steuerschaltung 502 synchronisiert,
so dass Signale, die die Intensität des reflektierten Lichtes
darstellen, das durch die Fotodetektoren PD1–PDn zu demselben gegebenen
Zeitpunkt erfasst wird, für
jeden Fleck des Objektes, der von dem Scanner 500 belichtet
wird, gleichzeitig abgetastet werden. Die Signale, die von dem Abtasthalteglied
SH1– SHn
ausgegeben werden, werden an einen Multiplexer MPX angelegt. Unter
Steuerung der Datensteuerschaltung 506 (die ihrerseits
gesteuert wird von dem Mikroprozessor) werden die analogen Signale
von der Abtasthalteschaltung SH1–SHn durch den Multiplexer
MPX sequenziell an einen Analog-/Digital- (A/D-) Wandler 507 angelegt.
Die digitalen Signale, die durch den A/D-Wandler 507 erzeugt werden,
werden in einem Pufferspeicher 508 (oder einer anderen
Aufnahmevorrichtung) an Adressen zwischengespeichert, die durch
die Datensteuerschaltung 507 identifiziert werden (unter Steuerung
des Mikroprozessors 503).
-
Im Betrieb wird jeder Fleck, der
von dem Scanner 500 belichtet wird, gleichzeitig durch
die Fotodioden PD1–PDn
abgebildet. Das bedeutet, dass bei jedem Fleck, der bei einer gegebenen
X-Y-Koordinate belichtet wird,
ein digitaler Intensitätswert
in dem Pufferspeicher 508 abgespeichert wird, der die Intensität des Lichtes wiedergibt,
das durch das Objekt 501 reflektiert wird und durch jede
der Fotodioden PD1–PDn
erfasst wird. Entsprechend werden bei dem Ausführungsbeispiel der vorliegenden
Erfindung (d. h. ein Bild pro Fotodiode) als Ergebnis einer einzigen
Abtastung des Objektes 501n Bilder des Objektes 501 aufgenommen.
-
6 zeigt
den Scanner 500 und die Fotodiode PD1–PDn in ihrem Aufbau mit weiteren
Einzelheiten. Ein Lichtstrahl 600 von einer Lichtquelle 610,
wie zum Beispiel einer kommerziell erhältlichen kollimierten Laserdiode
als Lichtquelle, wird durch einen Strahlteiler 620 auf
eine Linse 630 gelenkt, die den Strahl 600 auf eine
vorgegebene Fleckgröße auf der
Ebene 660 über
X- und Y-Spiegelgalvanometer 640 und 650 lenkt.
Das X-Galvanometer 640, gesteuert durch die X- und Y-Scan-Steuersignale 504 aus 5 und vorzugsweise oszillierend
in Übereinstimmung
mit dem Pixeltakt 505, reflektiert den Strahl 600 auf
ein Y-Spiegelgalvanometer 650.
Das Y-Galvanometer 650, ebenfalls gesteuert durch die X-
und Y-Scan-Steuersignale 504, reflektiert den Strahl 600 auf
einen Punkt des Objekts 660, das untersucht wird. Wie dem
Fachmann klar ist, bewirkt das sequenzielle Bewegen des X-Galvanometers 640 in
Richtung des Pfeils 640A, dass der Strahl 600 Punkte
auf der Oberfläche
des Objekts entlang einer X-Achse belichtet, während das sequenzielle Bewegen
des Y-Galvanometers 650 in Richtung des Pfeils 650A dazu
führt,
dass der Strahl 600 Punkte entlang einer Y-Achse belichtet.
Entsprechend kann der Scanner 500 gesteuert werden, um
jeden Punkt auf der Oberfläche 660 des Objekts
in einem Raster zu beleuchten. Dieser Fleck kann kontinuierlich
oder nur in einem kurzen Intervall bei jeder Pixelposition beim Übergang
von einer Pixelposition zu einer anderen entsprechend dem Pixeltaktsignal 505 belichtet
werden.
-
Bei einer weiteren Ausführungsform
kann das X-Galvanometer 640 ersetzt werden durch einen
feststehenden Spiegel, so dass das Objekt 660 in einer
einzigen Zeile entlang der Y-Achse abgetastet wird. Das Objekt 660 kann
dann mit einer Transportvorrichtung oder einem Verschiebetisch in
X-Richtung bewegt werden, um im Raster das Objekt 660 abzutasten. Ähnlich kann
das Y-Galvanometer 650 durch
einen festen Spiegel ersetzt werden, und das Objekt 660 kann
in Y-Richtung bewegt werden, oder beide Galvanometer 640 und 650 können durch
feste Spiegel ersetzt werden, und das Objekt kann durch einen X-Y-Verschiebetisch
bewegt werden.
-
Obgleich die Galvanometer 650 und 660 gezeigt
werden, können
andere Ablenkungsvorrichtungen wie rotierende Polygone mit verspiegelten
Oberflächen,
rotierende Prismen und akusto-optische Strahlablenkungseinrichtungen,
alle auf diesem Gebiet allgemein bekannt, verwendet werden, um das
gewünschte
Abtastmuster zu erreichen. Außerdem
können
die Lichtstrahlablenkungsoptiken auf vielfache Arten variiert werden,
so zum Beispiel in Bezug auf die Verwendung von optischen Abtastlinsen 680 (zum
Beispiel eine F-Theta oder
telezentrische Linse) zwischen der letzten Strahlablenkung (hier
Galvanometer 650) und dem Objekt, die verwendet werden
können,
um ein gleichförmigeres
Abtastmuster zu ergeben bzw. ein Muster, bei dem der Strahl bei
allen X- , Y-Strahlpositionen
im Wesentlichen senkrecht zur Oberfläche 660 bleibt.
-
Wie in 6 dargestellt,
umfasst der Scanner 500 in dem Ausführungsbeispiel außerdem eine
Linse 670, die Licht, das von dem Objekt auf den Strahlpfad 600 reflektiert
wird, auf eine Fotodiode PDn+1 fokussiert, die das Licht abtastet,
das direkt über
den Beleuchtungspfad zurückkehrt.
Diese Fotodiode entspricht der Lichtquelle 170 in 1A. Außerdem wird eine Blende 671 eingebaut,
um Licht zu absorbieren, das von dem Strahlteiler 620 abgelenkt
wird.
-
In dem Ausführungsbeispiel der vorliegenden
Erfindung werden Lichtleiter LG1–LGn über den Rand einer imaginären Hemisphäre um das
Objekt herum so verteilt, dass ihre jeweiligen Eingangsenden in
Bezug auf den Winkel gleichmäßig beabstandet
sind, wenn man vom Zentrum der Hemisphäre aus blickt (d. h. dem ungefähren Ort
des Objekts). Einfache Muster wie dicht gepackte Kreise oder Sechsecke
können
eingesetzt werden, um die Eingangsenden der Lichtleiter LG1–LGn in
Bezug auf Azimut und Höhe
entlang der gesamten Oberfläche
der Hemisphäre
in gleichmäßigem Abstand
zu positionieren, wobei sich jedes der Enden in einem Zentrum eines
Kreises oder Sechsecks befindet. Bei dem Ausführungsbeispiel kann die Achse
des zentralen Strahls vom Scanner 500 für den Fall, dass Sechsecke
eingesetzt werden, bezüglich
einer Ecke ausgerichtet werden, an der sich drei Sechsecke treffen.
Alternativ kann die Achse des zentralen Strahls von dem Scanner 500 zu
der Mitte des "obersten" Sechsecks ausgerichtet
werden. Es sind viele weitere Verteilungen möglich.
-
Bei dem Ausführungsbeispiel kann jeder der
einzelnen Lichtleiter LG 1 – LGn
mit seinem Eingangsende über
oder unter der Oberfläche
der Hemisphäre
liegen. Jedoch wird bei jedem Lichtleiter LG1–LGn das Eingangsende derart
positioniert, dass die gewünschte
Winkelposition beibehalten wird, wenn man vom Objekt aus blickt.
Anderungen in Bezug auf den Ausgang bei Fotodetektoren, die mit
den Lichtleitern LG1–LGn
verbunden sind, deren Enden in Bezug auf das Objekt näher dran
oder weiter weg liegen, können
bei der Kalibrierung der Anlage beseitigt werden oder durch Berechnungen
kompensiert werden. Die Berechnungen basieren auf der bekannten
Distanz zwischen jedem Eingangsende und der normalen Position des
Objekts, wobei man auf das Gesetz der umgekehrten Quadrate zurückgreift.
-
Die Ausgangsenden der Lichtleiter
LG1–LGn
haben ihren Fokus in der Nähe
der dazugehörigen
Fotodetektoren, d. h. der Fotodioden PD 1 – PDn (wie oben in Verbindung
mit 5 beschrieben).
-
Bei einer alternativen Ausführungsform
kann eine separate Linse verwendet werden, um das Ausgangsende jedes
Lichtleiters LG1– LGn
auf seine entsprechende Fotodiode PD1–PDn abzubilden.
-
Außerdem kann eine separate Linse
verwendet werden, um das Beobachtungsfeld auf das Eingangsende jedes
Lichtleiters abzubilden. Wenn dies der Fall ist, kann als separate
Linse eine mit einer großen
numerischen Apertur für
den maximalen Lichteinfang gewählt
werden. Die Tiefe des Feldes und der exakte Fokus sind nicht so
wichtig wie bei einer Kameralinse, die benachbarte Pixel auflösen muss.
Wenn die Linse zu dem Eingangsende der Faser etwas außerhalb
des Fokus liegt, so dass Licht auch außerhalb des Faserendes auftrifft,
so wird dadurch nur die Lichtmenge, die aufgefangen wird, reduziert – die Schärfe des
aufgefangenen Bildes wird dadurch nicht beeinträchtigt. Dagegen ist die Tiefe
des Feldes und der Fokus wichtig bei der Rasterabtastung mit einem
Strahl. Wenn dieser Strahl außerhalb
des exakten Fokus liegt oder wenn der Beobachtungsraum, der abgetastet
wird, nicht in die Tiefe des Feldes des Abtaststrahls fällt, so
wird das aufgenommene Bild verschmiert, da der Lichtfleck, der auf
die Oberfläche
trifft, die abgetastet wird, wesentlich größer sein kann als der Raum
zwischen den Pixeln, der durch den Abstand zwischen Belichtungspulsen
oder Aufnahmeintervallen definiert wird. Das Maximieren der Tiefe
des Feldes macht es erforderlich, dass die numerische Apertur der
Scanneroptik minimiert wird, womit es wichtig wird, eine helle Quelle
zu wählen,
wenn ein hoher Grad an Beleuchtung beibehalten werden soll. Wenn
ein möglichst
heller Fleck erzeugt werden soll, so eignet sich ein Laser als Lichtquelle.
Wenn ein Laser zur Beleuchtung verwendet wird, ist es außerdem möglich, schmalbandige
Lichtfilter (zum Beispiel mit einer Breite von 10 nm) zu verwenden,
um Umgebungslicht auszublenden, während das Abtastlicht, das
aus dem Beobachtungsraum auf die Fotodetektoren trifft, durchgelassen
wird. Derartige Filter können
irgendwo auf dem Lichtpfad zwischen dem Beobachtungsraum und den
Fotodetektoren eingesetzt werden.
-
Bei dem Ausführungsbeispiel können für den Fall,
dass Fotodetektoren als Lichtquelle an einem bestimmten Blickpunkt
eingesetzt werden, wie es in Verbindung mit 4A, 5 und 6 beschrieben wurde, mehrere Faktoren
berücksichtigt
werden, wie zum Beispiel Empfindlichkeit bei bestimmten Wellenlängen, Dynamikbereich
und Frequenzabhängigkeit.
Avalanche-Fotodioden sind im Allgemeinen sehr schnelle Einrichtungen
mit großem
Dynamikbereich und eignen sich auf Grund ihrer sehr hohen Empfindlichkeit
besonders für
die Aufnahme von Hochgeschwindigkeitspulsen bei extrem niedrigen
Lichtintensitäten.
Photomultiplier haben ähnliche
Eigenschaften.
-
Normale Fotodiode, pin-Fotodioden
oder Fototransistoren eignen sich ebenfalls gut für Videoanwendungen,
sind aber weniger geeignet bei extremen Hochgeschwindigkeitspulsen
und extrem niedrigen Lichtintensitäten. Alle Festkörperfotodetektoren
verlieren mit größer werdender
Fläche
(und damit Kapazität)
ihre Hochfrequenztauglichkeit. Obwohl es am einfachsten scheint,
einen Standpunkt für
die Lichtquellen durch Anordnen der fotoempfindlichen Vorrichtung
an der gewünschten
Position und Vergrößern der
Fläche
bis zur Gleichheit mit der Lichtquelle, die ersetzt wird, zu simulieren,
macht der Verlust an Hochfrequenzempfindlichkeit und die Zunahme
an Hintergrundrauschen (auf Grund der größeren Fläche) diesen Ansatz bisweilen
unmöglich.
-
Zum Beispiel kann man jedoch eine
Linse einsetzen, um den abgetasteten Beobachtungsraum auf die fotoempfindliche
Vorrichtung abzubilden. Dadurch wird die gesammelte Energie erhöht, bis
sie so groß ist
wie diejenige, die über
die gesamte Fläche
der Linse aufgefangen wird, ohne dass die Fläche des Fotodetektors (mit
all den entsprechenden Nachteilen) vergrößert werden muss. Bei manchen
Anwendungen kann alternativ eine nicht abbildende Vorrichtung wie
zum Beispiel ein konischer Lichtleiter anstelle einer Linse eingesetzt
werden. Unter bestimmten Einschränkungen
ist der Gewinn mit einem konischen Lichtleiter gleich der Eingangsfläche, dividiert
durch die Ausgangsfläche
am Fotodetektor. Wenn man versucht, einen zu hohen Gewinn zu erzielen,
so treten die Ausgangsstrahlen nahezu parallel zu der Fotodetektoroberfläche hin
aus, und auf Grund der Fresnel-Beziehung werden sie von dem Fotodetektor
eher reflektiert als absorbiert.
-
Kalibrierung: Das Ausführungsbeispiel
in 5 und 6 kann kalibriert werden durch Abtasten
eines flachen weißen
Objekts und Normalisieren des Ausgangs jeder Fotodiode PD1–PDn in
Bezug auf die anderen. Die Konekturwerte für die Nonnalisierung können dann
in einer Tabelle in dem Speicher abgelegt werden, auf den der Mikroprozessor 503 zugreifen
kann, und sie können
bei der Bildverarbeitung verwendet werden. Obgleich ein Wert für jede Belichtungsposition
bei der Rasterabtastung aufgenommen werden kann, ist es unter Umständen lediglich
notwendig, eine kleine Teilmenge dieser Information abzuspeichern,
da die Korrekturwerte im Allgemeinen sehr langsam über das
Beobachtungsfeld variieren.
-
Zusammengesetzte Bilder: Wenn ein
spiegelndes Objekt eine gekrümmte
oder mehrflächige
Oberfläche
aufweist, so gibt es unter Umständen
kein individuelles Bild, das aufgenommen wurde und das verwertbare
Daten enthält,
durch das das ganze Objekt abgedeckt wird. Aus diesem Grund weisen
die Ausführungsformen
Einrichtungen für
den Mikroprozessor 503 auf, um die "besten" Abschnitte (d. h. die Abschnitte mit
dem höchsten
Informationsgehalt) jedes der Bilder, die von jedem Blickpunkt aus
erzeugt wurden, zu verbinden, um ein zusammengesetztes Bild zu erzeugen.
Das Flussdiagramm in 7A zeigt
ein Beispiel für
den Prozess, der von dem Mikroprozessor 503 beim "Verbinden" eines Bildes ausgeführt wird.
-
Nach diesem Beispiel für einen
Prozess werden äquivalente
Bereiche jedes Bildes (entsprechend den geografisch identischen
Teilbildern) miteinander verglichen (Schritt 710). Da der "nützliche" Abschnitt eines Beobachtungsraums im
Allgemeinen der Teil mit der höchsten
Entropie sein wird, wird in der Praxis der Abschnitt mit der größten Änderung
oder "den meisten
Einzelheiten" als
Teilbild mit der höchsten
Entropie (für
die gesuchte Bildinformation) ausgewählt und im Speicher abgelegt
(Schritt 720).
-
Eine Art zum Bestimmen der Entropie
bei jedem Teilbild besteht darin, jedes Teilbild durch einen 2D-Hochpass-Raumfrequenzfilter
zu schicken und dann jeden sich ergebenden Pixelwert zu quadrieren. Wenn
gewünscht,
kann jedes Pixel mit einem Schwellenwert verglichen und auf null
gesetzt werden, wenn es unter dem Schwellenwert liegt (um Pixel
mit Rauschen zu eliminieren). Die Pixelwerte im Teilbild können dann aufsummiert
werden, um einen Wert für
die Entropie des Teilbildes zu erhalten.
-
Wenn bestimmte Eigenschaften des
Teilbildes vorher bekannt sein sollen, wie zum Beispiel die spezifische
Frequenz oder Teilung, die bei einem zweidimensionalen Strichcode
gegeben ist, so kann das Teilbild anstelle oder zusätzlich zu
dem genannten Hochpassfilter durch ein entsprechendes Bandpassraumfilter
geschickt werden.
-
Dieser Prozess in 7A wird fortgesetzt, bis alle Teilbilder
berücksichtigt
worden sind (Schritt 730). Ein neues zusammengesetztes
Bild wird dann erzeugt (durch Zusammenfügen der ausgewählten Teilbilder) (Schritt 740),
das am besten die Einzelheiten oder die Struktur des Musters oder
des Objekts, das untersucht wird, wiedergibt.
-
In dem Ausführungsbeispiel ist das Zusammenfügen einfach,
da keine perspektivische Störung
vorliegt, die sich auf Grund ändernder
Blickpunkte ergibt. Daten, die zu demselben Zeitpunkt an jedem Beobachtungspunkt
aufgenommen werden, werden fast immer von demselben beleuchteten
Fleck oder "Pixel" stammen. Gelegentlich
kann Licht über
Mehrfachreflektionen aufgefangen werden, aber dies wird die Ausnahme sein.
-
Wie der Fachmann erkennen wird, kann
es jedoch notwendig werden, die ausgewählten Teilbilder aufeinander
abzustimmen. Als Beispiel nehme man an, dass die Bilder durch N × M-Bit-Matrizen dargestellt
werden, wobei eine "1" hell bedeutet und
eine "0" dunkel bedeutet.
Wenn ein Hellfeldteilbild und ein Dunkelfeldteilbild aneinandergesetzt
werden, so wird jedes Bit in einem der Teilbilder, zum Beispiel
im Dunkelfeldteilbild, einer XOR-Operation mit einer "1" unterworfen, um in dem Teilbild "die Bits umzudrehen", um es an das Hellfeldteilbild
anzupassen. Tatsächlich
wird das Dunkelfeldteilbild in ein äquivalentes Hellfeldteilbild
konvertiert. Natürlich
kann das Hellfeldteilbild auf ähnliche
Art in ein äquivalentes
Dunkelfeldteilbild konvertiert werden.
-
Obgleich das zusammengesetzte Bild,
das, wie in Verbindung mit 7A beschrieben,
erzeugt wurde, verarbeitet werden kann, um Kanten dazustellen, kann
ein zusammengesetztes Kantenbild oder ein zusammengesetztes Gradientenbild
auch direkt aus den individuellen Bildern von jedem der Fotodetektoren
erzeugt werden.
-
7B ist
das Flussdiagramm eines Beispiels für einen Prozess zum Ableiten
des direkt aus dem individuellen Bild zusammengesetzten Gradientenbildes.
Der Gradient wird wie folgt berechnet:
-
Im Schritt
710B wird dementsprechend
df/dx (für
jede der BildMatrizen P
1–P
S von
den Fotodetektoren) aus der Faltung jeder Bildmatrix P
1–P
S mit der horizontalen Sobel-Maske h
H (d. h. der Sobel-Kern, der empfindlich
auf die vertikalen Kanten ist) abgeleitet:
-
Damit wird
für jede Bildmatrix berechnet
(Schritt
710B).
-
Als nächstes wird im Schritt
720B df/dy
für jede
der Bildmatrizen P aus der Faltung jeder Bildmatrix P
1–P
S mit der vertikalen Sobel-Maske h
v (d.
h. der Sobel-Kern, der auf horizontale Kanten empfindlich ist) abgeleitet:
-
Damit wird
für jede Bildmatrix berechnet
(Schritt
720B).
-
Der diskrete Gradient bei der Bildkoordinate
i, j wird dann für
jede Bildmatrix q
h (i,j) bestimmt, und zwar wie
folgt:
-
Schließlich werden die Gradientenmatrizen
g
t (i, j) entsprechend den Bildmatrizen
P
1–P
S zusammengezählt, um eine zusammengesetzte
Gradientenbildmatrix G zu erzeugen:
-
Das zusammengesetzte Gradientenbild
kann optional mit Schwellenwerten getestet werden (Schritt 750B).
-
Reflektivität: Der Vektor der relativen
Lichtwerte, die bei jedem Pixel oder jedem Bereich, der beleuchtet
wird, gesammelt werden (d. h. ein Wert für jede Fotodiode PD1–PDn in 5), ist ein Mittel, um die
Reflektivitätseigenschaften
(z. B. die Oberfläche
ist spiegelnd oder matt) von Punkten oder Bereichen des Objekts oder
Musters, die belichtet worden sind, zu bestimmen.
-
Für
jeden Vektor oder relativen Lichtwert, der bei jedem Pixel aufgenommen
wurde, kann beispielsweise folgendes durch den Prozessor 503 oder
eine externe Schaltung (nicht dargestellt) ermittelt werden:
- 1) die Anordnung des Fotodetektors, der das
größte Signal
erzeugt, sowie seine Signalamplitude (die Signalamplitude kann verwendet
werden als Refernz, und die Anordnung kann verwendet werden zum
Bestimmen der Orientierung des Punktes, der dem Pixel auf der Objektoberfläche entspricht);
- 2) die gesamte (relative) Energie, die empfangen wurde (berechnet
durch beispielsweise das Zusammenzählen der Intensitätswerte,
die durch jedes der Signale dargestellt werden, die durch die Fotodetektoren als
Ergebnis der Erfassung von Licht erzeugt werden);
- 3) der Signalamplitudenmittelwert als Anteil des Referenzwertes;
- 4) die mittlere Signalamplitude als Anteil des Referenzwertes;
- 5) der Abstand von dem Referenzsensor (bei einer gegebenen Konfiguration
ist die Anordnung jeder der Sensoren bekannt, und damit kann der
Abstand einfach berechnet werden), der durchlaufen werden muss, um
einen signifikanten Anteil der Gesamtenergie, die empfangen wurde,
zu erhalten (z. B. der Anteil der Gesamtzahl der Detektoren, die
fast die gesamte Energie auffangen) – (dies kann berechnet werden
beispielsweise durch Addieren der größten Signale in Reihenfolge
ihrer Größe – die größten zuerst – , bis
der Gesamtwert ein vorgegebener prozentualer Anteil der Gesamtenergie
ist, die von dem System aufgefangen wird, und Bestimmen, wie viele
der Signale addiert wurden);
- 6) die Standardabweichung der aufgefangenen Energie und
- 7) das Verhältnis
des größten Elements
des Vektors (d. h. des größten Lichtintensitätswertes)
zu dem kleinsten.
-
Aus den oben aufgelisteten Berechnungen
können
die Reflektionseigenschaften abgeleitet werden. Wenn beispielsweise
ein Punkt auf einem Objekt stark spiegelt (in idealem Sinne), würde ein
Fotodetektor die gesamte (oder den größten Teil der) reflektierten
Lichtenergie erfassen. Wie in 8 gezeigt,
bestrahlt beispielsweise ein Scanner 810 einen Punkt 820 auf
einer Oberfläche
eines Objektes 830. Wenn das Objekt an dem Punkt 820 spiegelt,
wird die Intensität
des reflektierten Lichtes, das durch eine der Fotodioden (in diesem Fall
Fotodiode PD2) erfasst wird, wahrscheinlich hier viel größer sein
als das Licht, das durch die benachbarten Fotodioden (hier Fotodiode
PD1 und PD3) erfasst wird. Wenn der Vektor der Lichtintensitätswerte
zu der Beleuchtung des Punktes 820 aus ungefähr gleichen
Werten besteht (bis auf den Cosinus-Abfall mit dem Winkel), so ist
die beleuchtete Oberfläche
diffus oder matt.
-
Dementsprechend ergeben sich die
Reflektionseigenschaften aus allen Werten, die in Verbindung mit 1)
bis 7) oben berechnet worden sind. Jedoch sind nicht alle Werte
notwendig, um die Reflektionseigenschaften abzuleiten. Beispielsweise
kann der Wert, der für
den Punkt 5 berechnet wurde, d. h. der Anteil der Gesamtzahl
der Detektoren, die fast die gesamte Energie auffangen, ausreichen,
um Spiegelung zu erkennen (z. B. würde Punkt 5 zu sehr
einem kleinen Wert führen).
Wenn der Punkt vollständig
matt ist, so liegen die berechneten Werte bei den Punkten 1, 3 und 4 in
der Amplitude nahe beieinander. Darüber hinaus sind die berechneten
Werte bei den Punkten 6 und 7 klein.
-
Da die Reflektionseigenschaften zu
einem Punkt in den berechneten Beziehungen der Werte in dem Vektor
enthalten sind (wie beispielsweise in den Punkten 1 bis 7 oben
ausgeführt),
kann der Umfang der Information, die abgespeichert und verarbeitet
werden muss, um diese Eigenschaften ausreichend zu beschreiben, erheblich
reduziert werden. Anstelle jedes Element des Vektors abzuspeichern
(jedes Element, das einem Fotodetektor entspricht), ist es nur mehr
notwendig, eine Teilmenge der Werte abzuspeichern, die den berechneten
Eigenschaften des Vektors entsprechen. Unter bestimmten Umständen liefert
das Aufnehmen der Punkte 1, 5 und 6 (oben)
für jeden
abgetasteten Punkt (wie von dem Vektor der Lichtintensitätswerte
zu diesem Punkt abgeleitet) ausreichend Information, um die Reflektivität abzuleiten.
Dies kann Pixel für
Pixel erfolgen.
-
Unter anderen Umständen ist
es eventuell nur notwendig, ein einziges Bild bei jedem Eingangsvektor je
nach Entscheidung, die auf Grund von Vektordaten getroffen wird,
abzuspeichern, eine "1" für Spiegelung und
eine "0" für nicht
spiegelnd etc. Die Daten, die notwendigerweise behalten werden müssen, hängen von der
speziellen Anwendung ab.
-
Vorbereitungsschaltung: Wenn man
eine Reduzierung in Bezug auf Umfang der aufgenommenen Daten wie
oben beschrieben wünscht,
so muss der Eingangsvektor zwischen der Belichtung von benachbarten Pixeln überprüft oder
vorbereitet werden. Dementsprechend kann eine speziell ausgelegte
Hardware verwendet werden, um sicherzustellen, dass die erforderliche
Verarbeitung im Zeitintervall zwischen Pixeln erfolgen kann. Eine
derartige, speziell ausgelegte Verarbeitung kann mit paralleler
Architektur oder gemischter analoger und digitaler Verarbeitung
erfolgen, um die notwendige Geschwindigkeit zu erreichen. Der Abschnitt
des Systems, der mit gestrichelten Linien 511 in 5 dargestellt ist, kann
durch eine solche Vorbereitungs-Hardware ersetzt werden.
-
11 zeigt
ein Ausführungsbeispiel
für die
Vorbereitungs-Hardware.
Wie dargestellt, werden die Signale von jedem der Log- Verstärker A1–An in 5 den entsprechenden Analog-Digital-Wandlern (AD-Wandler)
A/D1–A/Dn
zugeführt,
wo die analogen Signale in digitale 8-Bit-Signale umgewandelt werden.
Die digitalen Signale von den AD-Wandlern A/D1 bis A/Dn (jedes digitale
Signal stellt ein Vektorelement dar) werden parallel an den Logikschaltkreis 1101 angelegt,
der das größte digitale
Signal identifiziert und extrahiert.
-
Die Einzelheiten des Logikschaltkreises 1101 sind
nicht dargestellt, da es viele verschiedene Arten gibt, ihn aufzubauen.
Beispielsweise kann das höchste
Bit jedes Vektorelements geprüft
werden. Elemente mit "0" an dieser Position
können
von der weiteren Betrachtung ausgeschlossen werden, wenn eines der
anderen Elemente eine "1" an derselben Position
aufweist. Dies kann für
jede Bitposition wiederholt werden, eine nach der anderen, bis auch
das niedrigste Bit der Elemente untersucht worden ist. Zu diesem
Zeitpunkt bleibt nur das größte der
Elemente übrig.
Obgleich dies als sequenzieller Prozess durchgeführt werden kann, kann es von
Vorteil sein, diese Operation (Schaltkreis 1101) als Parallelprozess
zu implementieren, indem eine verdrahtete Logik (beispielsweise
PAL, ASIC etc.) verwendet wird, um Hochgeschwindigkeitsoperationen
durchführen
zu können.
Wenn man auf zusätzliches Öffnen bei
dem Logikschaltkreis 1101 zurückgreift, so kann ein Prozessor 1102 irgendeines
der Vektorelemente adressieren, um den Logikschaltkreis 1101 als
Demultiplexer oder Auswahlschalter zu nutzen.
-
Das Element, das als das "größte" (d. h. als "Referenz"-Wert) ausgewählt wird,
kann jetzt verwendet werden, um die anderen Vektorelemente zu normalisieren.
Da die Vektorelemente Log-Funktionen
sind (für den
Fall, dass die Verstärker
A1–An
Log-Verstärker sind),
erreicht man eine Normalisierung durch Verwendung digitaler Subtraktionsschaltkreise
DS1–DSn.
Insbesondere werden die digitalen Signale der AD-Wandler A/D1– A/Dn an
den positiven Eingang der entsprechenden Subtraktionsschaltkreise
DS1–DSn
angelegt, wo das "größte" Vektorelement von
dem Logikschaltkreis 1101 von jedem abgezogen wird. Das
Ergebnis ist eine negative Zahl für jedes der Elemente (außer natürlich für jedes
Element, das gleich dem "größten" Vektorelement sind),
die proportional zu dem Log des Verhältnisses von jedem Element
zu dem Referenzwert ist.
-
Als nächstes fragt der Prozessor 1102 die
Werte der Elemente ab, um schnell festzulegen, welche Werte der
Elemente größer als
ein bestimmter Anteil an der Energie des Referenzwertes sind. Wenn
der Prozessor die Zahl der Elemente festlegen soll, deren Leistung
beispielsweise wenigstens 1/e**2 des Referenzwertes beträgt, so wird
jedes der Signale, das von den digitalen Subtrahierern DS1– DSn ausgegeben
wird, an den positiven Eingang der entsprechenden digitalen Subtraktionsschaltkreise
DSS1–DSSn
angelegt, und Log (1/e**2) 1103 wird davon subtrahiert. Die Elemente,
die eine höhere
Leistung als 1/e**2 des Referenzwertes haben, erzeugen einen positiven
Wert am Ausgang der entsprechenden Subtraktionsschaltkreise DSS1–DSSn. Die
Elemente mit einer niedrigeren Leistung erzeugen einen negativen
Wert an dem Ausgang der entsprechenden Subtraktionsschaltkreise
DSS1– DSSn.
-
Die Signale von den digitalen Subtraktionsschaltkreisen
DSS1– DSSn
werden an entsprechende Vorzeichenfunktions- (SGN-) Schaltkreise
SGN1–SGNn
angelegt, von denen jeder ein hohes oder positives Signal ausgibt,
wenn das Eingangssignal positiv ist, und ein niedriges oder negatives
Signal ausgibt, wenn das Eingangssignal negativ ist. Die Signale,
die von den SGN-Schaltkreisen
SGN1 – SGNn
ausgegeben werden, werden an den Prozessor 1102 übermittelt.
Ein Prozessor (d. h. Prozessor 1102) mit einem n-Bit-Wort
kann daher identifizieren, welcher der n Elementwerte einen bestimmten
Anteil der Referenzleistung übersteigt.
-
Mit der oben beschriebenen Hardware
ist es möglich,
einen neuen Vektor mit weit weniger Datenbits zu erzeugen, als die
Zahl der Bits in dem ursprünglichen
Vektor beträgt,
und immer noch ausreichend Information zu haben, um die Bildverarbeitung
oder andere automatische Bildoperationen über Kenntnis der Reflektionseigenschaften
der einzelnen Pixel zu verbessern.
-
Das Diagramm nach 12 zeigt eine Weiterentwicklung in Bezug
auf die Vorbereitungsschaltung nach 11.
Insbesondere ersetzt die Logikschaltung nach 12 den Logikschaltkreis 1101.
Wie gezeigt, werden die analogen Signale von den Verstärkern A1–An in 5 mit Diodennetzen OP1–OPn an
die entsprechenden Hochgeschwindigkeitsoperationsverstärker ("OP-Verstärker") angelegt. Die OP-Netze
OP1–OPn entsprechen
den größten Signaleingängen von
den Verstärkern
A1–An
und erzeugen ein positives Ausgangssignal. Das restliche Netz OP1–OPn erzeugt
ein negatives Ausgangssignal.
-
Die Signale der Netze OP1–OPn werden
an die entsprechenden Komperatoren C1–Cn angelegt, die die positiven
Signale in "1"-Werte und die negativen Signale in "0"-Werte umwandeln. Diese Signale werden dann
an einen ersten Anschluss von entsprechenden NAND-Abtastgattern
N1–Nn
angelegt.
-
Ein negativer Puls 1201 setzt
die Latch-Gatter 1202 vor jedem Belichtungspuls zurück. Dieser
Puls wird außerdem
durch den Inverter 1203 (nach einer Verzögerung)
invertiert und an jedem der zweiten Anschlüsse der NAND-Gatter N1–Nn angelegt.
Die Signale, die von jedem NAND-Gatter N1–Nn ausgegeben werden, werden
parallel an die Latch-Gatter 1202 angelegt, die die angelegten
Signale verriegeln. Die Signale von den Latch-Gattern 1202 werden
dann an einen Auswahlschalter 1204 angelegt, um das geeignete
Signal (d. h. das größte Signal)
aus den von den A/D1–A/Dn
empfangenen Signalen auszuwählen.
Das ausgewählte Signal
wird dann am Ausgangsanschluss 1205 ausgegeben und kann
anschließend
als Referenzsignal (wie oben in Verbindung mit 11 beschrieben) verwendet werden.
-
2D-Strichcode: Das Bestimmen der
Reflektionseigenschaft bei jedem Punkt auf einer Oberfläche ist besonders
nützlich
bei einer automatischen Überwachungsanwendung
wie dem zweidimensionalen Lesen ("2-D")
von Strichcodes und Datenmatrixsymbolen (wie beschrieben in den
US-Patenten 4 939 354 und 5 053 609). Strichcodes und Datenmatrixsymbole
werden üblicherweise
auf einem Teil dadurch erzeugt, dass die lokalen Reflektionseigenschaften
verändert
werden, und zwar durch Lasermarkierung, Sandstrahlen, Stoßhämmern oder
andere Arten. Bei dem Ausführungsbeispiel
analysiert der Prozessor 503 die Information, die abgespeichert
wurde, indem jeder Punkt erfasst wird (z. B. Punkt 1, 5 und 6 oben)
und eine zweidimensionale Bitmatrix erzeugt wird, die die abgeleiteten
Reflektionseigenschaften zu jedem Punkt darstellt, der auf der Objektoberfläche beleuchtet
worden ist. 9 zeigt
einen Abschnitt der erzeugten Matrix 910, durch den ein
sandgestrahltes Datenmatrixsymbol auf einer spiegelnden Oberfläche dargestellt
wird (beispielsweise auf rostfreiem Stahl). Hier wird durch eine "1" identifiziert, dass der entsprechende
Punkt auf der Objektoberfläche
stark reflektiert oder spiegelt, während durch eine "0" identifiziert wird, dass der Punkt
matt ist. Durch Analysieren dieser Matrix 910 kann der
Prozessor leicht das zweidimensionale Datenmatrixsymbol decodieren.
-
Oberflächenorientierung: Der Vektor
der relativen Lichtwerte, die für
jedes Pixel erfasst wurden, ist außerdem ein Mittel, um die Oberflächenorientierung
der Punkte oder Bereiche abzuleiten, die auf dem Objekt oder Muster
belichtet worden sind. Wie in 8 dargestellt,
kann die Normale auf der Oberfläche
an dem Ort durch Beobachtung, welche Fotodiode die höchste Intensität des reflektierten
Lichts erfasst, bestimmt werden, da bei in der Nähe liegenden Orten der Lichtquelle 810 die
Fotodioden PD1–PD3
und das Objekt 830 bekannt sind.
-
2D- und 3D-Bilder: Dem Fachmann wird
klar sein, dass die vorliegende Erfindung angewendet werden kann,
um gleichzeitig mehrere 2D-Bilder eines Objektes zu erzeugen, gleichzeitig
mehrere dreidimensionale (3D) Bilder eines Objekts zu erzeugen und gleichzeitig
sowohl 2D- als auch 3D-Bilder eines Objektes zu erzeugen. Eine 3D-Abbildungstechnik
(zum Erzeugen eines einzelnen 3D-Bildes) wird in
US 4 957 369 , Antonsson, beschrieben.
-
Tragbarer Scanner: Es ist nicht notwendig,
die Fotodetektoren und die Lichtquelle im selben Gehäuse unterzubringen,
obgleich bei bestimmten Anwendungen ein gemeinsames Gehäuse wünschenswert
sein kann. Ein gemeinsames Gehäuse
enthält
alle optischen Scan- und Fotoerfassungseinrichtungen in einem leicht
zu handhabenden Gehäuse
und sorgt für
eine bekannte und feste geometrische Beziehung zwischen Lichtquelle
und verschiedenen Fotodetektoren. Diese feste Relation ist nützlich für die Berechnung
von Entfernungen mittels Triangulation und für die Berücksichtigung der Distanz und
des Winkels, wenn Reflektionseigenschaften bestimmt werden sollen.
Die Fotodetektoren können
positionsempfindliche Einrichtungen mit mehreren Ausgängen sein,
wobei ein Signalverhältnis
den Winkel angibt und die Summe der Signale die Lichtwerte angibt,
wie es in US 4 957 369, Antonsson, offenbart ist. Jedoch kann es
bei tragbaren Handgeräten
von Vorteil sein, physikalisch die Funktionen zu trennen, so dass
die Laserscanfunktion vom Nutzer gehalten wird und so klein und
leicht wie möglich
gemacht wird. Die Fotodetektoren und die Verarbeitungsausrüstung können über den
Raum oder den Arbeitsbereich verteilt sein, in welchem der Handscanner
verwendet wird. Die meisten der Fotodetektoren sollten jedoch gegenüber dem
Bereich des Objektes nicht abgeschattet sein, das mit dem Lichtfleck
abgetastet wird.
-
Das Objekt kann sich in einem großen Abstand
von dem Handlaser-Scanner
befinden, solange der Laserspot auf der Objektoberfläche ausreichend
gut fokussiert bleibt. Es gibt viele Arten, in denen der Fokus beibehalten
werden kann. Die einfachste Art ist es, normale Autofokustechniken
wie bei Kameras einzusetzen, wie zum Beispiel Ultraschalleinstellung,
Detailmaximierung, Entfernungseinstellung etc. Diese bekannten Systeme
können
in den Handscanner eingebaut werden. Alternativ kann der Scanner 500 eine
eigene interne Lichtquelle (AC oder gepulst) aufweisen, die als
Ziel für
zwei Fotodetektoren auf bekannter Basislinie verwendet wird. Dies
macht es möglich,
dass das System die Anordnung des Handscanners in Bezug auf die
bekannte Basislinie nachverfolgt. Da die Lokalisierung des Scanners
und des Ziels (durch Nachverfolgung des Lichtflecks auf der Objektoberfläche) erfolgt,
kann der Prozessor 50 den Bereich zwischen dem Scanner und dem Ziel
berechnen und diese Information verwenden, um die Optik in dem Scanner
einzustellen, so dass der Fokus beibehalten wird.
-
Andere alternative Ausführungsformen:
Obgleich die vorliegende Erfindung mit Bezug auf die Ausführungsbeispiele
gezeigt und erläutert
wurde, ist es dem Fachmann klar, dass verschiedene Änderungen
in Bezug auf Form und Einzelheiten vorgenommen werden können, ohne
den Umfang des Schutzes der Erfindung zu verlassen, der definiert
wird durch die beigefügten
Ansprüche.