DE60204292T2

DE60204292T2 - Automatisches überwachungsystem für einen patient und seinen krankenpfleger

Info

Publication number: DE60204292T2
Application number: DE60204292T
Authority: DE
Inventors: Srinivas Gutta; Eric Cohen-Solal; Trajkovic Miroslav
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-03-15
Filing date: 2002-02-21
Publication date: 2006-03-16
Anticipated expiration: 2022-02-22
Also published as: ATE296473T1; EP1371042B1; WO2002075687A2; KR20030001504A; DE60204292D1; US6968294B2; JP2004531800A; EP1371042A2; US20020169583A1; WO2002075687A3

Description

Die vorliegende Erfindung bezieht sich auf Anordnungen, die ein Alarmsignal erzeugen, wenn Umstände, die einen Kranken, einen Säugling oder ein Kind, oder eine andere Person oder einen Wärter derselben dies rechtfertigen.
Fernsicherheitsüberwachungssysteme, bei denen eine Videokamera ein einen bestimmten Gegenstand oder ein bestimmtes Gebiet eingestellt ist und von einem ausgebildeten Beobachter überwacht wird, sind an sich bekannt. Auch Säuglings- und Kindermonitoren, die Audiosignale zu einem zu einem tragbaren Empfänger übertragen, sind auf dem Markt erhältlich. Diese Anordnungen erfordern aber ständige Aufmerksamkeit um Schutz für das betreffende Subjekt oder Gebiet, wie einen Säugling oder ein Kind, bieten zu können.
Automatisierte Säuglings- oder Kindermonitoren wurden bereits vorgeschlagen, die beispielsweise eine Schlaflage eines Kindes überwachen um plötzlichen Kindstod (SIDS) zu vermeiden. Ein Annäherung, vorgeschlagen in dem US Patent Nr. 5.864.291, benutzt einen Atemsensorgurt um den Oberkörper eines Kindes um das Atmen zu detektieren. Ein anderes Patent (US Patent Nr. 5.638.824) schlägt vor, einen Ultraschallsensor zu verwenden und das US Patent Nr. 5.914.660 beschreibt Lagensensoren zu demselben Zweck. Die Automatisierung in diesen Typen von Monitoren schafft aber nur einen geringen Gebrauch für Säuglinge, die aus anderen Gründen bekümmert sind als einen Atmungsfehler oder Schlafen in einer erwarteten Lage. Auch kann das Alarmsignal falsche Zeichen geben und hilft nur wenig beim Diagnostisieren des Grundes der Qual.
Ein überwachter physikalischer und emotioneller Zustand einer Person kann durch einen Computer für medizinische diagnostische Zwecke bestimmt werden. So beschreibt beispielsweise das US Patent Nr. 5.617.855, durch Bezeichnung als hierin aufgenommen betrachtet, ein System, das Kennzeichen des Gesichtes und der Stimme zusammen mit dem Elektroenzephalogramm und anderen diagnostischen Daten klassifiziert um eine Diagnose stellen zu können. Die Anordnung ist auf den Bereich der Psychiatrie und Neurologie abgezielt. Diese und andere derartige Anordnungen sind aber nicht gemeint zum Überwachen von Personen in ihrer normalen Umgebung.
In noch einem anderen Anwendungsbereich detektieren Maschinen automatisch das Vorhandensein eines Wohnungsinhabers oder spezifische Merkmale des Inhabers zwecks Maschinenautorisierung und Authentifizierung oder Bequemlichkeit. Dazu benutzen einige bekannte Systeme biometrisches Abtasten, Annäherungsdetektoren, Funkfrequenzidentifikationsanhänger oder andere Anordnungen.
EP 0716402B1 beschreibt ein Verfahren zum Detektieren der Anzahl Menschen, die in einen Zug einsteigen oder in einen anderen Raum eintreten, und zwar unter Verwendung von IR-Sensoren und Fuzzy-Folgerungstechniken. Wenn die Anzahl Menschen außerhalb gewünschter Grenzen oder außer Gleichgewicht ist, kann das System dazu Anweisungen erzeugen, die zu Anordnungen gekoppelt werden können um die Umstände zu korrigieren.
UK 2027312A beschreibt ein Verfahren zum Detektieren der Bewegung von Fischen unter Verwendung von IR-Kameras, die ein Standard-Videosignal erzeugen.
US 452443 beschreibt ein System, wobei ein Benutzer zu bestimmten Intervallen einen Schalter aktivieren soll. Sollte eine Betätigung ausbleiben, so führt dies zu der Erzeugung eines Inaktivitätsalarm.
US 5905436 beschreibt ein System, wobei das Ausbleiben mehrerer Sensoren in einem Haus, die getriggert werden sollen, zu der Erzeugung eines Signals zu einer zentralen Überwachungsstation führt, die dies angibt. Die Beschreibung bezieht sich auf die Überwachung einer älteren Person, die in diesem Haus lebt.
UK 2179186A beschreibt ein System, wobei, wenn zu einem bestimmten Zeitpunkt keine Bewegung detektiert wird, ein Alarm ausgelöst wird. Es wird eine Warnung gegeben, so dass der Benutzer den Schalter Rückstellen kann.
US 6002994 beschreibt ein System. Wobei Sender, die an strategischen Stellen in einem Haus aufgestellt sind, ausgelöst werden wenn eine Person an dieser Stelle anwesend ist oder einen Sensor, der den Sender auslöst. Das System benutzt auch andere Eingänge, die an Anordnungen und Geräte angehängt sind, von denen erwartet wird, dass der Benutzer sie verwendet. Das System ist trainiert normale Verwendungsmuster zu erkennen. Die Sender übertragen ein Signal zu einem zentralen Monitor, wenn das normale Muster nicht befolgt wird.
In dieser Hinsicht können physiologische Messungen den Blutdruck des Benutzers, den Herzschlag, die Körpertemperatur, das Körpergewicht und den Blutzuckerspiegel umfassen. Nicht-physiologische Messungen können Raumtemperatur, Ammoniak aus verschüttetem Urin, Methan aus verdorbenen Lebensmitteln, das Vorhandensein von Rauch, die Frequenz des Verbrauchs elektrischer Energie, die Frequenz des Verbrauchs von Wasser, die Temperatur des Wassers aus dem Hahn, die Bewegungen des Benutzers innerhalb der selektierten Umgebung, wie durch Bewegungssensoren angegeben, und die Verwendung von Geräten einschließlich Klo, Telefon, Herd, Mikrowellenherd, Toaster, Backofen, Kühlschrank, Gefrierer, Spülmaschine, Bad, Dusche, Müllbeseitingsmittel, Waschmaschine, Wäschetrockner, Briefkasten, Tür und Fahrzeug.
Maschinenidentifikation von Gesichtern ist eine Technologie, die gut entwickelt ist. In GB 234945A für ein System zum Fotografieren oder Erkennen eines Gesichtes identifiziert ein Controller bewegende Gesichter in einer Szene und verfolgt sie um Bilder einzufangen, und zwar genügend um das Gesicht oder bestimmte Merkmale desselben zu identifizieren. So könnte beispielsweise das System ein Alarm auslösen bei der Erkennung einer heruntergezogenen Kappe oder einer Gesichtsmaske in einem Sicherheitssystem eines Juweliergeschäftes.
Nach wie vor gibt es ein Bedürfnis danach, dass ein System, das Personen überwacht, die beobachtet werden sollen, robuster ist, das imstande ist auf subtilere Elemente zu reagieren und das den Beobachtern mehr informative Information erteilt.
Kurz gesagt überwacht ein Alarmsystem Umstände einer Person, die beobachtet werden muss, andere, die diese Person beobachten und die Umgebung dieser Person. Das Alarmsystem erzeugt ein informatives Alarmsignal oder eine Nachricht mit Information über diese Faktoren, damit der Empfänger dieser Nachricht besser versteht, was los ist. In einer Ausführungsform ist das Alarmsignal ein Live-Video- und/oder Audiodarbietung, geliefert von einer Kamera, trainiert auf die zu beobachtende Person. In einer anderen Ausführungsform ist das Alarmsignal ein symbolischer Satz von Daten in Bezug auf den Zustand und die Umstände, der den Alarm auslöst, beispielsweise die Nachricht: "Die zu beobachtende Person in drei Stunden nicht besucht", "20 Minuten lang keine Bewegung detektiert", "Zu atmen aufgehört" oder "Beobachter nicht anwesend". Bei noch anderen Ausführungsformen erzeugt das System Reaktionen um Aktionen zu stimulieren, wie eine Reaktion von einem Beobachter, der in den Räumlichkeiten anwesend ist. Das Alarmsignal kann über Telefonleitung, übers Internet oder über einen drahtlosen Kanal übertragen werden.
Das Gebiet der künstlichen Intelligenz und der Robotik hat zu einer Technologie geführt, die es ermöglicht, dass Maschinen ihre Umgebung beobachten um vordefi nierte Umstände zu erkennen, Fahrzeuge zu steuern und beispielsweise Objekte und ihre Orientierung zu identifizieren. In dem Labor sind Elemente von Systemen, die als autonome Beobachter bezeichnet werden, hergestellt worden, wodurch eine Maschine einem Beobachter in einem Gebiet folgen kann und Fluchtrouten folgt. Andere Applikationen einer ähnlichen Technologie umfassen Videofolgesysteme, die einem Sprecher folgen, der eine Präsentation gibt, und auf Gebärdenbefehle des Sprechers reagieren. Bei Ausführungsformen der vorliegenden Erfindung kann die Technologie von Bild- und Videoerkennung, Audioerkennung und anderen Eingängen angewandt werden um die Umstände einer beobachtungsbedürftigen Person zu Überwachen.
Künstliche Intelligenzgrundlagen (AI) werden von einer Klassifikationsmaschine benutzt, die Video, Audio und/oder andere Eingänge empfängt zum Modellieren einer aktuellen Situation. Wenn Umstände als um Aufmerksamkeit bittend (Notlage) klassifiziert werden, können Video, Audio und andere Daten, die bis zur Notlage gespeichert werden können, sowie Live-Daten zu einem Monitor übertragen werden, und zwar zusammen mit einer Angabe der Klasse, zu der die erkannte Lage gehört. So kann beispielsweise das von einer weinenden, hilfsbedürftigen Person erzeugte Audiosignal als ein "Person weint" Umstand klassifiziert werden, entweder allein oder zusammen mit der Klassifizierung anderer Daten, wie Videodaten der hilfsbedürftigen, weinenden Person. Umstandsklassen für ein geeignetes Monitorsystem können Umstände umfassen wie:

1. Auslösung durch einen Atmungssensor, Bewegungssensor oder Audiosensor, wie bei bekannten Anordnungen,
2. Verzögerung in der Reaktionszeit eines Kindermädchens oder eines Au-Pair-Mädchens oder eines anderen Wärters zu einer hilfsbedürftigen Person,
3. Bewegung (kriechen) der hilfsbedürftigen Person in verbotene Gebiete eines Raumes,
4. plötzliche Bewegung übereinstimmend mit Stürzen, Laufen, normales Gehen, Kriechen, usw.,
5. Fehlen einer normalen Bewegung, wie eine schnelle Bewegung, wie das Abholen eines Säuglings oder eines Kindes zu einem Zeitpunkt anders als der vorher definierte Zeitpunkt,
6. Anwesenheit der hilfsbedürftigen Person oder anderer Personen in einem Raum
7. Konsistenz der Kleidung, von Gesichtsmerkmalen usw. des Inhabers eines Raumes während der ganzen Zeitperiode,
8. Laute Töne, normale Töne und ungewöhnliche Töne auf Basis der Signatur des Tones,
9. Ortung der Tonquelle,
10. Anwesenheit an nicht erlaubten Stellen,
11. Anwesenheitsmuster, beispielsweise ob der Wärter ungewöhnliche Zeitabschnitte nicht bei der hilfsbedürftigen Person anwesend ist oder ob der Wärter ungewöhnliche Zeitabschnitte in einem bestimmten Raum verweilt,
12. Muster übereinstimmend mit Beschädigung des Überwachungssystems,
13. Stimmensignatur nicht befugter Besetzer oder nicht erkannte Stimmensignaturen,
14. Körperhabitus und Physiognomie von Besetzern,
15. Zustand des Sicherheitssystems in dem Raum,
16. unerkannte Objekte in besetzten Räumen oder erkannte Objekte, die verlagert worden sind oder an unerwarteten Stellen gefunden wurden,
17. Temperatur, Feuchte, Tonpegel, oder andere Umgebungsvariablen außerhalb des normalen Bereichs,
18. Defekt zum Detektieren des Gesichtes eines Wärters über dem Kinderbett während eines bestimmten Intervalls und
19. Anwesenheit eines nicht erkannten Gesichts- oder Körpermusters.

Der Umstand, der eine Alarmsituation auslöst kann einfach sein, wie bekannte Sensoren, die das Atmen oder Weinen überwachen, oder es können komplexere sein, die mehr Eingänge in ein Netzwerk integrieren um Entscheidungen zu treffen, wie zu dem Alarmzustand. Derartige Netzwerkanordnungen können Klassifizierer in Form neuraler Netzwerke, Bayesian-Netzwerke und anderer Techniken für Maschinenerkennung physikalischer Objekte und Verhalten. Das Angebot auf diesem Gebiet ist groß und wächst ständig und es lässt sich erwarten, dass verbesserte Mittel zum Implementieren der vorliegenden Erfindung ständig verfügbar werden. Vorzugsweise ist die Klassifizierungsmaschine trainierbar, so dass man sich nicht nur auf vordefinierte Vorlagemuster für Musterübereinstimmung zu verlassen braucht. Das System kann mit der Fähigkeit versehen sein, dass ein simulierter Dialog erzeugt wird um Hilfe zu leisten beim Training, wie Befragung eines Besetzers, aus einer Anzahl Situationsklassen in einem zu der betreffenden Zeit überwachten Raum zu wählen, wenn der Besetzer den überwachten Raum beobachten kann.
In einer Ausführungsform kann die vorliegende Erfindung auch einen simulierten Dialog mit einer maschinenerzeugten Rolle benutzen, wie in dem nachfolgenden Bezugsmaterial beschrieben, die je durch Bezeichnung als hierin aufgenommen betrachtet werden:

– US Patent Nr. 09/699.606 für eine umgebungsreaktive Benutzerschnittstelle/Unterhaltungsanordnung, die eine persönliche Interaktion simuliert;
– US Patent Nr. 09/686.831 für virtuelle Kreaturen, wiedergegeben an einem Fernsehschirm; und
– US Patent Nr. 09/699.577 Für eine Benutzerschnittstelle/Unterhaltungsanordnung, die eine persönliche Interaktion und Reaktionen auf den mentalen Zustand eines Besetzers und/oder Persönlichkeit reagiert.
– US 5 505 199 beschreibt einen SIDS-Monitor, wobei das überwachte Ereignis ein Alarmsignal erzeugt, das ein überwachtes Signal umfasst.

Die Rolle kann in Reaktion auf einen bestimmten Umstand (mehrdeutige Klassifzierung bestehender Umstände oder gerade auf einer beliebigen oder Intervall-Zeitbasis) Information von Besetzern anfragen über die aktuellen Umstände. Die empfangene Rückkopplung kann von der Klassifizierungsmaschine benutzt werden um die übrig gebliebenen Umstände zu folgern und/oder zu einer verantwortlichen Partei weitergeleitet werden, und zwar zusammen mit anderer Information über die Umstände.
Die oben stehenden Applikationen beschreiben auch den Gegenstand der Klassifizierung einer eichen Anordnung mit Eingängen um Entscheidungen über Bewohner zu machen.
Die vorliegende Erfindung wird im Zusammenhang mit bestimmten bevorzugten Ausführungsformen beschrieben, und zwar anhand der nachfolgenden illustrativen Figuren, so dass es völlig verstanden werden kann. Anhand der Figuren wird hervorgehoben, dass die dargestellten Angaben als Beispiel gelten und nur zur Erläuterung der bevorzugten Ausführungsformen der vorliegenden Erfindung dargestellt sind und dargeboten werden um zu schaffen, was als die nützlichste und am leichtesten zu verstehende Beschreibung der Grundlagen und Konzeptaspekte der vorliegenden Erfindung ist. In dieser Hinsicht wird nicht versucht strukturelle Einzelheiten der vorliegenden Erfindung detaillier ter zu zeigen als notwendig ist für ein Basisverständnis der vorliegenden Erfindung, wobei durch die Beschreibung der Zeichnung dem Fachmann einleuchten dürfte, dass es viele Formen der vorliegenden Erfindung gibt, die in der Praxis verkörpert werden können.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eine schematische Darstellung eines Hardware-Systems, das imstande ist, ein Überwachungssystem nach einer Ausführungsform der vorliegenden Erfindung zu unterstützen,
2 ein Flussdiagramm hohen Pegels, das illustriert, wie Eingänge mehrerer Modalitäten gefiltert werden können um ein Alarmsignal zu erzeugen, konsistent mit verschiedenen Ausführungsformen der vorliegenden Erfindung,
3 ein Funktionsdiagramm eines Software-Systems zum Implementieren eines Überwachungssystems nach einer Ausführungsform der vorliegenden Erfindung,
4 ein Flussdiagramm, das die Erzeugung eines Alarmsignals nach einer Ausführungsform der vorliegenden Erfindung illustriert.
In 1 empfängt in einem Hardware-Apparat zum Implementieren einer Ausführungsform der vorliegenden Erfindung ein programmierbarer Controller 100 Eingangssignale von mehreren Quellen, beispielsweise von einem verbundenen Bildprozessor 305, der mit Kameras 135 und 136 verbunden ist, von einem Mikrophon 112, und von Sensoren 141. Die Sensoren 141 können Alarmsensoren enthalten, wie Atmungsmonitoren oder anderen SIDS-Vermeidungsdetektoren oder einen anderen Typ von Sensoren, wie Temperatursensoren, Lagensensoren, Sicherheitsschalter, Annäherungssensoren, elektrische Ladungssensoren, Umgebungslichtsensoren usw. Daten zur Aktualisierung der Software des Controllers 100 oder zum Liefern anderer erforderlicher Daten, wie Vorlagen zur Modellierung der Umgebung, können durch örtliche, Großbereich- oder Internetnetzwerke gesammelt werden, symbolisiert durch die Wolke 110. Der Controller kann Audiosignale liefern, beispielsweise synthetische Sprache oder Sprache von einem Fernsprecher) über einen Lautsprecher 114 oder eine Anordnung einer anderen Modalität. Zum Programmieren und Beantragen von Bewohnereingaben, kann ein Endgerät 116 vorgesehen werden.
2 illustriert, wie Information, die von dem Controller 100 nach 1 gesammelt worden ist, verwendet werden kann zum Identifizieren bestimmter Umstände und ein Alarm erzeugen kann, und zwar in Reaktion auf diese Umstände. Eingaben von verschiedenen Modalitäten 500, wie Videodaten, Audiodaten, Umgebungsumstände, wie Temperatur, Schallpegel, Zustand des Sicherheitssystems, usw. werden einem trainierten Klassifizierer 510 zugeführt um unterscheidbare Merkmale einer überwachten Umgebung zu unterscheiden und zu klassifizieren. So kann beispielsweise der Klassifizierer 510 darauf trainiert sein, Gesichter zu unterscheiden um diese zu Klassifizieren als zu einem aus einem erkannten Satz gehörend oder als nicht zu einem Mitglied des erkannten Satzes gehörend. Für ein anderes Beispiel kann der Klassifizierer 510 darauf trainiert sein, plötzliche Geräusche wie Glasbruch oder stürzende Gegenstände zu klassifizieren. Noch andere Beispiele sind das Training, den emotionellen Zustand und die Gesundheit der überwachten Person durch Gesichtsausdruck, Physiognomie, Körperhabitus, Verhalten usw. aus Daten in einem Videosignal zu erkennen. Jede Klassifizierung von Ereignissen/Zuständen kann dann kombiniert und weiter als eine Alarmsituation klassifiziert werden. So kann beispielsweise der Klassifizierer trainiert werden, ein lautes Geräusch mit einem nachfolgenden nicht erkannten Gesicht als eine Alarmsituation zu identifizieren.
Die Technologien zum Trainieren derartiger Klassifizierer 510 sind durchaus entwickelt worden und wachsen schnell. Derartige Klassifizierer können unter Anwendung von Regeln zum Bilden beispielsweise eines Bayesian Klassifizierers explizit trainiert werden. Auf alternative Weise können sie trainiert werden, und zwar unter Verwendung von Beispielen, wie zum Trainieren eines neuralen Netzwerkes. Da das Thema, wie verschiedene Arten von Klassifizierern entworfen und trainiert sind, nicht das Ziel der vorliegenden Erfindung ist, ausgenommen insofern hier beschrieben, und weil die Technologie zum Entwerfen und Trainieren derartiger Klassifizierer gut entwickelt worden ist und stark variiert werden kann, werden die Einzelheiten an dieser Stelle nicht eingehend beschrieben. Eine bestimmte Schnittstelle zum Programmieren und/oder Trainieren des Klassifizierers 510 ist durch 530 bezeichnet. Das Endziel des Klassifizierers 510 ist den Zustand auszuliefern oder Alarminformation zu einem Alarmausgang 520 zu liefern. 520 und 520 können beide Netzwerk-Endgeräte, Zellen-Telefonanordnungen, PDAs, oder jede andere beliebige geeignete UI-Anordnung.
In 3 ist ein funktionelles Diagramm einer Ereignis-betriebenen Architektur gegeben, die benutzt werden kann zum Überwachen einer belegten Zone, die das durch den einzigen "schwarzen Kasten" des Klassifizierers 510 illustrierte Objekt in eine Anzahl Objekte unterteilt, deren Ausgänge kombiniert werden zum Klassifizieren von A larmsituationen. Der Audioeingang 245, der Videoeingang 255 und andere Benutzerschnittstellenanordnungen (nicht dargestellt) erzeugen Signale, die den betreffenden Klassifizierern 210, 240 zugeführt werden. Der Audioeingang 245, der von einem (nicht einzeln dargestellten) Mikrophon oder von einem (nicht einzeln dargestellten) Richtungs-Audiodetektor, der den Schall sowie die Richtung angibt, oder von jedem anderen beliebigen geeigneten Audiowandler empfangen werden kann, kann einem Audio-Klassifizierer 210 zugeführt werden. Diese letzteren Daten bilden ein Echtzeitsignal, das der Audio-Klassifizierer 210 durch geeignete digitale oder analoge Mittel oder eine Kombination derselben klassifiziert. Der Audio-Klassifizierer 210 erzeugt danach ein aktuelles Zustandsinformationssignal, das er dem mentalen Zustands/Gesundheitszustandsklassifizierer 290 und einem Ereignis/Klasseprozessor 207 zuführt.
Zur Erläuterung kann das von dem Audio-Klassifizierer erzeugte Signal ein Vektor sein, der die nachfolgenden Elemente umfasst:

1. Identität des Lautsprechers,
2. Anzahl Lautsprecher,
3. Typ des Schalls (zerbrechend, stoßend, periodisch, klopfend, usw.)
4. Schallintensitätspegel,
5. Dauer, Tageszeit, bemerkenswerter Geräusche
6. Sprachqualität (Flüstern, Schreien, schnell, usw.)
7. Stimmqualität (maskulin, feminin, Kind, usw.), und
8. identifiziertes Ereignis (Einschalten von Licht, schnarchen, metallischer Schall von Rundfunk oder Fernsehen, Staubsauger, usw.)

Jeder Fall eines diskreten Schallereignisses und/oder Zustandes kann mit einem Zeitstempel kombiniert werden, der die Zeit angibt, wo er begann und, wann er aufgehört hat und das kombinierte Vektorsignal kann dem Ereignis/Klasseprozessor 207 zugeführt werden.
Ein Videobildklassifizierer 240 empfängt Videoeingaben 255, klassifiziert Bilddaten und erzeugt Zustandsinformationssignale, die dem Geisteszustand/Gesundheitszustandsklassifizierer 290 und dem Ereignis/Klasseprozessor 207 zugeführt werden. Der Videobildklassifizierer 240 kann programmiert werden um bestimmte Ereignisse, wie Gebärden, schnelle Bewegungen, Anzahl Personen in dem Gesichtsfeld, usw. zu identifizieren. Wie beim Audio-Klassifizierer 210 kann das Ausgang ein Vektor sein, der zu Illustra tionszwecken die nachfolgenden Elemente umfasst:

1. Anzahl Personen,
2. Identität der Personen (einschließlich nicht erkannter Personen), was Information vom Körper, von Gesichtsmerkmalen, Bewegung usw. herleiten kann,
3. Körperlage/Gebärden jeder Person (beispielsweise stehend, sitzend, trinkend, essend usw.)
4. Größe vorübergehender Gegenstände in der Szene,
5. Art der vorübergehenden Gegenstände in der Szene (beispielsweise Fernsehen, Teller, Wäschekorb, usw.),
6. Geschwindigkeit einer Bewegung der Bildmitte von Personen als Angabe von Laufen oder Chaos, und
7. Änderung des Kamerawinkels, usw.

Videoverarbeitungstechniken von mehreren Gebieten, wie Authentifizierung, Gebärdensteuerung von Maschinen, usw. können in dem aktuellen System entsprechend den bestimmten Zielen des Systementwerfers benutzt werden.
Andere Eingangsanordnungen mit assoziierten Klassifizieren 235 führen ihre Ausgangssignale dem Ereignis/Klassprozessor 207 zu. Die anderen UI Klassifizierer 235 können eine Ausrüstung aufweisen, welche die Umgebung, wie den Umgebungslichtpegel, die Tageszeit, die Temperatur des Raumes, den Sicherheitszustand eines Gebäudes, usw. überwacht.
Es können Textdaten von einem Sprache-zu-Textwandler 215 erhalten werden, der den Audioeingang 245 empfängt und diesen in Text verwandelt. Wenn von Audio erhalten, kann der Text von dem Sprache-zu-Textwandler 215 zeitmarkiert sein. Der Sprache-zu-Textwandler 215 bestimmt den Text grammatisch unter Verwendung grammatischer oder struktureller Regeln, wie diese in neuen oder bekannten Konversationssimulatoren, wie in natürlichen Sprachuntersuchungsmaschinen oder in anderen geeigneten Mitteln verwendet werden. Das Ergebnis dieser grammatischen Bestimmung ist die Extraktion von Wörtern oder Aussprachemerkmalen, die der Geisteszustand/Gesundheitszustandsklassifizierer 290 erkennen kann. Die grammatische Bestimmung kann unter Anwendung von regelbasierten Vorlagenübereinstimmung wie in Konversationssimulatoren oder unter Anwendung anspruchvollerer natürlicher Sprachmethoden. Wörter, die eine Andeutung der Stimmung sind, können dann dem Geisteszustands/Gesundheitszustandsklassifizierer 290 zugesendet werden zur Klassifizierung der Stimmung des Sprechers.
Der Geisteszustands/Gesundheitszustandsklassifizierer 290 empfängt Signale von den jeweiligen Klassifizierern und verarbeitet diese Signale zum Erzeugen eines Stimmungs/Persönlichkeitssignals. Der Geisteszustands/Gesundheitszustandsklassifizierer 290 kann ein trainiertes neurales Netzwerk, ein Bayesian-Netzwerk, ein einfaches regelbasiertes System oder jeder andere beliebige Klassifizierertyp sein, der imstande ist, viele verschiedene Eingaben zu nehmen und eine Wahrscheinlichkeit vorherzusagen, dass der Bewohner sich in einem bestimmten emotionellen Zustand befindet und eine bestimmte Persönlichkeit hat. Es können mehrere Persönlichkeits- und Stimmungstypologien angewandt werden, und zwar von einfach bis komplex. Ein Beispiel eines Satzes mit Regeln zum Klassifizieren eines Bewohners wie beschrieben ist:

– eine geringe Satz/Satzglied Wortzählung (die Sätze der Person enthalten nur wenig Wörter) (einschließlich des Grammatiksignals 410, das eine Reaktionswortzählung angibt),
– ein geringes Vorkommen von Wörtern, die Begeisterung nahe legen, wie Superlativen (das Eingangsgrammatiksignal 410 gibt Adjektive an),
– einen ziemlich flachen Ton in der Stimme (wobei das Signal des Audio-Klassifizierers 210 eine Modulationsflexionsintensität angibt),
– keine physikalische Bewegung (das Signal des Videobild-Klassifizierers 240 gibt ... usw.)
– wenig Bewegung von Kopf oder Körper,
– seufzende Geräusche, usw.,
– auf die Uhr sehen, und
– kein Augenkontakt mit Gegenständen, wie Fernseher oder Buch in der Szene.

Jeder dieser Punkte kann von dem entsprechenden Klassifizierer klassifiziert werden. Die Farbe der Kleidung des Bewohners, die Stimmlage des Bewohners, die Anzahl Male, dass der Bewohner eine einzige Szene betritt oder verlässt, die Art der Gebärden des Bewohners usw. können alle Hinweise auf den Geisteszustand und/oder die Persönlichkeit des Bewohners geben. Der Ausgangsvektor kann jede gewünschte geeignete Geisteszustandsklassifizierung sein. So kann beispielsweise die in dem US Patent Nr. 5.987.415 vorgeschlagene Valenz/Intensitäts Geisteszustandstypologie angewandt werden.
Die nachfolgenden Tabellen fassen die "Großen Fünf" zusammen, was eine evolutionäre Nebenerscheinung der Myers-Briggs-Typologie ist. Es gibt viele wissenschaft liche Arbeiten auf dem Gebiet der Modellierung von Geisteszuständen und Persönlichkeiten und viele davon betreffen die Themen von Maschinenklassifikation auf Basis von Stimme, Gesichtsausdruck, Körperhaltung und vielen anderen Maschineneingaben. Sogar das Wetter, das unter Verwendung eines Agenten übers Internet oder über Messinstrumente, die Wettergrunddaten wie täglichen Sonnenschein, messen, erhalten werden kann, kann verwendet werden um den Geisteszustand oder emotionellen Zustand zu folgern.
Die sechs Facetten negativer Emotionalität (bearbeitet nach Costa & McCrae, 1992) mit Ankern für die zwei Extremen des zusammenhängenden Ganzen.
Die sechs Facetten der Extraversion (bearbeitet nach Costa & McCrae, 1992) mit Ankern für die zwei Extremen des zusammenhängenden Ganzen
Die sechs Facetten der Offenheit (bearbeitet nach Costa & McCrae, 1992) mit Ankern für die zwei Extremen des zusammenhängenden Ganzen
Die sechs Facetten der Liebenswürdigkeit (bearbeitet nach Costa & McCrae, 1992) mit Ankern für die zwei Extremen des zusammenhängenden Ganzen
Die sechs Facetten der Gewissenhaftigkeit (bearbeitet nach Costa & McCrae, 1992) mit Ankern für die zwei Extremen des zusammenhängenden Ganzen
Der Geisteszustand/Gesundheitszustandsklassifizierer 290 liefert einen Zustandsvektor, mit einer Anzahl Freiheitsgrade, der den von dem Entwerfer gewählten Modellen der Persönlichkeit und des Geisteszustandes entspricht. Der Geisteszustand/Gesundheitszustandsklassifizierer 290 kann aktuelle Daten über eine Zeitperiode beim Modellieren der Persönlichkeit sammeln, da dies ein fortdauernder Zustand ist. Der Geisteszustand wird mehr flüchtige Elemente haben.
Der Ereignis/Klasseprozessor 207 ist ein Klassifizierer, der Zustandsinformation von vielen Klassifizierern kombiniert zum Erzeugen eines Umgebungs/Bewohnerzustandssignals, das den aktuellen Zustand der Umgebung des Systems, einschließlich der Bewohner, insbesondere der beobachteten Person, angibt. Der Ereignis/Klassprozessor kann auch Ereignissignale (Unterbrechungssignale) erzeugen um eine augenblickliche Reaktion zu gewährleisten, wenn bestimmte Ereignisse von den Klassifizierern erkannt werden, beispielsweise Ereignisse, die mit einem Notzustand zusammenfallen. Die Erkennung von Ereignissen kann Zustandsinformation von vielen Klassifizierern erfordern, so dass der Ereignis/Klasseprozessor 207 Zustandsdaten von vielen Klassifizierern kombiniert zum Erzeugen eines kombinierten Zustandssignals und eines kombinierten Ereignissignals. Das Umgebungs/Zustandssignal kann eine Angabe aller möglichen Ereignisklassen enthalten, welche die jeweiligen Klassifizierer imstande sind zu identifizieren oder nur diejenigen, die einen Vertrauensschwellenpegel überschreiten.
Der Ausgangsgenerator 415 empfängt den Stimmungs/Persönlichkeitszustandsvektor und grammatisch bestimmte Antwortdaten von dem Geisteszustand/Gesundheitszustandsklassifizierer 290 bzw. dem Eingangssyntaxanalysator 410. Der Reaktionsgenerator 415 empfängt auch das Umgebungs/Bewohnerzustandssignal und das Ereignissesignal von dem Ereignis/Klasseprozessor 207. Der Ausgangsgenerator 415 selektiert einen Reaktionstyp entsprechend dem Geisteszustand, dem Umgebungs/Bewohnerzustand, und dem Ereignissesignal von einer internen Datei und erzeugt, falls erforderlich, ein Alarmausgangssignal. Auf alternative Weise kann der Ausgangsgenerator derart programmiert werden, dass er eine Ausgangsvorlage selektiert, die weitere Daten von einem Bewohner über die Benutzerschnittstelle anfordert, wie über das Endgerät 116 (1). Wenn beispielsweise die jeweiligen Klassifiziererausgangselemente niedrige Vertrauenspegel angeben, könnte das System Sprache über den Lautsprecher 114 erzeugen, wobei um Information über den aktuellen Zustand des betreffenden Raums gebeten wird. So könnte beispielsweise "Ist jemand da" erzeugt werden, wenn die Anwesenheit eines Erwachsenen nicht detektiert werden kann. Das System benutzt dann die anderen Eingangsanordnungen, wie einen Videoeingang 255, um Zweideutigkeit in den Zustands- und Ereignissignalen zu verringern. Es sei bemerkt, dass diese Besonderheiten über einen Konversationssimulator implementiert werden können, wie dieser in den US Patenten Nr. 09/699.606, 09/686.831 und 09/699.577 beschrieben worden ist, und dass sie in das System eingebaut werden können um als Maschinenassistenten zu funktionieren.
Verfolgung des Datenflusses, anfangend mit dem Videoeingang 255, wird das Signal des Videoeingangs 255 dem Videobildklassifizierer 240 zugeführt. Der Videobildklassifizierer 240 ist programmiert um eine Anzahl verschiedener Bilder und Videofolgeklassen in dem Videoeingangssignal 255 zu erkennen. So kann beispielsweise der Klassifizierer programmiert sein um eine sitzende von einer liegenden Person zu unterscheiden; um eine still sitzende Person von einer Person zu unterscheiden, die aufgeregt sich bewegt oder ein Gebiet verlässt. Eine Wahrscheinlichkeit für all diese Klassen kann erzeugt und als ein Signal ausgeliefert werden. Auf alternative Weise kann eine einzige, meist wahrscheinliche Klasse erzeugt und als Signal ausgeliefert werden. Dieses Signal wird dem Ereignis/Klasseprozessor 207 zugeführt, der diese Daten mit anderen Klassendaten kombiniert zum Erzeugen eines Umgebungs/Bewohnerzustandssignals. Wenn der Ereignis/Klasseprozessor 207 eine Angabe von dem Videobildklassifizierer 240 empfängt, dass etwas Plötzliches und Wichtiges aufgetreten ist, beispielsweise dass der Bewohner aufgestanden ist und den Raum verlassen hat, wird der Ereignis/Klasseprozessor 207 ein Ereignissignal erzeugen. Wenn der Geisteszustand/Gesundheitszustandsklassifizierer 290 ein Signal von dem Videobildklassifizierer 240 empfängt, das angibt, dass der Bewohner in einem Zustand der Aufregung sind bewegt, kann dieser Geisteszustand/Gesundheitszustandsklassifizierer 290 diese Information mit anderen Klassifizierersignalen kombinieren um einen Stimmungs/Persönlichkeitszustandsvektor zu erzeugen, der einen emotionellen Zustand erhöhter Aufregung angibt. So kann beispielsweise der Audio-Klassifizierer 210 gleichzeitig angeben, dass die Stimme des Sprechers eine höhere Stimmlage als üblich hat und dass der Eingangssyntaxanalysator angibt, dass die Wortzählung der jüngsten Äußerungen niedrig ist.
Es sei bemerkt, dass, damit das System ermitteln kann, ob eine aktuelle Klasse oder ein aktueller Zustand eine Änderung gegenüber einem vorigen Mal darstellt, der Ereignis/Klasseprozessor 207 und der Geisteszustand/Gesundheitszustandsklassifizierer 290 mit einer Datenspeichermöglichkeit und mit Mitteln zum Ermitteln des aktuellen Bewohners versehen sein kann, so dass entsprechende Historien für verschiedene Bewohner gespeichert werden können. Identifikation von Bewohnern, wie oben erwähnt, kann durch Gesichtserkennung mit Hilfe des Videobild-Klassifizierers 240, der Stimmensignatur erfolgen. Sie kann auch durch RFID-Zeichen ("Radio Frequency Identification"), durch eine Smart-Card oder eine einfache Benutzerschnittstelle, die es ermöglicht, dass der Bewohner sich mit einem biometrischen Indikator, wie einem Fingerabdruck oder einfach einen PIN-Code identifiziert. Auf diese Weise können der Geisteszustand/Gesundheitszustandsklassifizierer 290 und der Ereignis/Klasseprozessor 207 je historische Daten mit bestimmten Bewohnern korrelieren und dies beim Identifizieren benutzen und Trends zu dem Ausgangsgenerator 415 signalisieren.
Der Ereignis/Klasseprozessor 207 empfängt Klasseinformation von dem Audio-Klassifizierer 210 und von anderen Klassifizierern und versucht diese mit einer Me taklasse zu identifizieren, die er zu erkennen trainiert hat. Das bedeutet, er kombiniert Klassen von Zuständen um einen überspannten Zustand zu definieren, der dieser Vielheit an Zuständen entspricht. Selbstverständlich ist die hier beschriebene Architektur nicht die einzige Möglichkeit die jeweiligen Merkmale der vorliegenden Erfindung zu implementieren und auf den Ereignis/Klasseprozessor 207 könnte einfach verzichtet werden und seine Aufgaben könnten von dem Ausgangsgenerator 415 übernommen werden. Ein Vorteil der Trennung der Funktionen ist aber der, dass der Ereignis/Klasseprozessor 207 einen anderen Klassifizierertyp benutzen kann als den, der von dem Ausgangsgenerator 415 benutzt wird. So könnte beispielsweise der Ausgangsgenerator 415 einen regelbasierten Vorgabeangleicher verwenden, während der Ereignis/Klasseprozessor 207 einen trainierten Klassifizierer vom neuralen Netzwerktyp verwenden könnte. Diese Zuordnungen von Funktionen kann günstiger sein, je nachdem die Anzahl Ausgänge des Ausgangsgenerators 415 höher ist als die Anzahl Klassen, die der Ereignis/Klasseprozessor 207 (oder die anderen Klassifizierer) zu erkennen trainiert ist. Dies folgt aus der Tatsache, dass Klassifizierer vom Netzwerktyp (wie ein neuraler Netzwerkklassifizierer und ein Bayesian Netzwerkklassifizierer) nur schwer trainiert werden können, wenn sie eine Vielzahl möglicher Ausgangszustände haben.
Der Prozess des Videobild-Klassifizierers 240 kann die Fähigkeit haben, die Kameras (dargestellt durch den Videoeingang 255) zu steuern, die Videoinformation empfangen. Der Videobildklassifizierer 240 kann einen Prozess umfassen, der regelmäßig versucht, Gegenstände in dem Raum zu unterscheiden, die ggf. Individuen sein können und mehrere Merkmale dieser Individuen zu vergrößern. So kann beispielsweise jedes Mal, dass ein Videobildidentifizierer ein neues Individuum identifiziert, dieser Bild-Klassifizierer versuchen, zu identifizieren, wo das Gesicht in dem sichtbaren Feld ist und regelmäßig auf das Gesicht jedes Individuums heranzugehen, das in dem Gesichtsfeld identifiziert worden ist, damit Gesichtsausdruckinformation erhalten wird, die benutzt werden kann zum identifizieren des Individuums oder zum Identifizieren der Stimmung des Individuums.
Es sei bemerkt, dass die vorliegende Erfindung ohne die Verwendung künstlicher Intelligenztechnologie (AI), wie oben beschrieben, entworfen werden kann, obschon die Robustheit der AI-Technologie es sehr wünschenswert macht, dies zu tun. So kann beispielsweise ein Audiosignal durch einen Bandpassfiltersatz gefiltert werden zum Detektieren lauter Krachgeräusche und ein Detektor, der ein Zeitsperrausgangssignal setzt, wenn das Filterausgangssignal über einem bestimmten Pegel liegt. Gleichzeitig kann ein Videoleuchtdichtesignal tiefpassgefiltert werden und wenn die Energie einen bestimmten Pegel unterschreitet, wird ebenfalls eine Zeitsperre gesetzt. Wenn die beiden Sperrsignale positiv werden (lautes Geräusch und eine große Aktivität in der zeitlichen Nähe) kann das System einen Alarm auslösen.
Alarmsignale können auf einfache Weise eine bestimmte Art von Anzeige eines Alarmzustandes enthalten. Vorzugsweise aber sollen Alarme möglichst informativ sein innerhalb der bestimmten Entwurfskriterien. So kann beispielsweise ein Alarmsignal Audio- und/oder Videodaten enthalten, die dem (den) Ereignissen) vorhergehen bzw. folgen, das bzw. die den Alarmzustand auslöste(n). Dies könnte von dem Ausgangsgenerator 415 aufgezeichnet und per E-Mail übertragen werden, über eine Zellen-Telefonverbindung oder eine drahtlose Wandleranordnung mit Videofähigkeiten, oder über andere Mittel. Symbolische Darstellungen der signifikantesten Zustandsklassen, die zu der Metaklassifizierung der Alarmsituation führten können auch übertragen werden. So kann beispielsweise ein Symbol, das "laute Geräusche" andeutet und/oder das einen nicht erkannten Bewohner angibt, übertragen werden, und zwar sagen wird zu einem Text-Pager, der von einer verantwortlichen Partei benutzt wird.
In 4 kann eine beliebige Anzahl Signale ständig gespeichert sein, wie durch den Schritt S10 angegeben. Wenn eine Alarmsituation angegeben wird, wird in dem Schritt S15 ermittelt, ob die betreffende Alarmsituation vorher nichtig gemacht worden ist. Sollte dies der Fall sein, so wird eine Pufferung von Signalen wieder aufgenommen und es wird keine weitere Aktion unternommen. Sollte die Alarmsituation nicht nichtig gemacht worden sein, so wird in dem Schritt S20 eine Nachricht erzeugt und die gepufferten Signale 1 ... N in dem Schritt S30 angehängt. Die Alarmnachricht wird danach beispielsweise per E-Mail in dem Schritt S40 übertragen und in dem Schritt S50 wird, falls erforderlich, eine etwaige Live-Zuführung erzeugt. Die Live-Zuführung kann an einer URL-Adresse verfügbar gemacht werden eingeschlossen in eine E-Mailübertragung oder als Teil eines Signals in einer mit einem automatischen Anruf zu einem digitalen Videotelefon übertragenen Nachricht.
Das gepufferte Signal kann nicht mehr als eine Zeitfolge sein, die den Zustand eines oder mehrerer Sensoren über Zeit angibt. Die gepufferten Signale brauchen keine Signale zu sein, welche die Angabe einer Alarmsituation verursachten. So kann bei spielsweise in einer Ausführungsform der vorliegenden Erfindung eine Videokamera auf das Bett einer Person trainiert sein. Das Alarm kann durch einen mechanischen Sensor (wie ein Brustband) ausgelöst werden, der das Atmen detektiert. Das Videosignal wird gepuffert bis zum Zeitpunkt der Detektion des Aussetzens der Atmung einer Person, was das Signal sein kann, dass als Teil der Alarmnachricht übertragen werden kann. Die Länge des Puffers kann wie erwünscht sein.
Jeder Alarm kann ein einzigartiges Ereignis sein, aber jeder kann auch durch dieselbe bleibende Situation erzeugt werden, beispielsweise das Fehlen der Atmung eines Säuglings oder eines Kindes während einer Zeitperiode. Für einem bestimmten Alarm ist es erwünscht, dass es bestätigt wird, so dass eine neue Alarmsituation, die aus anderen Umständen entsteht, nicht mit dem bestehenden Alarm verwechselt wird, der zu der betreffenden zeit gemeldet wurde. Eine Art und Weise dies zu meistern ist, jedem Alarm eine Signatur zuzuordnen, und zwar auf Basis eines Vektors der Bestandteile, die zu einer Alarmsituation führen. Die Erkennung derselben Alarmsituation würde zu einem anderen Vektor führen, der mit einer Tabelle bestehender Alarmsituationen verglichen werden kann (in dem Schritt S15) um zu sehen, ob der neue Alarm bereits nichtig gemacht wurde. Die Elemente können quantisiert werden um gegen kleine Differenz in Vektorelementen zu versichern, die als anders identifiziert wurden oder es kann ein Niedrig-Empfindlichkeitsvergleich verwendet werden um denselben Effekt zu erreichen.
Alarmsignale können durch jedes der nachfolgenden Mittel übertragen werden.

1. Durch einen automatischen Anruf mit einer synthetischen Stimme, die eine symbolische Andeutung einer Alarmsituation liefert (vorher aufgezeichnete Sätze oder synthetische Sprache) und/oder gepuffertes Audio und/oder Live-Audio, zugeführt aus dem überwachten Raum.
2. Drahtlose Apparatur mit Video kann Obenstehende sowie aufgezeichnete und/oder Live-Daten sowie Textnachrichten enthalten, welche dieselbe Information liefern.
3. E-Mailnachrichten können Kopplungen zu einer URL-Adresse enthalten mit Live- oder mit aufgezeichneten Daten oder sie können MIME-Anhängsel enthalten, die Standbilder oder Bewegtbilder enthalten.
4. Funkübertragung: Funknachrichten, Audionachrichten, Wiedergabe an einem verdrahteten Bedienungsfeld, usw.

Nachstehend folgen einige Beispiele von Applikationen und Szenarien.
Beispiel 1:
Ein Bettchen eines Säuglings steht an einer Wand mit einer oder mehreren Kameras 135, 136, abgezielt auf die Seite des Bettchens, wo ein Versorger normalerweise stehen würde um den Säugling zu sehen. Ein Mikrophon 112 befindet sich an einer Stelle, um Geräusche in der Nähe des Bettchens aufzunehmen. Der Controller 100 empfängt Live-Video- und Audiosignale von der Kamera und dem Mikrophon und filtert sie über betreffende Klassifizierer 240 bzw. 210. Der Controller 100 ist programmiert um das Gesicht des Versorgers zu erkennen und erzeugt ein Signal, das angibt, dass ein Gesicht anwesend ist und liefert eine Zuverlässigkeitsschätzung, die angibt, wie gut das Gesicht der Erwartung entspricht. Der Controller 100 kann derart programmiert sein, dass er andere Gesichter auch erkennt, wie von Verwandten des Säuglings und von Kindern. Der Controller 100 ist weiterhin programmiert um das Geräusch des Weinens zu erkennen und erzeugt ein Signal, das angibt, das geweint wird. Außerdem ist der Controller 100 programmiert um die folgenden Ereignisse zu erkennen und erzeugt entsprechende Signale: normalen und anormalen Körperhabitus des Säuglings, Gesichtsausdruck des Säuglings, der die Stimmung angibt, wie Weinen, Zufriedenheit, Spielen, notleidend, schnelle oder langsame Bewegungen, die Anzahl anwesender Individuen, das Vorhandensein neuer Gegenstände in dem Raum und deren "BLOB"-Größe ("BLOB" ist ein Term eines spezieller Datentyps, mit dem beliebige (Binär-)Dateien, z.B. multimediale Daten wie Bilder, Texte und Grafiken, als Feldinhalt in Datenbanksystemen abgelegt werden können) Stimmung des erkannten Gesichtes des Versorgers.
In dem oben stehenden Beispiel können die nachfolgenden Ereignisse auftreten. Der Säugling weint und der Versorger reagiert nicht darauf. Die Stimmung des Säuglings wird durch die empfangenen Audio- und Videosignale detektiert. Eine synthetische Stimme ruft über den Lautsprecher 114 den Versorger und bittet um Hilfe für den Säugling. Die vergangene Zeit zwischen der Erkennung der Notlage des Säuglings und der aktuellen Zeit erreicht ein bestimmtes Intervall, das einen Alarm auslöst. Das Alarmsignal umfasst eine Textnachricht, gepuffertes Video und gepuffertes Audio von einer Zeit vor der Alarmsituation. Das Alarmsignal wird per E-Mail gesendet.
Beispiel 2:
Die Systemkonfiguration des Beispiels 1 ist in das vorliegende Beispiel eingeschlossen. An mehreren Stellen in einem Haus sind extra Kameras und Mikrophone aufgestellt. Ein Säugling auf der Couch wird detektiert. Der Versorger wird auf der Couch detektiert. Der Ton des Fernsehers wird detektiert. Die Körperlage des erwachsenen Versorgers wird in einer schlafenden Position detektiert. Das System erzeugt synthetische Sprache, mit der Absicht, den Versorger zu erwecken und auf das Kind aufmerksam zu machen (wobei die Programmierung des Controllers 100 eine Reflektion einer Besorgnis ist, dass der Säugling nicht an einer sicheren Stelle ist um unbeaufsichtigt zu sein. Nach einem vorbestimmten Intervall, in dem festes Schlafen (oder Krankheit oder Tod) detektiert wird, wird ein Alarm ausgelöst. Der Alarm enthält Standbilder von dem Video (von einer Zeit vor dem Alarm) des schlafenden Erwachsenen und des Säuglings und Live-Audio und Video aus dem Raum, in dem der Säugling und der Erwachsene sich befinden.
Beispiel 3:
Die physikalische Konfiguration (einschließlich der Programmierung) des Beispiels 2 ist in dem vorliegenden Beispiel einverleibt. In diesem Beispiel sind der Säugling und das Bettchen durch einen kranken Erwachsenen ersetzt worden und der Versorger ist ein Erwachsener. Der Überwacher ist eine Agentur, welche die Krankenschwester geliefert hat. Die von dem System detektierte Alarmsituation ist das Fehlen von Bewegungen von Gegenständen oder Personen in dem Haus. Die Erkennung von Bewohnern, die Gesichtserkennung, die Erkennung von Körperhabitus und Körperlagen, Audio usw. erzeugen Angaben eines Vorhandenseins eines Erwachsenen in einem Wohnzimmer, aber die Signale haben einen geringen Zuverlässigkeitswert und es gibt keine Angabe einer Aktivität (Bewegung des Bewohners). Das System ist derart programmiert, dass es einen Alarm auslöst, wenn keines des Satzes erwarteter Ereignisse wie das Erscheinen eines erkennbaren Gesichtes am Bett der kranken Person, eine Bewegung plus eine Erkennung der Körperlage einer Person an erwarteten Stellen in einem Haus, usw. während eines vordefinierten Intervalls. Das Alarmsignal enthält ein Live-Video und Audiosignal, das von dem Überwacher gesteuert werden kann (der Bilder umschalten kann und der mit dem Krankenschwester kommunizieren kann).
Beispiel 4:
Das System des Beispiels 3 ist in dem vorliegenden Beispiel einverleibt. Ein Babysitter sorgt für einige Kinder. Das System ist derart programmiert, dass es das Gesicht des Babysitters und die Gesichter der Kinder zusammen mit mehreren kennzeichnenden Elementen dieser Menschen, wie Körperhaltung, Bewegungsmuster usw. erkennt. Das System ist derart programmiert, dass es einen Alarm auslöst und diesen zu einer drahtlosen Handanordnung überträgt, wenn eines der nachfolgenden Ereignisse auftritt: (1) die Anzahl detektierter Anwesender in dem Haus (das System detektiert gleichzeitig mit mehreren Kameras eine bestimmte Anzahl Individuen) ist größer als eine vordefinierte Anzahl (vermutlich der Babysitter und die Kinder) oder (2) das System detektiert ein nicht erkanntes Gesicht (d.h. es empfängt ein gutes Bild eines Gesichtes, kann aber nicht eine zuverlässige Übereinstimmung mit einer bekannten Vorlage erzeugen), (3) Türen sind längere Zeit offen gelassen (wie durch den Zustand des Sicherheitssystems angegeben), (4) Bewegung von Personen in dem Haus ist übermäßig, was ggf. auf Misshandlung oder Missbrauch deuten könnte.
Obschon in den beschriebenen Ausführungsformen das Gesicht, die Stelle und die Aktivitäten von Versorger und von der zu versorgenden Person überwacht wurden, ist es möglich, nur eine Person statt die beiden zu überwachen. Auch der Begriff erkannter oder nicht erkannter "Personen" kann auch auf Jungtiere als auch auf menschliche Personen angewandt werden, obschon zugestandenermaßen der Stand der Technik nicht an einer Stelle ist, wo das Gesicht eines Jungtieres von denen anderer Tiere unterschieden werden kann, bestimmt ist die BLOB-Erkennung ein Punkt, wo das System zwischen einem Puddel und einer Katze oder Kinder von Tieren und/oder animierten Gegenständen, wie Robotern, unterscheiden kann.
Während die vorliegende Erfindung in dem Kontext der oben beschriebenen bevorzugten Ausführungsformen erläutert worden ist, dürfte es einleuchten, dass mehrere Abwandlungen möglich sind und dass im Rahmen der vorliegenden Erfindung mehrere Äquivalente ersetzt werden können, was dem Fachmann einleuchten dürfte.

1

122: Beobachter
110: Netzwerk
140: Server
114: Lautsprecher
100: Controller
305: Bildprozessor
141: Sensoren
112: Audio-Wandler (mit Richtungsdaten)
116: Endgerät

2

530: Programm/Lernen
520: Alarmausgang
510: Ereignis, Geisteszustand, Gesundheitszustandsklassifizierer
500: Eingänge der jeweiligen Modalitäten
530: dringender zusätzlicher Eingang

3

215: Sprache zu Text
245: Audioeingang
410: Eingang Syntaxanalysator
235: Andere Eingänge und Klassifizierer
210: Audio-Klassifizierer
290: Geisteszustand/Gesundheitszustandsklassifizierer
207: Ereignis/Klasseprozessor
256: Bewohnerklassifizierer
240: Videobildklassifizierer
255: Videoeingang
: Ereignisse (Unterbrechungen)
: Umgebungs/Bewohnerzustand
: Geisteszustand
: Gesundheitszustand
: Syntaxantwort
415: Ausgangsgenerator
445: Alarmausgang

4

: Start
: Kein Alarm
: Puffersignale
: Ende Live-Zufuhr
: Alarmsituation
: Alarm nichtig gemacht?
: Ja Nein
: Erzeugung Alarmnachricht
: Gepufferte Signal anhängen
: Übertragung von Alarmnachricht
: Übertragung von Live-Zufuhr

Claims

Anordnung zur Überwachung einer ersten Person, die Beaufsichtigung erfordert, wobei diese Anordnung die nachfolgenden Elemente umfasst: – einen Controller (100), der programmiert ist zum Empfangen wenigstens eines Überwachungssignals von einem Umweltmonitor (135, 305, 141, 112), der sich in einer überwachten Zone befindet, – wobei der genannte Controller programmiert ist, wenigstens eine Alarmsituation zu klassifizieren, die für die genannte erste Person bedrohend ist antwortend darauf, dass der genannte Umweltmonitor Klassendaten erzeugt, und – wobei der genannte Controller programmiert ist zum Erzeugen eines Alarmsignals in Reaktion auf die genannten Klassendaten, wobei das genannte Alarmsignal wenigstens einen Teil des genannten Überwachungssignals enthält, wenigstens eines unmittelbar vor oder unmittelbar nach einem Auftritt der genannten Alarmsituation, dadurch gekennzeichnet, dass der genannte Controller programmiert ist die Stimme eines Sprechers zu erkennen, wobei das genannte Alarmsignal eine Reaktion auf eine Erkennung der Stimme des Sprechers oder auf ein Versagen der Erkennung der genannten Stimme des Sprechers ist.
Anordnung nach Anspruch 1, wobei das genannte wenigstens eine Überwachungssignal wenigstens ein Standbild, ein Video- oder ein Audiosignal enthält.
Anordnung nach Anspruch 1, wobei der genannte Controller programmiert ist um Gesichter zu erkennen und die genannte Alarmsituation eine Reaktion darauf ist, dass ein Gesicht erkannt oder nicht erkannt wird.
Anordnung nach Anspruch 3, wobei der genannte Controller programmiert ist eine Aktion von einem Inhaber anzufordern, wobei das genannte Überwachungssignal eine Reaktion auf die genannte Aktion durch den Inhaber ist.
Anordnung nach Anspruch 1, wobei der genannte Controller programmiert ist, eine Aktion von einem Inhaber anzufordern, wobei das genannte Überwachungssignal eine Reaktion auf die genannte Aktion durch den Inhaber ist.
Anordnung nach Anspruch 1, wobei das genannte wenigstens eine Überwachungssignal einen Detektor (141) aufweist, der vorgesehen ist, eine Verfehlung in der Atmung der genannten Person zu detektieren.
Anordnung nach Anspruch 1, wobei das genannte Alarmsignal wenigstens einen Teil des genannten Überwachungssignals unmittelbar vor und unmittelbar nach einem Auftritt der genannten Alarmsituation aufweist.
Anordnung nach Anspruch 1, wobei das genannte Alarmsignal wenigstens ein Audiosignal, ein Textdatensignal oder ein Videosignal enthält.
Verfahren zum Überwachen einer Person die Beaufsichtigung erfordert, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Erzeugen eines ersten Signals, das eine Anzeige von einem Zustand einer Person oder von der Umgebung der Person ist, – das Detektieren eines Ereignisses, das die Aufmerksamkeit einer in einem Abstand befindlichen Aufsichtsperson verlangt, – das Übertragen wenigstens eines Teils des genannten ersten Signals zu der genannten in einem Abstand befindlichen Aufsichtsperson, als Reaktion auf ein Ergebnis des genannten Detektionsschrittes, dadurch gekennzeichnet, dass das Ereignis eine Erkennung der Stimme der genannten Person oder ein Nicht Erkennen der Stimme der genannten Person ist.
Verfahren nach Anspruch 9, wobei der genannte Verfahrensschritt der Übertragung die Übertragung eines elektromagnetischen Signals mit wenigstens einem Audiosignal, einem Videosignal oder mit Textdaten enthält.
Verfahren nach Anspruch 9, wobei die genannte Person ein Kind ist und der genannte Verfahrensschritt der Detektion die Detektion der Verfehlung der Atmung des genannten Kindes ist.
Verfahren nach Anspruch 9, wobei der genannte Verfahrensschritt der Detektion die Detektion wenigstens eines Audiosignals oder eines Videosignals ist und die Klassifizierung eines vorbestimmten Musters in dem genannten Audiosignal oder Videosignal ist.
Verfahren nach Anspruch 9, wobei der genannte Verfahrensschritt der Detektion die Detektion des Verhaltens einer Person anders als das genannte Kind und in der Umgebung des Kindes ist.
Verfahren nach Anspruch 9, wobei der genannte Verfahrensschritt der Detektion wenigstens das Erkennen eines Gesichtes der genannten Person oder einer anderen Person, das Klassifizieren eines Körperhabitus der genannten Person, das Klassifizieren eines Gesichtausdrucks der genannten Person, die Detektion einer Bewegungsgeschwindigkeit der genannten Person oder einer anderen Person, die Detektion einer Anzahl Personen in einer bestimmten Zone und die Erkennung einer Stimmensignatur ist, wobei die Verfahrensschritte der Erkennung, der Klassifizierung und der Detektion automatische Maschinenprozesse sind.
Verfahren nach Anspruch 9, wobei der genannte Verfahrensschritt die Detektion einer Verfehlung wenigstens einer Bewegung der genannten Person oder einer anderen Person zu bewegen, zu sprechen oder andere detektierbare Aktivitäten zu erzeugen.