DE102006026923A1

DE102006026923A1 - Method and device for warding off disturbing multimodal messages

Info

Publication number: DE102006026923A1
Application number: DE102006026923A
Authority: DE
Inventors: Martina Hanck; Klaus Lukas
Original assignee: Nokia Siemens Networks GmbH and Co KG
Current assignee: Nokia Solutions and Networks GmbH and Co KG
Priority date: 2006-06-09
Filing date: 2006-06-09
Publication date: 2007-12-13
Also published as: WO2007141095A1

Abstract

Die Erfindung schafft ein Verfahren und eine Vorrichtung zur Abwehr von störenden multimodalen Nachrichten, insbesondere von multimodalen Spam-Nachrichten. Dabei werden durch den Nutzer oder durch einen Dienstleistungsanbieter zu sperrende Nachrichtenkategorien eingestellt. Die Modalitäten bzw. Informationsübertragungsformate von eingehenden oder ausgehenden multimodalen Nachrichten werden von einer Modalitätserkennungseinheit erkannt und anschließend Filtermerkmale aus einem Speicher ausgelesen, die den eingestellten Nachrichtenkategorien und den erkannten Modalitäten zugeordnet sind. Eine eingehende oder zu sendende multimodale Nachricht wird anschließend dann gefilter, wenn die multimodale Nachricht mindestens eines der ausgelesenen Filtermerkmale aufweist.The invention provides a method and a device for warding off disturbing multimodal messages, in particular multimodal spam messages. In this case, the user or a service provider to set to be locked message categories. The modalities or information transmission formats of incoming or outgoing multimodal messages are recognized by a modality recognition unit and subsequently filter features are read from a memory which are assigned to the set message categories and to the detected modalities. An incoming or to be sent multimodal message is then then filtered, if the multimodal message has at least one of the read filter characteristics.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Abwehr von störenden multimodalen Nachrichten, insbesondere zur Abwehr von so genannten Spam-Nachrichten, die mittels multimodaler Dienste übertragen werden.The The invention relates to a method and a device for defense from disturbing multimodal messages, in particular to ward off so-called Spam messages transmitted using multimodal services become.

Spam-Nachrichten, die auch als Junk-Mail bezeichnet werden, werden zunehmend über das Internet zur Verbreitung unerwünschter Werbung per e-Mail, News und Mailing-Listen versendet. Zur Abwehr von Spam-Nachrichten sind Spam-Filter bekannt, die beispielsweise den Inhalt einer Nachricht nach bestimmten Ausdrücken bzw. Stichworten, die in einer Black List angegeben sind, durchsuchen und diejenigen Nachrichten aussortieren, die derartige Ausdrücke bzw. Stichworte enthalten. Diese Black List bzw. Stichwortlisten werden im Allgemeinen manuell erstellt und sind dementsprechend aufwändig zu verwalten. Darüber hinaus lassen sich derartige Spam-Filter leicht umgehen. Es werden daher auch selbstlernende Bayes-Spam-Filter eingesetzt. Die Abwehr von Spam-Nachrichten wird bisher dienstspezifisch gehandhabt. Bei e-Mail-Nachrichten erfolgt die Filterung beispielsweise durch Suchen nach textuellen Schlüsselwörtern, die einstellbar sind. Im Bereich der Internet-Telefonie (Voice over IP) erfolgt die Abwehr von so genannten SPIT-Nachrichten (Spam over Internet Telefony), d. h. die Abwehr unerwünschter Anrufe durch Überwachung des Sprachinhalts bzw. eines zwischengespeicherten Sprachsignals. Das Sprachsignal wird dabei beispielsweise mittels Spracherkennung in Text überführt und anschließend nach Schlüsselworten durchsucht.Spam messages which are also referred to as junk mail, are increasingly on the Internet for spreading unwanted Advertising sent by e-mail, news and mailing lists. For defense Spam messages are known by spam messages, for example the content of a message according to certain phrases used in a blacklist are listed, browse and those messages sort out such terms or keywords. These blacklists are generally manual created and are therefore complex to manage. Furthermore Such spam filters are easy to circumvent. It will therefore also self-learning Bayesian spam filter used. The defense against spam messages is so far service-specific handled. For example, e-mail messages filter by searching for textual keywords that are adjustable. In the field of Internet telephony (Voice over IP) is the defense of so-called SPIT messages (Spam over Internet Telefony), d. H. the defense of unwanted Calls by monitoring the language content or a cached speech signal. The speech signal is thereby for example by means of speech recognition translated into text and subsequently for keywords searched.

Während in der Vergangenheit die über Datennetze übertragenen Nachrichten in der Regel unimodal waren, d. h. in einem einzigen Informationsübertragungsformat wie Text, Bild, Audio, Video übertragen wurden, werden zunehmend multimodale Nach richten übertragen, bei denen Informationen in verschiedenen Übertragungsformaten in einer Nachricht zusammengefasst werden. Beispiele für multimodale Nachrichten sind MMS, eine ins Internet gestellte Website sowie die Übertragung einer e-Mail mit einem Grafik-Attachment.While in the past over Data networks transmitted Messages were usually unimodal, d. H. in a single Information transfer format such as text, image, audio, video broadcast were increasingly transmitted multimodal news, where information in different transmission formats in one Message to be summarized. Examples of multimodal messages are MMS, a website posted on the internet as well as the transmission an email with a graphic attachment.

1 zeigt ein Beispiel für eine multimodale Nachricht, bei der Informationen in den Modalitäten Text, Bild und Audio übertragen werden. Die multimodale Nachricht, wie sie in 1 dargestellt ist, ist eine MMS, bei der beispielsweise ein Gruß in Textform mit einem Bild der grüßenden Person zusammen mit einem Audio-Clip übertragen werden. Die in 1 dargestellte multimodale Nachricht weist somit drei Modalitäten auf, nämlich Text, Bild und Audio. Eine Modalität ist ein für ein menschliches Sinnesorgan wahrnehmbares Informationsübertragungsformat, das neben Text, Bild, Audio auch Video auch beispielsweise haptische Informationsübertragungsformate umfasst. 1 shows an example of a multimodal message in which information in the modalities of text, image and audio are transmitted. The multimodal message, as in 1 is an MMS in which, for example, a greeting in text form are transmitted with an image of the person greeting together with an audio clip. In the 1 Thus, the multimodal message shown has three modalities, namely text, image and audio. One modality is an information transmission format that can be perceived by a human sensory organ and that, in addition to text, image, audio, also includes video, for example haptic information transmission formats.

Ein Benutzer kann bei der Interaktion mit seinem Endgerät die für ihn gerade optimale Modalität auswählen. Beispielsweise kann ein Nutzer zum Erhalt von Informationen in einer lauten Umgebung, beispielsweise in einer Fabrikhalle, eine optische Anzeige, d. h. die Modalität „Bild", wählen. Wenn der Nutzer gerade an dem Steuer seines Autos sitzt, kann der Nutzer Nachrichten akustisch über Lautsprecher empfangen, d. h. der Nutzer wählt die Modalität „Audio". Eine multimodale Interaktion mit einem Endgerät erlaubt dem Nutzer eine simultane Eingabe über Eingabeeinrichtungen, die unterschiedliche Modalitäten unterstützen, wie Mikrofon, Stift oder Tastatur. Ferner erlaubt die multimodale Interaktion die Ausgabe von Informationen als synthetisierte Sprache, Grafik, Text oder mittels haptischen Feedbacks.One User can interact with his device just for him choose optimal modality. For example For example, a user may receive information in a noisy environment in a factory building, a visual display, d. H. Select the modality "Picture", if the user is currently sitting at the wheel of his car, the user can News acoustically over Receive speakers, d. H. the user chooses the modality "audio", a multimodal one Interaction with a terminal allows the user a simultaneous input via input devices that different modalities support, like microphone, pen or keyboard. Furthermore, the multimodal allows Interaction the output of information as a synthesized language, Graphics, text or haptic feedbacks.

Mit der Zunahme multimodaler Nachrichten nimmt die Störung von Nutzern durch multimodale Spam-Nachrichten ebenfalls zu.With The increase in multimodal news is taking the disorder from Users through multimodal spam messages too.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, die es erlauben, multimodale Spam-Nachrichten modalitätsübergreifend abzuwehren.It is therefore the object of the present invention, a method and to create a device that will allow multimodal spam messages modalitätsübergreifend ward.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den im Patentanspruch 1 angegebenen Merkmalen gelöst.These The object is achieved by a Method solved by the features specified in claim 1.

Die Erfindung schafft ein Verfahren zur Abwehr von störenden multimodalen Nachrichten mit den folgenden Schritten, nämlich Einstellen von zu sperrenden Nachrichtenkategorien,
Erkennen von in einer multimodalen Nachricht enthaltenen Modalitäten,
Auslesen aller den erkannten Modalitäten und den eingestellten Nachrichtenkategorien zugeordneten Filtermerkmale, und Filtern der multimodalen Nachricht, wenn die multimodale Nachricht mindestens eines der ausgelesenen Filtermerkmale aufweist.The invention provides a method for preventing disturbing multimodal messages with the following steps, namely setting of message categories to be blocked,
Recognizing modalities contained in a multimodal message,
Reading out all the filter features associated with the detected modalities and the set message categories, and filtering the multimodal message if the multimodal message has at least one of the read filter characteristics.

Die Filtermerkmale werden vorzugsweise aus einem Speicher bzw. einer Datenbank ausgelesen.The Filter features are preferably from a memory or a Database read out.

Bei einer Ausführungsform des erfindungsgemäßen Verfahrens erfolgt das Filtern der multimodalen Nachricht durch Sperren bzw. Blockieren der gesamten multimodalen Nachricht.at an embodiment the method according to the invention the filtering of the multimodal message takes place by blocking or Block the entire multimodal message.

Bei einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens erfolgt das Filtern der multimodalen Nachricht, indem Nachrichteninhalte, die ein ausgelesenes Filtermerkmal aufweisen, aus der multimodalen Nachricht herausgefiltert werden, während die übrigen Nachrichteninhalte ungefiltert passieren.In an alternative embodiment of the method according to the invention, the filtering of the multimodal message takes place by filtering out message contents which have a read-out filter feature from the multimodal message while the rest of the message content passes unfiltered.

Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens weist die Modalität ein Text-, Audio-, Bild- oder Video-Informationsübertragungsformat auf.at a preferred embodiment the method according to the invention assigns the modality Text, audio, picture or video information transmission format.

Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird die multimodale Nachricht über ein Datennetzwerk übertragen.at a preferred embodiment the method according to the invention gets the multimodal message over transmit a data network.

Bei dem Datennetzwerk handelt es sich beispielsweise um das Internet.at For example, the data network is the Internet.

Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die multimodale Nachricht über mindestens einen Internet-Link einer Internet-Website übertragen.at a further embodiment the method according to the invention gets the multimodal message over transfer at least one internet link to an internet website.

Dabei erfolgt das Filtern der multimodalen Nachrichten bei einer Ausführungsform des erfindungsgemäßen Verfahrens durch Sperren des Internet-Links.there filtering the multimodal messages occurs in one embodiment the method according to the invention by blocking the internet links.

Bei einer Ausführungsform des erfindungsgemäßen Verfahrens erfolgt das Einstellen der zu sperrenden Nachrichtenkategorien durch einen Benutzer.at an embodiment the method according to the invention the setting of the message categories to be blocked takes place a user.

Bei einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens erfolgt das Einstellen der zu sperrenden Nachrichtenkategorien durch einen Dienstleistungsanbieter.at an alternative embodiment the method according to the invention the setting of the message categories to be blocked is done by a Service providers.

Die Erfindung schafft ferner eine Vorrichtung zur Abwehr von störenden multimodalen Nachrichten mit
einer Erkennungseinheit, die in den multimodalen Nachrichten jeweils enthaltene Modalitäten erkennt und Filtermerkmale ausliest, die den erkannten Modalitäten sowie einstellbaren Nachrichtenkategorien zugeordnet sind, und mit
einer Filtereinheit zum Filtern derjenigen multimodalen Nachrichten, die mindestens eines der ausgelesenen Filtermerkmale aufweisen.The invention also provides a device for the defense against disturbing multimodal messages
a recognition unit which recognizes modalities contained in the multimodal messages and reads out filter characteristics associated with the recognized modalities and adjustable message categories, and with
a filter unit for filtering those multimodal messages having at least one of the read filter characteristics.

Im Weiteren werden bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens sowie der erfindungsgemäßen Vorrichtung unter Bezugnahme auf die beigefügten Figuren zur Erläuterung erfindungswesentlicher Merkmale beschrieben.in the Other preferred embodiments the method according to the invention and the device according to the invention with reference to the attached Figures for explanation features essential to the invention described.

Es zeigen:It demonstrate:

1: ein Beispiel für eine multimodale Nachricht; 1 : an example of a multimodal message;

2: ein Ablaufdiagramm einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens; 2 a flow chart of a possible embodiment of the method according to the invention;

3: eine abstrakte Darstellung einer multimodalen Nachricht, die mehrere Modalitäten umfasst; 3 : an abstract representation of a multimodal message comprising several modalities;

4: ein Beispiel für eine in einem Speicher abgelegte Tabelle von Filtermerkmalen, die bei dem erfindungsgemäßen Verfahren zur Filterung von multimodalen Nachrichten eingesetzt wird; 4 : an example of a memory-stored table of filter characteristics used in the method of filtering multimodal messages according to the invention;

5: ein Beispiel zur Erläuterung des Einstellens von zu sperrenden Nachrichtenkategorien gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; 5 : an example for explaining the setting of message categories to be blocked according to an embodiment of the method according to the invention;

6: eine Tabelle von Filtermerkmalen in abstrakter Form, die bei einer Ausführungsform des erfindungsgemäßen Verfahrens zum Filtern von multimodalen Nachrichten eingesetzt wird; 6 : a table of filter features in abstract form used in one embodiment of the inventive method for filtering multimodal messages;

7A, 7B: Diagramme zur Erläuterung der Anwendung des erfindungsgemäßen Verfahrens zur Abwehr von störenden multimodalen Nachrichten, die über verlinkte Websites des Internets übertragen werden; 7A . 7B : Diagrams for explaining the application of the method according to the invention for warding off disturbing multimodal messages transmitted via linked websites of the Internet;

8: ein Beispiel für ein interaktives multimodales Endgerät, bei dem das erfindungsgemäße Verfahren zur Abwehr von störenden multimodalen Nachrichten einsetzbar ist; 8th : an example of an interactive multimodal terminal, in which the method according to the invention can be used to ward off disturbing multimodal messages;

9: ein Blockschaltbild einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung zum Filtern von multimodalen Nachrichten. 9 : A block diagram of a possible embodiment of the device according to the invention for filtering multimodal messages.

2 zeigt ein einfaches Ablaufdiagramm einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens zur Abwehr von störenden multimodalen Nachrichten. 2 shows a simple flowchart of a possible embodiment of the inventive method for the defense against disturbing multimodal messages.

Nach einem Startschritt S0 werden zunächst im Schritt S1 verschiedene zu sperrende Nachrichtenkategorien K eingestellt. Das Einstellen der Nachrichten erfolgt bei einer Ausführungsform durch einen Nutzer an seinem Endgerät. Bei einer alternativen Ausführungsform erfolgt das Einstellen der zu sperrenden Nachrichtenkategorien K durch einen Dienstleistungsanbieter. Eine Nachrichtenkategorie kann zu jedem beliebigen Thema gebildet werden, beispielsweise Lottospielen, Fußball, Investment, Auto usw. Dabei sind die Kategorien beispielsweise hierarchisch geordnet. 5 zeigt ein Beispiel für die hierarchische Ordnung verschiedener Nachrichtenkategorien. Die Nachrichtenkategorie „Sport" weist dabei die Unterkategorien „Fußball", „Handball", „Sumo", „Schach" auf. Ein Nutzer kann zu sperrende Nachrichtenkategorien K beispielsweise menügesteuert einstellen, indem er beispielsweise zu sperrende Kategorien anklickt. Umgekehrt können auch nicht zu sperrende Kategorien seitens des Nutzers ausgewählt werden, sodass die verbleibenden Kategorien als die zu sperrende Nachrichtenkategorien eingestellt sind.After a start step S0, first different message categories K to be blocked are set in step S1. The setting of the messages takes place in one embodiment by a user at his terminal. In an alternative embodiment, the setting of the message categories K to be blocked is performed by a service provider. A message category can be formed on any topic, such as lottery, football, investment, car, etc. The categories are, for example, hierarchically ordered. 5 shows an example of the hierarchical order of different message categories. The news category "sport" has the subcategories "football", "handball", "sumo", "chess" A user can, for example, set menu categories K to be blocked by clicking on categories to be blocked, for example blocking categories are selected by the user so that the remaining categories are set as the message categories to be blocked.

Die Einstellung kann beispielsweise auch durch Eingabe eines Einstellungsbefehls seitens des Nutzers erfolgen, beispielsweise „Sperre alle Nachrichten, die zur Kategorie „Sport" gehören, außer Nachrichten, die zur Kategorie „Schach" gehören".The Setting can also be done, for example, by entering a setting command done by the user, for example, "lock all messages, belonging to the category "sports", except news, belonging to the category "chess" ".

Nach der Einstellung der zu sperrenden Nachrichtenkategorien K seitens des Nutzers bzw. des Dienstleistungsanbieters erfolgt im Schritt S2 das Erkennen der in einer Nachricht enthaltenen Modalitäten M. Die Modalitäten M umfassen beispielsweise ein Text-, Audio-, Bild- oder Video-Informationsübertragungsformat. Darüber hinaus sind auch Modalitäten für Haptik bzw. Rütteln oder Blindenschrift bei weiteren Ausführungsformen des erfindungsgemäßen Verfahrens vorgesehen.To the setting of the message categories K to be blocked of the user or the service provider takes place in the step S2 recognizing the modalities contained in a message M. The modalities M include, for example, a text, audio, picture or video information transmission format. About that There are also modalities for haptics or shaking or braille in further embodiments of the method according to the invention intended.

3 zeigt schematisch eine multimodale Nachricht, die verschiedene Informationsinhalte aufweist, welche in verschiedenen Modalitäten M_i, M_j, M_k übertragen werden. Bei der multimodalen Nachricht handelt es sich beispielsweise um eine MMS mit einem Text, einem Bild oder einem Audio-Clip oder um eine e-Mail mit Grafik-Attachment oder um eine Website, die Sprache, Grafik und Text umfasst. 3 schematically shows a multimodal message having various information contents, which are transmitted in different modalities M _i , M _j , M _k . The multimodal message may be, for example, an MMS containing a text, an image, or an audio clip, or an email with a graphics attachment, or a web site that includes speech, graphics, and text.

Nachdem alle in der empfangenen multimodalen Nachricht enthaltenen Modalitäten erkannt sind, werden bei einer Ausführungsform des erfindungsgemäßen Verfahrens Filtermerkmale aus einem Speicher bzw. einer Datenbank ausgelesen, die den erkannten Modalitäten M und den eingestellten zu sperrenden Nachrichtenkategorien K zugeordnet sind. Das Auslesen der Filtermerkmale erfolgt im Schritt S3.After this all modalities contained in the received multimodal message are recognized, be in one embodiment the method according to the invention Filter characteristics read from a memory or a database, the recognized modalities M and the set to be blocked message categories K are assigned. The readout of the filter characteristics takes place in step S3.

4 zeigt ein Beispiel für den Speicherinhalt eines derartigen Filtermerkmalspeichers für die Nachrichtenkategorie „Glücksspiel". Möchte beispielsweise ein Nutzer die Nachrichtenkategorie „Glücksspiel" sperren, d. h. möchte er keine multimodalen Nachrichten zu dieser Nachrichtenkategorie erhalten, sperrt er die Nachrichtenkategorie „Glücksspiel" über die entsprechende Einstellung. Jede Modalität, beispielsweise Text, Bild, Audio weist verschiedene Filtermerkmale auf. Bei dem in 4 dargestellten Beispiel sind als Filtermerkmale bzw. Schlüsselworte für die Modalität „Text" die Schlüsselworte „Lotto" und „Gewinn" in der Filtertabelle abgelegt. Für die nächste Modalität „Bild" sind beispielsweise Hash-Werte x, y für entsprechende Bilder, die beispielsweise Lottokugeln darstellen, abgelegt. Für die nächste Modalität „Audio" sind für die Kategorie „Glücksspiel" Schlüsselworte wie „Lotto" oder „Super" im Filtermerkmalspeicher abgelegt. 4 shows an example of the memory content of such a filter feature memory for the message category "gambling." For example, if a user wants to block the "gambling" message category, ie, does not want to receive multimodal messages for that message category, he blocks the "gambling" message category via the appropriate setting. Each modality, such as text, image, audio has different filter characteristics 4 In the example shown, the keywords "lottery" and "profit" are stored in the filter table as filter characteristics or keywords for the "text" mode, for example, for the next modality "image", hash values x, y for corresponding images, for example lotto balls represent, filed. For the next modality "Audio" keywords such as "Lotto" or "Super" are stored in the filter feature memory for the category "Gambling".

Enthält eine multimodale Nachricht mindestens eines der Filtermerkmale der zu unterdrückenden Kategorie K, wird sie im Schritt S4 gefiltert. Das Filtern der multimodalen Nachricht erfolgt bei einer Ausführungsform, indem die gesamte Nachricht gesperrt bzw. verworfen wird. Bei einer alternativen Ausführungsform erfolgt das Filtern der multimodalen Nachricht im Schritt S4, indem nur diejenigen Nachrichteninhalte, die ein ausgelesenes Filtermerkmal aufweisen, aus der multimodalen Nachricht entfernt werden und die übrigen Nachrichteninhalte weitergeleitet werden. Enthält in dem dargestellten Beispiel die empfangene multimodale Nachricht im Textinhalt beispielsweise das Schlüsselwort „Lotto" oder „Gewinn", wird die empfangene Nachricht entweder im Schritt S4 vollständig gesperrt oder es wird lediglich der Textinhalt gesperrt. In gleicher Weise wird eine multimodale Nachricht gefiltert, wenn ein in der Nachricht enthaltenes Bild den Hash-Wert x oder den Hash-Wert y aufweist. Bei einer alternativen Ausführungsform werden als grafikbezogene Spam-Merkmale auch Fingerprints (OCR), Wasserzeichen oder dergleichen verwendet. Enthält bei dem in 4 dargestellten Beispiel ein Audio-Clip das Sprachsignal „Lotto" oder das Sprachsignal „Super", wird diese multimodale Nachricht ebenfalls in Schritt S4 gefiltert. Das erfindungsgemäße Verfahren endet im Schritt S5.If a multimodal message contains at least one of the filter characteristics of the category K to be suppressed, it is filtered in step S4. The filtering of the multimodal message in one embodiment is done by disabling or discarding the entire message. In an alternative embodiment, the filtering of the multimodal message is performed in step S4 by removing only those message contents having a read filter feature from the multimodal message and forwarding the remaining message contents. Contains in the illustrated example, the received multimodal message in the text content, for example, the keyword "lottery" or "profit", the received message is either completely blocked in step S4 or it is only the text content is locked. Similarly, a multimodal message is filtered if an image contained in the message has the hash value x or the hash value y. In an alternative embodiment, fingerprints (OCR), watermarks or the like are also used as graphics-related spam features. Contains at the in 4 If, for example, an audio clip contains the speech signal "Lotto" or the speech signal "Super", this multimodal message is also filtered in step S4. The method according to the invention ends in step S5.

Das in 2 dargestellte Verfahren wird bei einer Ausführungsform in einem Endgerät eines Nutzers durchgeführt. Bei einer alternativen Ausführungsform wird das erfindungsgemäße Verfahrens zur Abwehr von störenden multimodalen Nachrichten in einem Netzknoten durchgeführt, welchen die Nachricht bei der Übertragung über ein Datennetzwerk passiert. Hierbei erfolgt die Filterung beispielsweise durch einen Dienstleistungsanbieter bzw. Netzbetreiber. Auch die Einstellung der zu sperrenden Nachrichtenkategorien K kann entweder durch den Nutzer oder den Dienstleistungsanbieter erfolgen.This in 2 In one embodiment, the illustrated method is performed in a terminal of a user. In an alternative embodiment, the method according to the invention for warding off disturbing multimodal messages is carried out in a network node to which the message passes during the transmission over a data network. Here, the filtering is done for example by a service provider or network operator. The setting of the message categories K to be blocked can also be done either by the user or the service provider.

Das Filtern der multimodalen Nachricht kann einerseits bei Nachrichten durchgeführt werden, die durch ein Gerät empfangen werden, oder andererseits zur Erhöhung der Sicherheit auch zur Filterung von Nachrichten eingesetzt werden, die von einem Gerät versendet werden. Beispielsweise können bei einem Versand von Mails über multimodale Web-Interfaces Spam-Inhalte erkannt und entsprechende Filterungen vorgenommen werden.The On the one hand, filtering of the multimodal message is possible in the case of messages carried out be through a device be received, or on the other hand to increase the security also to Filtering messages sent by a device become. For example, you can when sending mail via multimodal web interfaces spam content detected and appropriate filtering be made.

6 zeigt den Tabelleninhalt eines Filtermerkmalsspeichers in abstrakter Form. Die Tabelle umfasst Z-Spalten für Z-Nachrichtenkategorien K und N-Reihen für N verschiedene Modalitäten M. In jedem Feld der Tabelle sind verschiedene Filtermerkmale abgelegt. Beispielsweise sind für die Nachrichtenkategorie p und die Modalität i zwei Filtermerkmale F1, F2 hinterlegt. Für die Nachrichtenkategorie q und die Modalität j sind in dem dargestellten Beispiel j drei Filtermerkmale gespeichert. Enthält eine multimodale Nachricht einen Nachrichteninhalt in der Modalität j und ist die Kategorie q als zu sperrende Nachrichtenkategorie eingestellt, wird die multimodale Nachricht gefiltert, wenn der in der Modalität j gegebene Nachrichteninhalt eines der drei in 6 dargestellten Filtermerkmale F1, F2, F3 aufweist. 6 shows the table contents of a filter feature memory in abstract form. The table comprises Z columns for Z message categories K and N rows for N different modalities M. In each field of the table different filter characteristics are stored. For example, for the message category p and the modality i are two filter feature le F1, F2 deposited. For the message category q and the modality j, j three filter features are stored in the illustrated example. If a multimodal message contains a message content in the mode j and the category q is set as the message category to be blocked, the multimodal message is filtered if the message content given in the modality j is one of the three in 6 having shown filter characteristics F1, F2, F3.

Das erfindungsgemäße Verfahren kann auch zur Abwehr von multimodalen Nachrichten eingesetzt werden, die über verlinkte Websites übertragen werden. 7A zeigt grafisch die Verlinkung einer Website B mit einer Website A. Beide Websites, A, B weisen einen multimodalen Nachrichteninhalt auf. Klickt ein User bei der Ansicht der Website A über das Link auf die Website B, wird der multimodale Nachrichteninhalt vom Server B der Website B über den Server A der Website A und das Internet an den Nutzer übertragen. Die Filterung der multimodalen Informationen bzw. der multimodalen Nachricht erfolgt bei einer ersten Ausführungsform am Endgerät des Nutzers oder bei einer zweiten Ausführungsform zusätzlich am Server A. Die Diensteanbieter können auf diese Weise mittels des erfindungsgemäßen Verfahrens sicherstellen, dass verlinkte Inhalte spamfrei sind, und somit ihre Kunden vor Weiterleitung vor ungewollten störenden Inhalten schützen. Über die Kategorisierung der Merkmalsidentifikatoren bzw. der Filtermerkmale können beispielsweise Jugendliche über alle Modalitäten hinweg vor bestimmten Inhalten geschützt werden. Beispielsweise können Kategorisierungen hinsichtlich Jugendschutzes, Produktsparten oder kostenpflichtigen Nummern angewendet und benutzerspezifisch eingestellt werden. Werden verdächtige Inhalte, beispielsweise auf weiterverlinkten multimodalen Websites gefunden, können die Weiterleitungs-Links seitens des Anbieters gesperrt werden.The inventive method can also be used to defend against multimodal messages that are transmitted via linked websites. 7A Graphically shows the linking of a website B with a website A. Both websites, A, B have a multimodal message content. When a user clicks on the website B's website A view, the multimodal message content is transmitted from the site B server B via the site A server A and the Internet to the user. The filtering of the multimodal information or the multimodal message takes place in a first embodiment of the terminal of the user or in a second embodiment in addition to the server A. The service providers can ensure in this way by means of the inventive method that linked content is free of spam, and thus their Protect customers from being redirected to unwanted interfering content. By categorizing the feature identifiers or the filter features, for example, adolescents can be protected from certain contents across all modalities. For example, categorizations regarding protection of minors, product lines or paid numbers can be applied and set user-specifically. If suspicious contents are found, for example on further-linked multimodal websites, the forwarding links can be blocked by the provider.

Als Beschreibungssprache für die Notation der Filter- bzw. Spam-Merkmale kann beispielsweise EMA (Extensible Multimodal Anotation) eingesetzt werden, bei der verschiedene Modalitäten beschrieben werden.When Description language for The notation of the filter or spam features can be, for example, EMA (Extensible Multimodal Anotation) are used in which different modalities to be discribed.

8 zeigt ein Beispiel für ein mobiles Endgerät, das eine multimodale Interaktion mit dem Nutzer aufweist. Bei dem in 8 dargestellten Beispiel ist eine multimodale Filterdatenbank bei dem Operator des Netzes vorgesehen. Der Dienstleistungsanbieter bzw. Serviceanbieter führt ebenfalls eine Spam-Prüfung verlinkter Dienste durch. Am Endgerät werden empfangene multimodale Nachrichten mittels des erfindungsgemäßen Verfahrens unter Verwendung einer lokalen Datenbasis herausgefiltert. 8th shows an example of a mobile terminal that has a multimodal interaction with the user. At the in 8th As shown, a multimodal filter database is provided to the operator of the network. The service provider or service provider also performs a spam check of linked services. At the terminal received multimodal messages are filtered out by means of the method according to the invention using a local database.

9 zeigt eine mögliche Ausführungsform einer erfindungsgemäßen Vorrichtung 1, bei der störende multimodale Nachrichten abgewehrt bzw. gefiltert werden. Das Gerät 1 sendet bzw. empfängt multimodale Nachrichten über einen Nachrichtenübertragungskanal 2, der fest verdrahtet ist oder durch eine Funkschnittstelle gebildet wird. 9 shows a possible embodiment of a device according to the invention 1 in which disturbing multimodal messages are blocked or filtered. The device 1 sends or receives multimodal messages over a communication channel 2 Hardwired or made by a radio interface.

Eine Modalitätserkennungseinheit 3 erkennt die in den multimodalen Nachrichten enthaltenen Modalitäten M und gibt diese an einen Filtermerkmalspeicher 4 ab. In dem Filtermerkmalspeicher 4 werden eine oder mehrere zu sperrende Nachrichtenkategorien K, beispielsweise über eine Interface-Vorrichtung, eingestellt. Aus dem Merkmalspeicher 4 werden diejenigen Filtermerkmale ausgelesen, die den erkannten Modalitäten M und den eingestellten Nachrichtenkategorien K zugeordnet sind. Diese Filtermerkmale F_i werden an eine Filtereinheit 5 der Vorrichtung 1 abgegeben. Die Filtereinheit 5 filtert diejenigen multimodalen Nachrichten, die mindestens eines der ausgelesenen Filtermerkmale F_i aufweisen. Das Filtern erfolgt beispielsweise durch Sperren der zu sendenden bzw. empfangenen multimodalen Nachricht. Die ungefilterten Nachrichten werden durch eine beliebige Datenverarbeitungseinheit 6 verarbeitet.A modality detection unit 3 recognizes the modalities M contained in the multimodal messages and passes them to a filter feature memory 4 from. In the filter feature memory 4 One or more message categories K to be blocked are set, for example via an interface device. From the feature memory 4 those filter characteristics are read out which are assigned to the recognized modalities M and the set message categories K. These filter features F _i are sent to a filter unit 5 the device 1 issued. The filter unit 5 filters those multimodal messages that have at least one of the read filter characteristics F _i . The filtering takes place, for example, by blocking the multimodal message to be sent or received. The unfiltered messages are transmitted through any data processing unit 6 processed.

Mit der erfindungsgemäßen Vorrichtung werden Spam-Nachrichten modalitätsübergreifend abgewehrt und es kann eine konsistente Abschirmung erfolgen. Mit dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung 1, wie sie in 9 dargestellt ist, können Spam-Merkmale von verschiedenen Diensten über eine gemeinsame Klassifikation modalitätsbezogen zugeordnet werden, sodass multimodale Spam-Nachrichten dienstübergreifend bekämpft werden können. Der Nutzer wird unabhängig von der verwendeten Modalität in gleichem Maße vor Spam-Angriffen geschützt. Ein Vorteil für den Operator besteht darin, dass Spam-Merkmale einzelner Dienste auch für gleiche Modalitäten in anderen Diensten verwendet werden können. Er kann daher eine konsistente, leicht verwaltbare Datenbasis schaffen. Die Dienstanbieter können zudem sicherstellen, dass verlinkte Inhalte spamfrei sind und dadurch ihre Kunden vor Weiterleitung derartiger Inhalte schützen. Das erfindungsgemäße Verfahren eignet sich auch für den Einsatz in verschiedenen mobilen Umgebungen.With the device according to the invention spam messages are repudiated across modalities and there can be a consistent shielding. With the method according to the invention or the device according to the invention 1 as they are in 9 is illustrated, spam characteristics of different services can be assigned via a common classification modality-related, so that multimodal spam messages can be fought cross-service. The user is equally protected against spam attacks, regardless of the modality used. An advantage for the operator is that spam features of individual services can also be used for the same modality in other services. He can therefore create a consistent, easily manageable database. Service providers can also ensure that linked content is spam-free, thereby protecting their customers from redirecting such content. The method according to the invention is also suitable for use in various mobile environments.

Claims

A method of preventing annoying multimodal messages comprising the steps of: (a) setting (S1) message categories (K) to be blocked; (b) detecting (S2) modalities (M) contained in a multimodal message; (c) reading out (S3) all the detected modalities (M) and the set message categories (K) associated filter characteristics; and (d) filtering (S4) the multimodal message if the multimodal message comprises at least one of the read filter characteristics.

Method according to claim 1, wherein the filtering (S4) the multimodal message by blocking the multimodal message he follows.

Method according to claim 1, wherein the filtering (S4) The multimodal message is done by adding message content, the have a read filter feature from the multimodal message be filtered out.

The method of claim 1, wherein the modality (M) is a Text, audio, picture, video information transmission format having.

The method of claim 1, wherein the multimodal Message about transmit a data network becomes.

The method of claim 5, wherein the data network is formed by the internet.

The method of claim 6, wherein the multimodal Message about at least one internet link one Internet web site transfer becomes.

Method according to claim 7, wherein the filtering (S4) the multimodal message is done by locking the internet link.

Method according to claim 1, wherein said setting (S1) of the message categories (K) to be blocked by a user he follows.

The method of claim 1, wherein adjusting (S1) of the message categories (K) to be blocked by a service provider he follows.

Device for warding off interfering multimodal messages comprising: (a) a recognition unit ( 3 ) which identifies modalities (M) contained in the multimodal messages and reads out filter characteristics assigned to the recognized modalities (M) and to adjustable message categories (K), and to (b) a filter unit ( 5 ) for filtering those multimodal messages having at least one of the read filter characteristics.