DE102016204183A1 - Method for music selection using gesture and voice control - Google Patents

Method for music selection using gesture and voice control Download PDF

Info

Publication number
DE102016204183A1
DE102016204183A1 DE102016204183.5A DE102016204183A DE102016204183A1 DE 102016204183 A1 DE102016204183 A1 DE 102016204183A1 DE 102016204183 A DE102016204183 A DE 102016204183A DE 102016204183 A1 DE102016204183 A1 DE 102016204183A1
Authority
DE
Germany
Prior art keywords
user
user activity
song
activity
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016204183.5A
Other languages
German (de)
Inventor
Andrea Stupiggia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102016204183.5A priority Critical patent/DE102016204183A1/en
Publication of DE102016204183A1 publication Critical patent/DE102016204183A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • B60K35/10—
    • B60K35/28—
    • B60K35/65—
    • B60K35/85—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B60K2360/146—
    • B60K2360/148—
    • B60K2360/164—
    • B60K2360/595—
    • B60K2360/741—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process

Abstract

Offenbart wird ein Verfahren zur Auswahl von Musiktiteln aus einer Datenbank; wobei zumindest einem Musiktitel in der Datenbank eine Benutzeraktivität zugeordnet ist; wobei die Benutzeraktivität eine akustische Äußerung und/oder Bewegung eines Benutzers umfasst; wobei die Benutzeraktivität von diesem Benutzer ausgeführt, aufgenommen und analysiert wurde; wobei das Verfahren umfasst: Erkennen des Benutzers; Aufnehmen einer Benutzeraktivität des Benutzers; Abgleichen der aufgenommenen Benutzeraktivität mit der zugeordneten Benutzeraktivität bzw. den zugeordneten Benutzeraktivitäten; Auswählen eines Musiktitels basierend auf dem Abgleich.Disclosed is a method of selecting songs from a database; wherein at least one music title in the database is assigned a user activity; wherein the user activity comprises an audible utterance and / or movement of a user; the user activity being performed, recorded and analyzed by that user; the method comprising: recognizing the user; Recording a user activity of the user; Matching the recorded user activity with the associated user activity (s); Select a song based on the match.

Description

Die Erfindung betrifft ein Verfahren zur Auswahl von Musiktiteln aus einer Datenbank sowie eine entsprechende Vorrichtung. The invention relates to a method for selecting songs from a database and a corresponding device.

Zur Bedienung von Vorrichtungen zur Wiedergabe von Musik in Fahrzeugen gibt es umfangreiche Anwendungsmöglichkeiten von Gesten- und Sprachsteuerung. Typischerweise wählt der Benutzer über Tasten und/oder eine Menüführung ein Musikstück zur Wiedergabe aus. For the operation of devices for playing music in vehicles, there are extensive applications of gesture and voice control. Typically, the user selects a piece of music for playback via buttons and / or a menu guide.

Es sind auch Verfahren patentiert, mithilfe derer die Auswahl des Musiktitels per Sprachsteuerung erfolgen kann, auch ohne den Titelnamen zu kennen. So ist beispielweise im Patent US 5874686 ein Verfahren beschrieben, in dem der Nutzer einen Melodieausschnitt des gewünschten Titels singt oder summt. Die Tonhöhenvariation dieser Melodie wird vom Computer erfasst und mit der Musikbibliothek abgeglichen. Im Ergebnis wird eine Liste plausibler Musiktitel erstellt und dem Nutzer vorgeschlagen oder vorgespielt. There are also patented methods by which the selection of the song can be made by voice control, even without knowing the title name. For example, in the patent US 5874686 A method is described in which the user sings or hums a melody section of the desired track. The pitch variation of this melody is captured by the computer and matched with the music library. As a result, a list of plausible songs is created and suggested or played to the user.

Als zusätzliches Suchkriterium wird im Patent US 587468 eine Möglichkeit dargestellt, charakteristische Schlüsselwörter auszusprechen, was einen feineren Abgleich mit der Musikbibliothek ermöglicht. As an additional search criterion is in the patent US 587468 presented a way to pronounce characteristic keywords, which allows a finer comparison with the music library.

Bei der Bedienung von Musikvorrichtungen gemäß dem Stand der Technik muss der Benutzer zur Auswahl des Musiktitels den Titelnamen bzw. den Interpreten oder das Album kennen, was die Auswahl erschwert. In the operation of prior art musical devices, the user must know the title name or the artist or the album to select the song, which makes selection difficult.

Ferner besteht bei Systemen zur Erkennung von Singen oder Summen bei manchen Benutzern eine gewisse Hemmschwelle der Nutzung. Furthermore, in some systems for detecting chants or sums, some users have a certain inhibition threshold of use.

Vor diesem Hintergrund besteht an den Fachmann die Aufgabe, die Auswahl von Musiktiteln aus einer Datenbank zu vereinfachen. Against this background, it is the task of the skilled person to simplify the selection of music titles from a database.

Dies Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. This object is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Auswahl von Musiktiteln aus einer Datenbank; wobei zumindest einem Musiktitel in der Datenbank eine Benutzeraktivität zugeordnet ist; wobei die Benutzeraktivität eine akustische Äußerung und/oder Bewegung eines Benutzers umfasst; wobei die Benutzeraktivität von diesem Benutzer ausgeführt, aufgenommen und analysiert wurde; wobei das Verfahren umfasst: Erkennen des Benutzers; Aufnehmen einer Benutzeraktivität des Benutzers; Abgleichen der aufgenommenen Benutzeraktivität mit der zugeordneten Benutzeraktivität bzw. den zugeordneten Benutzeraktivitäten; Auswählen eines Musiktitels basierend auf dem Abgleich. Es kann vorgesehen sein, dass das Verfahren für mehrere Benutzer ausführbar ist. Einem Musiktitel wird dann je nach Benutzer eine Benutzeraktivitäten zugeordnet. Es können also einem Musiktitel mehrere Benutzeraktivitäten zugeordnet sein, je eine (oder sogar mehrere) pro Benutzer. A first aspect of the invention relates to a method for selecting songs from a database; wherein at least one music title in the database is assigned a user activity; wherein the user activity comprises an audible utterance and / or movement of a user; the user activity being performed, recorded and analyzed by that user; the method comprising: recognizing the user; Recording a user activity of the user; Matching the recorded user activity with the associated user activity (s); Select a song based on the match. It can be provided that the method can be executed for several users. A music title is then assigned a user activity depending on the user. Thus, one music title can be assigned several user activities, one (or even more) per user.

Hierin wird also vorgeschlagen, Musiktiteln eine Benutzeraktivität eines bestimmten Benutzers zuzuordnen. Aktivitäten genau dieses Benutzers zur Auswahl von Musiktiteln werden dann mit den zugeordneten Benutzeraktivitäten abgeglichen und eine entsprechende Auswahl vorgenommen. Es handelt sich somit um eine „personalisiierte“ Suche nach Musiktiteln basierend auf vorhergehenden Benutzeraktivitäten des Benutzers. Herein, it is proposed to assign a user activity of a specific user to music titles. Activities of exactly this user to select songs are then matched with the associated user activities and made an appropriate selection. It is thus a "personalized" search for songs based on the user's previous user activities.

Dies bietet den Vorteil, dass der Nutzer zur Auswahl eines Musiktitels nicht den genauen Titelnamen, Interpreten und Albumtitel kennen muss. Weiterhin kann die korrekte Auswahl des gewünschten Musiktitels entscheidend erleichtert werden. Dies wird dadurch ermöglicht, dass das gesamte Spektrum aus Sprach- und Gestensteuerung ausgeschöpft wird. Ferner verbessert sich die Auswahlwahrscheinlichkeit durch das graduelle Anlegen von nutzerspezifischen Attributen in der Datenbank. This has the advantage that the user does not have to know the exact title name, artist and album title to select a song. Furthermore, the correct selection of the desired song can be significantly facilitated. This is made possible by the fact that the entire spectrum of speech and gesture control is exhausted. Furthermore, the selection probability improves by the gradual creation of user-specific attributes in the database.

Durch das Anbieten von unterschiedlichsten akustischen Benutzeraktivitäten, wie rhythmisches Klopfen, wird vielen Nutzer die Nutzung leichter fallen als, wenn nur ein Singen eines Melodiefragments angeboten wird. Insbesondere weist Klopfen eine niedrigere Hemmschwelle auf als Singen. By offering a variety of acoustic user activities, such as rhythmic tapping, many users will find it easier to use than just singing a melody fragment. In particular, tapping has a lower inhibition threshold than singing.

In einer bevorzugten Weiterbildung des Verfahrens wird dem zumindest einen Musiktitel in der Datenbank eine Standard-Benutzeraktivität zugeordnet; wobei die Standard-Benutzeraktivität eine akustische Äußerung und/oder Bewegung eines Benutzers umfasst; wobei die Standard-Benutzeraktivität vordefiniert ist; wobei das Verfahren ferner umfasst: Aufnahmen einer Benutzeraktivität des Benutzers; Abgleichen der aufgenommenen Benutzeraktivität des Benutzers mit der bzw. den zugeordneten Standard-Benutzeraktivitäten; Auswählen eines Musiktitels anhand des Abgleichs; Empfangen einer Benutzereingabe, die die Auswahl des Musiktitels bestätigt; Zuordnen der aufgenommenen Benutzeraktivität zu dem ausgewählten Musiktitel. In a preferred development of the method, a standard user activity is assigned to the at least one music title in the database; wherein the standard user activity comprises an audible utterance and / or movement of a user; the default user activity being predefined; the method further comprising: capturing a user activity of the user; Matching the user's recorded user activity with the associated standard user activity (s); Selecting a song using the matching; Receiving a user input confirming the selection of the song; Associate the recorded user activity with the selected song.

Hierin wird somit vorgeschlagen, die Eingaben eines Benutzers dazu zu nutzen, die personalisierte Datenbank aufzubauen. Im Verfahren werden dazu initial vordefinierte Standard-Benutzeraktivitäten zur Verfügung gestellt, die unabhängig von vom Benutzer aufgenommenen Benutzereingaben sind. Diese Standard-Benutzeraktivitäten repräsentieren typische Aktivitäten von Benutzern zur Auswahl des zugeordneten Musiktitels. Wenn der Benutzer über eine Benutzeraktivität erfolgreich den gewünschten Musiktitel ausgewählt hat, wird die aufgenommene Benutzeraktivität (bzw. deren Analyse) dem Musiktitel zugeordnet und gespeichert. Auf diese Weise steht sie bei der nächsten Suche zur Verfügung und kann zur besseren Erkennung (Abgleichs) des vom Benutzer gewünschten Musikstücks verwendet werden. Dies deshalb, da der Benutzer für dasselbe Musikstück jedes Mal sehr ähnliche Benutzeraktivitäten zur Auswahl ausführen wird. It is thus suggested herein to use the inputs of a user to build the personalized database. The procedure initially provides predefined standard user activities that are independent of user input recorded by the user are. These standard user activities represent typical activities of users to select the associated song. If the user has successfully selected the desired song using a user activity, the recorded user activity (or its analysis) is associated with the song and saved. In this way, it is available for the next search and can be used to better identify (match) the piece of music desired by the user. This is because the user will be doing very similar user activities for selection for the same piece of music each time.

Wenn das Verfahren im Fahrzeug ausgeführt wird, wird das aktive Ausleben positiver Emotionen im Fahrzeug gefördert. When the procedure is performed in the vehicle, the active living of positive emotions in the vehicle is promoted.

Typischerweise umfasst die Benutzeraktivität eines oder mehrere der Folgenden: Singen und/oder Sprechen von Worten; Singen und/oder Summen einer Melodie; Akustisches Wiedergeben eines Rhythmus, insbesondere durch Klopfen. Typically, the user activity includes one or more of the following: singing and / or speaking words; Singing and / or humming a melody; Acoustic playing of a rhythm, especially by tapping.

KURZE BESCHREIBUNG DER ZEICHNUNG BRIEF DESCRIPTION OF THE DRAWING

1 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. 1 shows a flowchart of a method according to an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS DETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Das Verfahren wird mithilfe einer Datenbank ausgeführt, die Musiktitel speichert. Manchen Musiktiteln in der Datenbank ist eine Benutzeraktivität zugeordnet, die der Benutzer zuvor für diesen Musiktitel ausgeführt hat. Es können für verschiedene Benutzer jeweils deren Benutzeraktivität für dasselbe Musikstück in der Datenbank gespeichert sein. Dabei kann es sich um eine Benutzeraktivität zur Auswahl des Titels oder aber beim Abspielen des Titels handeln. Die Benutzeraktivität kann auf verschiedene Arten gespeichert werden. Vorzugsweise werden aus der Aufzeichnung Merkmale extrahiert, wodurch einerseits der Speicherplatzbedarf reduziert wird. Andererseits können dies die Merkmale sein, anhand derer der Abgleich zwischen der aufgenommenen Benutzertätigkeit und der gespeicherten Benutzertätigkeit vorgenommen wird. 1 shows a flowchart of a method according to an embodiment. The process is performed using a database that stores music. Some songs in the database are associated with a user activity that the user previously ran for that song. For each user, their user activity for the same piece of music may be stored in the database. This can be a user activity to select the title or play the title. User activity can be stored in several ways. Preferably, features are extracted from the record, which on the one hand reduces the storage space requirement. On the other hand, these may be the features by which the match between the user activity recorded and the user's stored activity is made.

In einem ersten Schritt S1 wird erkannt, welcher Benutzer die Benutzeraktivität macht. Abhängig davon wird auf seinen „Satz“ an gespeicherten Benutzeraktivitäten zurückgegriffen. In a first step S1, it is recognized which user is making the user activity. Depending on this, its "set" of stored user activities is used.

Im Schritt S2 wird die Benutzeraktivität aufgezeichnet. Typischerweise dienen hierzu Kameras, die die Bewegung des Benutzers aufzeichnen können, und/oder Mikrofone, die ein Singen, Sprechen oder Klopfen aufzeichnen. In step S2, the user activity is recorded. Typically, these are cameras that can record the movement of the user, and / or microphones that record singing, speaking, or knocking.

Diese Aufzeichnung dient im Schritt S3 als Basis für den Abgleich mit den für den Benutzer gespeicherten Benutzeraktivitäten. Zum Abgleich können Merkmale dienen, wie beispielsweise die Position der Hände, oder die zeitliche Abfolge von Klopfgeräuschen. Die Merkmale werden aus der Aufzeichnung extrahiert und mit den für den Musiktitel in der Datenbank gespeicherten Merkmalen (der Benutzeraktivität) verglichen. Bei einer ausreichenden Übereinstimmung wird der entsprechende Musiktitel im Schritt S4 ausgewählt. This record is used in step S3 as a basis for the comparison with the user activities stored for the user. Features can be used for matching, such as the position of the hands, or the timing of knocking sounds. The features are extracted from the record and compared to the features (user activity) stored for the song in the database. If there is a sufficient match, the corresponding music title is selected in step S4.

Falls für einen Musiktitel keine Benutzeraktivität gespeichert ist, kann auf eine Standard-Benutzeraktivität zurückgegriffen werden. Diese ist eine vorgespeicherte (vordefinierte) Benutzeraktivität, mit der typischerweise ein Musiktitel ausgewählt wird. If no user activity is stored for a song, a default user activity can be used. This is a pre-defined user activity that typically selects a song.

Das erfindungsgemäße Verfahren kann noch folgendermaßen detailliert und erweitert werden:
Es kann graduell eine „Bibliothek der bevorzugten Musiktitel“ (im Folgenden als BbM abgekürzt) aufgebaut werden. Beim Hören von Musik kann der Nutzer einen gewünschten Titel jederzeit durch Sprachauswahl oder durch Betätigen einer Taste/Funktion „Titel speichern“ in die BbM aufnehmen lassen. Alle Musikquellen, bei denen der Nutzer die Musik speichern kann/darf, kommen hierfür infrage (Radio, CD, Festplatte, SSD). The method according to the invention can still be detailed and expanded as follows:
It can gradually be a "library of favorite music titles" (hereinafter abbreviated as BbM) are built. When listening to music, the user can have a desired title recorded at any time by language selection or by pressing a button / function "save title" in the BbM. All music sources in which the user can / may store the music are eligible for this (radio, CD, hard disk, SSD).

In der BbM werden die Musiktitel zusammen mit einer Anzahl von Attributen (bzw. Merkmalen) gespeichert. Dies sind zunächst allgemeine, nutzerunabhängige Attribute, so etwa:

  • – Titel
  • – Autor
  • – Album
  • – Genre(s)
  • – Oft auftretende Wörter
  • – Die wichtigsten Sätze im Refrain
  • – Die Tonhöhenabfolge der Kernmelodie
  • – Die Tonhöhenabfolge besonderer Riffs
  • – Hauptrhythmus inkl. Tempo/Frequenz (beats per minute)
In the BbM the music titles are stored together with a number of attributes (or characteristics). These are first general, user-independent attributes, such as:
  • - Title
  • - Author
  • - Album
  • - genre (s)
  • - Frequently occurring words
  • - The most important sentences in the chorus
  • - The pitch sequence of the core melody
  • - The pitch sequence of special riffs
  • - Main rhythm incl. Tempo / frequency (beats per minute)

Ist eine Option „Interaktive/Emotionale Musiktitelauswahl“ aktiviert, werden im Fahrzeug automatisch Gestenerkennung und Spracherkennung zugeschaltet. Der Nutzer kann den gewünschten Musiktitel dann auf folgende Weise auswählen:

  • – Der Nutzer singt/summt /pfeift die zentrale Melodie oder den zentralen Riff.
  • – Der Nutzer singt/spricht zentrale Wörter/Sätze des Musiktitels. Zur Umsetzung dieser zwei erstgenannten Punkte kann von den Verfahren der aufgeführten Patente Gebrauch gemacht werden.
If an option "Interactive / emotional music title selection" is activated, the vehicle automatically activates gesture recognition and voice recognition. The user can then select the desired song in the following way:
  • - The user sings / hums / whistles the central melody or the central reef.
  • - The user sings / speaks central words / phrases of the song. To implement these two first points, use may be made of the methods of the patents listed.

Darüber hinaus sind jedoch folgende Auswahlmethoden unter Verwendung von Gestensteuerung vorstellbar:

  • – Der Nutzer klopft/schlägt den Rhythmus etwa durch Klopfen auf dem Lenkrad mit Fingern oder Händen, Fingerschnippen, Klatschen usw.
  • – Der Nutzer gibt den Rhythmus durch Hand/Arm/Köperbewegungen, Kopfnicken usw wieder.
In addition, however, the following selection methods using gesture control are conceivable:
  • - The user taps / beats the rhythm about by knocking on the steering wheel with fingers or hands, finger snap, clap, etc.
  • - The user reflects the rhythm through hand / arm / body movements, nods, etc.

Die vom Fahrzeug (der CPU) erfassten Auswahlelemente werden mit den Attributen in der BbM abgeglichen. The selection elements captured by the vehicle (CPU) are matched with the attributes in the BbM.

Der plausibelste Musiktitel wird abgespielt. Der Nutzer hat die Möglichkeit, diesen anzunehmen oder abzulehnen, etwa durch Sprachbefehle „ja/nein“ oder durch Display-Bedienelemente. The most plausible song is played. The user has the option of accepting or rejecting this, for example by voice commands "yes / no" or by display controls.

Die vom Nutzer zur Auswahl eines akzeptierten Musiktitels durchgeführten Aktionen können nun als nutzerspezifische Attribute des Musiktitels in die BbM aufgenommen werden. Folgende nutzerspezifische Attribute sind möglich:

  • – Die vom Nutzer gesungenen/gesprochenen Worte
  • – Die vom Nutzer gesungene/gesummte Melodie
  • – Der vom Nutzer geklopfte oder auf andere Weise wiedergegebene Rhythmus
The actions performed by the user to select an accepted song can now be included in the BbM as user-specific attributes of the song. The following user-specific attributes are possible:
  • - The words sung / spoken by the user
  • - The user-sung / hummed tune
  • - The rhythm tapped or otherwise reproduced by the user

Weiterhin kann das Verhalten des Nutzers auch erfasst werden, während der Musiktitel abgespielt wird. Furthermore, the behavior of the user can also be detected while the music track is being played.

Ein Mitsingen, Mitsummen, Mitklatschen usw. des Nutzers kann ebenfalls in geeigneter Form als Auswahlattribut für einen Musiktitel aufgezeichnet werden. Auf diese Weise wird die Liste der nutzerspezifischen Attribute immer weiter befüllt, so dass die korrekte Auswahl des gewünschten Musiktitels wahrscheinlicher wird. A singing along, huming, clapping, etc. of the user can also be suitably recorded as a selection attribute for a song. In this way, the list of user-specific attributes is always filled so that the correct selection of the desired music title becomes more likely.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 5874686 [0003] US 5874686 [0003]
  • US 587468 [0004] US 587468 [0004]

Claims (4)

Verfahren zur Auswahl von Musiktiteln aus einer Datenbank; wobei zumindest einem Musiktitel in der Datenbank eine Benutzeraktivität zugeordnet ist; wobei die Benutzeraktivität eine akustische Äußerung und/oder Bewegung eines Benutzers umfasst; wobei die Benutzeraktivität von diesem Benutzer ausgeführt, aufgenommen und analysiert wurde; wobei das Verfahren umfasst: Erkennen des Benutzers; Aufnehmen einer Benutzeraktivität des Benutzers; Abgleichen der aufgenommenen Benutzeraktivität mit der zugeordneten Benutzeraktivität bzw. den zugeordneten Benutzeraktivitäten; Auswählen eines Musiktitels basierend auf dem Abgleich.  Method for selecting songs from a database; wherein at least one music title in the database is assigned a user activity; wherein the user activity comprises an audible utterance and / or movement of a user; the user activity being performed, recorded and analyzed by that user; the method comprising: Recognizing the user; Recording a user activity of the user; Matching the recorded user activity with the associated user activity (s); Select a song based on the match. Verfahren nach Anspruch 1, wobei dem zumindest einen Musiktitel in der Datenbank eine Standard-Benutzeraktivität zugeordnet ist; wobei die Standard-Benutzeraktivität eine akustische Äußerung und/oder Bewegung eines Benutzers umfasst; wobei die Standard-Benutzeraktivität vordefiniert ist; wobei das Verfahren ferner umfasst: Aufnahmen einer Benutzeraktivität des Benutzers; Abgleichen der aufgenommenen Benutzeraktivität des Benutzers mit der bzw. den zugeordneten Standard-Benutzeraktivitäten; Auswählen eines Musiktitels anhand des Abgleichs; Empfangen einer Benutzereingabe, die die Auswahl des Musiktitels bestätigt; Zuordnen der aufgenommenen Benutzeraktivität zu dem ausgewählten Musiktitel.  The method of claim 1, wherein the at least one music title in the database is associated with a standard user activity; wherein the standard user activity comprises an audible utterance and / or movement of a user; the default user activity being predefined; the method further comprising: Recordings of a user activity of the user; Matching the user's recorded user activity with the associated standard user activity (s); Selecting a song using the matching; Receiving a user input confirming the selection of the song; Associate the recorded user activity with the selected song. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Benutzeraktivität eines oder mehrere der Folgenden umfasst: – Singen und/oder Sprechen von Worten; – Singen und/oder Summen einer Melodie; – Akustisches Wiedergeben eines Rhythmus, insbesondere durch Klopfen. The method of any one of the preceding claims, wherein the user activity comprises one or more of the following: - singing and / or speaking words; - singing and / or humming a melody; - Acoustic playing of a rhythm, especially by tapping. Vorrichtung, umfassend eine Rechen- und Speichereinheit und Mittel zum Aufnehmen von akustischen Äußerungen und/oder Bewegungen eines Benutzers; wobei die Vorrichtung dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. Apparatus comprising a computing and storage unit and means for receiving acoustic utterances and / or movements of a user; the device being adapted to carry out a method according to any one of the preceding claims.
DE102016204183.5A 2016-03-15 2016-03-15 Method for music selection using gesture and voice control Withdrawn DE102016204183A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016204183.5A DE102016204183A1 (en) 2016-03-15 2016-03-15 Method for music selection using gesture and voice control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016204183.5A DE102016204183A1 (en) 2016-03-15 2016-03-15 Method for music selection using gesture and voice control

Publications (1)

Publication Number Publication Date
DE102016204183A1 true DE102016204183A1 (en) 2017-09-21

Family

ID=59751807

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016204183.5A Withdrawn DE102016204183A1 (en) 2016-03-15 2016-03-15 Method for music selection using gesture and voice control

Country Status (1)

Country Link
DE (1) DE102016204183A1 (en)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US587468A (en) 1897-08-03 Alfred william tooley
US5874686A (en) 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
DE10058811A1 (en) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Method for identifying pieces of music e.g. for discotheques, department stores etc., involves determining agreement of melodies and/or lyrics with music pieces known by analysis device
US20070198511A1 (en) * 2006-02-23 2007-08-23 Samsung Electronics Co., Ltd. Method, medium, and system retrieving a media file based on extracted partial keyword
US20080126304A1 (en) * 2006-09-12 2008-05-29 Chieh Changfan Melody-based music search
US20080228481A1 (en) * 2007-03-13 2008-09-18 Sensory, Incorporated Content selelction systems and methods using speech recognition
US20080235621A1 (en) * 2007-03-19 2008-09-25 Marc Boillot Method and Device for Touchless Media Searching
US20080249770A1 (en) * 2007-01-26 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for searching for music based on speech recognition
US20120165964A1 (en) * 2010-12-27 2012-06-28 Microsoft Corporation Interactive content creation
US20120239642A1 (en) * 2009-12-18 2012-09-20 Captimo, Inc. Method and system for gesture based searching
US20120259637A1 (en) * 2011-04-11 2012-10-11 Samsung Electronics Co., Ltd. Method and apparatus for receiving audio
US20140111432A1 (en) * 2012-10-22 2014-04-24 SK Digital Gesture, Inc. Interactive music playback system
US20150186525A1 (en) * 2013-12-26 2015-07-02 Thomson Licensing Method and apparatus for gesture-based searching
US20160275185A1 (en) * 2013-07-30 2016-09-22 Baidu Online Network Technology (Beijing) Co., Ltd. Mobile terminal-based song recommendation method and device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US587468A (en) 1897-08-03 Alfred william tooley
US5874686A (en) 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
DE10058811A1 (en) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Method for identifying pieces of music e.g. for discotheques, department stores etc., involves determining agreement of melodies and/or lyrics with music pieces known by analysis device
US20070198511A1 (en) * 2006-02-23 2007-08-23 Samsung Electronics Co., Ltd. Method, medium, and system retrieving a media file based on extracted partial keyword
US20080126304A1 (en) * 2006-09-12 2008-05-29 Chieh Changfan Melody-based music search
US20080249770A1 (en) * 2007-01-26 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for searching for music based on speech recognition
US20080228481A1 (en) * 2007-03-13 2008-09-18 Sensory, Incorporated Content selelction systems and methods using speech recognition
US20080235621A1 (en) * 2007-03-19 2008-09-25 Marc Boillot Method and Device for Touchless Media Searching
US20120239642A1 (en) * 2009-12-18 2012-09-20 Captimo, Inc. Method and system for gesture based searching
US20120165964A1 (en) * 2010-12-27 2012-06-28 Microsoft Corporation Interactive content creation
US20120259637A1 (en) * 2011-04-11 2012-10-11 Samsung Electronics Co., Ltd. Method and apparatus for receiving audio
US20140111432A1 (en) * 2012-10-22 2014-04-24 SK Digital Gesture, Inc. Interactive music playback system
US20160275185A1 (en) * 2013-07-30 2016-09-22 Baidu Online Network Technology (Beijing) Co., Ltd. Mobile terminal-based song recommendation method and device
US20150186525A1 (en) * 2013-12-26 2015-07-02 Thomson Licensing Method and apparatus for gesture-based searching

Similar Documents

Publication Publication Date Title
US10133538B2 (en) Semi-supervised speaker diarization
Mitrović et al. Features for content-based audio retrieval
DE10232916B4 (en) Apparatus and method for characterizing an information signal
EP3872806B1 (en) Text-to-speech from media content item snippets
Mitra et al. The SRI AVEC-2014 evaluation system
US20060112812A1 (en) Method and apparatus for adapting original musical tracks for karaoke use
DE102014118075B4 (en) Perception model synchronizing audio and video
CN109584904B (en) Video-song audio-song name recognition modeling method applied to basic music video-song education
US20210357174A1 (en) DIgital Audio Workstation with Audio Processing Recommendations
CN108885869A (en) The playback of audio data of the control comprising voice
US20140114656A1 (en) Electronic device capable of generating tag file for media file based on speaker recognition
Gref et al. Improved transcription and indexing of oral history interviews for digital humanities research
Böck et al. Determining optimal signal features and parameters for hmm-based emotion classification
CN105895079A (en) Voice data processing method and device
CN113823323A (en) Audio processing method and device based on convolutional neural network and related equipment
DE102016204183A1 (en) Method for music selection using gesture and voice control
Pao et al. Recognition and analysis of emotion transition in mandarin speech signal
Kumala et al. Indonesian speech emotion recognition using cross-corpus method with the combination of MFCC and teager energy features
Grill Perceptually informed organization of textural sounds
Xie et al. Statistical feature selection for mandarin speech emotion recognition
Chenchah et al. Impact of gender and emotion type in dialogue emotion recognition
DE102016226042A1 (en) Device, means of transport and method for designing a transition between two audio files
Liu Audio fingerprinting for speech reconstruction and recognition in noisy environments
Rizal et al. Emotion Recognition Using Bahasa Malaysia Natural Speech
Schlatter et al. Project Work Computer Science

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G10L0015220000

Ipc: G06F0003010000

R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination