DE102015210405A1 - Audio processing system and method for processing an audio signal - Google Patents

Audio processing system and method for processing an audio signal Download PDF

Info

Publication number
DE102015210405A1
DE102015210405A1 DE102015210405.2A DE102015210405A DE102015210405A1 DE 102015210405 A1 DE102015210405 A1 DE 102015210405A1 DE 102015210405 A DE102015210405 A DE 102015210405A DE 102015210405 A1 DE102015210405 A1 DE 102015210405A1
Authority
DE
Germany
Prior art keywords
display
microphone array
image
microphones
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015210405.2A
Other languages
German (de)
Inventor
Gregor Zielinsky
Shanshan Fu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sennheiser Electronic GmbH and Co KG
Original Assignee
Sennheiser Electronic GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sennheiser Electronic GmbH and Co KG filed Critical Sennheiser Electronic GmbH and Co KG
Priority to DE102015210405.2A priority Critical patent/DE102015210405A1/en
Publication of DE102015210405A1 publication Critical patent/DE102015210405A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Abstract

Es wird eine Audioverarbeitungseinheit mit einem Mikrofonarray (100) mit einer Mehrzahl von Mikrofonen (110), einer Steuereinheit (200) zum Kombinieren der Ausgänge der Mehrzahl der Mikrofone (110) des Mikrofonarrays (100), um mindestens einen Beam zu erzeugen, einer Kamera oder Videokamera (400) zum Erstellen eines Bildes oder eines Videosignals des zu überwachenden Raums, einem Display (500) zum Anzeigen des Bildes oder des Videosignals und einer Eingabeeinheit (300) mit mindestens vier Freiheitsgraden zum Einstellen einer Position sowie weiterer Parameter des mindestens einen Beams vorgesehen. Die Steuereinheit (200) ist dazu ausgestaltet, ein Symbol des mindestens einen Beams des Mikrofons zu erzeugen und entsprechend der Position des mindestens einen Beams auf der Anzeige des Displays (500) anzuzeigen.An audio processing unit having a microphone array (100) with a plurality of microphones (110), a control unit (200) for combining the outputs of the plurality of microphones (110) of the microphone array (100) to produce at least one beam, a camera or video camera (400) for producing an image or a video signal of the space to be monitored, a display (500) for displaying the image or video signal, and an input unit (300) having at least four degrees of freedom for setting a position and other parameters of the at least one beam intended. The control unit (200) is configured to generate a symbol of the at least one beam of the microphone and display it in accordance with the position of the at least one beam on the display of the display (500).

Description

Die vorliegende Erfindung betrifft ein Audioverarbeitungssystem und ein Verfahren zum Verarbeiten eines Audiosignals.The present invention relates to an audio processing system and a method for processing an audio signal.

Ein System zur Erfassung von Audiosignalen wird z. B. bei Musikkonzerten oder Sportveranstaltungen eingesetzt, um den Gesang der Sänger sowie die von Instrumenten erzeugte Musik zu erfassen und ggf. zu verarbeiten. Typischerweise weist ein derartiges System eine Mehrzahl von Mikrofonen auf, welche den Gesang der Sänger sowie die von Instrumenten erzeugte Musik erfassen. Bei Sportveranstaltungen fasst man die Ausgangssignale der Mikrofone zusammen, um den akustischen Beam z. B. auf den Schiedsrichter, den Trainer oder auf einzelne Feldspieler zu richten und so die Verständlichkeit ihrer Rufe zu verbessern oder gar erst zu ermöglichen. Die Ausgangssignale der verschiedenen Mikrofone werden typischerweise einem Mischpult zugeführt und ein Toningenieur oder Tonmeister mischt die Ausgangssignale der Mikrofone, um ein gewünschtes Gesamtsignal zu erhalten. Ggf. wird eine weitere Verarbeitung der jeweiligen Ausgangssignale der Mikrofone oder des Gesamtaudiosignals durchgeführt.A system for detecting audio signals is z. B. used in music concerts or sporting events to capture the singing of the singer and the music produced by instruments and process if necessary. Typically, such a system has a plurality of microphones which sense the vocals of the singers as well as the music produced by the instruments. In sporting events summarizes the output signals of the microphones to the acoustic beam z. As to the referee, the coach or to individual field players to judge and improve the intelligibility of their calls or even to allow. The output signals of the various microphones are typically supplied to a mixing console and a sound engineer or sound mixer mixes the output signals of the microphones to obtain a desired overall signal. Possibly. Further processing of the respective output signals of the microphones or the overall audio signal is performed.

Alternativ zu einer Mehrzahl von separaten Mikrofonen kann auch ein Mikrofonarray zum Erfassen der erzeugten Audiosignale verwendet werden. Die Ausgangssignale der Mikrofone in dem Mikrofonarray werden z. B. in einer Steuereinheit zusammengeführt und können beeinflusst werden, um die Richtwirkung des Mikrofonarrays zu steuern. Ein Mikrofonarray kann einen sog. Beam erzeugen. Damit wird bei Mikrofonarrays die Ausrichtung zum Schallereignis bezeichnet (Richtkeule).As an alternative to a plurality of separate microphones, a microphone array for detecting the generated audio signals can also be used. The output signals of the microphones in the microphone array are z. B. merged in a control unit and can be influenced to control the directivity of the microphone array. A microphone array can produce a so-called beam. For microphone arrays this means alignment with the sound event (directional lobe).

Die exakte Steuerung des Beams bzw. der Richtwirkung des Mikrofonarrays ist jedoch eine hoch komplexe Angelegenheit und erfordert viel Erfahrung von dem jeweiligen Bediener.However, the exact control of the beam or the directivity of the microphone array is a highly complex matter and requires a lot of experience from the respective operator.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Audioverarbeitungssystem mit einem Mikrofonarray vorzusehen, das eine einfachere Bedienung des Mikrofonarrays ermöglicht.It is an object of the present invention to provide an audio processing system with a microphone array that allows for easier operation of the microphone array.

Diese Aufgabe wird durch ein Audioverarbeitungssystem nach Anspruch 1 gelöst.This object is achieved by an audio processing system according to claim 1.

Somit wird eine Audioverarbeitungseinheit mit einem Mikrofonarray mit einer Mehrzahl von Mikrofonen, einer Steuereinheit zum Kombinieren der Ausgänge der Mehrzahl der Mikrofone des Mikrofonarrays, um mindestens einen Beam zu erzeugen, einer Kamera oder Videokamera zum Erstellen eines Bildes oder eines Videosignals des zu überwachenden Raums, einem Display zum Anzeigen des Bildes oder des Videosignals und einer Eingabeeinheit mit mindestens vier Freiheitsgraden zum Einstellen einer Position sowie weiterer Parameter des mindestens einen Beams vorgesehen. Die Steuereinheit ist dazu ausgestaltet, ein Symbol des mindestens einen Beams des Mikrofons zu erzeugen und entsprechend der Position des mindestens einen Beams auf der Anzeige des Displays anzuzeigen.Thus, an audio processing unit having a microphone array with a plurality of microphones, a control unit for combining the outputs of the plurality of microphones of the microphone array to produce at least one beam, a camera or video camera for creating an image or a video signal of the space to be monitored Display for displaying the image or the video signal and an input unit with at least four degrees of freedom for setting a position and further parameters of the at least one beam provided. The control unit is configured to generate a symbol of the at least one beam of the microphone and display it in accordance with the position of the at least one beam on the display of the display.

Gemäß einem Aspekt der vorliegenden Erfindung erfolgt das Einstellen des Beams nicht gleichzeitig mit dem Ereignis, sondern die Signale sind stattdessen gespeichert und die Verarbeitung erfolgt später mit den gespeicherten Signalen.According to one aspect of the present invention, the setting of the beam is not simultaneous with the event, but instead the signals are stored and the processing is done later with the stored signals.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung verändert sich das auf dem Display angezeigte Symbol entsprechend einer gewählten Eigenschaft des Beams. Dies kann in Form, Farbe und/oder Helligkeit erfolgen, so dass dem Bediener des Systems die gewählten Einstellungen verdeutlicht werden.According to another aspect of the present invention, the icon displayed on the display changes according to a selected property of the beam. This can be done in shape, color and / or brightness, so that the operator of the system, the selected settings are illustrated.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung verändert sich das angezeigte Symbol nur solange, wie die Einstellung des Beams vorgenommen wird. Anschließend kann das angezeigte Symbol wieder in ein festes Symbol umgewandelt werden.According to another aspect of the present invention, the displayed icon changes only as long as the setting of the beam is made. Subsequently, the displayed symbol can be converted back into a fixed symbol.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird das Symbol des zugeordneten Beams hervorgehoben, während der Bediener die Einstellung des Beams ändert.According to another aspect of the present invention, the icon of the associated beam is highlighted while the operator changes the setting of the beam.

Die Erfindung betrifft einen Gedanken, ein Audioverarbeitungssystem mit einem Mikrofonarray bestehend aus einer Mehrzahl von Mikrofonen vorzusehen. Mittels einer Kamera oder einer Videokamera wird ein Bild oder Video des Bereiches aufgezeichnet, in dem die Audiosignale erfasst werden sollen. Dieses Bild oder Video wird auf einem Display dargestellt und gibt beispielsweise die Umgebung (den Raum) wieder, in dem das zu erfassende akustische Ereignis stattfindet. Die Position und Ausrichtung eines Beams des Mikrofonarrays kann mittels einer Eingabeeinheit gesteuert werden. Der Beam des Mikrofonarrays bzw. ein Symbol des Beams kann auf dem Display z. B. in Form einer Ellipse, eines Kreises oder eines anderen Symbols dem Bild oder dem Videosignal überlagert werden, so dass eine Form einer Augmented Reality erzeugt wird. Durch Betätigung der Eingabeeinheit kann die Position (sowie weitere Eigenschaften) des Beams gesteuert werden. Mit anderen Worten, der Bediener kann mittels der Eingabeeinheit die Position des Beams des Mikrofonarrays auswählen und die Ausgangssignale der Mikrofone in dem Mikrofonarray werden dann mittels einer Steuereinheit so kombiniert, dass ein Beam mit der gewünschten Position (sowie weitere Eigenschaften) erreicht wird.The invention relates to a concept of providing an audio processing system with a microphone array consisting of a plurality of microphones. A camera or video camera records an image or video of the area in which the audio signals are to be acquired. This image or video is displayed on a display and, for example, reflects the environment (room) in which the acoustic event to be detected takes place. The position and orientation of a beam of the microphone array can be controlled by means of an input unit. The beam of the microphone array or a symbol of the beam can on the display z. B. in the form of an ellipse, a circle or other symbol are superimposed on the image or video signal, so that a form of augmented reality is generated. By actuating the input unit, the position (as well as other properties) of the beam can be controlled. In other words, the operator can select the position of the beam of the microphone array by means of the input unit, and the output signals of the microphones in the microphone array are then combined by means of a control unit so that a beam with the desired position (as well as other properties) is achieved.

Gemäß der Erfindung kann somit eine optische Kontrolle der Beamposition, des Beamwinkels, der Beam breite und/oder des Beampegels ermöglicht werden. According to the invention can thus be made possible optical control of the beam position, the beam angle, the beam width and / or the beam level.

Gemäß einem Aspekt der Erfindung kann die Eingabeeinheit über mindestens vier Freiheitsgrade verfügen.According to one aspect of the invention, the input unit may have at least four degrees of freedom.

Ein Beam eines Mikrofonarrays kann die Richtkeule des Mikrofonarrays bzw. die Ausrichtung des Mikrofonarrays zum Schallereignis darstellen.A beam of a microphone array can represent the straightening lobe of the microphone array or the alignment of the microphone array to the sound event.

Weitere Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Further embodiments of the invention are the subject of the dependent claims.

Vorteile und Ausführungsbeispiele der Erfindung werden nachstehend unter Bezugnahme auf die Zeichnung näher erläutert.Advantages and embodiments of the invention are explained below with reference to the drawing.

1 zeigt ein schematisches Blockschaltbild eines Audioerfassungssystems gemäß einem ersten Ausführungsbeispiel, 1 shows a schematic block diagram of an audio detection system according to a first embodiment,

2 zeigt eine schematische Darstellung eines Displays des Audioerfassungssystems gemäß dem ersten Ausführungsbeispiel, und 2 shows a schematic representation of a display of the audio detection system according to the first embodiment, and

3a–f zeigen jeweils eine schematische Darstellung der Freiheitsgrade einer Eingabeeinheit für ein Audioerfassungssystem gemäß einem zweiten Ausführungsbeispiel. 3a -F each show a schematic representation of the degrees of freedom of an input unit for an audio acquisition system according to a second embodiment.

1 zeigt ein schematisches Blockschaltbild eines Audioerfassungssystems gemäß einem ersten Ausführungsbeispiel. Das Audioerfassungssystem weist ein Mikrofonarray 100 mit einer Mehrzahl von Mikrofonen 110 auf. Das Mikrofonarray 100 ist mit einer Steuereinheit 200 gekoppelt, welche die Signale des Mikrofonarrays kombiniert, um z. B. die Richtwirkung eines Beams des Mikrofonarrays zu steuern. Die Steuerung der Richtwirkung des Beams des Mikrofonarrays 100 kann z. B. durch eine Eingabeeinheit 300 erfolgen. Das Audioerfassungssystem gemäß dem ersten Ausführungsbeispiel weist ferner eine Kamera 400 zum Erstellen eines Bildes oder eines Videos eines Raumes oder eines Abschnitts auf, in welchem die erzeugten Audiosignale erfasst werden sollen. Das Audioerfassungssystem weist ferner ein Display 500 zum Anzeigen der durch die Kamera gemachten Bilder oder Videos auf. 1 shows a schematic block diagram of an audio detection system according to a first embodiment. The audio acquisition system has a microphone array 100 with a plurality of microphones 110 on. The microphone array 100 is with a control unit 200 coupled, which combines the signals of the microphone array to z. B. to control the directivity of a beam of the microphone array. Control of directivity of a beam of a microphone array 100 can z. B. by an input unit 300 respectively. The audio detection system according to the first embodiment further includes a camera 400 for creating an image or a video of a room or a section in which the generated audio signals are to be acquired. The audio acquisition system further includes a display 500 to view the pictures or videos taken by the camera.

Gemäß dem ersten Ausführungsbeispiel ist die Steuereinheit 200 dazu ausgestaltet, ein Symbol zur Darstellung eines Beams (bzw. einer Richtkeule) des Mikrofonarrays auf dem Display 500 zu erzeugen. Die Steuereinheit 200 ist ferner dazu ausgestaltet, in Abhängigkeit der durch die Eingabeeinheit 300 erfolgten Positionsparameter die Position des Symbols 510 auf dem Display 500 zu steuern.According to the first embodiment, the control unit 200 designed to display a symbol representing a beam (or a directive leg) of the microphone array on the display 500 to create. The control unit 200 is further configured, depending on the input unit 300 position parameters were the position of the symbol 510 on the display 500 to control.

Das Symbol 510, 511 als Anzeige der Position des Beams kann z. B. ein Kreis oder eine Ellipse darstellen. Alternativ dazu kann ebenfalls ein Rechteck verwendet werden.The symbol 510 . 511 as an indication of the position of the beam can z. B. represent a circle or an ellipse. Alternatively, a rectangle can also be used.

Durch die Eingabeeinheit 300 kann der Anwender die Position sowie weitere Parameter des Beams des Mikrofonarrays 100 verändern. Dies wird auf dem Display 500 im Sinne einer Augmented Reality dargestellt, d. h. das Symbol 510, 511 wird über die von der Kamera erzeugten Bilder oder Videosignale überlagert. Damit erhält ein Anwender ein unmittelbares optisches Feedback hinsichtlich der Position des Beams des Mikrofonarrays 100.Through the input unit 300 the user can adjust the position as well as other parameters of the beam of the microphone array 100 change. This will be on display 500 represented in the sense of an augmented reality, ie the symbol 510 . 511 is superimposed on the images or video signals produced by the camera. This provides a user with immediate optical feedback regarding the position of the beam of the microphone array 100 ,

Statt der Kamera 400 kann auch ein Speicherbild bzw. ein gespeichertes Bild (oder Video) verwendet werden, das zuvor mit einer Kamera aufgenommen wurde oder das synthetisch erzeugt wurde. Es ist nicht erforderlich, die Kamera während des Steuerns des Beams am System zu belassen; das Bild, auf dem das Symbol für den Beam eingeblendet wird, wird in diesem Fall aus einem elektronischen Speicher ausgelesen.Instead of the camera 400 It is also possible to use a memory image or a stored image (or video) previously recorded with a camera or synthesized. It is not necessary to leave the camera on the system while controlling the beam; the image on which the symbol for the beam is displayed is read in this case from an electronic memory.

2 zeigt eine schematische Darstellung der Anzeige eines Displays des Audioerfassungssystems gemäß einem ersten Ausführungsbeispiel. Die Anzeige auf dem Display 500 stellt das durch die Kamera erzeugte Bild oder Videosignal z. B. mit einer Person 10 sowie darüber überlagert Symbole 510, 511 dar, welche den eingestellten Beam des Mikrofonarrays 110 repräsentieren sollen. Insbesondere kann der Anwender durch die Eingabeeinheit 300 die Position des Beams und damit die Position des Symbols 510, 511 auf bzw. in der Anzeige des Displays steuern. 2 shows a schematic representation of the display of a display of the audio detection system according to a first embodiment. The indication on the display 500 represents the image or video signal generated by the camera z. B. with a person 10 as well as overlying symbols 510 . 511 representing the set beam of the microphone array 110 should represent. In particular, the user may through the input unit 300 the position of the beam and thus the position of the symbol 510 . 511 on or in the display of the display.

Die Steuereinheit 200 kombiniert die Ausgangssignale der Mikrofone 110 des Mikrofonarrays 100, um den von dem Anwender gewünschten Beam des Mikrofonarrays zu erzeugen.The control unit 200 combines the output signals of the microphones 110 of the microphone array 100 to generate the user-requested beam of the microphone array.

3a–3f zeigen jeweils eine schematische Darstellung der Freiheitsgrade einer Eingabeeinheit für ein Audioerfassungssystem gemäß einem zweiten Ausführungsbeispiel. Die Bedieneinheit 300 weist z. B. ein Bedienelement 310 auf, das über mindestens vier Freiheitsgrade verfügt. Die Bedienung des Eingabeelementes 310 wird durch die Steuereinheit 200 erfasst und zur Darstellung des Symbols 510, 511 auf dem Display 500 sowie zum Steuern der Kombination der Ausgänge der Mikrofone 110 in dem Mikrofonarray 100 verwendet. Gemäß dem zweiten Ausführungsbeispiel kann das Bedienelement über sechs verschiedene Freiheitsgrade verfügen. Das Bedienelement 310 kann in der Bildachse nach vorne oder hinten betätigt werden (3a). Ferner kann das Bedienelement nach links oder rechts betätigt werden (3b). Des Weiteren kann das Bedienelement nach oben oder unten betätigt werden (3c). Ferner kann das Bedienelement aus oder in die Blattebene hinein verschwenkt werden (3d). Eine Drehung des Bedienelementes 310 ist ebenfalls möglich (3e). Ferner kann das Bedienelement in der Blattebene nach links oder rechts verschwenkt werden (3f). 3a - 3f each show a schematic representation of the degrees of freedom of an input unit for an audio detection system according to a second embodiment. The operating unit 300 has z. B. an operating element 310 on, which has at least four degrees of freedom. The operation of the input element 310 is through the control unit 200 captured and used to represent the symbol 510 . 511 on the display 500 and controlling the combination of the outputs of the microphones 110 in the microphone array 100 used. According to the second embodiment, the operating element may have six different degrees of freedom. The operating element 310 can be moved forwards or backwards in the image axis ( 3a ). Furthermore, the control element can be actuated to the left or right ( 3b ). Furthermore, that can Operating element can be operated upwards or downwards ( 3c ). Furthermore, the operating element can be pivoted out of or into the plane of the sheet ( 3d ). A rotation of the control 310 is also possible ( 3e ). Furthermore, the operating element can be pivoted in the sheet plane to the left or right ( 3f ).

Durch die zusätzliche Darstellung der Symbole im Kamerabild auf dem Display 500 für den mindestens einen Beam (oder Richtkeule) des Mikrofonarrays erhält der Bediener ein unmittelbares Feedback hinsichtlich der Position des oder der Beams. Das Symbol kann entsprechend der unterschiedlichen Einstellungen des Beams unterschiedlich ausgeformt und/oder eingefärbt sein, um die gewählten Werte im Bild zu repräsentieren. Gemäß der Erfindung kann das auf dem Display 500 angezeigte Symbol 510, 511 z. B. als ein Kreis oder als eine Ellipse ausgestaltet sein und kann ferner dazu dienen, einen Fokus des Beams des Mikrofonarrays 100 darzustellen. Es sind zur Darstellung des Beams auf dem Display (von der Kamera aufgenommenes Bild mit eingeblendeten Symbolen für den Beam oder die Beams) auch andere Symbole vorstellbar, zum Beispiel Trapeze, deren schmaleres oberes Ende die im Bezug zur Grundfläche die Richtung angibt. Unterschiedliche Werte für den Pegel lassen sich bevorzugt durch unterschiedliche Farben des Symbols (bei einem Schwarz-/Weißbild) oder durch unterschiedliche Grauwerte (bei einem Farbbild) darstellen. Das Symbol kann natürlich auch als Invertierung der Farben oder Helligkeiten in das Bild eingeblendet werden. Falls vom Benutzer gewünscht, kann das variable Symbol auf dem Display, das die Werte des Beams durch seine Veränderung erkennen lässt, ausschließlich während der Einstellphase/Installation dieses Beams aktiv sein. Ist dieser Vorgang beendet, kann es sich wieder auf seine einfache Form zurückschalten. So wird verhindert, dass (bei mehreren eingerichteten Beams) das Bild auf dem Display durch zu viele Einblendungen zusätzlicher Symbole zum normalen Bildinhalt zu stark gestört wird.Through the additional display of the symbols in the camera image on the display 500 for the at least one beam (or straightening lobe) of the microphone array, the operator receives immediate feedback regarding the position of the beam (s). The symbol may be differently shaped and / or colored according to the different settings of the beam to represent the selected values in the image. According to the invention, this can be done on the display 500 displayed icon 510 . 511 z. B. may be configured as a circle or as an ellipse and may also serve to a focus of the beam of the microphone array 100 display. There are also other symbols imaginable for displaying the beam on the display (image taken by the camera with the beam or beam symbols displayed), for example trapezes whose narrower upper end indicates the direction relative to the base. Different values for the level can preferably be represented by different colors of the symbol (in the case of a black / white image) or by different gray values (in the case of a color image). The symbol can of course also be displayed as an inversion of the colors or brightness in the image. If desired by the user, the variable symbol on the display, which indicates the values of the beam as it changes, can only be active during the setting phase / installation of this beam. When this process is finished, it can switch back to its simple form. This prevents the image on the display from being disturbed too much (due to too many overlays of additional icons to the normal picture content).

Gemäß der Erfindung stellt die Eingabeeinheit ein mechanisch genaues Bedienelement z. B. in Form eines Controllers dar, welches über mindestens vier Freiheitsgrade verfügt.According to the invention, the input unit provides a mechanically accurate control z. B. in the form of a controller, which has at least four degrees of freedom.

Mittels der Darstellung des den Beam repräsentierenden Symbols auf der Anzeige kann der Beam eindeutig einem Objekt oder einer Person 10 zugeordnet werden. Gemäß der Erfindung wird das den Beam darstellende bzw. repräsentierende Symbol in Echtzeit auf einem in dem Display 500 dargestellten Videosignal überlagert.By means of the representation of the symbol representing the beam on the display, the beam can clearly represent an object or a person 10 be assigned. According to the invention, the symbol representing the beam is displayed in real time on a display 500 superimposed video signal shown.

Gemäß der Erfindung wird eine einfache mechanische und optische Steuerung eines Multibeam-fähigen Mikrofonarrays vorgesehen, welches intuitiv zu bedienen ist. Mit dem erfindungsgemäßen Audioerfassungssystem kann sichergestellt werden, dass der Beam konstant auf einer sich bewegenden Quelle bzw. Mehrzahl von Quellen positionierbar ist.According to the invention, a simple mechanical and optical control of a multibeam-capable microphone array is provided, which is intuitive to use. With the audio detection system according to the invention can be ensured that the beam is constantly positioned on a moving source or plurality of sources.

Durch die erfindungsgemäße Darstellung des Symbols auf der Anzeige des Displays entfallen jegliche perspektivische Probleme. Für den Fall, dass die Kamera nicht mittig zur Achse des Arrays angeordnet ist, kann die Position des Beams entsprechend umgerechnet werden.The inventive representation of the symbol on the display of the display eliminates any perspective problems. In the event that the camera is not centered to the axis of the array, the position of the beam can be converted accordingly.

Die Eingabeeinheit 300 kann z. B. als eine 3D-Maus mit den in 3a–f beschriebenen sechs Freiheitsgraden ausgestaltet sein.The input unit 300 can z. B. as a 3D mouse with the in 3a -F described six degrees of freedom be configured.

Das erfindungsgemäße Mikrofonarray 110 weist vier Freiheitsgrade, nämlich Beam-Winkel, Beam-Breite, Beam-Position und Beam-Pegel auf. Zusätzlich dazu kann der Beam-Winkel in eine horizontale und in eine vertikale Komponente aufgeteilt werden.The microphone array according to the invention 110 has four degrees of freedom, namely beam angle, beam width, beam position and beam level. In addition, the beam angle can be divided into a horizontal and a vertical component.

Gemäß der Erfindung kann ein in 3 gezeigtes Heranziehen oder „Wegdrücken” zum Einstellen der Beam-Breite verwendet werden. Ein Betätigen des Bedienelementes nach links oder rechts kann die Beam-Position einstellen. Ein Betätigen des Bedienelementes nach oben oder unten kann den Beam-Winkel insbesondere in horizontaler Richtung einstellen. Ein Verschwenken bzw. Rollen des Bedienelementes kann zum Einstellen des Beam-Pegels verwendet werden. Betätigen des Bedienelements in Blattebene (nach oben oder unten) kann ein Einstellen des vertikalen Beam-Winkels bewirken.According to the invention, a in 3 shown pulling or "pushing away" are used to adjust the beam width. Pressing the control to the left or right can adjust the beam position. Actuating the control element up or down can adjust the beam angle, in particular in the horizontal direction. A pivoting or rolling of the control element can be used to adjust the beam level. Actuating the control element in leaf level (up or down) may cause adjustment of the vertical beam angle.

Die Bedieneinheit 300 kann ferner über weitere Bedienelemente wie z. B. Tasten oder dergleichen verfügen, womit beispielsweise die Geschwindigkeit/Sensitivity der Beam-Reaktion eingestellt werden kann. Des Weiteren kann die Geschwindigkeit der Beam-Reaktion durch weitere Tasten einstellbar sein. Falls mehr als ein Beam verwendet wird, kann das Umschalten zwischen den einzelnen Beams ebenfalls durch Tasten vorgenommen werden. Ebenso lässt sich das Einrichten neuer Beams über Tasten initialisieren. Wahlweise kann die Bedieneinheit 300 aber auch so ausgelegt werden, dass diese beiden Funktionen über die Freiheitsgrade des Bedienelements angewählt werden, die nicht für die Steuerung des Beams benötigt werden.The operating unit 300 can also have other controls such. As buttons or the like, which, for example, the speed / sensitivity of the beam response can be adjusted. Furthermore, the speed of the beam response can be adjusted by further buttons. If more than one beam is used, the switching between the individual beams can also be done by buttons. Likewise, the setting up of new beams can be initialized via keys. Optionally, the control unit 300 but also be designed so that these two functions are selected via the degrees of freedom of the control, which are not needed for the control of the beam.

Das Symbol desjenigen Beams, dessen Eigenschaften gerade aktuell verändert werden sollen, kann praktischerweise auf dem Display hervorgehoben werden. Dies kann z. B. durch Blinken, Invertieren der Helligkeiten oder Färben des Symbols geschehen.The symbol of the beam whose properties are currently being changed can conveniently be highlighted on the display. This can be z. B. by flashing, inverting the brightnesses or coloring the symbol happen.

Die Bedienung des Beams erfolgt typischerweise gleichzeitig während die entsprechende Veranstaltung stattfindet. Dies ist aber nicht zwingend nötig: Alle Signale des Mikrofonarrays (d. h. von jedem einzelnen Mikrofon) sowie das Kamerabild können auch aufgezeichnet werden. Beim Abspielen dieser gespeicherten Signale kann dann zeitversetzt noch eine Steuerung des Beams erfolgen. Dies böte die Möglichkeit, z. B. bei einem Sportereignis auch noch später („offline”) einzelne Personen auszuwählen und den Beam in deren Richtung zu lenken. Auf diese Weise ist es dann z. B. möglich, nach Ende der Veranstaltung den Kommentar des Trainers zum Siegertor herauszufiltern.The operation of the beam is typically done simultaneously while the appropriate event is taking place. However, this is not absolutely necessary: all signals of the microphone array (ie of each individual microphone) as well as the camera image can also be recorded. When playing these stored signals can then be time-delayed control of the beam done. This would offer the opportunity z. B. at a sporting event also later ("offline") to select individuals and direct the beam in their direction. In this way it is then z. For example, it is possible to filter out the coach's commentary on the winner's goal at the end of the event.

Claims (6)

Audioverarbeitungssystem, mit einem Mikrofonarray (100) mit einer Mehrzahl von Mikrofonen (110), einer Steuereinheit (200) zum Kombinieren der Ausgänge der Mehrzahl der Mikrofone (110) des Mikrofonarrays (100), um mindestens einen Beam zu erzeugen, einer Kamera oder Videokamera (400) zum Erstellen eines Bildes oder eines Videosignals eines zu überwachenden Raums oder einem aus einem Speichermedium ausgelesenen Bild oder Videosignal, einem Display (500) zum Anzeigen des Bildes oder Videosignals, und einer Eingabeeinheit (300) mit mindestens vier Freiheitsgraden zum Einstellen einer Position sowie weiterer Parameter des mindestens einen Beams des Mikrofonarrays (100), wobei die Steuereinheit (200) dazu ausgestaltet ist, ein Symbol des mindestens einen Beams des Mikrofonarrays (100) zu erzeugen und entsprechend der Position des mindestens einen Beams auf der Anzeige des Displays (500) anzuzeigen.Audio processing system, with a microphone array ( 100 ) with a plurality of microphones ( 110 ), a control unit ( 200 ) for combining the outputs of the plurality of microphones ( 110 ) of the microphone array ( 100 ) to generate at least one beam, camera or video camera ( 400 ) for creating an image or a video signal of a space to be monitored or an image or video signal read from a storage medium, a display ( 500 ) for displaying the image or video signal, and an input unit ( 300 ) with at least four degrees of freedom for setting a position and further parameters of the at least one beam of the microphone array ( 100 ), the control unit ( 200 ) is adapted to a symbol of the at least one beam of the microphone array ( 100 ) and according to the position of the at least one beam on the display of the display ( 500 ). Verfahren zum Verarbeiten von Audiosignalen, mit den Schritten: Erfassen eines Audiosignals mit einem Mikrofonarray (100) mit einer Mehrzahl von Mikrofonen (110), Kombinieren der Ausgänge der Mehrzahl der Mikrofone (110) des Mikrofonarrays (100) durch eine Steuereinheit (200), um mindestens einen Beam zu erzeugen, Erstellen oder Auslesen eines Bildes oder eines Videosignals eines zu überwachenden Raums, Anzeigen des Bildes oder des Videosignals auf einem Display (500), Einstellen einer Position sowie weiterer Parameter des mindestens einen Beams des Mikrofonarrays (100) mit mindestens vier Freiheitsgraden, Erzeugen eines Symbols des mindestens einen Beams des Mikrofonarrays (100) und Anzeigen des mindestens einen Beams auf der Anzeige des Displays (500) entsprechend der Position des mindestens einen Beams.Method for processing audio signals, comprising the steps of: detecting an audio signal with a microphone array ( 100 ) with a plurality of microphones ( 110 ), Combining the outputs of the plurality of microphones ( 110 ) of the microphone array ( 100 ) by a control unit ( 200 ) to generate at least one beam, creating or reading out an image or a video signal of a space to be monitored, displaying the image or the video signal on a display ( 500 ), Setting a position and further parameters of the at least one beam of the microphone array ( 100 ) having at least four degrees of freedom, generating a symbol of the at least one beam of the microphone array ( 100 ) and displaying the at least one beam on the display of the display ( 500 ) according to the position of the at least one beam. Verfahren nach Anspruch 2, wobei das Einstellen des Beams nicht gleichzeitig mit dem Ereignis stattfindet, wobei die Signale stattdessen gespeichert werden und die Verarbeitung später mit den gespeicherten Signalen erfolgt.The method of claim 2, wherein adjusting the beam does not occur concurrently with the event, wherein the signals are stored instead and the processing is done later with the stored signals. Verfahren nach Anspruch 2 oder 3, wobei sich das auf dem Display (500) angezeigte Symbol entsprechend der gewählten Eigenschaften des Beams verändert, und zwar in Form, Farbe und/oder Helligkeit, sodass dem Bediener des Systems die gewählten Einstellungen verdeutlicht werden.A method according to claim 2 or 3, wherein on the display ( 500 ) changes in shape, color and / or brightness according to the selected properties of the beam, so that the operator of the system can see the selected settings. Verfahren nach Anspruch 4, wobei sich das angezeigte Symbol nur so lange verändert, so lange die Einstellung des Beams vorgenommen wird und sich anschließend wieder in ein festes Symbol umwandelt.A method according to claim 4, wherein the displayed symbol changes only as long as the setting of the beam is made and then converted back to a fixed symbol. Verfahren nach einem der vorgenannten Ansprüche 2 bis 5, wobei das Symbol des zugeordneten Beams hervorgehoben wird, während der Bediener die Einstellungen des Beams ändert.A method according to any preceding claim 2 to 5, wherein the icon of the associated beam is highlighted while the operator changes the settings of the beam.
DE102015210405.2A 2015-06-05 2015-06-05 Audio processing system and method for processing an audio signal Withdrawn DE102015210405A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015210405.2A DE102015210405A1 (en) 2015-06-05 2015-06-05 Audio processing system and method for processing an audio signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015210405.2A DE102015210405A1 (en) 2015-06-05 2015-06-05 Audio processing system and method for processing an audio signal

Publications (1)

Publication Number Publication Date
DE102015210405A1 true DE102015210405A1 (en) 2016-12-08

Family

ID=57352401

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015210405.2A Withdrawn DE102015210405A1 (en) 2015-06-05 2015-06-05 Audio processing system and method for processing an audio signal

Country Status (1)

Country Link
DE (1) DE102015210405A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202019002305U1 (en) 2019-05-21 2019-06-13 Hochschule Mittweida (Fh) Device for microphoning in three-dimensional space with microphones
DE102019003661A1 (en) * 2019-05-21 2020-11-26 Hochschule Mittweida (Fh) Equipment for miking in three-dimensional space with microphones
CN112703748A (en) * 2019-02-15 2021-04-23 松下电器（美国）知识产权公司 Information processing apparatus, information processing method, and program
US11494158B2 (en) 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20120027217A1 (en) * 2010-07-28 2012-02-02 Pantech Co., Ltd. Apparatus and method for merging acoustic object information
US20120182429A1 (en) * 2011-01-13 2012-07-19 Qualcomm Incorporated Variable beamforming with a mobile platform
US20140085538A1 (en) * 2012-09-25 2014-03-27 Greg D. Kaine Techniques and apparatus for audio isolation in video processing
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20120027217A1 (en) * 2010-07-28 2012-02-02 Pantech Co., Ltd. Apparatus and method for merging acoustic object information
US20120182429A1 (en) * 2011-01-13 2012-07-19 Qualcomm Incorporated Variable beamforming with a mobile platform
US20140085538A1 (en) * 2012-09-25 2014-03-27 Greg D. Kaine Techniques and apparatus for audio isolation in video processing
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494158B2 (en) 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
CN112703748A (en) * 2019-02-15 2021-04-23 松下电器（美国）知识产权公司 Information processing apparatus, information processing method, and program
EP3926976A4 (en) * 2019-02-15 2022-03-23 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program
DE202019002305U1 (en) 2019-05-21 2019-06-13 Hochschule Mittweida (Fh) Device for microphoning in three-dimensional space with microphones
DE102019003661A1 (en) * 2019-05-21 2020-11-26 Hochschule Mittweida (Fh) Equipment for miking in three-dimensional space with microphones

Similar Documents

Publication Publication Date Title
DE69812696T2 (en) METHOD AND DEVICE FOR ADJUSTING ONE OR MORE PROJECTORS
DE102015210405A1 (en) Audio processing system and method for processing an audio signal
EP2174188B1 (en) Apparatus for the automatic positioning of coupled cameras for three-dimensional image representation
DE102005046664A1 (en) Method for creating a flexible display area for a video surveillance system
DE102018118187A1 (en) Process and data processing system for the synthesis of images
DE202012103046U1 (en) Settings of analogue control panels
EP3534210B1 (en) Focus adjustment display unit
DE10321980B4 (en) Apparatus and method for calculating a discrete value of a component in a loudspeaker signal
EP1958773B1 (en) Method and device for checking a printed picture
DE10330337A1 (en) Generation of video effects uses a mixing process based upon horizontal and vertical signals that are combined with different modulation signals
EP2186639A2 (en) Method and device for checking a printed image on a moving material web
DE102004030593B4 (en) Digital camera image processor
DE10226398B4 (en) Method and device for detecting the position of an object in space
DE69721520T2 (en) System with a photosensor, in particular for time measurement in competitions, and setting method for aligning such a system to a finish line
EP3204946A1 (en) Device for generating a video output data stream, video source, video system and method for generating a video output data stream or a video source data stream
AT521845B1 (en) Method for adjusting the focus of a film camera
DE102008024732A1 (en) Method for creating stereoscopic temporary perspective in medical-optical observation device, involves determining displacement vector field from two images with different perspectives, where image is provided in one perspective
EP3526773B1 (en) System for producing augmented images
DE102006048006A1 (en) Control method for pan-tilt-zoom (PTZ) camera, involves changing marking inserted in displayed summary image on display unit to change line of sight and zooming position of PTZ camera
DE19811286C2 (en) Camera motion control
WO2004082266A1 (en) Method and device for recording video data
DE102013215483B4 (en) Display system, visualization method for a vehicle and computer-readable storage medium for implementing the method
DE102009001521B4 (en) Method for generating an HDR video image sequence
EP1803055B1 (en) Arrangement for improving the visibility from a vehicle
DE102009001518A1 (en) High-dynamic range video image sequence generating method, involves providing video image sequence with partial image sequences, and superimposing images of movement-compensated partial image sequences to image with increased dynamic range

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee