DE2115258C3 - Verfahren und Anordnung zur Sprachsynthese aus Darstellungen von individuell gesprochenen Wörtern - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren zur Sprachsynthese aus Darstellungen von individuell gesprochenen Wörtern, bei dem parametrische Darstellungen (z. B. Forrnantfrequenzen, Amplitude, Tonhöhe, Pol- und Nullfrequenzen stimmloser Laute) jedes Wortes in einer ausgewählten Gruppe von eine vollständige Nachricht bildenden Wörtern entwickelt werden. Ferner bezieht sich die Erfindung auf eine Anordnung zur Durchführung dieses Verfahrens.

Seit kurzem werden viele Anstrengungen zur Erzeugung von künstlicher Sprache aus Daten, die

einem Digitalrechner zugeführt oder in diesem gespeichert werden, unternommen. Nachrichten aus künstlich erzeugter Sprache werden beispielsweise in telefonischen automatischen Abhör- und Informationssystemen, in automatischen Bestandsberichten, für Wettervorhersagen und für die mündliche Wiedergabe der Börsennotierungen benutzt. In jeder dieser Anwendungen wird eine Anfrage an ein System gestellt, das System antwortet auf die Anfrage, entwickelt die erforderliche Antwort und ruft

6£ eine gespeicherte Anzahl von gesprochenen Sprachdaten ab, um eine entsprechende Information zu formulieren, welche einem Sprachsynthetisator zugeführt wird. Die Antwort auf die Frage wird ge-

gebenenfalls in Form einer vollständig Besprochenen Äußerung wiedergegeben.

Für einen derartigen Dienst muH.das System offenbar esn großes und flexibles Vokabular hesitzen Das System muß daher beträchtliche Mengen von Sprachinformationen speichern, und es muß die Information in einer solchen Form zur Verfugung haben, daß eine Vielzahl von Nachrichten erzeugt werden kann. Von dem System erzeugte Sprache sollte so verständlich sein wie natürliche Sprache. Es besteht sogar die Möglichkeit, daß die künstliche Sprache verständlicher ist als natürliche Sprache. Sie muß jedoch nicht wie die eines bestimmten Menschen klingen, und es ist sogar möglich, daß sie einen Maschinenakzent besitzt.

Eine Technik zur Synthese von Nachrichten besteht darin, individuell gesprochene Wörter zu speichern und die Wörter in Übereinstimmung mit der gewünschten Nachricht für einen Ausgang auszuwählen (USA.-Patentschrift 3 209014). In dieser Weise zusammengefügte Wörter führen zu verständlicher, aber in hohem Maße unnatürlich klinsendcr Sprache. Eine Schwierigkeit besteht darin, daßWortschwingungen nicht leicht bezüglich ihrer Länge eingestellt werden können. Auch ist es schwierig, gleitende Übergänge von einem Wort zum nächsten durchzuführen. Derartige Systeme sind jedoch relativ einfach gerätemäßig aufzubauen und bieten einen relativ großen Wortschatz mit einfachen Speichermitteln.

Um einige der. Schwierigkeiten bei der Speicherung von Wörtern zu vermeiden und um die Speicherkapazität für eine vernünftige Vielfalt von Nachrichtenantworten zu verringern, können individuell gesprochene Laute in der Form von Phonem-Aufzeichnungen gespeichert werden. Derartige Aufzeichnungen können aus dem Speicher in Übereinstimmung m.w den Wort- und Nachrichtenzusammenfügungsregein abgerufen, werden und zum Betrieb eines Sprachsynthetisators verwendet werden. Leider ist die Sprache auf der akustischen Ebene nicht besonders verständlich. Artikulationen von benachoarten Phonemen machen sich bemerkbar, und die Übergangsvorgänge des Voka'lraktes in der Erzeugung eines Phonems dauern langer als die durchschnittliche Dauer eines Phonems. Dies bedeutet, daß sich die artikulatorischen Gesten überschneiden und einander überlagern. Daher sind die Übergangsbewegungen des Vokaltraktes besonders wichtig. Darüber hinaus ist viel Information über die Identität eines Konsonanten nicht durch die spektrale Gestalt im Dauerzustand des Konsonanten, sondern durch die dynamischen gegenseitigen Beeinflussungen benachbarter Phoneme gegeben.

Die Sprachsynthese ist daher sehr stark mit dynamischen Vorgängen befaßt. Ein Synthetisator muß nicht nur die Charakteristika von Lauten wiedergeben, welche dem Ideal jedes Phonems möglichst nahekommen, sondern auch die dynamischen Vorgänge des Vokaltraktes, wenn von einem zum anderen Phonem fortgeschritten wird. Diese Tatsache wirft ein Licht auf den Unterschied zwischen der Sprachsynthese aus gespeicherten Wörtern oder Sätzen und der Synthese aus elementareren Sprecheinheiten. Wenn der Schatz der Sprachelemente eine kleine Anzahl kurzer Einheiten ist, beispielsweise Phoneme, kommen die Verbindungsverfahren der KomDliziertheit des Vokaltraktes nahe. Umgekehrt, wenn der Schatz der Sprachelemente eine wesentlich größere Anzahl von längeren Sprachausschnitten isi. beispielsweise Worten oder Sätzen, können die Elemente an Nachrichtenstellen zusammengeknüpft werden, wo der Aufwand für die Übergänge minimal ist. Obwohl die Synthese von Phonemen daher erstrebenswert und manches Mal auch passend ist, führen die Zwischenschritte der Zusammenfügung von elementaren Sprachaufzeichnungen in Worte und

ίο Worte in Nachrichten entsprechend vorgeschriebenen Regeln zu einem komplizierten Gerät, und es wird bestenfalls mechanisch klingende Sprache erhalten.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Sprachsynthese anzugeben, das von der Speicherung individuell gesprochener Wörter ausgeht und diese zu möglichst verständlich und natürlich klingenden Sätzen zusammenfügt. Die gestellte Aufgabe wird, ausgehend von einem Verfahren der eingangs angegebenen '-.rt, erlindungsgemiiß dadurch gelöst, daß jedes zu synthetisierende Wort in vorgewählte Unterintervalle eines stimmhaften Lauts zur Entwicklung der die Änderunj.jgeschwindigkeit einer Formantkontur des Unterintervalls darstellenden Spektralablcitung für jedes Untcrintervall unterteilt und die Länge eines Worts nur dann geändert wird, wenn der kleinste Spektralableitungswert in Abhängigkeit von einer abgeleiteten Silben-Zeitkontur für die zu s\nthetisieiendc Nachricht gcfunden wird, und daß ein geeigneter Übergang zwischen den Wörtern der vollständigen Nachricht dadurch entwickelt wird, daß eine gleitende Interpolationskurve über den Grenzen benachbarter, zu synthetisierender Wörter vor deren Übertragung zu einem Synthesegerät aus den zuvor entwickelten Spektralableitungen abgeleitet wird.

Weitere Einzelheiten der Erfindung werden an Hand eines Ausführungsbeispieles besprochen. Dabei zeigt

Fig. 1 eine Anordnung gemäß der Erfindung zur Synthese aus Worten auf Kommando,

Fig. 2 die Art der Überlappung individueller Wortfoimanten in Übereinstimmung mit der Erfindung für vier verschiedene Wortkombinationen.

F i g. 3 Zeitdaten zur Verwendung bei der Verarbeitung von Formantdaten,

Fig. 4 die Verarbeitung von stimmhaften Formantdaten für individuelle Wörter, um eine zusammengekettete Formantstruktur zu erzeugen, die zur Betätigung eines Sprechsynthetisators dient,

F i g. 5 die Verarbeitung von sowohl stimmhaften als auch Reiblautformantdaten für individuelle Wörter zur Erzeugung einer zusammengekcttcncn Formantstruktur, die zur Betätigung eines Sprachsynthetisators dient, und

Fig. 6A. 6B und 6C ein Flußdiagramm der Betätigungen entsprechend der Erfindung zur Verarbeitung parametrischer Daten und zur Verknüpfung dieser Daten zur Erzeugung eines vollständigen

Satzes von Steuersignalen zur Betätigung eines Formantsprachsynthetisaiors.

Bei dem Verfahren gemäß der Erfindung werden Darstellungen von gesprochenen Wörtern oder Sätzen in Ausdrücken von individuellen Formanten und anderen sprachdefinierenden Charakteristiken in an sich bekannter Weise gespeichert. Formanten sind die natürlichen Resonanzen des Vokaitraktes, und sie nehmen unterschiedliche Frequenzwerte an, wenn

der Vokaltrakt seine Gestalt während des Sprechens ändert. Typischcnvcisc treten drei derartige Resonanzen in dem Frequenzbereich auf, der für die Verständlichkeit wichtig ist, nämlich zwischen 0 und 3 kHz. Die Darstellung der Sprachwelle als ein Satz von sich langsam ändernden Anregungsparametern und Vokaltraklresonanzcn ist aus mindestens zwei Gründen vorzüglich geeignet. Erstens ist diese Darstellung für Datenspeicherzwecke geeigneter als bei-

dem Stand derTcchnik bekannt. Im wesentlichen weist der Analysator 12 mehrere individuelle Kanäle auf, nämlich cinin Analysator 13 zur Identifizierung von Formantfrequenzen F₁, F₂, F₃ (für stimmhafte Laute), einen Analysator 14 zur Ableitung eines Tonhöhcnperiodensignals P, einen Analysator 15 zur Ableitung von Pegelstcucrsignalen für Summen A_v und für Zischen A_n und einen Analysator 16 zur Ableitung von Pol- und Null-Signalen F,. und F₂

spiclswcise eine Darstellung der Sprachwellenform io für Reiblaule bzw. stimmlose Sprachteile.

in Impulscodemodulation, zweitens erlaubt die Formant-Darstellung eine Flexibilität in der Handhabung der Sprachsignale zur Verknüpfung von Wörtern oder Sätzen.

erzeugen, der in Ausdrucken von Formantfrequenzen gespeichert wird. In der Formant-Darstellung einer Äußerung können Formantfrequenzen, Stimmhöhe,

Eingangsbefehl

Ein von dem Worlfolgeeingang 18 stammender Eingangs¹, «fehl veranlaßt die notwendigen Betätigungen zur Synthese einer Nachricht, die aus Wörtern des Katalogs 17 zusammengesetzt wird. Die genaue Form de* Eingänge* 18 hängt von der speziellen An

ändern.

Auf einen Programmbefehl werden Wortlangenformantdaten abgerufen und miteinander verknüpft,

Diese Werte der Steuerparameter werden an die Speichereinheit 17 für parametrische Beschreibung geliefert, welche eine beliebige Form aufweisen kann. Sowohl analoge als auch digitale Speicher, zu denen

Daher werden individuelle, natürlich gesprochene, 15 Befehlszugriff besteht, sind gemäß dem Stand der isolierte Worte analysiert, um einen Wortschatz zu Technik bekannt. Wenn der Speicher 17 gefüllt ist,

enthält er einen Wurtkatalog, zu dem von dem Wortverknüpfungsteil des Systems Zugang besteht. Die in dem Katalog 17 enthaltenen parametrischer! Werte

Amplitude und Zeitdauer jeweils unabhängig von- jo können von Zeit zu Zeit durch Zufügung neuer Wöreinander gehandhabt werden. Daher kann bei der ter oder Wegfall revidiert werden. Synthese einer Äußerung eine künstliche Tonhöhenkontur, d. h. der Zeitverlauf der betreffenden Parameter an Stelle der natürlichen Kontur, gesetzt werden. Ein andauernder Ton kann verlängert oder ge- as
kürzt werden, und selbst eine ganze Äußerung kann
beschleunigt oder verlangsamt werden, ohne größeren oder überhaupt ohne Verlust an Verständlichkeit Formanten können lokal verzerrt werden, und

die gesamte Formantkontur kann gleichmäßig ge- 30 wendung des Wortsynthesesystems ab. Typischerhoben oder gesenkt werden, um die Stimmqualität zu weise liegt eine Anfrage bestimmter Form an dem

durch die Einheit 18 verkörperten System an, die notwendigen Daten für eine Antwort werden formuliert, und die geeigneten Wortdarstellungen für die

um die vollständigen Formantfunktionen für die "ge- 35 Antwort, beispielsweise in der englischen Sprache, wünschte Äußerung zu oilden. Die Formantfunk- werden in Codesprache zusammengesetzt und an das tionen werden in Übereinstimmung mit spektralen Synthesesystem als Ausgangssignal der Einheit 18 Ableitungen interpoliert, um Konturen aufzustellen, geliefert. Derartige Antworteinheiten gehören dem welche sanfte Übergänge zwischen den Wörtern be- Stand der Technik an und werden in zahlreichen stimmen. Sprachkontur- und Wortdauerdaten werden 40 Patenten und Aufsätzen beschrieben. Das von einer entsprechend eingespeicherten Regeln berechnet. Im derartigen Antworteinheit gelieferte Ausg:angssignal Anschluß an die notwendige Verarbeitung und Inter- kann daher in der Form von maschinencodierter polation werden verknüpfte Formantfunktionen zur Sprache, Phonemen oder anderen Sprachsymbolen Synthese einer Wellenform benutzt, welche einer na- od. dgl. vorliegen. In welcher Form auch das Austürlich gesprochenen Nachricht ziemlich nahekommt. 45 gangssignal vorliegt, es wird in Übereinstimmung mit Ah zusätzlicher Vorteil kommt man mit wenig Spei- der Erfindung dem Wortverarbeitungssystern 20 zucherraum aus, weil die Formant- und Anregungsparameter sicji relativ langsam ändern und durch
weniger Binärzahlen (Bits) pro Sekunde beschrieben
werden können, als beispielsweise die Sprach-Wellen- 50
form.

Ein System zur Synthese von Sprache durch Verknüpfung von in Formantform codierten Wörtern in
Übereinstimmung mit der Erfindung ist schematisch
in F i g. 1 dargestellt. Isolierte, von einem mensch- 55 Prozessor 20 wendet gemäß Erfindung un terschied liehen Wesen gesprochene Wörter werden analysiert, liehe Strategien zur Behandlung der »Ausschnitts« um die zur Synthese erforderlichen Parameter ab- Merkmale der Nachricht an, beispielsweise Formant zuschätzen. Diese natürlich gesprochenen, isolierten frequenzen. Pol- und Nullfrequenzen und Ampli Wörter können entweder im Studio erzeugt oder auf- tuden für stimmlose Laute und die »Silben«-Merk gezeichnete Worte sein und werden in dem System 60 male, beispielsweise Zeitablauf und Tonhöhe. Di 10 zur Verfügung gestellt und, falls erwünscht, im Programmstrategie zur Behandlung der Ausschnitts

geführt, worin die erforderlichen Wortdaten zusammengefügt, verarbeitet und an einen Sprachsynthetisator 26 geliefert werden.

Die Erzeugung einer aus Wörtern zusammengesetzten Nachricht, wobei die Wörter aus dei Speichereinheit 17 stammen, macht die Erzeugunt von Zeitkonturen, Tonhöhenkonturen sowie vor Formant- und Amplitudenkonturen erforderlich. De·

Umsetzer 11 in digitale Form gebracht. Die in welcher Form auch immer vorliegenden individuellen Wörter werden dem Sprachanalysator 12 zugeführt, worin individuelle Formanten, Amplituden, Tonhöhen-Periode-Bestimmungen und Reiblaut-Pol- und Null-Merkmale gemäß Nyquist-Zahl abgeleitet werden. Geeignete Sprachanalysatoren sind gemäß

oder Teilmerkmale ist in dem Prozessor selbst ge speichert. Das Merkmal bezüglich Sübeninibrmatioi welches zur Verarbeitung benötigt wird, wird en weder im Prozessor 20 abgeleitet oder diesem zi geführt. Diese Flexibilität in der Verarbeitung ve Sprache, welche.formantweise codiert ist, ertaubt d Aufteilung der Syntheseprobleme in zwei Teile.

Zeitablauf-Daten

Zeitablaufinformation kann in einem von unterschiedlichen Wegen abgeleitet werden. Für Anwendungen niU beschränktem Wortschatz, beispielsweise automatischen Abhördiensten, müssen die Zeitablaufregeln nicht komplizierter sein als eine Tabelle mit Wortlängen als Funktion der Lage in einer Reihe von Daten und als Funktion der Anzahl der Phoneme pro Wort. Zettablauf-Daten für eine sieben- stellige Digit-Reihe sind in der Tabelle der F i g. 3 dargestellt und werden normalerweise in der Zeitablaufeinheit 22 gespeichert. Bei ausgeklügelten Anwendungen wird die Wortdauer durch Regeln bestimmt, welche die Syntax der speziellen, zu produzierenden Nachricht berücksichtigen, d. h. Regeln, die beispielsweise auf Modellen der englischen Sprache beruhen. Derartige Daten werden auch ini dem Zeitablaufspeicher 22 gespeichert. Es ist auch

Es ist auch möglich, die Tonhöhenkonturinformation über Regeln zu berechnen. Daher gibt es viele Wege, die Silbeninformation für eine Nachricht zu erhalten, und die Wahl hängt stark von der erwünschten Qualität der künstlichen Sprache und der speziellen vorgesehenen Anwendung ab.

Wortdauer-Einstellung

Sobald das Zeitablaufmuster der Nachricht aufgestellt ist, können isolierte Wörter aus dem Wortkatalog 17 herausgezogen werden und entsprechend dem jeweiligen Zeitablauf verändert werden. In diesem Sinne können Formantdaten eines Wortes in dem Katalog entweder gestreckt oder verkürzt werden. Die Formantkonturen oder -umrisse für aufeinanderfolgende stimmhafte Worte werden glatt miteinander verbunden und bilden durchgehende Übergänge und kontinuierliche Formantkonturen für

möglich, die Dauer jedes zu synthetisierenden Wortes! »o die Nachricht. Die Wahl der Stelle in einem Wort in der Eingangsreihe aus äußeren Zeitablaufdaten zur Änderung der Dauer basiert auf den dynavon der Einheit 23 festzulegen. In diesem Fall wirdl mischen Veränderungen der Formantkonturen. Für die Wortdauer entsprechend beispielsweise einigen jedes Unterintervall eines stimmhaften Lautes, äußeren Kriterien oder von einem Meßergebnis einer typischerweise 10 ms in der Dauer, wird ein Maß natürlich gesprochenen Version der zu synthetisier as der Änderungsgeschwindigkeit der Formantkontur renden Nachricht gewählt und braucht nicht not- in dem Prozessor 21 errechnet. Dieses Maß wird als wendig eine typische Dauer dieses Wortes zu sein, »spektrale Ableitung« bezeichnet. Stellen eines Worunabhängig vom Zusammenhang. Daher können tes, wo die spektrale Ableitung klein ist, sind Stellen, äußere Zeitablaufdaten von äußeren Speichern zu- an denen das Wort mit der geringsten Einwirkung geführt werden oder von Realzeiteinstellungen, die 30 bezüglich Wortverständlichkeit gekürzt oder gedehnt während der Synthese gemacht werden. werden kann. Um daher ein Wort um einen ge

gebenen Betrag zu verkürzen, wird eine geeignete

Tonhöhen-Daten Anzahl von Intervallen von 10 ms in dem Bereich

der kleinsten spektralen Ableitungen abgezogen. Um

Die Synthese macht auch die Bestimmung der ge- 35 ein Wort auszudehnen, wird der Bereich der geeigneten Tonhöhenkontur, d. h. die Tonhöhen- ringsten spektralen Ableitung durch Hinzufügung periode als Funktion der Zeit, für die zusammenzusetzende Nachricht erforderlich. Tonhöheninfoirmation kann auf verschiedenen Wegen erhalten werden. Beispielsweise kann der Tonhöhencharakter 40 der ursprünglichen Folge der gesprochenen Worte gemessen werden. Alternativ kann eine monotone oder willkürlich geformte Kontur verwendet werden. In der Praxis jedoch haben diese beiden Möglichkeiten zu nicht annehmbaren, unnatürlichen Ergell>- 45 nissen geführt. Deshalb wird gemäß der Erfindung eine zeitablaufnormalisierte Tonhöhenkontur verwendet, die in der Einheit 24 gespeichert wird, und diese Tonhöhe wird in Übereinstimmung mit den

Wortteilen gemäß Zeitablaufregeln verändert. Daher 50 Zeitintervall. Um zu bestimmen, wie viele Intervalle werden die in der Einheit 24 gespeicherten Ton- ^von 10 ms zu den isolierten Wortbefehlsignalen hinhöhen-Daten dem Verknüpfungsprozessor 21 zu- zugefügt (oder subtrahiert) werden müssen, wird geführt, wo die Kontur örtlich gedehnt- oder verkürzt ^e'^ne Gleichung verwendet, die auf der gewünschter wird, wie dies durch den speziellen Äußerungsablauf, Wortlänge, der isolierten Wortlänge und einigen geliefert durch die Zeitablaufdaten, gefordert wird. 55 einfachen Verknüpfungsinfonnationen bezüglich dei Falls gewünscht, können Tonhöhenänderungsdaten Verknüpfung des betreffenden Wortes mit den vorvon der äußeren Quelle 25 zugeführt werden, ent- und nachfolgenden Nachbarwörtern beruht. Im folweder in der Form von Hilfsspeicherdaten oder als genden werden Symboldefinitionen gegeben: Realzeitemgangsdaten. Beispielsweise kann eine Tonhöhenkontur verwendet werden, die von einer 60 natürlich gesprochenen Version der Nachricht

einer geeigneten Anzahl von Intervallen von 10 ms gedehnt. Stimmlose Bereiche von Wörtern werden niemals modifiziert.

In der Praxis wird das Maß der spektralen Ableitung SDj nach folgender Formel berechnet:

SD₁= 2) IF,(Q -F₁(I-I)I,

hierbei ist i (1, 2 ...) das i-te Intervall von 10ms und Fj(i) der Wert des /-ten Formanten in dem i-ten

lpt1 —

stammt. Derartige Daten werden normalerweise dann verwendet, wenn die Dauer der Wörter in ähnlicher Weise gewonnen worden ist, beispielsweise von der äußeren Zeitablauf einhejaf 23.

Tonhöhen- und Zeitinformation, die in diester Weise von außen zugeführt werden, fuhren zu der am .natürlichsten klingenden künstlichen Sprache.

wenn das Ende des vorhergehender Wortes stimmhaft ist und der Beginn de; laufenden Wortes ebenfalls stimmhaft ist

JNM

0 im anderen Fall,

l,wena das Ende des laufenden Worte stimmhaft ist und der Beginn des folgen den Wortes ebenfalls stimmhaft ist,

0 im anderen Fall,

W, = Dauer des laufenden Wortes, einzeln ge- dabei ist

sprochen, . n₀ = Anfangsintervall des Vermischungs-

W_n = Dauer des laufenden Wortes, im Zusam- bereichs des laufenden Wortes

menhang gesprochen (gemäß Zeitablauf- F,(,) = Wert des Formanten / der Nachnchten-

reeeln), kontur zur Zeit / während des Ver-

„ _in .· mischungsbereiches I = 0, 1 . .. 9. W',· — Anzahl von Intervallen von 10 ms, die

addiert werden müssen, wenn W_c > 0 jj_s wird folgende Interpolations-Funktion benutzt:

(oder substrahiert werden müssen, wenn

^Wc<0)' ₌ F^_!a±i)_:^^_:^±F^)±wi

Es gilt folgende Regel: '^U (9-/)52JI + /-5ZJ2

I_NM)· (2) (3)

Der Grund für den letrten Ausdruck in der obigen 15 hierbei ist Gleichung ist der, daß, wenn immer l_PM = 1 oder p.^ _{= Wert des ;}-._ten Formanten zur Zeit/ für

[_NM — 1, dies bedeutet, daß die beiden Wörter all- ,|_{as Wort} jt (Λ = 1 bedeutet das laufende

mählich miteinander veimischt werden müssen und _{Wort k = 2} das folgende Wort),

sich um 100 ms überlappen. Dieser Bereich von 100 ms wird von beiden Wörtern eingenommen, da- »°

her werden 50 ms (5 Intervalle) jedem Wort getrennt Formant-Interpolation

in Ausdrücken des Gesamtzeitablaufes zugeteilt. Die .......

Technik durch welche die gemäß W_c zusätzlichen Fig. 2 stellt die Art der Interpolation fur vier ein-

Intervalle von 10 ms hinzugefügt oder entfernt wer- fache Fälle in Übereinstimmung mit obigen Betrat.iden beruht ganz auf der Messung der spektralen »5 hingen dar. Obwohl alle drei Formanten eines Lr,-.i-Abl'eituneen Wie zuvor angeführt, wird die spektrale tes interpoliert werden, wird zum Zwecke der Ver-Ableitune für jedes stimmhafte Intervall von 10 ms einfachung der Darstellung nur ein Formant t -eines isolierten Wortes berechnet. Um ein Wort zu trachtet. Für die Wörter in Spalte 1 zeigt das Wort I verkürzen werden die lfK_c-Intervalle mit den klein- (das oberste Spektrum) eine sehr kleine Änderung -m sten spektralen Ableitungen entfernt. Um ein Wort 30 den letzten 100 ms auf, während das Wort 2 (mmauszudehnen wird der Bereich des Wortes mit den leres Spektrum) eine große Änderung wiedergib;. kleinsten spektralen Ableitungen festgestellt, und Die interpolierte Kurve ist unten in der ersten Spa> :e HVIntervalle werden in der Mitte dieses Bereiches dargestellt und beginnt mit den Formanten cks hinzugefügt Jedem der »^-Intervalle werden die Wortes 1, macht einen raschen Übergang und folgt Steuerparameter der Mitte des Intervalls, d.h. ein 35 den Formanten des Wortes 2. Die Spalte 2 zeigt eine gleichbleibender Zustandsbereich von »Vlnter- umgekehrte Situation; das Wort 2 zeigt eine kleine vallpn hinzueefüet Spektrumänderung, während das Wort 1 eine große

vanen, ninzu_gCiu_Ki. Spektrumänderung aufweist. Die interpolierte Kurve

folgt daher den Formanten des Wortes 1 im Groß-

Beschreibung von Wortüberschneidungen 40 teil der Vermischungs- oder Überlappungsregion und

führt den Übergang zu den Formanten des Wortes 2

Mit Ausnahme des Falles, wenn das Ende des lau- am Ende des Bereiches bzw. der Region durch. Die

fenden Wortes und der Beginn des folgenden Wortes Spalten 3 und 4 zeigen Beispiele, bei welchen die

stimmhaft sind werden die Steuerdaten wortweise Spektrumänderungen in beiden Worten im großer

aneinanderstoßend zusammengestellt. Wenn das 45 und ganzen die gleichen sind. Wenn sie, wie ir

Ende eines Wortes stimmhaft ist und der Beginn des Spalte 3, klein sind, dann ist die Interpolatipnskurv:

nächsten Wortes ebenfalls stimmhaft ist, wird ein im wesentlichen linear. Wenn sie, wie in Spalte A

allmählicher Übergang von den Formanten am Ende groß sind, versucht die Interpolationskurve den For

des einen Wortes zum Beginn des nächsten Wortes manten des ersten Wortes in der einen Hälfte de:

gemacht Dieser Übergang wird beispielsweiseüber 50 Überlappungsbereiches und den Formanten de:

die letzten lÖOna des ersten Wortes und die ersten zweiten Wortes für die andere Hälfte des Über

IOC ms des zweiten Wortes durchgeführt. Die Über- lappungsbereiches zu folgen. Baneseescnwindigkeit hängt von der relativen Spek- Die Interpolationskurve beginnt also immer mi

üiim&ideninesEeschwindigkeit der beiden Worte in den Formanten des Wortes 1 (des laufenden Wortes

demüberaanebereichab- 55 und endigt mit den Formanten des Wortes 2 (de

Um diese Ubergangsaufgabe zu lösen, wird eine folgenden Wortes). Die Geschwindigkeit, mit welche Interpolationsfunktion benutzt, deren Parameter die Interpolationskurve einen Übergang von de

sehr stark von den durchschnittlichen spektralen Ab- Formanten des ersten Wortes zu denen des zweite

leituneen der beiden Wörter in dem Übergangsbe- Wortes durchführt, wird durch die durchschnitt

rXh ahhäneen Die spektralen Ableitungssymbole 60 liehen spektralen Ableitungen 37JI und SZJZ b«

«»«A»n»£fnTetdefiniert- stimmt. Im Beispiel der Spalte 1 ist die spektral

werden wie folgt definiert. Ableitung des zweiten Wort« viel größer akdie dt

^₊₉ ersten Wortes, so daß der Übergang rasch mit dei

52JT= V SDl₁, Beginn des Überlappungsbereiches durchgefuh

i~£i* 65 wird. Im Beispiel der zweiten Spalte ist die spektral

Ableitung des ersten Wortes größer, so daß di

_ ^ cn 2 Übergang am Ende des Überlappungsbereichi

^i ^rasch durchgeführt wird. Wie zuvor angedeutet, sin

11 ° 12

die spektralen Ableitungen für beide Wörter in den sich ergebende Darstellung des Satzes »1 saw this Beispielen der Spalten 3 und 4 im großen und ganzen man« wird dann zusammen mit den Stimmhaftdieselben, so daß keine raschen Übergänge in dem Stimmlos-Zeichendaten A_v und A_n und den Reib-Uberlappungsbereich stattfinden. laut-Pol-Nulldaten F₁, und F₁ dem Sprachsynthcti-

5 sator zugeführt.

Beispiele der Verkettung Intensitätsdaten

Die Fig. 4 und 5 zeigen die Art und Weise, in Der stimmlose Intensitätsparameter A_n wird diwelcher die erläuterten Regeln und Betrachtungen in rekt von den gespeicherten Steuersignalen im Wortder Praxis der Erfindung durchgeführt werden. Die io katalog 17 erhalten, wenn dns zu synthetisierende F i g. 4 stellt die Art und Weise dar, in welcher drei Intervall stimmlos ist, Der stimmhafte Intensitätsstimmhafte Worte, die englischen Worte »We«, parameter A_v wird in ähnlicher Weise direkt von »Were« und »Away« zusammengeknüpft werden, dem Wortkatalog 17 erhalten, mit der Ausnahme um den Satz zu bilden »We were away«. Gespro- während eines Mischungsbereiches zweier stimmchen haben die Wörter die jeweilige Dauer W₁, W₃, 15 hafter Intervalle, in welchem Fall er durch Inter-W₃, und eine Analyse hat ergeben, daß sie die For- polation der jeweiligen stimmhaften Intensitäten der manten F , F₂ und F₃ aufweisen. Diese Formanten- beiden Worte in ähnlicher Weise erhalten wird, wie daten sind m der Speichereinheit 17 (Fig. 1) für dies für die Interpolation von Formanten beschricjedes individuelle Wort gespeichert, wie bereits er- ben worden ist. läutert. Wenn ein Eingangsbefehl von der Wortfolge- a°

einheit 18 vorliegt, die drei Worte in dem Satz »We Ausführung des Verknüpfungsprozesso-s were away« zusammenzufügen, wird die Formanten-

information von der Speichereinheit 17 bezogen und Obwohl die oben beschriebenen Betätigungen zur an den Wortverknüpfungsprozessor 21 gegeben. Zeit- Verarbeitung von Wortformantdaten zur Bildung von ablaufdaten vom Speicher 22 (oder alternativ von as Wortsequenzinformationen durch Verwendung von einer äußeren Einheit 23) und Tonhöhenvariations- entsprechend geeigneten Einrichtungen und Techdaten vom Speicher 24 (oder alternativ von einer niken durchgeführt werden können, beruht eine in äußeren Quelle 25) werden dem Prozessor ebenfalls der Praxis verwendbare Einrichtung auf der Fähigzugeführt. Es wird zunächst bestimmt, daß die Worte keit eines Digitalcomputers für hohe Verarbeitungs- »We« und »Were« normalerweise beim Sprechen 30 geschwindigkeit. In der Praxis wurde ein digitaler durch einen san.ften Übergang miteinander verbun- Allzweck rechner, nämlich der Honeywell DDP-516 den werden und' als ein kontinuierlicher Satz »We- oder GE-635 für geeignet gefunden. Diese beiden were« ausgesprochen werden. Daher werden die bei- Datenverarbeitungsanlagen und ihre Programmieden stimmhaften Worte bezüglich ihrer Dauer auf rungssysteme sind gleicherweise zur Aufstellung eines Werte D₁, D₂ in Übereinstimmung mit dem Zusam- 35 Programms geeignet, welches diese Anlagen von menhang der Äußerung eingestellt, und die Forman- einem Allzweckrechner in einen Spezialzweckprozesten der Wörter überlappen sich und werden im Sinne sor umwandeln, so daß die Erfindung damit ausführeines sanften Überganges interpoliert. In ähnlicher bar wird.

Weise werden die Wörter »were« und »away« nor- Ein Flußdiagramm der Programmierungsschritte

malerweise als »wereaway« mit Betonung auf »away« 40 zur Umwandlung einer derartigen Anlage in einen

ausgesprochen. Daher wird die Dauer des »away« Spezialzweckrechner, um den Erfordernissen gemäß

auf D₃ gedehnt, und die Formanten der beiden Wör- Erfindung zu genügen, ist in den Fig. 6A, 6B und

ter überlappen sich und werden interpoliert. 6 C enthalten, die jeweils aneinanderzufügen sind.

Der sich daraus ergebende, glatt interpolierte For- Jeder in dem Flußdiagramm dargestellte Schritt ist

mant wird ferner durch Überlagerung der Kontur der 45 für sich bekannt und kann durch einen Fachmann

Tonhöhenperiode modifiziert, wie in der Figur dar- auf dem Gebiet des Programmierens auf ein geeipne-

gestellt. Das Ergebnis ist ein fortlaufender Formant tes Programm rückgeführt werden, über die gesamte Äußerung. Diese modifizierten For-

mantdaten werden zusammen mit dem Periodenum- Prozessor-Operationen riß der Tonhöhe und den Stimmhaft-Stimmlos-Zei- 50

chendaten A_v und A_n dem Sprachsynthetisator 26 Im oberen Teil der Fig. 6A ist die Speicherein-

(Fig. 1)zugeführt. heit I? für parametrische Beschreibung nach Fig. 1

Fig. 5 zeigt die Verkettung der englischen Worte schematisch angedeutet, welche einen Katalog von »I«, »Saw«, »This« und »Man« zur Bildung des Sat- Formant-, Tonhöhe-, Amplituden- und Reiblautdarzes »I saw this man«. In diesem Fall werden die 55 Stellungen für jedes der Wörter in dem Katalog entWörter »I« und »Saw« nicht überlappt, und zwar hält. Auf einen Befehl des Wortfolgeeinganges Ii wegen des dazwischenliegenden Reiblautes am Be- werden diese Daten in das Wortverknüpfungsprozes ginn von »Saw«. Jedoch werden die Wörter »Saw« sorsystem 20 übertragen, welches durch den Resi und »This« im allgemeinen mit einem sanften Über- des Flußdiagramms dargestellt wird, gang gesprochen. Daher werden diese Wörter über- 60 Zunächst wird die Dauer jedes Wortes in der ver läppt und die Formanten interpoliert. Da das Wort knüpften Folge bestimmt, wie in Block 61 angedeu »This« mit einem Reiblaut endigt, werden die Wör- tet, beispielsweise durch Befragung einer Speicher ter »This« und »Man« nicht überlappt. In Überein- tafel für Zeitablaufdaten 62, derart, wie sie in Fig.! Stimmung mit dem Zusammenhang des Ausdruckes und durch die Einheit 22 in F i g. 1 dargesiJit sind werden die individuellen WortSingen W jeweils zu 65 Wenn eine Zeitablaufänderung notwendig ist. be neuen Werten D modifiziert. Schließlich wird eine stimmen Programmfeststellungen der Einheit 63, öl gespeicherte Periodenkontur für die Tonhöhe ent- die im Speicher 62 gespeicherten Daten ausreiche! SDrechend einer gespeicherten Regel überlagert. Die oder ob äußere Zeitablaufdaten von der Einheit 6

[Block 23 der Fig. 1) verwendet werden sollen. In jedem Fall wird die Dauer jedes »kommandierten« Wortes aufgestellt, und ein Wortsequenzzähler wird in der Einheit 65 durch Setzen von / = 1 gestartet.

Es ist dann notwendig, die parametrische Be-Schreibung des ersten Wortes in Übereinstimmung mit Zeitablaufdaten oder anderen gespeicherten Regeln zu modifizieren. Demgemäß wird in Fig. 6B bestimml, ob das /-te Wort mit dem (/— l)-ten Wort vermischt werden soll oder nicht. Diese Bestimmung m wird durch den Block 66 dargestellt. Wenn dies nicht zutrifft, wird Information für das /-te Wort von dem Wortkatalog 17 entnommen, und die ersten 50 ms des /-ten Wortes werden durch die Einheit 67 synthetisiert. Wenn das /-te Wort vermischt werden soll, wird das I-tz Wort verlängert oder gekürzt, damit der Zeitablauf mit den zugeführten Daten bezüglich Dauer übereinstimmt. Diese Operation findet in der Einheit 68 in Übereinstimmung mit dem Unterprogramm CRDELL der Fortran-IV-Programmierspra- ao ehe statt.

Es wird dann überprüft, ob das /-te Wort mit Cem (/ ·■ 1 )-ten Wort über die Schritte des Blockes 69 vermischt werden soll. Wenn eine Vermischung stattfinden soll, werden die Operationen des Blockes 70 as ausgeführt, um das Ende des /-ten Wortes mit dem Beginn des (/+l)-ten Wortes zu überlappen. Diese Operation wird in Übereinstimmung mit dem Unterprogramm INTPL der Fortran-IV-Programmiersprache durchgeführt. Wenn im Block 69 bestimmt wird, daß keine Vermischung stattfinden soll, führen die Operationen des Blockes 71 zu einer Synthese der letzten 50 ms des /-ten Wortes unter Verwendung der Daten für dieses Wort aus dem Speicher 17.

In der Einheit 72 wird dann die Wortfolge des Index / auf den letzten Stand gebracht, und in der Operation 73 wird bestimmt, ob der Wortfolgeindex größer als der Index des letzten Wortes in der Eingangsfolge ist. Wenn er es nicht ist, wird die Steuerung auf den Block 66 zurückgeschaltet, und das nächste Wort wird in der bereits beschriebenen Weise zusammengesetzt. Die Operationen werden in dieser Weise iteriert, bis der Index gleich dem Index des letzten Wortes in der Eingangsfolge ist, zu welcher Zeit die Daten des Blockes 73 zum Block 74 übertragen werden.

Gemäß F i g. 6 C werden dann die Tonhöhendaten den Formantdaten überlagert und die Struktur jedes Wortes in der Äußerung in der bereits beschriebenen Weise erhalten. Diese Daten sind in dem ,Datenspeicher 75 für Tcnhöhenvariation (Speicher 24 der Fig. 1) verfügbar. Es wird dann durch die im Block 76 angedeuteten Schritte bestimmt, ob äußere Tonhöhendaten Verwendung finden sollen. Wenn dies zutrifft, werden derartige Daten von der Einheit 77 (Einheit 25 in Fig. 1) über den Datea'.peicher 75 zu den Operationen der Einheit 74 zugefügt.

Wenn die Tonhöhenkonturoperationen beendfit sind, werden die gesamten Daten in dem Wortverknüpfungsprozessor 20, wie diese durch das Programm der F i g. 6 modifiziert woirden sind, beispiels weise dem Sprachsynthetisator 2i5 der Fig. 1 zugeführt.

Formant-Syn these

Wenn alle Steuerparameterkonturen der befohlenen Äußerung erzeugt worden sind, können sie, falls erwünscht, geglättet und die Bandbreite auf ungefähi 16 Hz begrenzt werden. Sie werden dann zur Steuerung eines Formantsynthetisators benutzt, welcher ein kontinuierliches Sprachausgangssignal erzeugt. Zahlreiche Systeme, sowohl analoger sowie digitaler Art, sind zur Synthese von Sprache aus Formantdaten beschrieben worden. Geeignete Synthetisatorep. sind in USA.-Patentschrift 3 330 910 (J. L. FI a η a gan), USA.-Patentschrift 3190963 (David Flanagan, insbesondere Fig. 5) und in USA.-Patentschnft 3158 685 (G erst man-Ke lly) beschrieben. In vereinfachter Darstellung umfaßt ein Formantsynthelisator ein System zur Erzeugung von Anregungen als eine Folge von Impulsen mit einem Abstand, der proportional der Grund-Tonhöhe des gewünschten Signals ist. Die Intensität der Impulserregung wird gesteuert, und das Signal wird an eine Kaskade von unterschiedlichen Resonatoren angelegt.

Es genügt zu sagen, daß der Sprachsynthetisator 26 eine Wellenform erzeugt, welche der nahekommt, die für die gewünschte Äußerung benötigt wird. Dieses Signal wird in einer beliebig gewünschten Weise verwendet, beispielsweise zur Anregung der Ausgangseinheit 27, die in der Form eines Lautsprechers, einer Aufzeichnungseinrichtung od. dgl. vorliegen kann.

Hierzu 2 Blatt Zeichnungen

Claims (7)

Patentansprüche:

1. Verfahren zur Sprachsynthese aus Darstellungen von individuell gesprochenen Worten, bei dem parametrische Darstellungen (z. B. Formantfrequenzen, Amplitude, Tonhöhe, Pol- und Nullfrequenzen stimmloser Laute) jedes Wortes in einer ausgewählten Gruppe von eine vollständige Nachricht bildenden Wörtern entwickelt werden, dadurch gekennzeichnet, daß jedes zu synthetisierende Wort in vorgewählte Unterintervalle eines stimmhaften Lauts zur Entwicklung der die Änderungsgeschwindigkeit einer Formantkontur des Unterintervalls darstellenden Spektralableitung für jedes Unterintervall unterteilt und die Länge eines Wortes nur dann geändert wird, wenn der kleinste Spektralableitungswert in Abhängigkeit von einer abgeleiteten Silben-Zeitkontur für die zu synthetisierende Nachricht gefunden wird, und daß ein geeigneter Übergang zwischen den Wörtern der vollständigen Nachricht dadurch entwickelt wird, daß eine gleitende Interpolationskurve über den Grenzen benachbarter, zu synthetisierender Wörter vor deren Übertragung zu einem Synthesegerät aus den Spektralableitungen abgeleitet wird.

2. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, mit einem ersten Eingang zur Aufnahme von durch einen Sprachanalysator gelieferten parametrischen Dar. eilungen zu synthetisierender individuell gesprochener Worte, einem zweiten Eingang zur Aufnahme von die zu synthetisierenden Nachrichten bestimmenden Befehlssignalen, einem Ausgang zu einem Sprachsynthesegerät und einem mit den ersten und zweiten Eingängen und dem Ausgang verbundenen Prozessor, der in Abhängigkeit von den über den zweiten Eingang anstehenden Befehlssignalen den ersten Eingang zur Aufnahme und danach zum Kombinieren der parametrischen Darstellungen der individuellen Wörter der zu synthetisierenden Nachricht aktiviert, dadurch gekennzeichnet, daß der Prozessor (21) derart ausgebildet ist, daß er zur Bildung geeigneter Übergänge zwischen den Wörtern sowohl den Spektralableitungswert für jedes vorgewählte Unterintervall eines stimmhaften Lauts als auch eine gleitende Interpolationskurve über Wortgrenzen in Abhängigkeit von den Spektralableitungen in dem den Grenzen benachbarten Bereich ableitet und die Übergänge nachfolgend zusammen mit der parametrischen Darstellung der zu synthetisierenden Nachricht an den Ausgang zum Sprachsynthesegerät (26) anlegt.

3. Anordnung nach Anspruch 2, dadurch gekennzeichnet, daß die Anordnung (20) eine ZpU-ablauf-Einstelleinrichtung (22, 23) aufweist, .die dem Prozessor (21) Zeitablaufdaten mit allen Zeitablaufregeln zuführt, wobei die Zeitablaufdaten einen Meßplan der Wortlängen als Funktion der Lage in der Nachricht und der Zahi von Phonemen pro Wort enthalten und wobei die Syntax der gesamten Nachricht im Prozessor (21) zum Modifizieren des Zeitablaufes und der Dauer der zu synthetisierenden Wörter auswert-

4. Anordnung nach den Ansprüchen 2 und 3, dadurch gekennzeichnet, daß die Anordnung (20) eine Tonhöhen-Einstelleinrichtung (24, 25) aufweist, welche dem Prozessor (21) eine zeitlich normalisierte Tonhöhenkontur der die zu synthetisierende Nachricht darstellenden Tonhöhendaten zuführt, und die Tonhöhendaten im Prozessor nach Maßgabe der von der Zeitablauf-Einstelleinrichtung (22, 23) zugeführten Zeitablaufdaten zum Modifizieren der zeitlich normalisierten Tonhöhenkontur der Nachricht auswertbar sind.

5. Anordnung nach Anspruch 2, dadurch gekennzeichnet, daß der Prozessor (21) zur Änderung der Dauer der über den ersten Eingang (17) eingehenden Daten geeignet ist, indem er Unterintervalle, die typischerweise eine Länge von 10 ms haben, bei jedem gesprochenen Wort an einer solchen Stelle des Wortes einfügt oder abzieht, an der die Spektralableitungswerte am kleinsten sind.

6. Anordnung nach Anspruch 2, dadurch gekennzeichnet, daß der Prozessor (21) einen phonetisch realistischen Übergang zwischen den miteinander zu kombinierenden Wörtern bildet, indem eine parametrische Darstellung des Überganges zwischen gesprochenen Wortbereichen entwickelt wird, und zwar für ungefähr die letzten 100 ms des ersten von den beiden miteinander zu verschmelzenden Worten und für ungefähr die ersfen 100 ms des zweiten der beiden miteinander zu verschmelzenden Worte.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, daß die Geschwindigkeit des Übergangs zwischen den beiden zu verschmelzenden Wörtern proportional dem Durchschnitt der Spektraiableitungen der beiden Wörter ist.