Lippensynchronisation

Dieses Tutorial zeigt dir, wie du Rhubarb Lip Sync einrichtest, aus einer Sprachaufnahme Lippensynchronisationsdateien erzeugst und deine Sprechanimationen dafür vorbereitest.

Bevor du Rhubarb überhaupt verwendest, brauchst du Sprechanimationen mit den Mundformen aus der folgenden Tabelle. Die Frames der Animation müssen so angeordnet sein: A = 1, B = 2, C = 3, D = 4, E = 5, F = 6, G = 7, H = 8, X = 9. Die Tabelle stammt von der offiziellen GitHub-Seite von Rhubarb.

Ⓐ		Geschlossener Mund für die Laute „P“, „B“ und „M“. Fast identisch mit der Form Ⓧ, nur mit ganz leichtem Druck zwischen den Lippen.
Ⓑ		Leicht geöffneter Mund mit zusammengebissenen Zähnen. Diese Mundform wird für die meisten Konsonanten („K“, „S“, „T“ usw.) verwendet. Es wird auch für einige Vokale verwendet, beispielsweise für den „EE“-Laut in bee.
Ⓒ		Offener Mund. Diese Mundform wird für Vokale wie „EH“ in men und „AE“ in bat verwendet, je nach Zusammenhang auch für einige Konsonanten. Diese Form dient auch als Zwischenschritt, wenn von Ⓐ oder Ⓑ nach Ⓓ animiert wird. Achte also darauf, dass die Abfolgen ⒶⒸⒹ und ⒷⒸⒹ flüssig aussehen!
Ⓓ		Weit geöffneter Mund. Diese Mundform wird für Vokale wie „AA“ in father verwendet.
Ⓔ		Leicht gerundeter Mund. Diese Mundform wird für Vokale wie „AO“ in off und „ER“ in bird verwendet. Diese Form dient auch als Zwischenschritt, wenn von Ⓒ oder Ⓓ nach Ⓕ animiert wird. Der Mund darf nicht weiter geöffnet sein als bei Ⓒ. Sowohl ⒸⒺⒻ als auch ⒹⒺⒻ sollten flüssig wirken.
Ⓕ		Gespitzte Lippen. Diese Mundform wird für „UW“ in you, „OW“ in show und „W“ in way verwendet.
Ⓖ		Die oberen Zähne berühren die Unterlippe, für „F“ in for und „V“ in very. Diese erweiterte Mundform ist optional. Ist dein Grafikstil detailliert genug, verbessert sie die Animation deutlich. Willst du sie nicht nutzen, gibst du das über die Option extendedShapes an.
Ⓗ		Diese Form wird für lange „L“-Laute verwendet, mit der Zunge hinter den oberen Zähnen. Der Mund sollte mindestens so weit geöffnet sein wie bei Ⓒ, aber nicht ganz so weit wie bei Ⓓ. Diese erweiterte Mundform ist optional. Je nach Grafikstil und Kopfhaltung ist die Zunge eventuell gar nicht zu sehen; dann lohnt sich diese zusätzliche Form nicht. Willst du sie nicht nutzen, gibst du das über die Option extendedShapes an.
Ⓧ		Ruhestellung. Diese Mundform wird für Sprechpausen verwendet und sollte dieselbe sein, die dein Charakter beim Herumlaufen ohne Sprechen zeigt. Sie ist fast identisch mit Ⓐ, aber mit etwas weniger Druck zwischen den Lippen: Bei Ⓧ sind die Lippen geschlossen, aber entspannt. Diese erweiterte Mundform ist optional. Ob es einen sichtbaren Unterschied zwischen der Ruhestellung Ⓧ und dem geschlossenen Sprechmund Ⓐ geben soll, hängt von deinem Grafikstil und Geschmack ab. Willst du sie nicht nutzen, gibst du das über die Option extendedShapes an.

Tutorial

Rhubarb Lip Sync installieren

Zuerst lädst du die neueste Version von Rhubarb Lip Sync herunter. Du findest sie hier.

Danach wechselst du nach c:/program files und legst dort einen neuen Ordner mit dem Namen rhubarb an. Öffne die ZIP-Datei mit der neuesten Version von Rhubarb und ziehe ihren Inhalt in den eben erstellten Ordner rhubarb.

Öffne nun Systemsteuerung > System und Sicherheit > System und klicke auf Erweiterte Systemeinstellungen. Klicke auf Umgebungsvariablen, wähle unter Systemvariablen den Eintrag Path und klicke auf Bearbeiten. Klicke auf Neu und trage C:\Program Files\rhubarb\ in das neue Feld ein. Mit OK bist du fertig. Glückwunsch, Rhubarb Lip Sync ist installiert.

Rhubarb Lip Sync verwenden

Ist Rhubarb Lip Sync installiert, erzeugst du deine erste TSV-Datei. Aber vorher: Was ist eine TSV-Datei? TSV steht für „tab separated values“, also durch Tabulatoren getrennte Werte. Jede Zeile besteht aus einem Zeitstempel (in Sekunden), gefolgt vom Buchstaben einer Mundform oder einer Frame-Nummer. Das sieht etwa so aus ...

Weiter geht's: Lege irgendwo auf deinem PC einen neuen Ordner an und nenne ihn "lip_sync". Er sollte leicht erreichbar sein; ich habe ihn auf Laufwerk D unter d:\lip_sync\ angelegt.

Kopiere dann die Audiodatei hinein, für die du Lippensynchronisationsdaten erzeugen willst. Sie sollte deutlich gesprochenes Englisch enthalten; andere Sprachen sind möglich, die Ergebnisse aber vermutlich ungenauer.

Lege danach eine neue TXT-Datei mit demselben Namen wie die Audiodatei an, öffne sie und schreibe den gesprochenen Text hinein.

Jetzt öffnest du Rhubarb. Drücke ⊞+R, um das Dialogfeld Ausführen zu öffnen.

Und jetzt kommt der technische Teil ... Standardmäßig verwendet Rhubarb alle Mundformen A bis H sowie X für Pausen; die Mundformen G, H und X sind aber optional.

Erzeugen wir zuerst eine TSV-Datei mit den Standardeinstellungen. Vorher müssen wir in der Eingabeaufforderung in den richtigen Ordner wechseln. Ich habe den Ordner lip_sync unter d:\lip_sync\ angelegt, also musste ich Folgendes eingeben ...

d:

gefolgt von ...

cd d:\lip_sync\

in die Eingabeaufforderung, und das Ergebnis sah etwa so aus ...

Nachdem wir den Ordner mit den Audiodateien angegeben haben, können wir Rhubarb verwenden. Wie du im vorletzten Screenshot siehst, enthält der Ordner lip_sync eine WAV-Datei namens 10101 und eine TXT-Datei mit demselben Namen. Gib in der Eingabeaufforderung etwa Folgendes ein ...

rhubarb -o 10101.ogg.tsv -d 10101.txt 10101.wav

Was haben wir da gerade eingegeben? Schauen wir es uns Stück für Stück an.

rhubarb -o output_file -d speech_transcript input_file

rhubarb -o 10101.ogg.tsv -d 10101.txt --extendedShapes GX 10101.wav

Zum Schluss kopierst oder verschiebst du die erzeugte TSV-Datei in denselben Ordner wie die Sprachdatei, die du in Visionaire Studio verwendest. Fertig!

Referenzvideo

Ressourcen