Warum machst du das?

Wie das Video entsteht

Jeder Arbeitsschritt seit der ersten Idee, mit den Bildern, die verworfen wurden, und den Gründen dafür. Die Vorschauen ab dem 1. November haben Ton.

1. 30.10.Nachmittag

   Konzept: Hinter jeder Zahl

   Der Song erzählt aus Sicht eines ausgesetzten Tieres. Daraus wird das Konzept: ein Doku-Intro in Schwarz-Weiß mit echten Zahlen, dann drei Schicksale (Hund Sammy an der Raststätte, Katze Mia im Hinterhof, Kaninchen Flocke im Wald) im Wechsel mit Keks und Krümmel, die in einem verlassenen Tierheim performen. Am Ende geht eine Käfigtür auf.

2. 30.10.22:56

   Song-Analyse

   Damit jeder Schnitt auf dem richtigen Wort landet, wird der Song mit faster-whisper lokal transkribiert. Weil der PC das Sprachmodell nicht selbst herunterladen durfte, wurde es per Hand in den Projektordner gelegt. Ergebnis: Start und Ende jeder Zeile auf etwa 0,3 Sekunden genau, abgeglichen mit den Lyrics. Der Song ist 3:20,6 lang und hat zwölf Abschnitte.

   IntroInstrumentalVerse 1Pre-ChorusChorusÜbergangVerse 2BridgeFinal ChorusEcho & PauseOutroAusklang

   [  17.62 -   20.00] Und hinter jeder Zahl steht ein Lebewesen.
   [  20.64 -   22.00] Ein Tier, das vertraut.
   [  23.08 -   25.00] Ein Tier, das fühlt.
   [  76.66 -   78.12] Ich bin dein Freund
   [  95.52 -   98.54] Sag mir: Warum machst du das?

3. 30.10.23:12

   Drehbuch und Storyboard

   50 Shots, jeder mit Skizze, Timecode, gesungener Zeile, Handlung, Kamerabewegung und Startbild. 24 Shots brauchen Lipsync. Gerendert wird immer mit 10 Sekunden, im Schnitt wird nur der beste Teil genutzt. Mehrere Shots teilen sich einen Clip, das spart Renderzeit.

   Zu allen 50 Shots

4. 30.10.23:30

   Die drei Tiere bekommen ein Gesicht

   Bevor eine einzige Szene entsteht, bekommt jedes Tier ein Referenz-Sheet mit vier Ansichten. Jedes spätere Bild wird mit diesem Sheet erzeugt, so bleibt Sammy in jeder Szene derselbe Hund. Flocke hat dabei braune Ringe um die Augen bekommen, die nicht im Prompt standen. Sie bleiben, weil sie sie unverwechselbar machen.

   

   

   

   

5. 30.10.23:50

   Referenzbilder: Orte, Erinnerungen, Performance

   In einem Durchgang entstehen 16 Bilder: das verlassene Tierheim, die Performance-Bilder von Keks und Krümmel, die glücklichen Erinnerungen, die drei Orte, an denen die Tiere zurückgelassen werden, und die Schwarz-Weiß-Motive fürs Intro.

   

   

   

   

   

   

   

   

   

   

   

   

   

   

6. 30.10.23:56

   Abnahme und Nachbesserung

   Jedes Bild wird gegen die Referenzen geprüft. Drei mussten nachgebessert werden, jeweils per Bearbeitungs-Prompt statt neu zu würfeln, so bleibt der Rest des Bildes erhalten.

   

   

   VorherNachher

   

   

   VorherNachher

   

   

   VorherNachher

7. 31.10.09:12

   14 neue Startbilder

   Für die Shots aus dem Storyboard entstehen 14 weitere Startbilder. Eins wurde nachgebessert: In der Nachtszene fuhr noch das Auto weg, obwohl es dort längst fort sein soll. Ein geplantes Bild wurde gestrichen, weil der Clip der Raststätten-Szene am Ende genau dieses Bild zeigt.

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   

   VorherNachher

8. 31.10.09:30

   Szenenbeschreibungen für die Clips

   Für jeden Clip gibt es eine ausführliche Szenenbeschreibung auf Englisch: Handlung Sekunde für Sekunde, Kamera, Licht, Farbe, Atmosphäre und was sich nicht verändern darf. Ein Prompt-Tool macht daraus zusammen mit dem Startbild den Video-Prompt für ComfyUI. Teil 1 mit dem Intro (S01–S09) ist fertig, alle neun Video-Prompts sind erzeugt.

   ACTION TIMELINE
   0–2s: The eye is open and calm, looking slightly past the camera.
   2–4s: Sammy blinks once, slowly and naturally.
   4–6s: The eye shifts its gaze slowly toward the camera, as if he noticed someone.
   
   CONSISTENCY – MUST NOT CHANGE
   Eye color (warm amber-brown), the tan fur pattern around it ...

9. 31.10.10:30

   Teil 2: Verse 1 und Pre-Chorus

   Die Szenenbeschreibungen für S10–S18 sind fertig. Neu dabei: Für jeden Lipsync-Clip steht jetzt sekundengenau im Prompt, wann wer singt und wann der Mund geschlossen bleibt, abgeleitet aus der Song-Analyse. Im Duett-Teil singen Keks und Krümmel oft nur halbe Zeilen im Wechsel, ohne diese Angabe würden beide durchgehend die Lippen bewegen. Alle neun Video-Prompts dafür sind erzeugt.

   AUDIO TIMING (German lyrics)
   0.0–2.5s: Krümmel sings "ich dachte, dass sich daran niemals was ändern kann."
   2.7–5.1s: Krümmel sings "Doch jetzt steh ich hier an diesem grausamen Ort,"
   5.3–6.4s: Krümmel sings "du gehst einfach weg –"
   6.4–7.8s: Krümmel is silent, his mouth stays closed.

10. 31.10.11:15

    Teil 3: Chorus und zweite Strophe

    Die Szenenbeschreibungen für S19–S33 sind fertig: der Chorus mit beiden Sängern im Wechsel, die pendelnde Glühbirne als Übergang und Mias Geschichte, vom Warten an der Haustür bis zur zugezogenen Hintertür. 32 von 44 Clips sind damit beschrieben. Alle 14 Video-Prompts dafür sind erzeugt.

11. 31.10.12:00

    Storyboard wird Teil der Seite

    Das Storyboard ist jetzt direkt in diese Seite eingebaut. Zu jedem Shot gibt es die Skizze und das fertige Startbild, per Schalter lässt sich zwischen beiden Ansichten wechseln. Alle Bilder lassen sich anklicken und in voller Größe durchblättern.

    Zu allen 50 Shots

12. 31.10.12:20

    Teil 4: Bridge, Finale und Schluss

    Die letzten Szenenbeschreibungen sind fertig: Keks allein mit Sammys Halsband in der Bridge, der Final Chorus, in dem die Kamera die beiden im leeren Gang immer kleiner werden lässt, das erlöschende Licht, das Outro im Sitzen, Sammy im Morgengrauen und zum Schluss die Hand, die seine Käfigtür öffnet. Damit sind alle 44 Clips beschrieben.

13. 31.10.12:50

    Alle 44 Video-Prompts geprüft

    Bevor gerendert wird, geht jeder Prompt noch einmal durch die Kontrolle. Drei Probleme fielen auf und wurden direkt im Text behoben: In fünf Prompts hatte das Prompt-Tool einen durchgehenden Clip in mehrere nummerierte Shots zerlegt, was im Video harte Schnitte erzeugen kann. In den Duett-Clips fehlte teils der Hinweis, dass der jeweils andere Sänger den Mund geschlossen hält. Und einige Prompts lagen über 5000 Zeichen, sie wurden bei den Geräuschbeschreibungen gekürzt, die im fertigen Video ohnehin vom Song ersetzt werden.

14. 31.10.12:55

    Bereit zum Rendern

    Eine Checkliste legt fest, in welcher Reihenfolge die 44 Clips entstehen: erst 25 Clips ohne Lipsync, um die Einstellungen in ComfyUI zu finden, dann 13 Lipsync-Clips mit einer Person, zum Schluss die 6 Duette. Für alle Lipsync-Clips wurden die passenden 10-Sekunden-Ausschnitte automatisch aus dem Song geschnitten. ComfyUI nummeriert jeden Versuch durch, so bleibt jede Version für das Making-of erhalten.

15. 31.10.13:58–16:44

    Die ersten Clips

    S01 bis S06 sind gerendert, jeder Shot viermal mit unterschiedlichem Seed, in Full HD mit 48 Bildern pro Sekunde. Ein Clip braucht etwa 7 Minuten, die 24 Versuche zusammen knapp drei Stunden. Für die Abnahme wird aus jedem Versuch ein Kontaktbogen mit 12 Einzelbildern erstellt und verglichen. Die meisten Versuche waren brauchbar und unterschieden sich nur wenig. Ein Ausreißer: In S04, Version 2, dreht sich der Hundekopf weg und plötzlich sind drei Augen im Bild. Die ausgewählten Clips zum Anschauen:

    

16. 31.10.18:30

    S08 und ein Systemwechsel

    Der Titel-Shot durch das leere Tierheim ist fertig, diesmal unter Windows 11 statt CachyOS gerendert. Der Unterschied ist deutlich: rund 10 Minuten pro Clip statt etwa 7. Version 3 fiel durch, weil das Modell mitten in der Kamerafahrt hart auf eine Nahaufnahme der Leine schneidet. Genommen wurde Version 2.

    

17. 31.10.–01.11.bis 09:50

    Phase A: alle Clips ohne Lipsync

    Siebzehn weitere Shots, wieder je vier Versuche, wieder unter CachyOS mit freigeschalteter RTX 3060 Ti: im Schnitt gut 6 Minuten pro Clip. Zur Abnahme gibt es pro Shot einen Vergleichsbogen mit allen vier Versionen untereinander. Typische Ausreißer: In S17 zoomt eine Version ungefragt bis ganz an den Hund heran, in S14 verfärbt sich das Hundegesicht, und bei S35 taucht im Hintergrund plötzlich eine Gestalt auf. Bei S43 geht das Licht in keiner Version genau zur geplanten Sekunde aus, deshalb wird dort ein späterer Ausschnitt des Clips verwendet. S39 fehlt noch.

    

    

18. 01.11.09:37–17:30

    Lipsync: Phase B und die ersten Duette

    64 Clips in knapp acht Stunden am Stück, im Schnitt rund 7:20 Minuten pro Clip. Lipsync-Clips rechnen etwas länger als die Szenen ohne Gesang. Weil hier keine Screenshots der Renderzeiten entstanden, wurden die Zeiten aus den Dateizeitstempeln berechnet. Zur Abnahme zeigt jeder Prüfbogen, wann laut Song gesungen wird und wann der Mund zu sein muss. Das Lipsync-Modell hält sich erstaunlich genau daran. Zwei Probleme: In S48 wurde versehentlich das Startbild von Keks verwendet, das Modell hat daraufhin einen fremden Mann mit anderer Brille erfunden. In S19 öffnet Keks in drei von vier Versionen kurz den Mund, während Krümmel singt. Die Vorschauen hier haben Ton.

    

    

19. 01.11.19:47–22:32

    Letzte Clips: alles gerendert

    S48 wurde mit dem richtigen Startbild neu gerendert, dazu kamen die restlichen Duette und der Reserve-Shot S42. Damit sind alle 45 Clips fertig: 44 für das Drehbuch plus eine Reserve. Bei der Endkontrolle wurden Checkliste und Dateien gegeneinander geprüft, jeder Shot hat eine abgenommene Version, und alle Dateien sind vorhanden. Insgesamt entstanden 184 Versuche in knapp 22 Stunden Renderzeit.

20. 04.11.09:25–09:34

    Schnitt: Timeline für DaVinci Resolve

    Aus Storyboard, Clip-Checkliste und Übergabe baut ein Skript die Timeline als FCPXML für DaVinci Resolve: alle 50 Shots lückenlos auf 3:20,6, der Song als einzige Tonspur, der Clip-Ton stumm, dazu der Titel in S08 und das Schwarzbild mit Text am Schluss. Jeder Lipsync-Clip beginnt framegenau auf seinem Einsatz. Das Storyboard hatte drei winzige Lücken von 0,2 bis 0,3 Sekunden vor Chorus, Bridge und Final Chorus; dort bleibt jetzt der vorherige Shot etwas länger stehen. Zur Kontrolle wurde aus derselben Schnittliste eine Rohschnitt-Vorschau mit Song gerendert. Dabei fiel auf, dass im geplanten Ausschnitt für den Rückblick S44 gegen Ende das Gesicht des Kindes sichtbar wird. Deshalb kommt S44 jetzt aus Sekunde 4 bis 6,5 des Welpen-Clips, auf halbe Geschwindigkeit gedehnt. Noch offen für den Feinschnitt in Resolve: S04 in Schwarz-Weiß mit einlaufender Farbe, die Aufblenden, die Gestaltung der Texte und der Lipsync-Check mit Ton für S19, S37, S40 und S45.

    S18 | 1:12,4–1:16,7 | S18_Clip_00001 | 0,00–4,31 s | bis 76,7 s verlängert
    S23 | 1:32,4–1:35,4 | S13_Clip_00001 | 7,00–10,00 s
    S25 | 1:38,5–1:43,8 | S25_Clip_00003 | 3,00–8,29 s
    S44 | 2:48,3–2:53,2 | S09_Clip_00002 | 4,00–6,46 s · Tempo 50 %
    S50 | 3:17,5–3:20,6 | Schwarzbild mit Text

    

21. 06.11.20:18

    Lipsync: zweiter Anlauf

    Nach dem Rohschnitt überzeugen die Lipsync-Clips nicht. Ein wahrscheinlicher Grund: In den Solo-Shots hörte das Modell auch die Stimme des anderen Sängers und bewegte dazu die Lippen. Deshalb kommt jetzt die reine Gesangsspur ins Rendern, fremde Stimmen und Echos sind in elf Ausschnitten stummgeschaltet. Die Einsätze sind Wort für Wort neu gemessen, und alle 20 Szenenbeschreibungen haben einen eigenen Abschnitt zu den Mundformen bekommen: Lippen zu bei M, B und P, weit offen bei A und O, völlig ruhig in den Pausen. Bei den sechs Duetten bleiben beide Stimmen im Ton, dort muss der Prompt dafür sorgen, dass nur einer singt. Das Rendern der neuen Fassungen steht an.

    Stummgeschaltete Stellen in: S07, S12, S15, S18, S24, S29, S32, S36, S42, S47, S48
    Duette mit beiden Stimmen:   S07, S19, S22, S37, S40, S45

22. 08.11.bis 18:11

    Lipsync v2: 14 von 20 Shots gerendert und geprüft

    Mit der reinen Gesangsspur und den neuen Szenenbeschreibungen laufen die Lipsync-Shots ein zweites Mal durch, wieder mit je vier Versuchen. Gerendert wurde erstmals auf zwei Rechnern: S07, S10 und S12 auf dem eigenen PC unter CachyOS mit freigeschalteter RTX 3060 Ti, S15 bis S36 bei Ascot Media unter Windows 11 mit einer RTX 5070 Ti (16 GB), für die es keine Freischaltung gibt. Trotzdem ist die neue Karte etwas schneller: im Median rund 7:00 Minuten pro Clip gegenüber 7:44 Minuten auf der 3060 Ti. Der erste Versuch jedes Shots dauert immer am längsten, zwischen 8:47 und 11:20 Minuten, weil dabei die Modelle geladen werden. Bei S12 brach ein Durchlauf ab. Zusammen sind es 56 Versuche in gut 7 Stunden Renderzeit. Zur Abnahme gibt es pro Shot einen Prüfbogen: das Gesicht alle 0,2 bis 0,3 Sekunden, darüber die gesungenen Wörter. Das Ergebnis ist deutlich besser als im ersten Anlauf. In den Pausen bleibt der Mund fast überall zu, und in den Duetten S07 und S22 singt nur noch, wer dran ist. Drei Schwächen bleiben: In S36 schließt Keks den Mund, während das lange „vertrauen“ noch klingt. In S18 endet das gehaltene „kalt“ etwas zu früh. In der Totale S19 sind die Gesichter zu klein und zu ungenau. Es fehlen noch S37, S40, S42, S45, S47 und S48. Die Vorschauen hier haben den Song als Ton.

    Shot | System | Versuch 1–4 (Minuten)
    S07 | CachyOS · 3060 Ti | 10:41 · 7:44 · 7:49 · 7:55
    S10 | CachyOS · 3060 Ti | 9:26 · 7:39 · 7:28 · 6:41
    S12 | CachyOS · 3060 Ti | 9:27 · 7:17 · 7:44 · 6:48
    S15 | Win 11 · 5070 Ti | 11:20 · 6:59 · 6:57 · 6:46
    S16 | Win 11 · 5070 Ti | 9:07 · 6:45 · 6:47 · 7:01
    S18 | Win 11 · 5070 Ti | 8:47 · 6:55 · 7:04 · 6:55
    S19 | Win 11 · 5070 Ti | 8:56 · 7:05 · 6:57 · 6:57
    S22 | Win 11 · 5070 Ti | 8:58 · 7:27 · 6:56 · 6:55
    S24 | Win 11 · 5070 Ti | 9:06 · 6:59 · 7:07 · 6:45
    S27 | Win 11 · 5070 Ti | 9:10 · 7:10 · 7:19 · 6:54
    S29 | Win 11 · 5070 Ti | 9:04 · 6:55 · 6:55 · 7:18
    S32 | Win 11 · 5070 Ti | 9:18 · 7:25 · 7:17 · 7:09
    S34 | Win 11 · 5070 Ti | 9:06 · 7:12 · 7:04 · 6:56
    S36 | Win 11 · 5070 Ti | 9:17 · 6:56 · 7:20 · 6:56

23. 08.11.20:30

    Duette: neuer Versuch mit Referenzbildernläuft

    Bei den Solo-Shots ist der zweite Anlauf gelungen. Bei den Duetten hapert es noch an den Gesichtern, vor allem in der Totale S19: Wenn Keks und Krümmel klein im Bild sind, werden ihre Gesichter unscharf und verlieren die Ähnlichkeit. S19 ist deshalb verworfen. Für alle sechs Shots, in denen beide zu sehen sind (S07, S19, S22, S37, S40, S45), gibt es neue Szenenbeschreibungen. Zusätzlich zum Startbild bekommt das Modell jetzt die Porträts der beiden Sänger als Referenz, damit es weiß, wie die Gesichter aus der Nähe aussehen. Die drei noch offenen Solo-Shots S42, S47 und S48 sind nach den Erfahrungen der Abnahme nachgeschärft: Der Mund soll bei lang gehaltenen Wörtern offen bleiben, bis der Ton endet, und niemand soll bei traurigen Zeilen lächeln.

    Duette mit Referenzen:  S07, S19, S22, S37, S40, S45
    Bilder je Duett:        1. Startbild  2. keksprofil.png  3. kruemmelprofil.png
    Offene Solo-Shots:      S42, S47, S48