ComfyUI: 2 LoRA-Workflow

Dein nächster Schritt in ComfyUI: Mehr Kreativität mit mehreren LoRAs🖼️

Hallo lieber KI-Kunst-Entdecker! Du hast bereits die ersten Schritte in die faszinierende Welt von ComfyUI gewagt und kennst dich mit grundlegenden Workflows wie Text zu Bild, Bild zu Bild und der Anwendung einzelner LoRAs aus. Super! 👍
Jetzt ist es Zeit, dein kreatives Potenzial noch weiter zu entfesseln. Heute zeigen wir dir mit dem ComfyUI: 2 LoRA-Workflow, wie du mehrere LoRA-Modelle gleichzeitig in deinen Workflows nutzen kannst.

Warum mehrere LoRAs verwenden? 🤔

Du fragst dich vielleicht: Warum sollte ich mehr als ein LoRA auf einmal verwenden? Stell dir LoRAs wie verschiedene Filter oder Gewürze für dein Basismodell vor.

• Eine LoRA kann einen bestimmten Kunststil hinzufügen, z.B. Aquarell oder Comic.
• Eine andere LoRA kann sich auf die Darstellung bestimmter Objekte oder Charaktere spezialisieren.
• Wieder eine andere LoRA könnte Details oder Feinheiten verbessern.

Indem du mehrere dieser spezialisierten LoRAs kombinierst, kannst du komplexere und einzigartigere Ergebnisse erzielen. Du könntest beispielsweise ein Bild eines Charakters im Stil eines bestimmten Künstlers in einer detaillierten Umgebung generieren, indem du eine Charakter-LoRA, eine Stil-LoRA und eine Detail-LoRA gleichzeitig verwendest.

Es ist, als würdest du verschiedene Zutaten in einem Rezept kombinieren, um einen ganz besonderen Geschmack zu kreieren. Die Möglichkeit, die Stärke jeder  einzelnen LoRA anzupassen, gibt dir noch mehr Kontrolle über das Endergebnis.

Der Template-Workflow mit 2 LoRA-Knoten: ⚙️

Stressfrei ausprobieren lässt sich alles mit dem Template-Workflow. Vermutlich musst du noch die zweite LoRA herunterladen. Das wird dir beim Start des Templates angeboten. Kopiere oder verschiebe das Modell von deinem Download-Ordner in das Verzeichnis ../comfyui/modelle/loras/
Falls dir auch der Checkpoint fehlt: Er gehört in das Verzeichnis ../comfyui/modelle/checkpoints/

Ansonsten ist alles schon vorbereitet. Ein Klick auf RUN sollte bereits ein interessantes Ergebnis bringen!

Der Workflow unterscheidet sich vom Basis-Workflow: Dir ist bestimmt aufgefallen, dass die vom Checkpoint ausgehende Model-Verbindung (lila) und auch die Clip-Verbindung (gelb) jeweils einen Umweg über 2 LoadLora-Knoten nimmt.

Diese Stellschrauben kannst du verändern: 🔩

1. Du kannst einen anderen Checkpoint und andere  LoRAs verwenden. Sie müssen alle zum gleichen Grundmodell passen – hier SD1.5 . Wenn du bei CIVITAI neue Modelle herunterladen willst, solltest du unbedingt die Filter passend einstellen!
   
2. Bei den LoadLoRA-Knoten ist die Gewichtung bereits im Template voreingestellt: 0.9 im ersten Knoten, 0.5 im zweiten. Damit solltest du experimentieren!

Du willst selber Hand anlegen: 🔧

1. LoRA-Workflow laden und einen (oder mehr) „Load LoRA“-Knoten hinzufügen.
   • Um einen neuen Knoten hinzuzufügen, doppelklicke auf eine freie Stelle im ComfyUI-Interface und suche nach „Load LoRA„. Wähle den Eintrag aus, um den Knoten zu deinem Workflow hinzuzufügen.
   • Verbinde den model-Ausgang (lila) deines ersten „Load LoRA„-Knotens mit dem model-Eingang (lila)  des zweiten „Load LoRA„-Knotens. Verbinde ebenso den clip-Ausgang  (gelb) des ersten mit dem clip-Eingang  (gelb) des zweiten.
     Der model-Ausgang  (lila) des zweiten „Load LoRA„-Knotens wird dann wie gewohnt mit dem model-Eingang (lila) des KSampler verbunden.
     Der clip-Ausgang (gelb) des zweiten „Load LoRA„-Knotens  werden dann wie gewohnt mit den  clip-Eingang  (gelb) der beiden Knoten für die positiven und negativen Prompts  verbunden.
     
2. LoRA-Dateien auswählen: Stelle sicher, dass du zwei verschiedene LoRA-Dateien im entsprechenden Ordner deiner ComfyUI-Installation hast (comfyui > models > Lora > oder ComfyUI/models/loras). Diese Dateien haben typischerweise die Endung .safetensors.
   
3. LoRAs im Workflow laden:
   
   • Klicke auf den ersten „Load LoRA„-Knoten. Im rechten Seitenmenü siehst du ein Dropdown-Feld unter „LoRA Name„. Klicke darauf und wähle die erste LoRA-Datei aus, die du verwenden möchtest.
   • Wiederhole diesen Schritt für den zweiten „Load LoRA“-Knoten und wähle dort deine zweite LoRA-Datei aus.
     
4. LoRA-Stärke anpassen: Jeder „Load LoRA„-Knoten hat zwei wichtige Parameter: „strength_model“ und „strength_clip„. Diese Werte (normalerweise zwischen 0 und 1) bestimmen, wie stark der jeweilige LoRA das Modell bzw. den CLIP-Encoder beeinflusst.
   
   • Experimentiere mit verschiedenen Werten. Ein höherer Wert bedeutet einen stärkeren Einfluss. Du kannst zum Beispiel einen LoRA, der den Stil stark verändert, mit einer niedrigeren Stärke einstellen und einen LoRA, der nur feine Details hinzufügt, etwas höher gewichten.
     
5. Prompt eingeben: Gib wie gewohnt deinen positiven und negativen Prompt in die entsprechenden „CLIP Text Encode„-Knoten ein. Der Prompt sollte idealerweise zu den LoRAs passen, die du verwendest (manchmal haben LoRAs spezifische „Triggerwörter„, die du in deinem Prompt verwenden solltest).
   
6. Bild generieren: Klicke auf „Queue Prompt„, um das Bild zu generieren. ComfyUI wird nun beide LoRAs nacheinander auf das Basismodell anwenden und das resultierende Bild erzeugen.
   
7. Experimentieren: Spiele mit verschiedenen LoRA-Kombinationen und unterschiedlichen Stärkewerten, um zu sehen, wie sich die Ergebnisse verändern. Du wirst schnell ein Gefühl dafür bekommen, welche LoRAs gut miteinander harmonieren und wie du die gewünschten Effekte erzielen kannst.
   

Verfeinerung mit Embeddings ✨

Du hast nun gelernt, wie du die Kraft mehrerer LoRAs in ComfyUI nutzen kannst, um deine KI-Kreationen noch vielfältiger zu gestalten. Denk daran, dass du dein Werkzeugarsenal noch weiter ausbauen kannst, indem du Embeddings (auch bekannt als Textual Inversions) verwendest. Embeddings hast du bereits kennengelernt.

Embeddings sind eine weitere Methode, um spezifische Stile oder Konzepte zu deinem Output hinzuzufügen. Sie werden direkt in deinen Prompt eingefügt. Du könntest also deine mit mehreren LoRAs erzeugten Bilder weiter verfeinern, indem du zusätzlich ein oder mehrere Embeddings in deinen Prompt integrierst.

Basics geschafft! Ausblick: Flux & Co. 🎉

Das war heute das letzte der Basics-Templates. Gratuliere! In den nächsten Beiträgen wird es komplizierter. Aber keine Panik: Wir erklären alles ganz genau.

Bleib neugierig, experimentiere weiter und entdecke die unendlichen kreativen Möglichkeiten, die ComfyUI dir bietet! Viel Spaß beim Generieren deiner einzigartigen KI-Kunstwerke!