Folge folgenden Anleitungen:
Installiere SillyTavern https://docs.sillytavern.app/installation/windows/
Downloade https://huggingface.co/brittlewis12/Kunoichi-DPO-v2-7B-GGUF das File kunoichi-dpo-v2-7b.Q6_K.gguf (oder Q4_K_M bei 8GB VRAM)
Folge der Anleitung zur Installation von KoboldCpp (Alias KoboldAI, wobei der Name eigentlich für was anderes steht)
https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/#installing-an-llm-server-oobabooga-or-koboldai das wird nur heruntergeladen und lokal enpackt.
Konfiguriere KoboldCpp for text only mit folgenden Einstellungen:
FlashAttention on
Context size von 4096 auf 8192 erhöhen
Offloaded layers to GPU 35
als Model das kunoichi-dpo-v2-7b.Q6_K.gguf file angeben.
WICHTIG: Einstellungen speichern und jedes Mal laden, weil die vergisst KoboldCPP jedes mal (ausser man baut sich eine Verknüpfung die die Konfig automatisch lädt).
KoboldCPP läuft dann auf 127.0.0.1:5001. Das Kommadozeilen-Fenster muss offen bleiben, weil das die Serverkomponenten sind, zum Beenden einfach das Fenster schliessen. KoboldCPP kommt mit einer eigenen GUI KoboldAi (das Starten der GUI im Browser kann man abschalten) aber diese werden wir gegen Silly Tavern austauschen.
Das Text-Modell läuft und nun könnt Euch mittels 126.0.0.1:8000 bei Silly Tavern einloggen. KoboldCPP läuft dann auf 127.0.0.1:5001. Wie man das Konfiguriert erkläre ich auf einer extra Seite hier auf meiner Webseite.
Download:
https://github.com/comfyanonymous/ComfyUI/releases/latest/download/ComfyUI_windows_portable_nvidia.7z
https://huggingface.co/Comfy-Org/flux1-dev/resolve/main/flux1-dev-fp8.safetensors
https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_checkpoint_example.png
Entpacken in einen Ordner, der nicht in Windows Pfaden liegt, zB. C:\ComfyUI_Flux.1-dev
Kopiere das flux .safetensors file nach ComfyUI\models\checkpoints
Starte mit der Batchdatei CompyUI, welches im Browser aufgeht und die Verarbeitungskette anzeigt.
Wähle bei "Load Checkpoint" flux1-dev-fp8.safetensors aus.
Drag und Drop das Bild vom Anime-Girl in das Browserfenster (ja, die Einstellungen werden in den KI-Systemn in Animebildern gespeichert, Computernerds am Werke war für mich auch erst was neues).
Funktion:
Der obere "CLIP Text Encode" ist der prompt den die KI erzeugen soll.
Der untere "CLIP text Encode" der mit "negative" verbunden ist gibt worte oder Dinge vor, die nicht im Bild auftauchen sollen.
(Alle Eingaben auf englisch, guter übersetzer unter https://www.deepl.com/de/translator)
KSampler so lassen oder für bessere Ergebnisse aber längere Rechenzeit steps von 20 auf 30 erhöhen (Wert 20 ist gute Balance, 30-50 ist bessere Qualität, unter 20 "fantasiert" die KI sehr stark und erzeugt nicht den Prompt)
Flux Guidence gibt an, wie genau sich die KI an das beschriebene halten soll. Standard ist 3.5 da kann man mit herumspielen.
Save Image gibt an wo das Bild gespeichert werden soll.
Zum Starten den grossen "Queue Prompt" Button klicken.
Für Advanced User:
Rechtsklicken -> Add Node -> Image -> Preview Image
Dann den blauen Images Eingang mit dem Ausgang von "VAE Decode" verbinden, wo schon das "Save Image" angeschlossen ist.
"Preview Image" an einer Ecke grosser ziehen.
Unter "Empty latent Image" die Bildgrösse und Anzahl der generierten Bilder in einem Durchlauf einstellen. Je mehr batch_size desto länger wartet man.