Udtrykket »kør din egen AI-kæreste« får det til at lyde som ét program. I praksis er det tre dele, der taler sammen, og at forstå, hvilken del der gør hvad, sparer det meste af frustrationen.
De tre dele
Hvad der taler med hvad i en typisk lokal opsætning.
Frontenden er det, du ser: chatvinduer, karakterer, avatarer, indstillinger. SillyTavern er standardvalget til karakterchat. Den kører i din browser, gemmer karakterer og chats som filer på din disk og kan forbinde til næsten enhver backend. Den genererer ikke selv tekst.
Backenden indlæser modellen og genererer svar. KoboldCpp er ét program uden installation, som er populært til rollespil, fordi det eksponerer alle genereringsindstillinger. Ollama er den nemmeste måde at få en model til at køre med få kommandoer. LM Studio er en desktop-app med en venlig modelbrowser. Alle serverer modellen på en lokal adresse, som frontenden forbinder til.
Modellen er en stor fil, som regel i GGUF-formatet, hentet fra Hugging Face. Dens størrelse i parametre, 8B, 12B, 24B, og dens kvantisering afgør, hvor god den er, og hvilken hardware den kræver.
Spørgsmålet om hardware
Det, der afgør, om en model kører godt, er grafikhukommelse (VRAM). Modellen skal være der, plus plads til selve samtalen. Kvantisering krymper modeller, så de passer: »Q4_K_M« er det almindelige kompromis mellem størrelse og kvalitet.
| Modelstørrelse | Ca. hukommelse ved Q4 | Typisk hardware | Hvad du kan forvente |
|---|---|---|---|
| 7-8B | 5-6 GB | Grafikkort med 8 GB | Sammenhængende, hurtig, glemmer detaljer i lange scener |
| 12-14B | 9-10 GB | Kort med 12 GB | Mærkbart bedre karakterer og prosa |
| 22-24B | 14-16 GB | Kort med 16-24 GB | Tæt på gode hostede apps til rollespil |
| 70B | 40 GB+ | To kort eller en Mac med meget hukommelse | Fremragende, langsom og dyr |
Tallene er grove: længere kontekst kræver mere hukommelse oveni. Apple Silicon-Macs deler hukommelse mellem processor og grafik, så en MacBook med 32 GB kan køre modeller, et grafikkort med 12 GB ikke kan. En model, der ikke passer, løber over på hovedprocessoren og sander til: hvis svarene kommer med nogle få ord i sekundet, så gå ned til en mindre model, før du prøver en hårdere kvantisering. En mindre model i god kvalitet slår som regel en større, der er presset for hårdt.
Hvad du vinder
- Privatliv, der ikke afhænger af en politik. Intet forlader maskinen. Ingen opbevaringsperiode, ingen træning, ingen adgang for medarbejdere, intet at slette senere.
- Intet filter ud over modellens eget. Du vælger modellen, også dem, der er trimmet specifikt til rollespil. Det juridiske gulv for indhold gælder stadig for dig, men ingen udbyder lægger regler oveni.
- Intet abonnement og ingen kreditter. Generér så meget, du vil.
- Karakterer, du ejer. Karakterkort er almindelige PNG-billeder med karakterarket indlejret. De flytter mellem frontends og kan ikke fjernes af en opdatering.
- Stabilitet. En model, der virker i dag, virker på samme måde om fem år. Ingen kan skifte den ud under dig, den risiko der er beskrevet i når din AI-companion ændrer sig natten over.
Hvad du opgiver
- Opsætningstid. Regn med en aften til den første fungerende chat og uger med pillerier, hvis du nyder det.
- Hukommelse er dit job. Hostede apps opsummerer og gemmer stille fakta om dig. Lokalt styrer du det med SillyTaverns lorebooks, resuméer og karakternoter, de samme tre mekanismer som forklaret i hvordan hukommelsen i AI-companions virker, bare med kontrollerne blottet.
- Billeder og stemme er separate projekter. Billedgenerering kræver sin egen model og som regel mere grafikhukommelse. Stemme kræver værktøjer til talegenkendelse og -syntese. Alt er muligt, intet er automatisk.
- Mobil er besværligt. Du kan åbne frontenden fra din mobil på hjemmets wifi. At bruge den væk hjemmefra betyder at udsætte din computer for internettet, hvilket kræver omhu.
- Kvalitetsloft. De bedste hostede modeller er større end noget, de fleste kan køre derhjemme, især hvad angår langsigtet konsistens.
Mellemvejen og dens hage
Mange kører SillyTavern på deres egen maskine, men forbinder den til en betalt sky-API i stedet for en lokal model. Du får frontendens kontrol og karakterfilerne, langt større modeller og pris pr. besked, som kan være billig ved let brug.
Det er dog ikke privat. Hver besked går til API-udbyderen under dens logning, opbevaring og indholdsregler, ofte strengere over for rollespilsindhold end dedikerede companion-apps. Det er en anden afvejning, ikke en lokal opsætning.
Grundlæggende sikkerhed
- Download kun software fra projekternes officielle sider på GitHub eller projektets eget site.
- Download modeller fra velkendte uploadere på Hugging Face, og foretræk GGUF-filer, som indeholder modeldata frem for kode.
- Læs modellens licens. Nogle begrænser kommerciel brug, få begrænser bestemt indhold.
- Hold SillyTavern bundet til din egen maskine eller dit hjemmenetværk, medmindre du har sat en adgangskode op og forstår, hvad du udsætter.
SillyTavern udvikles åbent på GitHub.
Hvem det er til
Kør en companion lokalt, hvis privatliv er din hovedbekymring, du allerede ejer kapabel hardware, eller du nyder at konfigurere ting lige så meget som at bruge dem. Bliv ved en hostet app, hvis du vil have stemme, billeder og lang hukommelse klar ud af æsken, eller mest chatter på mobilen. Vores guide til at vælge din første app dækker den vej. Mange ender med begge dele: en hostet app for bekvemmelighedens skyld og en lokal opsætning til de samtaler, de helst ikke vil have gemt andre steder.