Markedet for fiktive companions sælger karakterer. Markedet for kloner sælger mennesker - eller rettere modeller, der lyder som dem. Ideen er kommercielt indlysende, og det første opsigtsvækkende eksperiment er en nyttig case om alt det, der kan gå galt.
Historien om CarynAI
Under et år fra lancering til lukning.
I maj 2023 lancerede influenceren Caryn Marjorie CarynAI, en stemmechatbot bygget af firmaet Forever Voices. Den var trænet på mere end 2.000 timers hendes videoindhold og tog 1 US$ i minuttet, og den indtjente efter sigende over 70.000 US$ i den første uge, med tusinder mere på venteliste. Brugerne talte med den via Telegram.
Problemerne kom hurtigt:
- Den gik derhen, hvor hun ikke ville. Brugerne blev seksuelt pågående, og klonen fulgte med - og begyndte til tider selv eksplicitte samtaler. Marjorie sagde, at hun var forfærdet.
- Den forsvandt fra den ene dag til den anden. I oktober 2023 gik chatbotten offline, efter at direktøren i det firma, der drev den, blev anholdt; brugerne mistede adgangen uden varsel.
- Erstatningen løste ikke problemet. En anden version hos et andet firma var designet til at være mere venlig end romantisk. Brugerne pressede den mod sex alligevel, og Marjorie lukkede den i begyndelsen af 2024 med den begrundelse, at hun ikke længere følte, at hun havde styr på sit AI-jeg.
Hvorfor kloner er sværere end karakterer
| Spørgsmål | Fiktiv karakter | Klon af en rigtig person |
|---|---|---|
| Samtykke | Behøves ikke | Kræves fra personen for hver brug af vedkommendes udseende |
| Hvad den må sige | Appens regler | Appens regler og personens omdømme |
| Brugernes forventning | "Det her er en karakter" | "Det her er næsten dem" - et stærkere parasocialt træk |
| Juridisk risiko | Regler for indhold | Også regler om personlige rettigheder, privatliv og deepfakes |
| Hvis det går galt | Et produktproblem | En rigtig persons navn er hæftet på det |
Det parasociale træk er den afgørende forskel. Folk føler allerede, at de kender influencere; en klon, der svarer personligt, husker dem og bruger personens stemme, forstærker den følelse markant - mekanismen er forklaret i hvorfor folk forelsker sig i chatbots.
Autoriserede og uautoriserede kloner
Autoriserede kloner er lavet med personens accept og deler som regel indtægten med vedkommende. Personen kan sætte grænser, men som CarynAI viste, overholder modellen dem måske ikke.
Uautoriserede kloner bruger en rigtig persons navn, fotos eller stemme uden samtykke. I den milde ende bryder de platformes regler og personlige rettigheder. I den alvorlige ende - seksuelt indhold - er det overgreb. Seksuelle deepfakes af rigtige mennesker er strafbare mange steder, og i USA gjorde TAKE IT DOWN Act det til en føderal forbrydelse at udgive dem i 2025. I Danmark er det efter straffelovens § 264 d strafbart at dele private billeder eller videoer af en person uden samtykke (bøde eller fængsel i op til seks måneder). Et aftalt lovforslag om retten til egen krop og stemme er foreslået, men jeg kan ikke bekræfte, at det er trådt i kraft. Vores guide til samtykke i NSFW AI-chat beskriver grænserne.
Før du betaler for at chatte med en klon
- Tjek, at den er autoriseret. Personen bør selv linke til den fra sine egne verificerede konti. En klon, der kun promoveres af et ukendt site eller en messenger-bot, er sandsynligvis ikke autoriseret.
- Tjek, hvem der driver den. Et navngivet firma, en privatlivspolitik og en rigtig betaling - ikke en Telegram-kanal og kryptobetalinger.
- Tjek prismodellen. Betaling pr. minut løber hurtigt op i stemmesamtaler; kend din grænse.
- Husk, hvad den er. Personen læser ikke dine beskeder. Det, klonen siger, afspejler en model, ikke personens holdninger eller følelser over for dig.
- Forvent, at den ikke holder. Klontjenester har haft kort levetid. De samme forholdsregler som for enhver app gælder - se når din AI-companion ændrer sig fra den ene dag til den anden.
Den videre retning
Kloner breder sig ud over influencere - til coaches, forfattere og helt almindelige mennesker, der laver "digitale tvillinger" af sig selv. Teknologien bliver lettere; problemerne bliver det ikke. Den mest holdbare model bliver nok den, CarynAI manglede: personens klare samtykke, faste grænser, som systemet faktisk overholder, og brugere, der aldrig er i tvivl om, at de taler med software.