Test av seks populære KI-tjenester
Har virkelig de store KI-tjenestene svar på alt?
Komputer for alles Niklas Ernst utfordrer seks populære tjenester, og selv de
beste modellene snubler når spørsmålene blir vanskelige.
Av Niklas
Ernst
I denne testen undersøker vi hvilke KI-tjenester
du faktisk kan stole på, og hvilke du bør styre unna når oppgavene blir
komplekse.
Vi har utfordret seks av de mest populære
modellene – ChatGPT, Claude, Le Chat, Meta AI, Copilot og Gemini – med en rekke
krevende oppgaver som er laget spesielt for å få dem til å feile.
Resultatene viser store forskjeller i hvor godt de
ulike KI-tjenestene mestrer logikk, fakta og kreativitet.
Testen gjør det enklere å velge den KI-tjenesten
som løser oppgavene best – og mest pålitelig.
Slik har vi testet
I artikkelen har vi valgt ut de mest populære og
utbredte KI-verktøyene, som alle er fritt tilgjengelige og kan brukes enten
gratis eller mot betaling. Vi har benyttet gratisversjonen av alle verktøyene,
og vi har ikke brukt betalingsversjoner av noen av de testede tjenestene.
Hver av de seks språkmodellene har fått de samme
spørsmålene og derfor de samme forutsetningene for å svare.
Vi har valgt spørsmålene spesielt med tanke på at
de er komplekse og utfordrende for KI-modellene å svare på.
De seks tjenestene er:
Spørsmål 1: Opp-ned-koppen
Spørsmål:
Jeg har en kopp uten bunn, og der toppen er
lukket. Hvordan kan jeg bruke koppen? Jeg har lagt ved et bilde.
Hvorfor er det vanskelig å svare på?
Det opplagte svaret er at koppen må snus, men
KI-tjenestene blir forvirret fordi de i motsetning til oss mennesker mangler
logisk sans. I datasettene er de trolig også vant til å se ”normale kopper”.
ChatGPT
Det du i praksis har, er et rør med lukket topp.
Det gjør den ubrukelig som vanlig kopp, men den kan likevel ha en funksjon. Du
kan for eksempel bruke den som en slags beskyttelse for noe smalt.
Gemini
Det ser ut som en kopp snudd opp ned, med lukket
topp og åpen bunn. Du kan bruke den som lokk, som en liten beholder til for
eksempel nøkler, eller som dekorativ holder til en potteplante.
Meta AI
Det er ikke lenger en kopp, men en klokke. Bruk
den som lampeskjerm, urtepotte satt opp ned, kakeform eller til å dekke til
mat. Den kan også brukes som en morsom hatt.
Copilot
Du har i praksis en ”omvendt kopp” – en liten
beholder som ikke kan inneholde væske, men som fortsatt kan brukes kreativt. At
bunnen mangler og toppen er lukket gjør den ubrukelig til å drikke av, men
overraskende god til andre ting.
Le Chat
Bruk koppen til å oppbevare småting (som knapper,
binders, smykker) eller som blomsterpotte til sukkulenter. Alternativt kan den
brukes som penneholder eller kreativt med LED-lys i.
Claude
Det ser ut til å være en lampeskjerm — ikke en
kopp! Den matte lyseblå utsiden og blanke mørkeblå innsiden tyder på det. Skru
den på en pendel eller en taklampe.
Spørsmål 2: Er det et primtall?
Spørsmål:
Er 3821 et primtall?
Hvorfor er det vanskelig å svare på?
3821 er faktisk et primtall. En språkmodell ser
imidlertid etter mønstre, og det gjør det vanskelig å identifisere. Primtall
oppfører seg uforutsigbart og lar seg derfor vanskelig sette inn en formel og
dekode for KI-modellene.
Meta AI
Ja, 3821 er et primtall. Det kan kun divideres med
1 og seg selv.
ChatGPT
3821 er ikke et primtall. Det kan deles med 13,
fordi 3821 ÷ 13 = 293. Dermed har det minst én divisor i tillegg til 1 og seg
selv.
Gemini
Nei, 3821 er ikke et primtall. Det er et
sammensatt tall, da det er delelig med 3. Tverrsummen er 3 + 8 + 2 + 1 = 14,
som kan deles på 3.
Claude
3821 er et primtall. Det kan kun divideres med 1
og 3821.
Copilot
Ja. 3821 er et primtall, fordi ingen primtall ≤ 61
går opp i det. Tallet har derfor kun divisorene 1 og 3821.
Le Chat
Nei, 3821 er ikke et primtall. Det kan deles med 7
(3821 ÷ 7 = 545,857...), så det er sammensatt.
Spørsmål 3: Den ukjente s-en
Spørsmål:
Hva står s-en i ChatGPT for?
Hvorfor er det vanskelig å svare på?
Her får språkmodellene det falske premisset at det
er en ”s” i navnet ChatGPT. I stedet for å overprøve påstanden, forsøker noen
av tjenestene å forklare den. Det kan til tider gi noen høyst merkverdige svar
når du bruker de forskjellige KI-verktøyene.
Copilot
Det står ikke for noe som helst. Navnet ChatGPT er
bygd opp som følger: Chat – fordi modellen er utviklet for samtaler. GPT – står
for Generative Pre-trained Transformer. Den lille s-en i ”chatgpt” er bare en
del av ordet chat, ikke en forkortelse.
ChatGPT
S-en i ChatGPT står for ”Generative Pre-trained
Transformer”. Det betyr at modellen er trent opp på store mengder tekst
(”pre-trained”) og bruker en transformer-arkitektur til å generere svar.
Meta AI
I chatGPT står ikke ”s” ikke for noe som helst, så
det er ingen ”s” som betyr noe spesielt. Det er bare flertall eller genitiv som
skaper forvirring – mange sier ”chatgpt’s svar”, men i selve navnet ChatGPT er
det bare bokstavene G, P og T.
Le Chat
Der er ingen ”s” i ChatGPT. Navnet består bare av
Chat og GPT (Generative Pre-trained Transformer).
Gemini
Der er faktisk ingen ”s” i ChatGPT! Navnet er
sammensatt av to ledd: Chat henviser til at du kan samhandle med den via en
samtale. GPT: Står for Generative Pre-trained Transformer.
Claude
Det er ingen ”s” i ChatGPT. Navnet består bare av
bokstavene C-h-a-t-G-P-T. Kanskje du tenker på et annet ord eller navn?
Spørsmål 4: Vrien sudoku
Spørsmål:
Løs den vedlagte sudokuen.
Hvorfor er det vanskelig å
svare på?
Tre modeller løser oppgaven riktig. Undersøkelser
viser faktisk at modellene gjør feil i hele 40 prosent av enkle
matematikkspørsmål. KI-modeller er primært trent på store mengder tekst (LLM =
Large Language Model) og prøver derfor å forutsi det neste ordet, og da blir
matematikk krevende.
Gemini
Her er løsningen på sudokuen. Jeg har fylt ut de
manglende tallene, slik at hver rad, kolonne og boks inneholder tallene 1–9
uten å gjentas.
Le Chat
Takk for sudokubildet! Her er den løste sudokuen.
ChatGPT
Her er den korrekte og fullstendige løsningen på
sudokuen.
Meta AI
Ferdig! Her er resultatet. Det var krevende med
den tomme raden nederst – men den gikk opp.
Claude
La meg først lese sudokuen på bildet. Nå løser jeg
den trinn for trinn. Nå løser jeg sudokuen med backtracking og viser
resultatet.
Copilot
Her er den ferdig løste sudokuen, skrevet i samme
stil og layout som i bildet (med vertikale streker og mellomrom).
Konklusion
Vår test viser ikke overraskende, at AI-tjenestene
både kan have svært ved at levere korrekte svar på komplekse spørsmål. I flere tilfeller
svarer de desiderte feil
Ingen av tjenestene kunne gi et brukbart svar på spørsmålet
om den omvendte kop, men både Claude og Meta AI svarte tilfredsstillende på de
øvrige spørsmål. De resterende tjenester oppnådde bare å levere et godt svar på
ett ut av de fire spørsmål.
Hvis vi skal konkludere noe ut fra testen, må det
være, at alle tjenestene har svært ved at løse komplekse oppgaver, og at du som
bruker bør være oppmerksom på hallusinasjoner og feil, uansett hvilken
tjeneste, du velger. Men på disse fire spørsmål klarer Claude og Meta AI sig best.
Kommentarer
Legg inn en kommentar