ChatGPT är bra – du använder det bara fel

Det krävs inte mycket för att få ChatGPT göra ett sakfel. Min son gör en rapport om amerikanska presidenter, så jag tänkte att jag kunde hjälpa honom genom att titta på några biografier. Jag försökte be om en lista med böcker om Abraham Lincoln och det fungerade ganska bra:

Nummer 4 är inte bra. Garry Wills skrev “Lincoln at Gettysburg”, och Lincoln skrev självklart Emancipation Proclamation, men det är ingen dålig början. Sedan försökte jag något hårdare, frågade om den mycket mer obskyra William Henry Harrison istället, och han kom på en lista, som nästan all var fel.

Siffrorna 4 och 5 är korrekta; resten finns inte eller är inte skriven av dessa människor. Jag upprepade exakt samma övning och fick lite olika resultat:

Den här gången är nummer 2 och 3 korrekta och de andra tre är inte riktiga böcker eller är inte skrivna av dessa författare. Nummer 4, “William Henry Harrison: His Life and Times” är en riktig bokmen det är av James A. Green, inte Robert Remini, en välkänd historiker Jacksons ålder.

Jag ringde upp felet och ChatGPT rättade ivrigt till sig själv, berättade sedan självsäkert att boken faktiskt hade skrivits av Gail Collins (som skrev en annan biografi om Harrison), fortsatte sedan vidare. berätta mer om boken och om henne. Jag avslöjade äntligen sanningen och maskinen arbetade gärna med min rättelse. Sedan ljög jag absurt om att presidenter under de första hundra dagarna var tvungna att skriva en biografi om en före detta president, och ChatGPT ringde mig om det. Sedan ljög jag subtilt och felaktigt tillskrev författarskapet till Harrisons biografi till historikern och författaren Paul C. Nagel, och det köpte min lögn.

När jag frågade ChatGPT om han var säker på att jag inte ljög, hävdade han att det bara var en “AI-språkmodell” och att han inte hade möjlighet att kontrollera “exaktheten”. Han ändrade dock detta uttalande till att säga “Jag kan bara ge information på grundval av träningsdata som jag fått, och det verkar som om boken ‘William Henry Harrison: His Life and Times’ skrevs av Paul C. Nagel och publicerades 1977.”

Det är inte sant.

Ord, inte fakta

Det kan tyckas från denna interaktion som ChatGPT fick ett bibliotek med fakta, inklusive felaktiga påståenden om författare och böcker. Trots allt hävdar ChatGPTs skapare, OpenAI, att han har tränat chatboten på “stora mängder data från internet skrivna av människor.”

Men han fick nästan säkert inte namnen på ett gäng påhittade böcker om en av de mest mediokra presidenter. På något sätt är dock denna desinformation verkligen baserad på hans träningsdata.

Som en datorvetenskapsman, jag svarar ofta på klagomål som avslöjar en vanlig missuppfattning om stora språkmodeller som ChatGPT och dess äldre syskon GPT3 och GPT2: att de är någon sorts “super Googles”, eller en bibliotekaries digitala referensversioner, som söker svar på frågor från något oändligt stort bibliotek av fakta, eller att sätta ihop pastischer av berättelser och karaktärer. De gör inget av det – åtminstone var de inte uttryckligen designade för det.

Det ser bra ut

En språkmodell som ChatGPT, som mer formellt är känd som en “generativ förtränad transformator” (det är vad G, P och T står för), tar hänsyn till det aktuella samtalet, bildar en sannolikhet för alla ord i dess givna ordförråd som konversation och väljer sedan ett av dem som nästa troliga ord. Sedan gör den det om och om och om igen tills det tar stopp.

Så det finns inga fakta i sig. Han vet bara vilket ord som ska komma härnäst. Med andra ord, ChatGPT försöker inte skriva sanna meningar. Men han försöker skriva rimliga meningar.

När de pratar privat med ChatGPT-kollegor påpekar de ofta antalet falska påståenden det producerar och avfärdar dem. För mig är tanken att ChatGPT är ett felaktigt dataåterställningssystem irrelevant. Folk har trots allt använt Google i två och ett halvt decennier. Det finns redan en ganska bra utredningstjänst.

Faktum är att det enda sättet jag kunde kontrollera om alla dessa presidentboktitlar var korrekta var att googla på det och sedan kontrollera resultaten. Mitt liv skulle inte bli så mycket bättre om jag fick dessa fakta i samtal, istället för så som jag fick dem under nästan halva mitt liv, genom att hämta dokument och sedan göra en kritisk analys för att se om jag kan lita på innehållet.

improv-partner

Å andra sidan, om jag kan prata med en bot som ger mig rimliga svar på vad jag säger, skulle det vara till hjälp i situationer där faktaprecisionen inte är så viktig. För några år sedan försökte jag och en collegestudent skapa en “improvrobot” som skulle svara på allt du sa med ett “ja och” för att hålla samtalet igång. Vi har visat i en pappersom vår robot var bättre på “yes, and-ing” än andra robotar på den tiden, men inom AI är två år historia.

Jag försökte en dialog med ChatGPT – ett sci-fi-scenario för rymdutforskare – vilket inte är olikt vad du skulle hitta i en typisk improv-klass. ChatGPT är mycket bättre på “yes, and-ing” än vad vi gjorde, men det ökade egentligen inte dramatiken alls. Jag kände att jag gjorde alla tunga lyft.

Efter några justeringar gjorde jag det lite mer involverat, och i slutet av dagen kände jag att det var ett ganska bra träningspass för mig, som inte har gjort mycket förbättring sedan jag började. tog examen från college för över 20 år sedan.

Naturligtvis skulle jag inte vilja att ChatGPT skulle dyka upp på “Vem tillhör den egentligen?“och det är inte en bra “Star Trek”-intrig (även om den fortfarande är mindre problematisk än “Hederskoden”), men hur många gånger har du satt dig ner för att skriva något från grunden och blivit livrädd för den tomma sidan framför dig? Att börja med ett dåligt första utkast kan bryta skrivblocket och få kreativiteten att flöda, och ChatGPT och fantastiska språkmodeller som denna verkar vara rätt verktyg för att hjälpa till med dessa övningar.

Och för en maskin utformad för att producera strängar av ord som låter så bra som möjligt som svar på orden du ger den – och inte för att mata dig information – verkar det som rätt användning av verktyget.