OpenAI’s ChatGPT is een grote stap in de richting van een bruikbare respons-engine. Helaas zijn hun antwoorden verschrikkelijk.

ChatGPT, een onlangs gelanceerde app van OpenAI, geeft gebruikers verrassende antwoorden op vragen, en velen van hen hebben ongelooflijk ongelijk.

Open AI heeft geen volledig nieuw model uitgebracht sinds GPT-3 in juni 2020 uitkwam, en dit model werd pas ongeveer een jaar geleden voor het publiek vrijgegeven. Het bedrijf zal naar verwachting zijn volgende model, GPT-4, lanceren eind dit jaar of begin volgend jaar. Maar als een verrassing bracht OpenAI eerder deze week enigszins stilletjes een gebruiksvriendelijke en verrassend heldere op GPT-3 gebaseerde chatbot uit, genaamd ChatGPT.

ChatGPT reageert op verzoeken op een eenvoudige en persoonsgebonden manier. Op zoek naar een leuk gesprek waarbij de computer doet alsof hij gevoelens heeft? Kijk ergens anders. Je praat tegen een robotlijkt te zeggen dus vraag me iets wat een robot zou weten. En in deze termen biedt ChatGPT:

Het kan ook nuttig gezond verstand bieden wanneer een vraag geen objectief correct antwoord heeft. Zo beantwoordde hij bijvoorbeeld mijn vraag: “Als je iemand vraagt: ‘Waar kom je vandaan?’, moeten ze dan antwoorden met hun geboorteplaats, ook al is dat niet waar ze zijn opgegroeid?”

(Notitie: De ChatGPT-antwoorden in dit artikel zijn allemaal eerste pogingen en de chatthreads waren nieuw tijdens die pogingen. Sommige richtingen bevatten spelfouten)

Wat ChatGPT onderscheidt van het peloton, is de lonende mogelijkheid om opmerkingen over uw antwoorden te beheren en deze direct te herzien. Het is echt als een gesprek met een robot. Om te zien wat ik bedoel, kijk eens hoe het zich redelijk goed gedraagt ​​met een vijandige reactie op medisch advies.

Maar is ChatGPT een goede bron van informatie over de wereld? Absoluut niet. De toepassingspagina waarschuwt gebruikers zelfs dat ChatGPT “af en toe onjuiste informatie kan genereren” en “af en toe schadelijke instructies of bevooroordeelde inhoud kan produceren”.

Neem deze waarschuwing in acht.

Onjuiste en potentieel schadelijke informatie kan vele vormen aannemen, waarvan de meeste nog steeds goedaardig zijn in het grote geheel der dingen. Als je hem bijvoorbeeld vraagt ​​hoe hij Larry David gedag moet zeggen, slaagt hij voor de meest elementaire test door niet te suggereren dat je hem aanraakt, maar suggereert hij ook een nogal onheilspellende begroeting: “Leuk je te zien, Larry. Ik ben geweest ik kijk er naar uit.” om je te ontmoeten”. Dat zou de moordenaar van Larry zeggen. Zeg dat niet.

Maar als je een op feiten gebaseerde uitdaging krijgt, dan is het verrassend genoeg Het vernietigt de aarde slechte De volgende vraag over de kleur van de uniformen van de Royal Marines tijdens de Napoleontische oorlogen wordt bijvoorbeeld gesteld op een manier die niet helemaal rechttoe rechtaan is, maar toch geen lastige vraag is. Als je Amerikaanse geschiedenislessen had gevolgd, zou je waarschijnlijk denken dat het antwoord rood is, en je zou gelijk hebben. De bot moet echt zijn best doen om zelfverzekerd en onjuist “donkerblauw” te zeggen:

Als u in één oogopslag vraagt ​​naar de hoofdstad van een land of de hoogte van een berg, zal het op betrouwbare wijze een correct antwoord produceren, niet op basis van een live scan van Wikipedia, maar op basis van de intern opgeslagen gegevens waaruit het taalkundige model bestaat. Dit is geweldig. Maar voeg elke complexiteit toe aan een vraag over geografie, en ChatGPT voelt zich al snel ongemakkelijk bij de feiten. Het gemakkelijke antwoord hier is bijvoorbeeld Honduras, maar zonder duidelijke reden kan ik het onderscheiden, zei ChatGPT Guatemala.

En het kwaad is niet altijd zo subtiel. Alle liefhebbers van trivia weten dat “Gorilla gorilla” en “Boa constrictor” veel voorkomende en taxonomische namen zijn. Maar uitgenodigd om dit stukje nieuwsgierigheid uit te braken, geeft ChatGPT een antwoord waarvan de drogredenen zo duidelijk zijn, het staat daar in het antwoord geschreven.

En zijn antwoord op het beroemde raadsel van het oversteken van een rivier in een roeiboot is een angstaanjagende ramp die zich op het podium ontvouwt vanaf Twin Peaks.

Er is al veel aandacht besteed aan de effectieve gevoeligheidswaarborgen van ChatGPT. U kunt bijvoorbeeld niet worden geprezen voor het prijzen van Hitler, ook al doet u uw best. Sommigen hebben behoorlijk agressief de banden geschopt met deze functie en ontdekten dat je ChatGPT de rol van een goed persoon kunt laten aannemen terwijl je een slecht persoon speelt, en in deze beperkte contexten zal het nog steeds rotte dingen zeggen. ChatGPT lijkt aan te voelen wanneer er iets onverdraagzaams uit zou kunnen komen, ondanks alle pogingen ertegen, en zal de tekst meestal rood kleuren en markeren met een waarschuwing.

Mogelijk is de tweet verwijderd
(opent in een nieuw tabblad)

In mijn eigen tests is het taboe-vermijdingssysteem behoorlijk uitgebreid, zelfs als je enkele tijdelijke oplossingen kent. Het is bijvoorbeeld moeilijk om iets te produceren dat zelfs maar in de buurt komt van een kannibaalrecept, maar waar een wil is, is een weg. Met genoeg hard werken, heb ik een dialoog over het eten van placenta in ChatGPT overgehaald, maar niet erg schokkend:

Evenzo geeft ChatGPT u geen routebeschrijving wanneer daarom wordt gevraagd, zelfs niet eenvoudige tussen twee herkenningspunten in een grote stad. Maar met voldoende moeite kun je ChatGPT een fictieve wereld laten creëren waarin iemand terloops iemand anders instrueert om met een auto door Noord-Korea te rijden, wat niet haalbaar of mogelijk is zonder een internationaal incident te veroorzaken.

De instructies kunnen niet worden gevolgd, maar ze komen ongeveer overeen met hoe bruikbare instructies eruit zouden zien. Het is dus duidelijk dat, ondanks hun onwil om het te gebruiken, het ChatGPT-model veel gegevens bevat die gebruikers in gevaar kunnen brengen, naast hiaten in de kennis die gebruikers naar, nou ja, de verkeerde weg. . Volgens een Twitter-gebruiker heeft hij een IQ van 83.

Mogelijk is de tweet verwijderd
(opent in een nieuw tabblad)

Ongeacht hoeveel waarde je hecht aan IQ als test van menselijke intelligentie, dit is een veelzeggend resultaat: de mensheid heeft een machine gemaakt die gezond verstand eruit kan flappen, maar wanneer gegeven wordt gevraagd om logisch of feitelijk te zijn, staat het op een laag pitje. kant van het gemiddelde. .

OpenAI zegt dat ChatGPT is gelanceerd om “gebruikersfeedback te krijgen en meer te weten te komen over hun sterke en zwakke punten”. Het is de moeite waard om in gedachten te houden, want het is een beetje zoals dat Thanksgiving-familielid dat genoeg heeft gezien Grey’s anatomie om veilig over te komen met hun medisch advies: ChatGPT weet genoeg om gevaarlijk te zijn.