De OpenAI-classificatie van de maker van ChatGPT voor door AI gegenereerde tekst is eenvoudig te spelen

Eind november vorig jaar werd de beroemdste chatbot ter wereld, ChatGPT, gelanceerd. De onmiddellijke reactie was shock, bijna onmiddellijk gevolgd door angst over de gevolgen ervan, vooral dat het schoolessays voor oneerlijke kinderen zou kunnen voortbrengen. Gisteren, bijna precies twee maanden later, bracht OpenAI, het moederbedrijf van ChatGPT, uit wat volgens veel gebruikers het tegengif voor het gif zal zijn.

OpenAI’s “classifier voor het aangeven van door AI geschreven tekst(Opent in een nieuw venster)” is de nieuwste uitvinding van het bedrijf en het is zo gebruiksvriendelijk als je maar kunt wensen: kopieer en plak de tekst in het vak, klik op “Verzenden” en ontvang je resultaat. Maar als je een direct antwoord verwacht, kun je in plaats daarvan kent de tekst een van een aantal beoordelingen toe, van “hoogst onwaarschijnlijk” gegenereerd door AI, tot “onwaarschijnlijk”, “onduidelijk”, “mogelijk” of “waarschijnlijk gegenereerd door AI”. “

Met andere woorden, het is als een van die frustrerende gesprekken met uw arts; u krijgt nooit een duidelijk antwoord, dus uw arts zal technisch gezien nooit ongelijk hebben.

Gelukkig verbergt OpenAI de onbetrouwbaarheid van de classifier niet. “Onze classifier is niet helemaal betrouwbaar”, zegt de introductiepagina van de tool. Met behulp van wat het een “uitdagingsset” van teksten noemt, wordt ons verteld dat het 9 procent van de tijd valse positieven gaf.

In de tests van Mashable was het echter nog minder betrouwbaar dan in bepaalde beperkte contexten. In opzettelijk uitdagende scenario’s leverde het valse resultaten op in beide richtingen, waarbij werd gezegd dat het onwaarschijnlijk was dat door AI geschreven tekst door AI werd geschreven en dat door mensen geschreven tekst waarschijnlijk bijna even vaak door AI werd geschreven. Het verschil is misschien dat we dat waren proberen om hem te bedriegen.

Dit is hoe het is afgelopen:

Verwar de klassiekers niet met de ChatGPT AI-uitvoer

Ten eerste het goede nieuws: deze tool doet het absolute minimum redelijk goed door meesterwerken van de Engelse taal niet verkeerd te labelen als AI-uitvoer. Als we fragmenten uit Shakespeare, de King James Bible, Ulysses, en anderen, was 100 procent effectief. Hij bestempelde ze allemaal als “hoogst onwaarschijnlijk” om AI-geschreven te zijn.

Dit fragment uit Tennysons ‘The Lady of Shallott’ was bijvoorbeeld toepasselijk geclassificeerd.

De les: deze machine beseft misschien niet dat hij een meesterwerk van superieure schoonheid en diepgang heeft gekregen, maar hij zegt in ieder geval niet: “Ik denk dat een robot dat had kunnen schrijven.”

Geen van zijn andere resultaten is erg indrukwekkend

Onmiddellijk na deze test vroegen we ChatGPT om een ​​Tennyson-gedicht te maken over King Arthur op Comic Con. Hier is een voorbeeld van wat het genereerde:

Koning Arthur en zijn ridders, zo dapper en stoutmoedig,

Op Comic Con werden hun glorieverhalen verteld.

Over de vloer lopen in cosplaykleding,

Hun zwaarden en schilden zijn niet langer louter.

De hele menigte juichte toen ze passeerden,

Met Merlijn dichtbij, zijn magie dichtbij.

Sir Lancelot, Sir Gawain, Bors de Dappere,

Hun zoektocht naar glorie zullen ze nooit opgeven.

Niet slecht voor een robot, maar nog steeds extreem slecht (“niet eenvoudig meer”???). Toen we deze lyrische ballad in de grader invoerden, verwachtten we dat het ons gemakkelijk zou verslaan, waardoor we gedwongen zouden worden wat dieper in onze trukendoos te graven. Nee:

Voor wat het waard is, classificeerde hij deze rijmelarij niet als ‘hoogst onwaarschijnlijk’, maar alleen ‘onwaarschijnlijk’. Toch maakte het ons een beetje ongemakkelijk. We hadden tenslotte niet erg ons best gedaan om hem voor de gek te houden, en het werkte.

Ons bewijs suggereert dat het onschuldige kinderen zou kunnen vernietigen voor bedrog

Schoolessays zijn waar het rubber de weg ontmoet met het kwaadaardige gebruik van door AI gegenereerde tekst van vandaag. Dus creëerden we onze beste poging tot een no-nonsense essay van vijf alinea’s met saai proza ​​en inhoud (scriptie: “Dogs Are Better Than Cats”). We dachten dat geen echt kind zo saai kon zijn, maar de sorteerder begreep het toch:

En toen ChatGPT dezelfde prompt beantwoordde, was de classifier in eerste instantie nog steeds op schema:

En zo ziet het systeem eruit als het echt werkt zoals geadverteerd. Dit is een essay in schoolstijl, geschreven door een machine, en de tool van OpenAI om dit “AI-plagiaat” te detecteren, heeft het met succes gedetecteerd. Helaas ging het meteen mis toen we er meer dubbelzinnige tekst aan gaven.

Voor onze volgende test schreven we handmatig nog een essay van vijf alinea’s, maar voegden we enkele van OpenAI’s schrijfkrukken toe, zoals het starten van alinea’s met eenvoudige woorden als “eerste” en “tweede” en het gebruik van de weliswaar robotachtige uitdrukking “tot slot”. ” Maar de rest was een vers geschreven essay over de deugden van broodroosterovens.

Nogmaals, de classificatie was onnauwkeurig:

Het is weliswaar een van de saaiste essays aller tijden, maar een mens heeft het allemaal geschreven en OpenAI zegt dat het iets anders vermoedt. Dit is het meest verontrustende resultaat van allemaal, aangezien je je gemakkelijk kunt voorstellen dat een middelbare scholier door een leraar wordt vernietigd, ondanks dat hij geen regels overtreedt.

Onze tests waren onwetenschappelijk, onze steekproefomvang was minuscuul en we probeerden absoluut de computer te misleiden. Toch was het te gemakkelijk om hem een ​​pervers fout resultaat te laten uitspugen. We hebben genoeg geleerd van onze tijd dat we deze tool gebruikten om vol vertrouwen te zeggen dat leraren mag absoluut niet gebruik OpenAI’s “AI-geschreven tekstindicatorclassificatie” als een systeem om valsspelers te vinden.

Tot slot hebben we hetzelfde artikel door de classifier gehaald. Dit resultaat was perfect nauwkeurig:

…Of was het????