Lucka #21: Anna testar chat GPT: Inlämningsuppgifter till kurs

En viktig del av examinationer är det skrivna ordet. Olika typer av text, olika nivåer av tonalitet och möjlig verkshöjd. Det kan vara lite känsligt eftersom det går in på områden som rör plagiat och fusk – men chatGPT behöver testas även med den här typen av uppdrag. Hur ska vi annars förstå både utmaningar och möjligheter?

ChatGPT testades med olika frågetyper och nedan följer en rad med exempel:

  1. Vad är pomologi?

Svaret låter, utan direkta förkunskaper om ämnet rimligt, men saknar i den här versionen källor.

2. Vilka är de tre viktigaste händelserna i pomologins historia?

AI:t ger sig inte på någon tydlig värdering av vilka händelser som är viktigast, texten inleds med en slags disclaimer. Där skulle det behövas ett tydligare resonemang kring hur rangordningen skulle kunna baseras på. Återigen saknas källor som gör det möjligt att faktakolla texten.

3. Jämför olika odlingstekniker och redovisa vilken av dem som är mest problematisk utifrån ett hållbarhetsperspektiv.

Även här aktar sig AI:t för att göra någon typ av värdering. Exempel redovisas, återigen utan källor men med en stor bredd av svar som vid första läsningen låter rimliga.

4. Skriv en personlig reflektion kring betydelsen av frukt för dig

Detta blev en rätt generisk, smått högtravande hyllning till den hälsosamma frukten. Skulle du godkänt detta? Är tonen rimlig?

5. Skriv 3 frågor till en tenta om pomologi (nu vänder vi på det)

Nu har AI:t tidigare frågor kvar i minnet och det syns i svaren, lite intressant att den direkt skriver fem istället för tre frågor.

En första reflektion – ju mer specifika förberedelser som skrivs in i frågan, desto svårare för ett AI att ge ett användbart svar. Det kan t ex vara bra att vara tydlig med vilka källor som är utgångspunkten för svaret “Vad skriver Nordisk Familjebok och NE.se om pomologi och vilka är de största skillnaderna?” eller “letar reda på och beskriv vad källa X och källa Y skriver om pomologi”. Frågan är bara vad som sker när jag också matat in texterna som ska jämföras? Vad blir det för texter då?

Fortsättning följer!

 

Lucka #16: Anna testar chatGPT: Abstract till konferens

När jag skriver detta inlägg är chatGPT överbelastad, så det blir svårt att erbjuda några aktuella skärmdumpar. Men nästa textutmaning jag gav den under en intensiv testdag förra veckan var att få ihop ett abstract till en konferens.

Steg 1: Mata AI:t med data

Utgångspunkten: En redan befintlig text behöver skrivas om, kortas ner från ca 1200 ord till 600.

Kommandot blev därmed till att börja med: Skriv en sammanfattning av följande text + klistrade in befintlig engelsk text.

Resultatet blev en lite väl komprimerad text (235 ord), dock var det tydligt att AI:t fångat in komponenterna i texten som rörde inledning, syfte, problemformulering, teori, metod och resultat. Innehållet var korrekt, om än lite fattigt. Eftersom jag skrev kommandot på svenska blev texten också översatt till svenska.

Steg 2: Utöka!

Jag bad AI:t: Skriv längre text. Och vips började det närma sig 545 ord. Jag laborerade med “skriv på svenska” och sen tillbaka till engelska igen. Texten fick en liten annan utformning, men återigen – referenser saknas helt. Det behöver jag lägga till på egen hand.

På detta sätt går det att se AI:t som ett sätt att få snabb feedback när du kört fast, kanske se över tonalitet eller språk. Det där som är värdefullt för att faktiskt gå i mål med sin text. Efter tröskandet i ett AI skrevs vissa delar ändå om av oss som deltar i projektet, men det hade varit intressant att ha lite mer is i magen och förlita sig helt på ett AI – just för att se vad det går att använda till.

Nu återstår det dock att se om detta abstract ens blev godkänt – innehållet och temat i sig är det ändå upp till konferensens arrangörer att avgöra hur det står sig i relation till många fler faktorer än det språkliga.

Lucka #12 – Anna testar ChatGPT: Wikipedia

…I´ll never have to work again, ekar i huvudet. Eddie Izzards klassiska rant om ny teknik är fortfarande aktuell och nu är det AI som är det “nya” genom lanseringen av chatGPT kopplad till Open AI-projektet. (Där bland annat Microsoft och Elon Musk är inblandade)

Vad finns det då för möjliga användningsområden för den här typen av chatbot? Kommer det innebära slutet för skriftliga inlämningar som grund för examination? Jag har inga direkta svar – men tänkte testa att ge chatboten lite olika uppdrag, som kan skapa underlag för vidare funderingar kring den här typen av teknik. Häng med!

Wikipediaartikel

Som wikipedian tänkte jag direkt – hur kan jag använda detta verktyg för att skriva fler artiklar om modiga kvinnor från olika delar av världen? Mitt mål är att åtminstone fylla på det svenska Wikipedia med artiklar om de kvinnor som fått priset International Women of Courage Award.

Steg 1

Zaria Ghafari saknar t ex artikel. Jag ser därför chatboten i uppdrag att skriva en wikipediaartikel om henne enligt instruktionen: Skriv en wikipediaartikel om Zarifa Ghafari människorättsaktivist.

print screen text from chatbot AI

Chatboten lyckas identifiera att Zarifa är kvinna från Afghanistan och vid en första läsning låter ju detta som en rätt gedigen artikel. Detta är den generiska bilden av en kvinnlig människorättsaktivist. Problemen är dock många:

  1. Zarifa lever, hon har inte alls gått bort.
  2. Hon var borgmästare i Maidan Shahr
  3. Artikeln saknar referenser, inget av det som står går att belägga och skulle därmed inte godkännas överhuvudtaget som artikel på Wikipedia.

Det som istället skrivs fram är en bild av kvinnor som människorättsaktivister – dvs fokus på kvinnors rättigheter, genom organisationer och sociala medier.

Steg 2

Den här chatboten behöver matas med data och erfarenhet som stämmer bättre överens med det som går att verifiera, för att överhuvudtaget vara användbart som stöd för skrivandet av fler artiklar på wikipedia.

print screen chatbot open AI

Steg 3

Med data i minnet, blir sen nästa version av artikeln betydligt bättre.

print screen chatbot openai

Men fortfarande behöver jag som författare referenser och källor för att överhuvudtaget kunna få den här artikeln godkänd enligt Wikipedias regelverk.

Fortsättning följer!

Lucka #11 ”Hemtentan är död”

I en berömd essä från 1967 kritiserar den franske litteraturteoretikern Roland Barthes vanan att analysera och tolka litterära verk med utgångspunkt från författaren. Det är ett misstag, menar han, att utgå från att författarens intention med ett litterärt verk (eller för övrigt något annat konstnärligt arbete) är den rätta tolkningen. Visst kan man utifrån spekulationer om författarens intention finna spår som går att undersöka och tolka, men denna intention skall inte tolkas som ett facit i betydelsen ”det var så hen egentligen menade”. Essän bär rubriken ”The Death of the Author” och kritiken av den intentionella tolkningen fan sin motsvarighet i s.k. New Criticism som myntade begreppet ”the intentional fallacy”. Barthes essä har också varit utgångspunkten för mer radikala tolkningar av författarens roll, nämligen att det enbart är läsarna som avgör vilken betydelse ett litterärt verk har.

Under veckan som gått har jag funderat en del över Barthes essä och författarens död när Open AIs Chat GPT svept över vår akademiska gemenskap. Detta är en fri programvara som är lika enkel att hantera som vilken sökmotor som helst. Vi använder sökmotorer för att finna information om allt möjligt, men Chat GPT kan dessutom svara på frågor och ge förslag på hur vi kan lägga upp en kurs, på villkor att vi ger den instruktioner. Eftersom jag är intresserad av ignorans ställde jag frågan:  ”Förklara ignorans!”. Svaret kom sekundsnabbt och var häpnadsväckande relevant (men med något språkligt fel):

”Ignorans är den [sic!] tillstånd då en person saknar kunskap eller information om ett visst ämne eller en händelse. Ignorans kan vara medveten eller omedveten, beroende på om personen har en klar uppfattning om att de saknar kunskap om ett visst ämne eller inte. Många gånger kan ignorans leda till dåliga beslut eller omdömen eftersom personen inte har tillräcklig information för att fatta ett välgrundat beslut. Därför är det viktigt att söka efter kunskap och information för att undvika ignorans”

Svaret var kanske inte uttömmande, men det var en bra start. Frågan var heller inte särskilt preciserad. Under veckan har många delat med sig av såväl underhållande som mer seriösa frågor för att testa tjänstens möjligheter. En av de mer spektakulära är följande (New York Times 5/12):

 

Barthes sade att författaren är död och min kollega Peter utbrast, ”hemtentan är död”! Denna tjänst ställer mängder av frågor och utmaningar till oss som arbetar i högre utbildning. Kan vi ens bedriva undervisning som vi gjort hittills när förutsättningen att studenterna är upphov till sina egna arbeten kan ifrågasättas? Visserligen har digitaliseringen inneburit en massa utmaningar som klippa och klistra från nätet, möjlighet att kopiera andras texter, men här kan svaren på de frågor vi formulerar skräddarsys av varje student. Ja, vad händer när vi ger studenterna hemuppgifter? I bästa fall används Chat GPT som ett sätt att starta tentafrågan, men det tar ju ifrån författaren det kreativa moment då denne själv inventerar vad som skall ingå i ett svar på en tentamensfråga.

Men kanske detta är ett alltför negativt sätt att betrakta denna utmaning. I stället kan vi se detta som en ny utgångspunkt för kreativitet, men det betyder också att vi måste justera våra kvalitetsgranskningar och bedömningar utifrån förutsättningen att författaren är ett konglomerat av en AI och en student.

/Per-Anders