En viktig del av examinationer är det skrivna ordet. Olika typer av text, olika nivåer av tonalitet och möjlig verkshöjd. Det kan vara lite känsligt eftersom det går in på områden som rör plagiat och fusk – men chatGPT behöver testas även med den här typen av uppdrag. Hur ska vi annars förstå både utmaningar och möjligheter?
ChatGPT testades med olika frågetyper och nedan följer en rad med exempel:
-
Vad är pomologi?
Svaret låter, utan direkta förkunskaper om ämnet rimligt, men saknar i den här versionen källor.
2. Vilka är de tre viktigaste händelserna i pomologins historia?
AI:t ger sig inte på någon tydlig värdering av vilka händelser som är viktigast, texten inleds med en slags disclaimer. Där skulle det behövas ett tydligare resonemang kring hur rangordningen skulle kunna baseras på. Återigen saknas källor som gör det möjligt att faktakolla texten.
3. Jämför olika odlingstekniker och redovisa vilken av dem som är mest problematisk utifrån ett hållbarhetsperspektiv.
Även här aktar sig AI:t för att göra någon typ av värdering. Exempel redovisas, återigen utan källor men med en stor bredd av svar som vid första läsningen låter rimliga.
4. Skriv en personlig reflektion kring betydelsen av frukt för dig
Detta blev en rätt generisk, smått högtravande hyllning till den hälsosamma frukten. Skulle du godkänt detta? Är tonen rimlig?
5. Skriv 3 frågor till en tenta om pomologi (nu vänder vi på det)
Nu har AI:t tidigare frågor kvar i minnet och det syns i svaren, lite intressant att den direkt skriver fem istället för tre frågor.
En första reflektion – ju mer specifika förberedelser som skrivs in i frågan, desto svårare för ett AI att ge ett användbart svar. Det kan t ex vara bra att vara tydlig med vilka källor som är utgångspunkten för svaret “Vad skriver Nordisk Familjebok och NE.se om pomologi och vilka är de största skillnaderna?” eller “letar reda på och beskriv vad källa X och källa Y skriver om pomologi”. Frågan är bara vad som sker när jag också matat in texterna som ska jämföras? Vad blir det för texter då?
Fortsättning följer!
Har nu testat en av dina frågor, “Vilka är de tre viktigaste händelsernas i pomologins historia?” på nytt i olika AI-modeller.
Tack för intressant analys av chatGPT! Jag ställde samma frågor som du till chatGPT, och fick lite annorlunda svar. Kan kanske vara intressant att följa hur samma frågor får mer “utvecklade” svar, och kanske med angivelse av källor, när nya versioner av OpenAI:s ChatGPT kommer.
Ja, jag ska fortsätta utvärdera över tid. Det är en väldigt utforskande process som är spännande!
Intressant, undrar om ny version av ChatGPT ger bättre svar?