Tag: examination

Posted on

Vägledning för generativ AI i utbildning vid LiU

I dagarna publicerade även LiU sin vägledning för lärare som på olika sätt kommer i kontakt med generativ AI i relation till utbildningsfrågor. Eftersom denna vägledning primärt ligger i ett slutet intranät för anställda har vi valt att skapa en något reviderad – men ändå öppen resurs så att fler kan ta del av hur vi resonerat. Att ta del av andras öppna lärresurser och informationsmaterial har varit ovärderligt i arbetet med att skapa en uppfattning om hur vi bäst stöttar våra kollegor vid LiU. Sharing is caring!

Utveckling av vägledningen

Denna vägledning är hämtad 2023-10-03 från ett dynamisk webbsida på LiU:s intranät för anställda, som kommer uppdateras efter hand. 

Den här vägledningen är baserad på det arbete som gjorts under våren 2023 av medarbetare och studenter vid Kognitionsvetenskapsprogrammen vid LiU (kandidat, master). 

Denna vägledning bör även läsas tillsammans med Beslut om vägledning för lärares och studenters användning av generativ AI i utbildning vid Linköpings universitet (dnr LiU-2023-02660). Revisionen av vägledningen är gjord av Tobias Trofast, Stina Hellberg, Anna F Söderström och Lena Strömbäck under september 2023. Vägledningen syftar till att stötta lärare och annan undervisande personal vid LiU till konstruktiv användning av AI i utbildning.

Vilka generativa AI-verktyg omfattas i vägledningen?

Denna vägledning är inspirerad av verktyget ChatGPT:s snabba utbredning och användning inom högre utbildning. Vägledningen är dock avsedd att täcka verktyg och modeller inom hela begreppet Generativ Artificiell Intelligens, som kan generera innehåll av olika karaktär såsom till exempel text, bild, musik, video eller kod. ChatGPT är ett exempel på verktyg som använder sig av LLM (Large Language Models) för att generera innehåll och har blivit känt då det lanserades för allmänheten i slutet av 2022.

Med den snabba tekniska utvecklingen på detta område är det svårt att tillhandahålla en tydlig lista på verktyg som faller in under begreppet generativa AI-verktyg, och verktyg som faller utanför. Den teknik som underbygger verktyg som ChatGPT införlivas i rask takt i andra verktyg som har använts under lång tid, till exempel Outlook och andra mailprogram, söktjänster som Google eller Bing, eller ordbehandlingsprogram som Word. ​​​​​​​

Vägledningen har därför skrivits för att ha ett öppet förhållningssätt till alla olika typer av generativa AI-verktyg, och lärare på LiU uppmuntras att hålla sig uppdaterade på den kommande utvecklingen och uppdatera kurser och kursinformation vid behov.

Grundläggande förhållningssätt till generativ AI i utbildning

Generativ AI bör användas konstruktivt och rättssäkert i utbildning vid LiU. I Beslut om vägledning för lärares och studenters användning av generativ AI i utbildning vid Linköpings universitet (dnr LiU-2023-02660) förtydligas vilka rekommendationer som LiU har för både lärare och studenter avseende AI i undervisning och examination.​​​​​​​

Kurser bör i dagsläget inte kräva att studenterna använder ett specifikt AI-verktyg, om inte LiU har en licens eller motsvarande som garanterar att studenterna har fri och tillförlitlig tillgång till verktyget över tid. Eftersom de allra flesta AI-verktygen är molntjänster är det viktigt att läraren följer LiU:s riktlinjer för användning av molntjänster. Om arbete med verktygen ska integreras i en kurs måste det göras med eftertanke och med möjlighet att snabbt ställa om undervisningen ifall verktygen av någon anledning blir obrukbara (till exempel hamnar bakom en betalvägg). Det är upp till varje lärare att fundera över studentgruppens digitala mognad (kompetens) i förhållande till användningen av generativ AI, då det kan se väldigt olika ut i en heterogen studentpopulation.

Generativ AI i kurser

Användningen av AI-verktyg i en kurs är sällan binär; ja eller nej. Det finns en mängd olika verktyg, med olika användningsområden, och många av dem kan även användas i olika steg av en process eller på olika nivåer av automatisering. Figur 1 illustrerar ett sätt att tänka kring detta, för fallet med en student som ska arbeta med att ta fram en text inom ramen för en kurs. Figur 1 illustrerar ett sätt att tänka kring detta, för fallet med en student som ska arbeta med att ta fram en text inom ramen för en kurs.

Figur 1: Människocentrerat – AI-centrerat: ett sätt att illustrera eller tänka kring AI och var gränsen för tillåten användning går. Grafiken är anpassad av lärare på Kognitionsvetenskapliga programmen med utgångspunkt från Matt Miller på DitchThatTextbook.com.

Var på skalan får eller bör studenter ligga i din kurs? Hur vill du justera skalan för att passa din kurs? Var tror du studenterna kommer vara i sin framtida yrkesutövning? Var är du i ditt arbete?​​​​​​​

Exemplen på ”gråskalan” från människocentrerat till AI-centrerat kan vara flytande, och variera baserat på uppgiftens natur, men det underliggande resonemanget att ett AI-verktyg kan användas mer eller mindre, i olika delar, eller till olika syften är viktigt. För kursansvarig lärare gäller det att ta ställning inte bara till om ett specifikt verktyg är tillåtet eller ej, utan snarare vilken typ av verktyg som är tillåtna i vilka uppgifter (examinerande eller andra) och då på vilket sätt.​​​​​​​

Rättssäker och tydlig kursinformation

De beslut som fattas gällande tillåten och otillåten användning av AI-verktyg i en kurs bör med tydlighet skrivas in i den skriftliga kursinformationen . Tydlighet i informationen hjälper både dig som lärare och studenterna att sätta gemensamma regler och förväntningar inför kursen. Den text som används i kursinformationen bör skrivas med tanke på att vid misstanke om fusk, plagiat eller vilseledande vid examination är kursinformationen en del av det underlag som granskas av disciplinnämnden vid en anmälan. 

Kursinformationens innehåll

Exempel på vad som bör tas upp i denna informationstext är vilka verktyg som får respektive inte får användas, samt vad som är tillåten användning av dessa (se Figur 1), hur användning av verktygen ska dokumenteras om de används och om några särskilda regler gäller för olika examinerande moment.

Förklara varför

Att tydligt förklara varför AI-verktyg får eller inte får användas på vissa sätt men inte andra ökar sannolikheten för efterlevnad och förankring hos studenterna. Utgå från kursens design och lärandemål och förklara den pedagogiska motiveringen till kursens AI-regler.​​​​​​​

Dokumentation av användning

Om AI-verktyg används under en kurs bör detta dokumenteras tydligt av studenterna.

Att kunna dokumentera hur AI-verktyg har använts i en process är en viktig färdighet för studenterna att lära sig och ett bra stöd för lärare som ska bedöma om studenterna tillgodogjort sig lärandemålen i en kurs. Dokumentationen bör innehålla en beskrivning av vilka verktyg som använts, vilken version av verktyget och hur det genererade innehållet har använts eller bearbetats.

Dokumentation som en läraktivitet

 Att be studenterna skriva en reflektionsuppgift kopplat till denna dokumentation kan vara ett sätt att hjälpa dem att reflektera över AI-verktygens styrkor och svagheter, deras egen användning av verktygen och hur det har format deras inlämning.

Generativ AI som källa

Den som skriver en akademisk text ska ange källa för vad som är ursprunget till en specifik information eller fakta. Då en AI-genererad text är baserad på annan text är tjänsten som används inte en primär källa. Observera till exempel att ChatGPT inte anger vilka källor som används för att generera ett svar, och svaret på samma fråga kan variera mellan olika tillfällen. Studenten bör därför avrådas från att använda ChatGPT som källa (om det inte är ChatGPT som är studieobjektet) och i stället uppmanas att söka fram en källa där ursprunget till informationen går att härleda.

Generativ AI och examination

En vanlig fråga som rör AI och utbildning är när verktyg används för examinerande uppgifter i en kurs. Därför bör den  information som ges till studenterna inom detta område vara särskilt noga beskrivet för att undvika olika tolkningar  mellan lärares och studenters uppfattning om vad som är tillåtet och vad som riskerar att leda till anmälningar till disciplinnämnden.

Fusk och plagiat med AI-verktyg

Disciplinnämnden vid LiU skriver att en disciplinföreteelse är när en student ”med otillåtna hjälpmedel eller på annat sätt försöker vilseleda vid prov eller när en studieprestation skall bedömas.”

I en kontext där AI-verktyg är aktuella innebär det att det är en disciplinföreteelse i alla fall där en student:

  1. använder sig av specifika AI-verktyg (hjälpmedel) som uttryckligen ej är tillåtna för uppgiften

  2. använder sig av något AI-verktyg på ett sätt som är specifikt och uttryckligen ej tillåtet för uppgiften; och

  3. använder AI- verktyg för att vilseleda vid examination, genom att exempelvis presentera AI-genererad text som sin egen (en form av plagiat).

På motsvarande sätt kan AI-verktyg vara tillåtna hjälpmedel vid en examination, och även i dessa fall är det bra om detta är specifikt och tydligt uttryckt i instruktionerna till uppgiften.

Plagiat är en vanlig form av vilseledande vid examination. Det kan diskuteras i vilken utsträckning detta är applicerbart för AI-genererad text, eftersom AI-verktyg normalt inte ses som författare eller ägare till den text som genereras. Om man som kursansvarig väljer att se kopierad, AI-genererad text som plagiat behöver detta förtydligas i kursinformationen.

Examinationsdesign – hur påverkas det av generativ AI?

AI-verktyg är i dag bra på att generera text, programkod och bilder. Det gör att examinationsformer där detta är centralt blir problematiska att använda på samma sätt som tidigare för att examinera. Exempel på examinationsformer som berörs är hemtentamen, essäer, reflektionsuppgifter, VFU-rapporter, projektrapporter, labbrapporter, programmeringslabbar m.fl.

 Det rekommenderas att lärare själva testar att använda AI-verktyg för att besvara eller utföra examinerande moment eller laborationsuppgifter för att få ökad förståelse för vilka möjligheter och utmaningar som kan finnas.

Tips på hur examinationsformer kan anpassas med hänsyn till utvecklingen inom generativ AI.

  • Fokusera på processen, inte bara produkten

Genom att arbeta med stegvisa inlämningar eller andra kontroller av arbetet med en produkt (hemtenta, essä, rapport, etc) kan studentens bidrag visas tydligare. Till exempel kan man be studenterna lämna in utkast under kursens gång, och ge studenterna återkoppling på dessa. I nästa stegvisa inlämning ombes sedan studenterna dokumentera eller skriva en reflektion över hur de använt sig av återkopplingen i arbetet, vilket tydliggör hur de har arbetat med texten.

  • Bygg på personliga erfarenheter

Om möjligt, be studenterna inkludera personliga reflektioner eller kopplingar till egna, levda erfarenheter. Detta är främst ett sätt att försvåra direkt kopiering av genererad text.

  • Inkludera empiriska data

Examinationsformer som bygger på någon form av data (antingen given av läraren eller insamlad av studenten själv) gör det svårare att använda AI-verktyg för att generera text.

  • Inkludera detaljer från kursen

Kräv till exempel referenser till kurslitteraturen med sidnumrering, eller att studenterna i de skriftliga arbetena använder sig av och refererar till föreläsningar (med slidenummer) eller seminarier under kursens gång. Även detta gör det svårare att direkt använda genererad text.

  • Bygg in fler modaliteter

Uppmuntra till dokumentation och redovisning genom bild, ljud och video tillsammans med text i uppgifterna samt användning av analogt material (mixed media).  

  • Använd generativ AI 

Utforska möjligheterna att själv generera innehåll som underlag för diskussion, analys eller variation i uppgifter som i sin tur ligger till grund för examination.

  • Byt examinationsform

Om de nya AI-verktygen skapar stora problem med rättssäker examination bör kursansvarig lärare överväga att byta examinationsform. Salstentamen, seminarier, muntlig tentamen, eller redovisningar är i dagsläget inte lika berörda av de nya AI-verktygen. Tänk på att förändringar i examinationsform kan kräva en ny kursplan, vilket tar tid att realisera.​​​​​​​

Att upptäcka fusk med AI

Det finns verktyg som säger sig kunna detektera om en text är genererad av AI eller skriven av en människa. Dessa verktyg fungerar dock dåligt och rekommenderas därför inte. Arbeta därför hellre med alternativa examinationsformer för att säkerställa rättssäker examination.

———–

Denna vägledning är hämtad 2023-10-03 från ett dynamisk webbsida på LiU:s intranät för anställda som kommer uppdateras efter hand. 

 

Posted on

AI och examination?

Vi får just nu många frågor till Didacticum som handlar om AI och högre utbildning. Det är ett tydligt tema på frågorna, nämligen textgenererande AI och fusk på oövervakade examinationer. Kort sagt, lärare vill veta hur de ska göra för att studenter inte ska använda ChatGPT som stöd när de ska skriva t ex hemtentamen och arbeten. Det här påminner mig om när jag gick på gymnasiet och det var Wikipedia som var “nytt”, oseriöst och okänt, och som vi absolut inte fick använda som källa. Nu, när Wikipedia funnits i många år, är det tvärtom självklart att de flesta börjar med att söka fram ett nytt ämne där för att få en överblick. Fördelen som Wikipedia har över generativ AI är dock att det finns referenser att följa bakåt för att kontrollera innehållet och ge en mer komplett och ingående bild av ämnet. Från t ex ChatGPT får du svar som låter säkra och korrekta, men det krävs betydligt mer arbete att validera uttalandet och bekräfta att den bild ChatGPT ger är sanningsenligt. Om du har tur kan du kopiera och klistra in det i en hemtenta, men risken är stor att svaret är otillräckligt eller rakt av fel. En vän kallade ChatGPT för “killgissning as a service” och jag är böjd att hålla med. Underhållande, men fullständigt opålitlig, speciellt när du närmar dig mer nischade områden än att ge en svepande bild av ett brett tema.

Men. ChatGPT har en enorm styrka, speciellt för mig som hatar kreativitet. Jag slipper skapa Någontinget från Ingentinget. Jag kan skriva en prompt till ChatGPT och få lite text, som jag kan använda, modifiera, inspireras av eller helt förkasta. Hur som helst så bryts det vita arkets skrivkramp och prestationsångest, och för mig är det som att jag får syn på mina egna tankar genom (de artificiella) ögonen på ChatGPT. Jag bad om ett blogginlägg om AI och examination i högre utbildning:

Och när jag läste det insåg jag det jag skrev i början av inlägget, nämligen att vi inte har lyft blicken från “tänk om studenter använder AI för att fuska på tentan”. Svaret fokuserar istället på hur AI kan användas för att bedöma svar och administrera stora mängder data. Svaret påpekar också att en generativ AI inte är bättre än det material den tränats på, och har samma bias som sagda material. Det är, i ChatGPTs fall, ett material vi inte har full insyn i och därför måste vi ta alla svar vi får från chattbotten med en nypa salt och en stor näve källkritik. Vi behöver också fråga oss om det finns implicita bias i svaren, och vad som inte finns med.

Det är just de sakerna vi behöver ta med oss, och också kommunicera till våra studenter. ChatGPT är inte ett dåligt verktyg, på samma sätt som Wikipedia inte är ett dåligt verktyg, men vi måste alla lära oss hur vi ska hantera de verktyg vi vill använda för att kunna utnyttja deras potential.

Posted on

Om att examinera rättssäkert

Blogginlägg skrivet av Ola Leifler:

Studenter i tentasal
Day 23 – Exam hall by Jack Hynes (CC BY NC SA)

Vad är den mest rättssäkra examinationsformen? Vad betyder det egentligen att något är rättssäkert? Och vad är det egentligen vi vill uppnå genom examination?

För mig känns de här begreppen viktiga att förstå, men svåra att få grepp om, särskilt om vi är intresserade att våra studenter ska utveckla sådana förmågor som låter dem fatta kloka beslut med långsiktiga konsekvenser i en osäker värld där de har att hantera svåra utmaningar.

I en militär grundutbildning tränas man i att klara sig i fält, hantera militär utrustning och fysisk uthållighet. Examinationen innebär just detta: en tredagars strapats med övningar i sjukvård, skytte, orientering alltmedan man transporterar sig själv längre sträckor. För att framföra en bil övar man bilkörning under olika förhållanden, och examinationen består i att man framför en bil. För att bli konsertpianist övar man länge på att spela piano och vid intagning till högre läroverk eller konservatorier får man provspela stycken på pianot. För att bli skicklig programvaruutvecklare krävs det längre träning i behärska de formella uttryckssätt och matematiska verktyg som används för problemlösning med dator och man examineras vid intervju för arbeten genom att få skriva programkod.
I alla ovanstående fall, oavsett om det handlar om att få ett certifikat, fortsätta en karriär eller ett jobb, prövas precis de förmågor som man övat på. Ovanstående är exempel på vad jag kallar autentisk examination, det vill säga examination som prövar förmågor som man övat innan dess att man examineras.

Jämför detta med följande:
“Vi gör en kurs med projektarbete, engagerande spel & praktiskt arbete tillsammans med externa parter och sedan skriver vi en rapport på det”
”I kursen gör vi laborationer parvis med kollegial granskning under kursens gång för att träna oss i teknisk problemlösning, och sedan baseras betyget på en skriftlig tentamen.“
Det är onekligen så att vi ofta hemfaller åt traditionella sätt att examinera studenter även när vi infört lärandemoment som kan kännas innovativa. Varför blir det så? Varför är det så svårt att applicera mer autentiska examinationsformer när vi gör om kurser till att inkludera mer engagerande moment för våra studenter? Varför känner vi att vi behöver rapporten eller tentan i slutet av genomförd kurs? Varför kan inte resultaten studenterna presterat tala för sig själva? Varför tror vi att det är mer rättssäkert att examinera på ett sätt som inte direkt motsvarar det studenterna i praktiken ägnat kurserna åt?

2010 PopTech Science and Public Leadership Fellows by poptech,  (CC BY-SA)

Riskerna som framhålls för examination i nära samarbete med studenter handlar ofta om rättssäkerhet. Man misstänker att studenter eller lärare inte skulle vara ärliga och rättvisa i en examination som kräver förtroende. Studenterna kan misstänka att lärarna kan vara partiska om bedömningar ska göras av en samlad prestation under en längre tid eller vid arbete tillsammans med andra studenter. Det kan såklart även vara en fråga om att lärarna inte litar på studenterna, och att de tror det finns en risk att studenterna försöker vilseleda. Oavsett handlar det dock om bristande förtroende, både i resonemangen om orsak och i konsekvenserna. För även om orsakerna kan handla om brist på förtroende, så kännetecknas även konsekvenserna av att de minskar förtroendet. Varje steg som tas bort från situationen som kräver förtroende mellan två parter (man har ett öppet samtal om resultatet av ett genomfört projekt, man diskuterar kontinuerligt och ärligt hur det går för en student med studierna under en termin), får man situationer som innebär mindre informell kontakt och mer formella regler (reglerad tentamen, tydliga förväntade svar, inga tillåtna hjälpmedel, anonymiserade rättningsprotokoll, övervakade examinationer).

Den erfarenhet jag själv har av situationer där studenter får beskriva var de själva befinner sig i relation till lärandemål, styra sitt lärande och inför examinationen beskriva om de uppfyllt lärandemålen är att deras bedömningar ofta är väldigt nära mina egna, särskilt om vi haft en dialog under kursen som bygger på förtroende åt båda håll och ärliga frågor. För att det ska fungera gäller dock att utbildningen har ett antal specifika egenskaper:

  • Studenterna måste få meningsfulla sätt att styra både vad och hur de lär sig inom kursens ramar, så att de känner att de faktiskt tycker att det är meningsfullt att lägga tid själv på att styra sitt lärande. Examinationen ska handla om exakt det de gjort i kursen och inte kräva att de försöker lista ut vad examinatorn egentligen tänker.
  • De måste få lagom svåra utmaningar. En kurs som har gemensamma och väldigt specifika ämnesmässiga lärandemål för alla kommer sällan att vara lika relevant för alla, och om man inte känner att en kurs är anpassad för en själv kommer man försöka klara sig även om man egentligen behövt göra en helt annan, längre eller krångligare resa än den som kursansvariga tänkte sig. Om lärandemålen formuleras på ett sådant sätt kommer det vara svårt för studenterna att klara dem.
  • Det måste finnas ett konsekvent förhållningssätt från lärare från början i att man kan ange på vilket sätt man förväntar sig att studenterna ska lära sig och visar sig villig att verkligen hjälpa studenterna på vägen.

I slutändan vill vi kanske att våra studenter inte bara ska visa prov på skicklighet, utan även nyfikenhet, mod, klokskap och integritet när det gäller att utmana invanda föreställningar om hur vi ska organisera vårt samhälle. Det kan vara en god idé att agera föredöme i att visa prov på de egenskaperna när vi examinerar våra studenter och utforska, vara modig men visa vad man förväntar sig av sina studenter. Jag är övertygad om att det ger effekter bortom vad en enskild examination visar.