Þegar gervigreind verður dómari (2. hluti): Tvískinnungurinn: Þegar gervigreind dæmir nemendur.

Þetta verður líklega það síðasta sem ég skrifa sem háskólanemi – í bili að minnsta kosti. Undanfarin tvö ár, samhliða vinnu minni við skapandi gervigreind (e. Generative AI), hef ég rannsakað uppgang þess sem ég kalla „Hinn stafræna Levíatan“ (Digital Leviathan): hægfara normaliseringu á valdi reiknirita yfir mannlegri dómgreind og þeim skaðlegu samfélagslegu áhrifum sem af því hljótast.

Að einhverju leyti má segja að þetta sé rökrétt framhald af BA-verkefninu mínu í lögfræði sem snéri að lögbundinni gagnageymd fjarskiptafyrirtækja. Eftir eina viku ver ég síðan meistararitgerð mína, Beyond Fragmentation: A Life-Value Alternative for AI Governance. Ég mun deila meiru úr henni fljótlega, en leyfið mér fyrst að klára það sem ég byrjaði á.

Lærdómurinn frá Bifröst er að við getum ekki treyst reikniritum til að vera dómarar. Lærdómurinn af Turnitin er að við getum ekki treyst stofnunum til að vernda okkur gegn þessum reikniritum.

Í fyrri hlutanum fjallaði ég um atvik hjá Háskólanum á Bifröst þar sem stjórnendur, samkvæmt fréttaflutningi, notuðu gervigreind til að dæma starfsferil starfsfólks síns. Við sáum reiðina. Við sáum „2/10“ einkunnina. Við sáum kerfið hafna þeirri hugmynd að „svartur kassi“ ætti að ákvarða faglegt virði fólks.

En á meðan við vorum upptekin af því að hneykslast fyrir hönd prófessoranna, gleymdum við nemendunum.

Áhyggjuefnið nær líka til námsmats þegar stofnanir nota sjálfvirkar skýrslur sem dóma. Turnitin notar önnur verkfæri en Claude og kanna þarf notkun og stillingar hjá hverjum skóla fyrir sig.

Við köllum það Turnitin.

Tvískinnungurinn

Ef það telst stjórnsýsluleg vanræksla að nota Claude til að dæma framlag prófessors, hvers vegna gildir annað um nemendur? Bæði kerfin eru:

• Ógagnsæ: Enginn veit nákvæmlega hvernig reikniritið vinnur gögnin eða hvaða vægi ólíkir þættir hafa.
• Yfirgangssöm (e. Extractive): Þau treysta á gögn sem hefur verið safnað (harvested) án merkingarbærs samþykkis höfunda.
• Ofskynjanir og tölfræðilegar ágiskanir: Ólíkt hefðbundinni ritstuldarvörn, sem byggir á staðreyndum, byggir AI-skanninn á líkindamati (probability) sem kerfið framleiðir en stjórnendur meðhöndla oft sem óskeikulan sannleika.

Einn sannleikur, ein ágiskun

Hér er mikilvægt að gera greinarmun á tveimur ólíkum „fídusum“ innan Turnitin.

Annars vegar er Similarity Report, sem ber texta saman við gagnagrunn og finnur beina samsvörun – það er skýrsla um textasamsvörun, ekki niðurstaða um ritstuld.

Hins vegar er AI Writing Detection, nýja tólið sem á að grípa gervigreind. Það tól ber ekki saman texta, heldur leitar að tölfræðilegum mynstrum í setningauppbyggingu. Þetta er ekki sönnun, heldur spá. Rannsóknir og prófanir sýna ítrekað að þessir skannar gefa „fölsk jákvæð“ svör (e. false positives), þar sem heiðarlegum nemendum er gefin falleinkunn af véfrétt sem getur ekki útskýrt niðurstöðu sína. Þegar háskólar nota þetta líkindamat sem grundvöll fyrir agaviðurlögum er réttaröryggi nemenda fórnað fyrir þægindi tækninnar.

Munurinn? Prófessorarnir á Bifröst höfðu stéttarfélag og siðanefnd. Nemendurnir merkja í reit sem segir: „I Agree.“

Er ekki ákveðin kaldhæðni fólgin í því að íslenskir nemendur veiti leyfi til notkunar verka sinna með því að samþykkja samning á ensku?

Leiguliðamódel menntunar

Turnitin var keypt á 1,75 milljarða dollara. Í tilkynningu um kaupin er bæði fjallað um hugbúnaðinn og gagnasafn skilaverkefna; þar er ekki metið hversu mikið hvort um sig skýrir kaupverðið.

Þegar þú skilar ritgerð ertu ekki bara að fá einkunn. Þú ert að inna af hendi ólaunaða gagnavinnu. Verkefnið þitt getur bæst í samanburðarsafnið, eftir því hvernig verkefnaskilin eru stillt. Þetta er peningahringrásin að verki: hugverkarétti þínum er breytt í auðmagn þeirra. Skólagjöldin þín greiða fyrir þau forréttindi að fá að mata vélina.

„Gildran“

Flestir nemendur lesa ekki notendaskilmálana (EULA). Ég gerði það.

„...You hereby grant to Turnitin... a non-exclusive, royalty-free, perpetual, worldwide, irrevocable license to use such papers...“

Þýðing: Þú borgar skólagjöld til að skapa verkið. Þú heldur eignarréttinum; samningurinn veitir áframhaldandi, ólaunað notkunarleyfi í tilgreindum þjónustutilgangi og leið til að óska eftir eyðingu.

Lausnin: „Ekki vista.“

Það er leið út. Turnitin hefur stillingu sem heitir „Do not store the submitted papers“ (Ekki vista skilin verk). Ef kennari virkjar þennan valmöguleika er ritgerðin þín skönnuð en ekki vistuð í gagnagrunninum. Hún er tékkuð fyrir ritstuld en aldrei bætt við varanlega gagnasafnið.

Hvers vegna er þetta ekki sjálfgefin stilling?

Vegna þess sem ég kalla ábyrgðarþoku (Responsibility Fog). Söfnunarstillingin er sjálfgefin (default). Fáir setja líklegast spurningarmerki við hana. Enginn „á“ ákvörðunina. Og þegar þú áttar þig á hvað gerðist er verkið þitt hugsanlega þegar komið í samanburðarsafnið.

Hvernig á að segja sig úr þessu

Nemendur geta óskað eftir eyðingu í gegnum skólann samkvæmt notendaskilmálum Turnitin. Í 17. grein GDPR er einnig réttur til eyðingar persónuupplýsinga þegar skilyrði greinarinnar eru uppfyllt; lok námsmats ein og sér tryggja ekki þann rétt og undanþágur geta átt við.

Ekki samþykkja hið velviljaða búr. Notaðu þessi sniðmát eða gerðu þín eigin, skólinn þarf að meta beiðnina út frá heimild sinni til varðveislu og þeim undanþágum sem eiga við.

Fyrir skil: Yfirlýsingin

Láttu þetta eða svipaðan texta fylgja með verkefninu þínu:

Ég skila þessu verkefni inn á Turnitin til að uppfylla kröfur þessa skóla. Ég veiti hins vegar ekki samþykki fyrir varanlegri vistun á mínum hugverkum í viðskiptalegum gagnagrunni. Ég mun leggja fram formlega beiðni um eyðingu strax að loknu mati.

Fyrir eyðingu: Krafan

Sendu þetta á kennarann þinn eftir að einkunn hefur verið gefin:

Efni: Formleg beiðni um eyðingu úr gagnagrunni Turnitin

Vinsamlegast áframsendið þetta á tengilið Turnitin hjá skólanum:

Ég skilaði verkefninu [Titill] (Auðkenni ritgerðar/Paper ID: [ID]) til námsmats. Nú þegar yfirferð er lokið óska ég eftir eyðingu samkvæmt notendaskilmálum Turnitin („License by You“) og, að uppfylltum skilyrðum, 17. grein GDPR. Ef áframhaldandi varðveisla er nauðsynleg, vinsamlegast skýrið tilgang hennar, lagagrundvöll og varðveislutíma.

Vinsamlegast staðfestið með tölvupósti þegar þessari aðgerð er lokið.

Niðurlag

Eini lærdómurinn sem eftir stendur er þessi: við verðum að vernda okkur sjálf.

Ítarefni

1. Turnitin User Agreement
2. Insight Partners Acquisition
3. Resisting EdTech (Hybrid Pedagogy)
4. Turnitin Acquired by Advance Publications
5. Turnitin "Do Not Store" Feature Guide