Software til at teste for snyd med chatbot ‘virker slet ikke’ på danske tekster

Virksomheden bag softwaren anbefaler, at man kun bruger den på engelske tekster.

Software fra OpenAI kan ikke bruges til at teste for snyd til eksamener. (Foto: © Michael Dwyer, Associated Press)

I et digitalt forum for lærere er en underviser i vildrede. Vedkommendes afgangselever har nemlig produceret ‘alt for gode besvarelser’.

- Jeg er overbevist om, at de har brugt kunstig intelligens til at lave dem... Jeg vil ikke mistænkeliggøre, men jeg føler dog alligevel, at jeg kender mine elevers niveau?

En anden underviser foreslår en løsning:

- Du kan køre besvarelserne igennem sådan en software, der kan fortælle, om det er lavet af en kunstig intelligens. Det er gratis.

Samtalen fremgår i en rapport fra Analyse & Tal, som i en ny undersøgelse har testet denne ovennævnte software på danske tekster.

Og analysebureauets konklusion er klar: Softwaren er utilregnelig.

Test af politikeres Facebook-opslag

Analysebureauet har kørt næsten 3.000 opslag fra danske politikeres og partiers Facebook-sider gennem softwaren, som bagefter spyttede en opsigtsvækkende konklusion ud.

Tre ud af fire af opslagene er ikke skrevet af mennesker, men derimod af kunstig intelligens.

- Det viser, at den slet ikke virker i en dansk kontekst, siger dataanalytiker Edin Lind Ikanovic, som har været med til at udarbejde undersøgelsen.

Dataene er nemlig trukket fra 2020 og 2023 for at repræsentere en periode før og efter, at kunstig intelligens blev et almindeligt kendt og potentielt anvendt værktøj.

- Vi tror ikke på, at to tredjedele af opslagene ikke er skrevet af mennesker. Især ikke når man kigger på tekster helt tilbage fra 2020, siger han.

Han tilføjer, at OpenAI, som er virksomheden bag softwaren, selv anerkender, at softwaren ikke fungerer optimalt. Især ikke på mindre sprog som dansk.

- Mange små sprog har en ret stor ulempe, da der ikke findes super meget data, siger Edin Lind Ikanovic.

Og dette er især et problem, da softwaren bliver bedre, desto mere data man fodrer den med.

Brug for generelle retningslinjer

Hos Danmarks Lærerforening har man svært ved at svare på, hvor udbredt brugen af ‘tekstklassificerings-værktøjet’ er.

Man kan dog godt genkende billedet af bekymrede undervisere, som føler sig udfordret af den teknologiske udvikling indenfor kunstig intelligens.

- Jeg vil forvente, at vi får nogle vejledninger fra Undervisningsministeriet om, hvordan man skal håndtere det her til kommende prøver, siger Regitze Flannov, formand i undervisningsudvalget i Danmarks Lærerforeningen.

Hun tilføjer, at den enkelte underviser ikke selv kan vurdere eller bevise, om en opgave faktisk er skrevet af en elev.

Derfor har man brug for generelle retningslinjer på tværs af uddannelsessektoren, hvor man allerede er i dialog om situationen.