Liian hyvää ollakseen totta.

Siltä tuntui osasta opettajia, kun he korjasivat tekoälyn tekemiä ylioppilaskokeita.

Päätimme kokeilla, miten hyvin kone selviäisi ylioppilaskirjoituksista. Yle pyysi ohjelmistoyhtiö Reaktoria teettämään tekoälyllä kolme ylioppilaskirjoitusten koetta viime keväältä.

Tekoäly vastasi pitkän matematiikan ja pitkän ranskan kokeisiin sekä äidinkielen tekstitaidon kokeeseen. Opettajat eivät tienneet arvioivansa tekoälyn koevastauksia.

Kone kisasi ikään kuin ihmistä vastaan, koska ylioppilaskokeiden arviointi perustuu lukiolaisnuorten suorituksiin.

Tekoälyn vastaukset olivat huippuluokkaa.

Matematiikasta ja ranskasta tekoäly kirjoitti laudaturin. Äidinkielen suoritus oli magnan arvoinen.

Yksi osa-alue jäi kuitenkin ohueksi: inhimillisyys.

Tekoäly kirjoitti huippuarvosanat ranskasta ja matematiikasta. Toimittaja Antti Kurra kertoo videolla, mistä löytyi tekoälyn heikkoudet kokeissa.

Tällaisia havaintoja opettajat tekivät tekoälyn suorituksesta:

1. Tekoäly tulee peittoamaan ihmisen opettajana, väittää matematiikan opettaja

Pitkän matematiikan kokeessa tekoäly osoitti vahvaa päättelyn taitoa. Pieniä virheitäkin se teki: seassa oli näppäilyvirheitä ja virheellisiä todistuksia.

Lopputulos oli vahva laudatur.

– Vain harva kokelas pystyy näin luotettavasti ja hyvin matematiikan kielellä perustelemaan saadut tulokset, kommentoi Haukiputaan lukion matematiikan opettaja Janne Nykänen ennen kuin kuuli, että koe oli tekoälyn tekemä.

Nykänen arvioi koetta korjatessaan, että kokelas olisi opiskellut enemmän kuin lukion oppimäärän verran matematiikkaa.

Nykänen näkee tekoälyllä merkittävän roolin matematiikanopetuksen tulevaisuudessa:

– Olen sitä mieltä, että kahden vuoden sisällä tekoäly opettaa matematiikkaa paremmin kuin minä, hän sanoo.

Nykäsen mielestä tekoäly pystyy väsymättä ja oikea-aikaisesti tukemaan opiskelijaa emotionaalisesti. Se myös pystyy olemaan henkilökohtaisempi kuin mikä olisi isossa luokassa inhimillisesti mahdollista.

2. Tekoäly on jopa pelottava työkalu

Äidinkielen kokeessa tekoäly pohti onnellisuutta. Kastellin lukion äidinkielen ja kirjallisuuden lehtori Eija Paso arvioi, että tekstin rakenne on kunnossa ja kokonaisuus on ehyt, mutta jotain jäi puuttumaan.

– Näkökulman rajaus oli selkeä, mutta käsittely kaipasi lisää syvyyttä, konkretiaa ja omaäänisyyttä. Omia näkemyksiä ja kokemuksia ei juuri näkynyt, Paso sanoo.

Hän oli helpottunut kuullessaan, että teksti onttous on tekoälyn tuottamaa. Hän sanoo suorastaan pelkäävänsä tekoälyä työkaluna, jos siihen aletaan luottaa liikaa. Samalla häviää käsitys oman ilmaisuvoiman, sanavaraston ja pohdinnan tarpeellisuudesta.

– En ole opetuksessani tekoälystä puhunut juuri muuta kuin pahaa, Paso sanoo ja arvelee, että muissa aineissa se voi toimia enemmän apuvälineenä.

3. Tekoäly ei edistä oppilaan asiaa

Ranskan kokeesta tekoäly sai vahvan laudaturin, vaikka yhdestä tehtävän osasta puuttui vastaus kokonaan.

Kokeen arvioi lukion ranskanopettaja, Suomen ranskanopettajain yhdistyksen puheenjohtaja Eija Raitala. Hänen mielestään käytetty sanasto oli laajaa, verbit ja adjektiivit oli taivutettu oikein ja aksentit olivat kohdillaan. Pilkkusäännötkin olivat harvinaisen hyvin hallussa.

Raitala arvioi kirjoitustehtävän kahta yksityiskohtaa vaille virheettömäksi ja kauttaaltaan jotenkin laskelmoiduksi.

– Jos tämä tulisi minulle koetilanteessa kokelaalta, olisin onnellinen. Jos tämä taas tulisi minulle harjoitusaineena, epäilisin sitä heti, hän sanoo.

Raitala suhtautuu pienellä varauksella tekoälyn käyttämiseen. Virheet auttavat oppimaan.

– Jos käyttää tekoälyä kirjoittamiseen, oppiminen ei etene. Se ei edistä oppilaan asiaa eikä se edistä opettajienkaan työtä eli oppimisen tukemista.

Tekoälyllä on laaja yleistieto, mutta heikko tilannetaju

”Olet loistava matematiikan opiskelija. Ratkaise seuraava koetehtävä.”

Tämän tyyppisiä kehotteita Reaktorin johtava tekoälyasiantuntija Marko Aalto kirjoitti antaessaan ylioppilaskokeita tekoälylle ratkottavaksi.

Kokeet suoritti tekoälysovellus ChatGPT.

Kehotteita ChatGPT:lle annettiin vain yksi, jonka pohjalta se teki ylioppilaskokeet. Sovellusta ei siis autettu kokeiden tekemisen aikana.

Eniten aikaa ChatGPT käytti Aallon mukaan äidinkielen kokeen tekemiseen, koska tekstiä piti tuottaa enemmän. Matematiikassa puolestaan tekoälyllä meni aikaa vastausten antamiseen suunnilleen 5–10 sekuntia per tehtävä.

– Oho, sanoo Marko Aalto, kun hän kuulee arviot koetuloksista.

Tekoäly suoriutui kokeista paremmin kuin hän osasi odottaa.

– ChatGPT on yllättävän älykäs, mutta sillä on myös omat heikkoutensa. Kielimallien puolesta sillä on valtavan laaja yleistieto, mutta aika heikko tilannetaju, sanoo Aalto.

Tekoälyasiantuntija Marko Aalto yllättyi tekoälyn kovista ylioppilaskoetuloksista:

Heikolla tilannetajulla hän tarkoittaa sitä, että tekoäly tarvitsee usein apua kontekstoinnissa, jotta se ymmärtää, mihin ratkaistava tehtävä liittyy. Heikkouksiin lukeutuvat myös looginen päättelykyky, numeroiden ymmärtäminen ja matemaattiset tehtävät.

Aallon mukaan ChatGPT osaa parhaiten isojen tekstimassojen käsittelyn, tekstin ymmärtämisen ja esimerkiksi kääntämisen kielestä toiseen.

Tekoälyn monet heikkoudet saattavat jäädä pian kuitenkin historiaan ohjelmien ripeän päivittymisen myötä.

– Esimerkiksi kun teimme nämä ylioppilaskokeet viime viikon tiistaina ja keskiviikkona, niin juuri torstaina tästä ChatGPT:tä tuli uusi malli, jossa oli erityisesti parannettu loogista päättelykykyä, Aalto sanoo.

Onko sinulla meille juttuvinkki? Voit lähestyä toimitusta luottamuksella

Halutessasi voit olla yhteydessä myös sähköpostilla osoitteeseen tuomo.bjorksten@yle.fi. Luemme kaikki yhteydenotot, mutta emme pysty takaamaan jokaiselle henkilökohtaista vastausta.