Tekoäly koulussa: mahdollisuudet ja haasteet

Tukevaa puhetta - sarjassa kehittäjäopettajat Johannes Ruoho ja Mirka Tuulisaari keskustelevat espoolaisten asiantuntijavieraiden kanssa koulumaailmaa puhututtavista aiheista. Tässä jaksossa keskustellaan tekoälystä asiantuntijavieraan Robert Bahrin kanssa.
Voit kuunnella jakson SoundCloudissa (ulkoinen linkki, avautuu uuteen ikkunaan)(ulkoinen linkki, avautuu uuteen ikkunaan) tai Spotifyssa (ulkoinen linkki, avautuu uuteen ikkunaan)(ulkoinen linkki, avautuu uuteen ikkunaan).
Tekstivastine:
(Tunnusmusiikki.)
Johannes: Tervetuloa Tukevaa puhetta –podcastiin. Olen Johannes.
Mirka: Ja mä olen Mirka. Ja meillä on täällä vieraana digikehittäjä-kouluttaja Robert Bahr. Ja tänään me puhutaan tekoälystä.
Johannes: Niin, puhutaan tekoälystä. Niin mistä me puhutaan, kun me puhutaan tekoälystä? Mitä se tekoäly oikein on?
Robert: No, tekoäly on sellainen vähän ehkä harhaanjohtava termi. Mä itse tykkään käyttää sanaa tukiäly, koska se ei ole tosiaankaan älykäs siinä mielessä kuin me ihmiset ollaan tai sillä tavalla kuin vaikkapa joku torakka on älykäs. Torakka pystyy tekeen itsenäisiä päätöksiä, menee eteen, taakse, sivulle ja päättää, milloin on nälkä ja milloin ei ole nälkä, ja tällaista. Mutta tekoäly, niin se tekee vaan sitä, mitä ihminen haluaa sen tekevän ja käskee sen tekevän. Mutta se on siinä sitten, kun sitä ohjaa ja käskee, niin sitten se on siinä annetussa tehtävässä, se on todella hyvä ja tehokas, ja usein jopa pikkuhiljaa fiksumpi kuin ihminenkin joissakin tehtävissä.
Johannes: Tekoäly ei ole älykäs, mutta mikä sinut sai innostumaan tästä tekoälystä? Sä olet perehtynyt tähän tosi tarkkaan ja koko aika perehdyt lisää, kun tulee uusia juttuja. Mutta miten sä innostuit tähän?
Robert: Tähän ehkä just pohjustaa sitä, että näitä erilaisia tekoäly- ja neuroverkkosovelluksia ja –ohjelmistoja on ollut jo jonkun aikaa. Mutta se, mikä räjäytti pankin ja mikä aiheutti minunkin innostuksen ja mielenkiinnon herätti, oli silloin kun tää ChatGPT, tällainen generatiivinen tekstintuottajaohjelmisto julkaistiin, joka siis, se on tekstintuottaja. Elikkä sä pystyt chattailemaan, sen takia sen nimi on ChatGPT. Eli sen kanssa jutellaan, keskustellaan. Ja se vastaa niin kuin siellä olisi ihminen siellä toisessa päässä. Se oli sellainen murroskohta. Ja itse pääsin silloin kokeilemaan heti alkuvaiheessa sitä ChatGPT:tä. Ja huomasin, että hetkinen, tässä on nyt jotakin muutakin kuin vaan perinteiset tällaiset niin sanotut tekoälyohjelmistot, mitä on ollut vaikkapa iPhoneissa tää Siri tai muu tällainen. Sä voit vähän jutella sille. Mutta ne on aika tyhmiä järjestelmä olleet tähän asti. Ja nyt tämä ChatGPT oli sitten sellainen ensimmäinen, että se oikeasti vastasi niin kuin siellä olisi joku muu kuin kone siellä toisella puolella. Ja se herätti mun mielenkiinnon, että nyt on jotakin tapahtumassa. Ja sitten sen kautta rupesin tutustumaan aiheeseen enemmän. Ja sitten mitä enemmän siihen aiheeseen tutustuin, niin sitä syvemmälle syövereihin menin. Sitten mä olin puoli vuotta etuajassa, ja sitten viime syksynä, kun mä olen tässä digikehittäjä-opettaja, niin sitten siinä tiimissä sanottiin, että hei, nyt sä rupeet ottaan sitä tekoälyä haltuus. Eli se oli luottamus Espoon kaupungilta, luottamuksen osoitus Espoon kaupungilta ja näiltä muilta tiimiläisiltä, että hei, sulla on selkeesti sitä innostusta tähän hommaan, niin rupeepas sä tätä asiaa tutkiin vähän tarkemmin. Sitten siitä se lähti tää mun innostus.
Johannes: Mahtavaa. Sä sait lisää aikaa sille innostukselle.
Robert: Joo, ja sen nimenomaan, että kun se oli niin uusi asia Espoollekin ja kouluille myöskin, niin mulla oli sitten mahdollisuus käyttää ihan työaikaakin siihen asiaan perehtymiseen. Ja sitä mä olen tosi tehokkaasti nyt tehnytkin ja sitten päässyt jakamaan tätä tekoälyasiantuntijuutta monelle koululle Espoossa.
Mirka: Miten tekoälyä voi käyttää koulussa?
Robert: Tällä hetkellä opettajat vaan voi käyttää. Elikkä nämä kaikki tekoälyohjelmistot on kielletty alle 18-vuotiailta. Mutta niin kuin tiedetään, niin oppilaathan kyllä käyttää vapaa-ajalla. Mutta me ei voida virkamiehinä ohjata, että no niin, rupeepa nyt käyttään tätä tai tota ohjelmistoa, vaan vielä tässä vaiheessa opettajat on se kohderyhmä, joidenka kannattaa tutustua tekoälyyn ja sen käyttöön ja siihen mahdollisuuksiin, koska sitten jossakin vaiheessa tulee sellaisia tekoälyjärjestelmiä, jotka ovat alle 18-vuotiaille sopivia. Niin sitten opettajat olis vähän jo etukentässä valmistautuneet siihen, miten sitten hyödyntää näitä opetuksessa oppilaiden kanssa. Mutta tässä vaiheessa meillä on Espoossa tämä Microsoftin Copilot-tekoälysovellus käytössä. Toivottavasti jossakin vaiheessa niitä tulee sitten vähän enemmänkin. Mutta tää Copilot on nyt se paras tapa päästä tutustumaan tällaiseen tehokkaaseen kielimalliin ja tekoälyyn. Elikkä yleensä nämä, GPT-4 on se, mitä sanotaan, että on tämä… eri kielimalleja. GPT-3.5 tai GPT-3 oli se ensimmäinen, mikä tuli vuosi sitten. Ja sitten se kehittyi tähän GPT-4:ään. Ja nyt tämä Copilot on ensimmäinen tällainen tavallaan opettajille ilmainen mahdollisuus tutustua sellaiseen oikeesti tehokkaaseen tekoälyyn ja kielimalliin. Normaalisti nämä GPT-4-kielimallit on maksullisia aina. Eli jos sä vaikkapa jotakin OpenAI:n tai Googlen kielimalleja käytät, niin sitten sä joudut maksaan niistä. Ja Copilotkin on maksullinen, mutta Espoon kaupunki maksaa siitä jonkunnäköistä lisenssiä, että me voidaan hyödyntää sitä. Niin jos ei halua omaa rahaa käyttää, niin tosiaan tämä on erinomainen mahdollisuus tämä Microsoftin Copilot tutustua tällaiseen oikeesti tehokkaaseen kielimalliin. Ja se on opettajien käytössä tällä hetkellä. Ja myös itse asiassa viraston muidenkin työntekijöiden, ettei pelkästään opettajien. Eli se on tällä hetkellä paras tapa lähteä tutustuun.
Mirka: Jos ei ole yhtään vielä tutustunut tekoälyyn, niin mistä kannattas sitten lähteä liikkeelle, jos nyt vasta aloittaa?
Robert: No, ihan mun mielestä se on siitä kiva järjestelmä, että nyt jos menee vaikkapa tuota Copilotia kokeilemaan, niin ihan vaan lähtee jutteleen sen kanssa. Se on se aina se, mistä lähdetään liikkeelle, että vähän kokeillaan mitä tällä voi tehdä. Kuvien luominen on sellainen hirveen helppo tapa tutustua, koska sitten sä käsket sitä vaikka, että luo minulle kuva ihmisistä auditoriossa, tai jotain vastaavaa. Sitten se luo sulle kuvan. Ja sitten se luo sellaisen, ne perustuu aina tällaisiin todennäköisyyslaskentoihin. Eli se luo sulle sen keskiarvon mukaisen kuvan ihmisistä jossakin auditoriossa istumassa. Se on, keskiarvolaskentaan perustuu. Se on todennäköisin, mitä sä todennäköisesti toivot siltä. Sitten kun sä pikkuhiljaa rupeet käyttään enemmän ja enemmän, sä rupeet huomaan, miten ne järjestelmät toimii. Niin sitten sä rupeet huomaamaan, että okei, kun mä vaikka annan sille, että tee se kuva jollain tietyllä tyylillä, niin sitten sä rupeet oppiin, että ahaa, tällä tavalla mä nimenomaan komennan sitä konetta tekeen just sitä mitä mä haluan. Mutta sun pitää osata komentaa sitä tietyllä tavalla. Puhutaan kehotteista. Pitää kehottaa sitä konetta toimiin jollain tietyllä tavalla. Niin se on kiva tapa, ihan vaan lähtee jutteleen. Sä et voi rikkoa siinä mitään, eikä se kone mene siitä jumiin, vaan ihan vaan lähdet jutteleen sille ja kyseleen kysymyksiä. Ja sitten sä näet, miten se vastailee. Voi vaikka käydä keskustelua, että no mitäs mieltä olet Suomen tämänhetkisestä ulkopolitiikasta vai mitä. Niin se vastaa sieltä jotakin. Sitten tärkeetä on aina muistaa se, että ne tekoälyjärjestelmät on todennäköisyyslaskentakoneita. Eli ne tekee virheitä. Ja sitten siellä ei välttämättä ole aina kaikkein ajankohtaisinta tietoa. Ja sen lisäksi vielä se saattaa myös keksiä lähteitä. Elikkä koska se on tällainen todennäköisyyslaskentakone, niin se ei välttämättä aina ole ihan totuudenmukainen. Mutta siitä ei kannata pelästyä eikä siitä kannata hämääntyä. Sulla pitää olla vaan se oma ymmärrys siitä, että virheitä saattaa tulla. Ja aina pitää tarkistaa ne vastaukset, mitä sieltä tulee.
Mirka: Eli siihen tekoälyn antamaan vastaukseen ei voi sataprosenttisesti luottaa.
Robert: Juuri näin, ei missään… Se ei ole haku. Se on tärkeä, se ei ole sama asia kuin hakukone. Se ei ole… Jos sä menet Googleen tai Microsoftin Bingiin ja kirjoitat sinne, että minä vuonna Suomi itsenäistyi, niin sieltä tulee aika todennäköisesti oikea vastaus. Mutta tekoäly saattaa keksiä. Jos ei se löydä heti sitä sieltä valtavasta tietomäärästä sitä vastausta, niin se saattaa keksiä vastauksia. Tai se saattaa arvata vähän sinne päin. Se on vaara.
Johannes: Tulee mieleen, kun joskus ollut ulkomailla, Argentiinassa vai missä olin. Niin kysyin joltakin poliisilta neuvoa, suuntaa johonkin, en muista mihin, joku nähtävyys. Niin mä luulen, että hänkään ei tiennyt sitä vastausta, niin hän osoitti vaan johonkin suuntaan. Mutta tekoäly toimii vähän samalla periaatteella.
Robert: Joo, kyllä, paitsi siinä on se ero, että tekoäly, sillä on valtava tietomäärä. Sillä on tavallaan koko se Argentiinan kartta. Ja se pystyy ohjaamaan sinut todennäköisesti, missä se todennäköisesti voisi olla jossakin siellä keskustan alueella. Mutta se saattaa silti ohjata väärin. Eli se on, tämä on ehkä vähän sillein vaikea, koska sitten monet taas pelästyy vähän, että miksi mä käyttäisin tekoälyä koska se tekee virheitä ja plaaplaaplaa. Mutta ne virheet on tosi pieniä. Ja varsinkin näissä GPT-4-kielimalleissa, niin virheiden määrä vähenee koko aika. Eli tämänhetkinen tekoälyjärjestelmä, mitä me käytetään, niin se on huonoin, mitä tulet ikinä elämäsi aikana näkemään. Nää jatkuvasti kehittyy ja oppii huimaa vauhtia. Niin siinä mielessä. Se on vaan hyvä pitää mielessä, että siellä saattaa olla virheitä, tarkistaa aina se vastaus. Mutta se ei missään nimessä saa estää sinua kokeilemasta ja hyödyntämästä tekoälyä, koska sitten monessa kohtaa se on huomattavasti paljon parempi ja ne vastaukset on parempia kuin mitä sä itse kykenisit esimerkiksi tekemään.
Mirka: Onko sinulla jotain vinkkejä, miten opettajat vois nyt jo hyödyntää tekoälyä omassa työssään?
Robert: Joo. No, niissä mun koulutuksissa, mitä mä olen… mä annan sitten moniakin konkreettisia esimerkkejä siihen, miten tekoälyä voi hyödyntää. Mutta sellaisia mukavempia tapoja on esimerkiksi tekstien vaikeuttaminen tai yksinkertaistaminen. Elikkä sä voit ottaa vaikka jonkun Helsingin Sanomien artikkelin tai jonkun vaikeamman tekstin ja sitten pyytää tekoälyä, että tee tästä vaikkapa selkokielinen. Tekoäly ymmärtää ne selkokielisyyden kriteerit. Ja sitten se pystyy muokkaamaan sen tekstin just sellaiseksi selkokielisen tyyppiseksi. Ja tällaisissa tehtävissä nämä tekoälyjärjestelmät on hyviä, tosi hyviä, että sulla on joku valmis asia, minkä sä syötät sinne ja pyydät sitä muokkaamaan sitä. Ja se pystyy sitten tosi tehokkaasti. Silloin aina jos se joutuu se tekoälyjärjestelmä luomaan uutta ja vähän keksimään asioita, niin silloin niitä virheitä tulee todennäköisimmin. Mutta silloin jos sulla on valmis materiaali, sä annat vaan sen sille ja pyydät, että muokkaapa tätä vähän yksinkertaisemmaksi tai toisinpäin vaikka vaikeuta sitä. Mä opetan vieraita kieliä, saksaa ja englantia, niin mä saatan tehdä vaikka niin, että tee tästä saksankielisestä tekstistä vaikeampi tälle yhdelle oppilaalle. Niin sitten se tekee sen ihan hetkessä. Se lisää sinne vaikeampia sanoja, pidentää sitä tai muuta. Mutta se on myös hyvä tapa vaikkapa opettaa eri tekstilajeja. Elikkä opettaja voi pyytää jonkun leipätekstin, että muokkaa tää mun teksti jonkun tietyn tyyppiseksi.
Johannes: Vaikkapa jonkun tietyn alan kielelle esimerkiksi.
Robert: Nimenomaan. Tee tästä joku, tee tästä Facebook-ilmoitus tai tee tästä Helsingin Sanomien uutisartikkeli tai tee tästä tyypillinen mielipidekirjoitus. Elikkä se voisi muokata sitä tekstiä sitten eri tilanteisiin sopivaksi. Sitten sä voisit esitellä luokkahuoneessa vaikka, että tässä nyt on tällaisia erilaisia tekstilajeja ja –tyyppejä samasta tekstistä. Se tekee siitä ehkä helpommin ymmärrettävän. Siinä on yksi esimerkki. Mutta niitä on monia. Sitä voi hyödyntää koodaamisessa, tehtävien tekemisessä. Mä itse asiassa tykkään tehdä just vaikka tällaisia esimerkkilauseita, joista sitten puuttuu vaikka joku tietty verbi. Ja sitten oppilaan pitää täyttää se oikeassa aikamuodossa. Ja sitten se tekoäly antaa mulle myös sen vastausavaimen, kun mä osaan… Se vaatii vähän harjoittelua, että miten se tehdään, että mitä sä ohjeistat sitä tekoälyä antamaan tällaisia vastauksia. Mutta se pystyy antamaan. Sillä on just loistavia esimerkkejä. Yksi mun lemppareista on esimerkiksi se, että mä voisin tehdä kokonaisen kokeen. Mä pystyn antamaan sille, että tee tällainen koe, anna mulle vastaukset niihin koekysymyksiin, ja sitten jostakin tietystä aihealueesta. Ja mä pystyn tarkkaan rajaamaan sitten, että mikä se alue on mistä se sen kokeen tekee, antamaan esseekysymyksiä esimerkiksi tai kielioppitehtäviä. Mutta sitten aina kun tekee tällaisia, niin sitten ne pitää oikeesti ne koneen vastaukset tarkistaa. Yleensä ne tehtävät se tekee hyvin. Mutta se sitten mitkä se antaa vaikkapa oikeiksi vastauksiksi, niin niissä varsinkin saattaa sitten olla heittoja. Siinä sitten tarvitaan sitä opettajan asiantuntijuutta tarkistamaan, että onko se tekoälyn luoma vastaus siihen koekysymykseen oikein.
Johannes: Sitten mulle tuli mieleen niistä kuvista vielä. Joskus, mä en muista, joku vinkkas kuitenkin, että tekee vaikka oppilaiden kanssa, että oppilaat sanoo että mitä me kirjoitetaan. Eli siinä on tavoitteena, että me saadaan joku kivikautinen maisema tai joku tämäntyyppinen. Ja sitten katsotaan, että mitä sieltä tulee. No, näyttääkö tää kivikautiselta maisemalta? Ei, siellä on joku ihan uudentyyppinen teltta. Sitten täytyy muokata sitä meidän kuvausta. Se oli kanssa hauska. Mutta tästä kokeesta tuli mieleen, että voikohan sen arvioinnin jättää tekoälylle.
Robert: Me itse asiassa tuossa yhdessä lukiokoulutuksessa ihan, näin ei saisi tehdä, mutta kokeiltiin kumminkin. Annettiin… ei kerrota kenellekään, annettiin YTL:n lukion kielten tämä arviointi… mikäs se nyt on, tällainen arviointikaavake, elikkä mikä on YTL:n ne ohjeet opettajille, miten nää kielten esseet pitää arvioida ylioppilaskokeissa. Mä syötin sen ensin sille. Sitten keksin tällaisen… tai otin ihan 2024 vuoden ylioppilaskokeesta kysymyksen ja pyysin ensin, että tekoäly, vastaa tähän, kirjoita tämä vastaus lukion kolmasluokkalaisen tasolla ja vastaa siihen, tähän ylioppilaskirjoitusten koekysymykseen. Se teki mulle siihen hienon vastauksen. Sitten sen jälkeen mä syötin tosiaan nämä YTL:n korjaussäännöt. Ja sitten pyysin tekoälyä, että lue nämä korjausohjeet ja sen jälkeen korjaa tämä teksti ja pisteytä se. Niin siinä koulutuksessa oli yksi auditoriollinen noita lukion kieltenopettajia. Ja he sanoivat, että se heitti yhdellä pisteellä se tekoälyn arvio siitä, mitä niitten YTL:n ohjeiden mukaan siitä esseestä olisi pitänyt antaa. Eli tultiin todella pelottavan lähelle sitä, mitä se opettaja siellä sitten oikeastikin istuu iltoja pitkiä ja korjaa näitä kokeita. Nyt tässä tosiaan, että miksi näin ei saa tehdä, niin ensinnäkään niitä YTL:n ohjeita ei saisi syöttää tekoälylle eikä sitten mitään oppilaiden tekstejä saa tekoälylle antaa, koska kaikki data, mitä sinne tekoälylle syötetään, niin se tallentuu. Ja sitä käytetään sitä tekoälyn opettamiseen. No, miten me tehtiin tämä, niin just tämä Microsoftin Copilot on siitä hyvä, että se on tietoturvallinen. Eli se unohtaa aina sen keskustelun sen jälkeen kun sä suljet sen. Eli Microsoft on luvannut kaupungille, ja näissä ehdoissa on, että mitään niitä tietoja mitä sinne Copilotille syötetään silloin kun sä olet kirjautuneena Espoon kaupungin tunnuksella, niin sitä ei käytetä siihen tekoälyn jatkokouluttamiseen eikä niitä tietoja tallenneta. Se on sillein turvallinen tapa myöskin tutustua tähän tekoälyjärjestelmiin.
Johannes: Vastuu siitä arvioinnista on sitten kuitenkin opettajalla.
Robert: Kyllä. Joo, ja virkavastuu todellakin. Mitä ei missään nimessä saa tehdä, on että vaikka esimerkiksi Copilotkin pystyisi siihen, jos menet vaikka Edge-selaimella, että se lukisi sun Wilma-viestin ja sitten vastaisi siihen Wilma-viestiin, niin se pystyy sen tekemään helposti. Ja se vastaus on todennäköisesti nopeammin ja paremmin saatavilla kuin mitä sä itse sitä rupeaisit siihen kirjoittelemaan. Mutta kun siinä on just se ongelma, että sitten se viesti menee sinne järjestelmään. Ja sitten pahimmassa tapauksessa saattaa tallentua sinne. Niin sellaisia välttäisin tekemästä. Ja muutenkin henkilötietoja ei kannata sinne mitään syöttää, ei oppilaiden nimiä, ei omaa nimeä, ei syntymäaikaa, ei mitään tällaista. Nyt moni ajattelee, että okei, no niin no tää on tätä tietoturvahöpötystä ja tää on ihan, tällaista on aina vuosia ollut että ei kannata ja pitää suojata ne tiedot. Mutta nyt tää tekoälyjärjestelmä on aivan uusi juttu. Tää on teknologia, jota me ei ole nähty aikaisemmin. Ja yksi esimerkki siitä on. Sveitsin Lausannen yliopiston tutkijat tuossa just kuukausi takaperin julkaisivat sellaisen tutkimuksen, jonka he teki, todella fiksu tutkimus. He laittoivat ihmiset väittelemään, satunnaisjoukon ihmisiä väittelemään tekoälyn kanssa. Ja ne oli sellaisia lyhyitä väittelyitä. Ja se ihminen ei tiennyt, että väitteleekö hän tekoälyn kanssa vai oikean ihmisen kanssa. Ja se oli satunnais… oikeasti hyvin tehty tutkimus. Ja sitten se mielenkiintoinen siinä tutkimuksessa oli, että jos se oli tällainen tavallinen tekoäly, mikä ei tiennyt susta mitään, niin se väittely, sanotaan vaikka aborttioikeudesta, niin päättyi yleensä tasapeliin. Ja sitten sä et muuttanut mielipidettäsi. Mutta jos tälle tekoälylle annettiin sun henkilötietoja, niin 80-prosenttisella todennäköisyydellä se pystyi muuttamaan… vaikuttamaan sun mielipiteeseen ja vaikuttamaan siihen, että miten se väittely päättyi. Eli tässä on tällainen uusi esimerkki siitä, että miksi henkilötietoja ei kannata tekoälylle käyttää. Jos se oppii tuntemaan sinut, niin se pahimmassa tapauksessa pystyy muokkaamaan sun mielipidettä tai näkökulmia tai muuta vastaavaa. Me ollaan tietoturvan ja tietosuojan kannalta astumassa ihan uuteen maailmaan, jota me ei edes ihan vielä täysin ymmärretä. Tää on mun mielestä nyt huikeimpia esimerkkejä, mitä on ihan viime aikoina tullut tästä.
Mirka: Elikkä nää tekoälypalvelut on alle 18-vuotiailta kielletty. Mutta itse ainakin tiedän, että lapset käyttää esimerkiksi tätä Snapchatin My AI –palvelua ja näin. Niin mitä sä ajattelet tästä?
Robert: Joo, siis eihän me voida, eihän nämä lapset kasva missään tynnyrissä, eikä he ole tämän ulkopuolella, eikä nämä nuoret ole tämän innovaation ulkopuolella. Tuo on monimutkainen kysymys, johon ensinnäkin tärkeintä ehkä on ymmärtää se, että me ei voida opettajina ja virkamiehinä edellyttää että nämä lapset käyttää, niin kauan kun se ei ole turvallista. Se on ihan sama, jos me sanottais lapsille, että no joo että periaatteessa tupakanpoltto on kielletty mutta kyllähän te nyt teette sitä, niin poltetaan nyt täällä luokassa tupakkaa. Se vähän vertautuu siihen, jos kärjistetään. Mutta se on ihan oikeesti näin, että näissä kaikkien järjestelmien käyttöehdoissa, se ei ole vaan että Espoon kaupunki on sen kieltänyt, vaan että näitten kaikkien järjestelmien käyttöehdoissa on, että ne ei ole tarkoitettu alle 18-vuotiaille. Mutta näitähän on ja on ollut pitkään. Toinen esimerkki on TikTok. Siellähän on tekoälyalgoritmi siellä taustalla, joka vaikuttaa ihmisten mielipiteisiin ja vaikuttaa siihen meidän ajankäyttöön ja kaikkeen. Ja on osoitettu, että se TikTokin algoritmi on maailman tehokkain koukutusalgoritmi. Eli se on vähän niin kuin, se on mun mielestä siinä mielessä TikTok kaikkein graavein esimerkki, koska me ollaan käytännössä lapset ja nuoret ja aikuisetkin tällaisessa huumausaineaddiktiossa vähän sen TikTokin kanssa. Ja ei me edes huomata sitä. Niin periaatteessa joo, kyllähän ihmiset käyttää sitä TikTokia. Ja se on aika iso osa modernia yhteiskuntaa. Ja se vaikuttaa esimerkiksi markkinoinnissa, yritysten markkinointi on hirveen paljon tehokkaampaa TikTokissa. Nuoret on siellä. Me nähdään jo, että se vaikuttaa poliittiseen äänestyskäyttäytymiseen. Jos poliitikko on TikTokissa, niin sitten hän oikeesti vasta on olemassa. Niin eihän me voida sitä estää eikä vaikuttaa. Nuoret käyttää mitä käyttää. Se on sitten enemmän ehkä huoltajien tehtävä ohjata sitä käyttöä. Mutta me ei koulussa voida tavallaan vahvistaa sitä huonoa käytöstä. Se tupakkaesimerkki on tässä mun mielestä sillein aika hyvin konkreettinen esimerkki siitä.
Mirka: Joillekin lapsille sitten taas se tekoäly on ystävä. Sitten kun he kertoo, että se puhuu mulle niin kivasti ja se laittaa mulle sydämiä ja se on tosi kiva, niin pitäisikö meidän sitten vaan ohjata heidät pois siitä. Se voi olla myös sitten semmonen yksinäisyyden torjumiskeino.
Robert: Se ratkaisu on opettaa niitä lapsia ja nuoria ymmärtämään, mitä nää järjestelmät on, mihin ne kykenee ja millä tavalla ne toimii. Ne ei ole, just tää, että ne ei ole eläviä ihmisiä. Ja tää tällainen tekoälypsykiatri tai –psykologi tai –tuki ja turva, -keskusteluapu, niin se on kaunis ajatus. Mutta se on todella, johonkin se tieto menee. Se menee jollekin serverille jossakin, onko se Kiinassa, onko se Venäjällä, onko se jossain vähän turvallisemmassa länsimaassa se tieto, että mitä sä sille juttelet. Sun lapsi kertoo sille vaikka, että koulussa kiusataan ja on paha mieli ja ahdistaa ja näin. Niin mitä se tekoälyjärjestelmä sitten rupee tekemään, lähteekö se tosiaan auttamaan vai lähteekö se tekemään jotakin ihan muuta, sanoo vaikka, että no keskiarvoisesti tällaiseen ahdistukseen auttaa vaikka viiltely, niin me ei voida sitä valvoa mitenkään. Me ei tiedetä, mitä se tekoäly vastaa. Niin se on hankala tilanne. Mutta tää menee taas sinne dystopioiden puolelle. Mutta toisaalta myöskin on todella hyviä esimerkkejä just siitä, ja mä itsekin näen sen, että näissä tekoälyjärjestelmissä niin monien nuorten ahdistus ja masennus, tällaiset vakavammatkin kehitykset pystyttäisiin estämään sellaisella matalan kynnyksen terapialla esimerkiksi, ihan vaan joku juttelee, joku aikuinen vähän juttelee ja keskustelee sen nuoren ja lapsen kanssa. Niin se estäisi jo monta asiaa äitymästä tosi pahaksi. Ja nythän tässä kohtaa olisi just se, että jos se on tekoäly joka ohjaa sitä lasta ja nuorta oikeeseen suuntaan, niin sehän olisi ihan loistavaa. Mutta se pitää sitten se järjestelmä luoda sellaiseksi, että se varmasti ei lähde neuvomaan tällaista haitallista toimintatapaa. Ja sitten se pitäisi vielä olla se järjestelmä ohjelmoitu niin, että se ymmärtää ne omat rajansa, että tiettyyn pisteeseen asti se voisi neuvoa lasta tai nuorta. Mutta sitten sun pitää sen jälkeen ohjata, että hei, nyt tää on niin vaikea asia, että nyt sun pitää mennä vaikka ammattilaisen puheille tai muuta. Mutta sellaisia järjestelmiä ei nyt toistaiseksi vielä ole. Mutta kyllä mä näen sen positiivisen potentiaalin todellakin. Mutta niitä pitää… ne on vasta ehkä tulossa, kehittymässä. Mutta tässä vaiheessa ne ei ole sellaisia, että lähtisin lapselle kertomaan että menepä tuonne… että älä tule kuraattorin puheille vaan menepä tuonne juttelemaan Copilotille. Se ei ole hyvä, se ei ole hyvä idea.
Johannes: Sä kävit joskus aikaisemmin myös tuolla Soukan koulussa pitämässä meille tilaisuutta näistä tekoälyjutuista. Ja mulle jäi semmonen, mä en muista tarkkaan, mutta jäi mieleen semmonen kuvio, että kun oli kesäloma, niin jonkun pelin…
Robert: Minecraftin pelaaminen.
Johannes: Minecraftin pelaaminen, se määrä nousee hirveesti, ja sitä käytettiin enempi mitä ChatGPT:tä. Mutta sitten kun kesälomat loppuivat, niin mitäs sitten tapahtui?
Robert: Minecraftin pelaaminen laski todella jyrkästi, ja sitten ChatGPT:n käyttö nousi ihan huimasti. Se kertoi just se graafi siitä, kuinka nää oppilaat käyttää sitä. Ja se ei ole vierasta heille. Mutta tällä hetkellä ne oppilaat käyttää vielä sitä vähän niin kuin opettajatkin käyttää sitä, että ne opettelee vasta sen järjestelmän käyttöä. Harva oppilas on sellainen, joka ymmärtäisi ihan, että mitä se oikeesti pystyy ja kykenee se ChatGPT tekemään. Monesti tässä vaiheessa vielä opettaja pystyy tunnistamaan, että jos sellainen seiskan oppilas palauttaa esseen joka on täydellisellä akateemisella tekstillä kirjoitettu, ymmärtää että ahaa, no tää nyt ei taida olla ihan sun oma kirjoittama. Mutta sitten jos osaa käyttää tekoälyä, niin sitten sä pystyt huijaamaan opettajaa ihan täysin. Ei siihen tarvi muuta kuin lisätä, että kirjoita vaikka 13-vuotiaan tasolla ja lisää tyypillisiä 13-vuotiaan virheitä. Niin se tekee sen tekstin sellaiseksi, että sitten enää opettaja ei pysty erottamaan sitä. Vielä tehokkaampi tapa olisi syöttää sinne tekoälylle jotain mun kirjoittamia tai oppilaan itsensä aikaisemmin kirjoittamia tekstejä ja sitten pyytää tekoälyä, että opettele tästä minun kirjoitustyylini ja tämän jälkeen aina rupea aina kirjoittamaan sillä tavalla kuin minä kirjoittaisin. Eli sä tekisit vähän niin kuin oman virtuaalikopion itsestäsi sinne tekoälyjärjestelmään, jonka jälkeen sitten sä voisit kaikki esseet ja kaikki palauttaa sillein, että opettajalla ei olisi mitään hajua siitä että kuka sen on kirjoittanut. Ja sitten tullaan itse asiassa, tästä vähän hyppään toiseen asiaan, mikä on hirveen tärkee ymmärtää. Ei tällä hetkellä ole mitään tapaa tunnistaa varmasti tällaista tekoälyn tuottamaa tekstiä tekoälyn tuottamaksi. Mikään ohjelmisto, maksullinen sellainen, edes ilmainen, niin ei pysty sadan prosentin todennäköisyydellä sanomaan, että tää on tekoälyn tuottama. Tästä on jo hirveesti, mä olen kuullut, minunkin koulutuksissa opettajat on tulleet sanomaan, että joo joo että on sellainen sovellus, olen nähnyt jossain Instassa, ja sitten tätä sovellusta kun käyttää, niin mä pystyn tunnistamaan, että onko se tekoälyn tuottama. Se on ihan huijausta. Mikään näistä sovelluksista, ne ei kestä mitään tieteellistä tarkastelua. Ja se on tärkeä rehtorien ja koulujen ja päättäjien ymmärtää, koska Amerikassa tällä hetkellä on iso ongelma, että siellä koulut käyttää hirveet määrät rahaa tällaisten tekoälytunnistusjärjestelmien ostamiseen, koska ne pelkää sitä just, että mitä tässä nyt tapahtuu meidän arvioinneille ja kaikelle. Niin ne paniikissa sitten ostelee näitä. Mutta ne järjestelmät mikään ei toimi, koska mistä on kyse, sehän on tekstiä. Ethän sä voi satavarmuudella sanoa, että tämä nyt ei ole sun tekemä teksti. Nehän on vaan sanoja ja lauseita ja virkkeitä. Niin sellaista järjestelmää ei tällä hetkellä vielä ole, mikä pystyisi tunnistamaan. Niin niitä kannattaa varoa.
Johannes: Niin miten sä otat tämän huomioon? Sä olet englannin ja saksan aineenopettaja. Niin miten sä…
Robert: No, itse esimerkiksi otan sen huomioon niin, että mä olen palannut takaisin kynään ja paperiin. Ja sitten sähköisissä kokeissa niin mulla on se hyvä tilanne, että meidän koululla on Chromebookit. Ja mä pystyn tekemään esimerkiksi Google Formsilla kokeita. Ja Google Formsissa on se ominaisuus, että mä pystyn lukitsemaan sen koko Chromebookin silloin kun oppilas on kirjautuneena siihen Chromebookille. Hän aloittaa sen Google Forms –kokeen, niin se lukitsee sen Chromebookin. Ja silloin oppilas ei pääse mihinkään muualle kuin siihen tekemään sitä koetta. Tällaisia samanlaisia toiminnallisuuksia on esimerkiksi iPadeissa nyt tulossa, että tämän hallintajärjestelmän kautta opettaja pystyy lukitsemaan sen. Mutta jos on kyse vaikka esseekirjoituksesta, niin kyllä mä sitten kynä ja paperi… Mun on ollut pakko palata siihen. Mä en voi mitenkään varmistua ja olla varma siitä, että se essee vaikkapa, minkä oppilas on tehnyt, niin ettei se ole sitten tekoälyllä tehty, jos se tehdään sähköisesti. Siinä ei ole tällä hetkellä mitään muuta varmaa tapaa tehdä sitä. Ja siis nyt tietysti kyse siinä kohtaa, kun on arvioitavasta tekstistä kyse. Jos vaan kirjoitellaan tekstejä ihan muuten vaan omaksi huviksi ja harjoitellaan sitä tekstin kirjoittamista, niin eihän sitten ole mitään merkitystä tavallaan. Ja tulevaisuudessa mä toivon, että me saadaan se just tää alle 18-vuotiaille sopiva tekoäly, koska sitten se tekoäly voi myös opettaa niitä oppilaita paremmiksi kirjoittajiksi. Eli mä voisin kirjoittaa jonkun tekstin, ja sit mä voisin antaa sen tekoälylle ja pyytää, että hei, korjaa mun virheet ja ehdota vielä että miten mä voisin parantaa tän tekstin luettavuutta. Niin se tekoäly kouluttaa sua. Eli silloin me voitaisiin päästä sellaiseen tilanteeseen, jossa vaikkapa opettaja kirjoituttaa yhdeksän tekstiä oppilailla niin, että he tekee sen yhdessä tekoälyn kanssa. Ja sitten se kymmenes teksti olisi se arvioitava kynällä ja paperilla tehtävä teksti, jossa oppilas näyttää, että mitä hän on oppinut sen tekoälyn kanssa yhdessä oman kirjoittamisen parantamiseksi. Normaalisti lukuvuoden aikana mä ehdin jonkun, mulla on sen verran paljon oppilaita, niin ehkä neljä arvioitavaa esseetä kirjoituttamaan. Mutta sitten se ei hirveesti vielä riitä siihen, että jos oikeesti halutaan tehokkaasti parantaa omaa kirjoitustapaa ja –tyyliä. Niin sitten jos me kirjoitettaisiinkin oppilaiden kanssa vaikkapa 50 esseetä vuodessa sillein, että tosiaan… tai 40 esseetä, joista neljä olisi niitä arvioitavia ja kaikki muut loput olisivat sitten tällaisia, että me vaan kirjoiteltaisiin omaksi huviksi ja iloksi ja sitten se tekoäly koko aika korjailisi ja kertoisi oppilaille, että näin sä voisit parantaa, niin sehän olisi, mä näkisin, että siinä oppiminen nousisi ihan valtavasti.
Johannes: Niin semmonen oma sparrailuapu siinä sitten siihen kirjoittamiseen.
Robert: Kyllä, kyllä. Ja tuossa tuli mieleen itse asiassa toinenkin asia. Se, missä mä näen tämän tekoälyjen potentiaalin, on just tällaisessa tasa-arvon luomisessa. Eli monella oppilaalla varsinkin perusopetuksessa ei ole kotona sitä akateemisesti koulutettua vanhempaa. Tai ei tarvi edes olla akateemisesti koulutettu, vaan ylipäätään sellaista huoltajaa, joka osaisi matikkaa sillä tasolla tai fysiikkaa sillä tasolla, että pystyisi opettamaan sitä. Yläkoulussa esimerkiksi alkaa ne fysiikankin tehtävät olla jo aika vaikeita. Samoin äidinkielen kirjoitelmissa pitää jo osata aika vaikeita asioita, että niistä tulee hyviä niistä teksteistä. Niin jos kotoa ei ole sitä osaamista eikä kykyä auttaa, niin sitten tää tekoälyjärjestelmä pystyisi todella tehokkaasti auttamaan sellaisia oppilaita, jotka ei saa tukea kotoa. Niin sitten tän oppimisen kanssa, että se pystyisi tukemaan varmasti.
Mirka: Sitten jos mennään ihan tommoseen ympäristönäkökulmaan, mä olen ainakin kuullut, että tekoälyjen kouluttaminen, noi datakeskukset syö hirveet määrät sähköä ja jäähdytysvettä ja niin edespäin, niin pitäisikö meidän jollakin tavalla välttää sen takia tekoälyn käyttöä, ettei me käytettäisi luonnonvaroja liikaa tai…
Robert: Joo, totta on, että nää järjestelmät syö jonkun verran energiaa ja muuta. Mutta sitten uusimmissa tutkimuksissa, ihan tilastotietoinakin jo nähnyt siitä, että jos ihminen kirjoittaa yhden sivun tekstiä, a-nelosen verran tekstiä, niin se vie tietyn määrän… tuottaa hiilidioksidipäästöjä, kuluttaa energiaa se ihminen. Mutta ChatGPT pystyy tuottamaan samassa ajassa vaikkapa 50 sivua tekstiä, mitä ihminen pystyy siinä tunnin aikana tekemään. Niin sitten jos verrataan sitä, ihmistä ja sitten tätä tekoälyä, niin silloin tekoäly yks kaks onkin ympäristöystävällisempi. Se kuluttaa paljon vähemmän hiilidioksidia ja paljon vähemmän energiaa kuin tällainen tavallinen ihminen. Eli siinäkään vertailussa niin me ihmiset hävitään sitten tekoälylle.
Mirka: Ei tarvii tuntea huonoa omaatuntoa.
Robert: Ei tarvi tuntea huonoa omaatuntoa. Kyllä se, se on hyvä asia kyllä tiedostaa, koska sitä pitää pystyä tarkastelemaan ympäristönkin kannalta kriittisesti. Mutta se ei ole, mä en näe sitä sellaisena ongelmana, vaan päinvastoin tää tekoälyjärjestelmä hyvin todennäköisesti pystyy auttamaan meitä ratkaisemaan niitä ympäristöongelmia ja tulevaisuuden ongelmia. Ja ihan varmasti sitten kun nää kehittyy, niin nää tekoälyjärjestelmät pystyy todennäköisesti keksimään sellaisia ympäristöystävällisiä ratkaisuja, mitä me ihmiset ei edes pystytä, edes tällä hetkellä näkemään eikä keksimään.
Johannes: Tulevaisuus on valoisampi tekoälyn kanssa.
Robert: Joo, kyllä, tää on sellainen teknologia, johonka mä kyllä oikeesti uskon, että se pystyy ihmisen kanssa yhdessä ainakin löytämään jotain sellaisia, mitä me ei vielä ihan nähdä.
Mirka: Sit kun sanotaan, että tekoäly ei ole älykäs, mutta onko mahdollista, että siitä voi tulla jopa älykkäämpi kuin ihmisestä? Ja mitä sitten tapahtuu?
Robert: Se on vielä onneksi tällaista utopiaa. Mutta kyllä se jo nähdään ja siitä paljon keskustellaan, että se on mahdollista. Me ollaan otettu ensimmäinen askel sinnepäin. Nämä generatiiviset tekstintuottajat, nää järjestelmät on askel siihen suuntaan, että jonakin päivänä meillä on järjestelmä, joka pystyy ajattelemaan itsenäisesti. Puhutaan tällaisesta tiedostavasta tekoälystä. Se herää henkiin niin sanotusti. Mutta sitä ennenkin jo meillä tulee olemaan tekoälyjärjestelmiä, jotka on tehokkaampia ja fiksumpia kuin ihminen. Ja nyt tää periaatteessa tää generatiivinen tekstintuottajakin on jo sitä. Kun sitä oikealla tavalla ohjataan, niin se pystyy tuottamaan laadukkaampaa ja parempaa lopputulosta kuin moni asiantuntijakin. Ja se tehostaa asiantuntijoiden työtä. Eli sehän osoittaa jo sen kyvykkyyden, että se on fiksumpi kuin me siinä mielessä. Mutta se on sitten sellainen ihan oma dystooppinen, no ei se välttämättä ole dystooppinen. Siinä on monta vaihtoehtoa. Jos nää tekoälyjärjestelmät muuttuisivat meitä fiksummaksi, niin mitä siitä seuraisi? Pahimmillaan se on sitä, tai olisi sitä, miten me suhtaudutaan vaikkapa kärpäsiin. Me ajatellaan, että kärpänen on… ettei se ajattele, ei se puhu, se on tuollainen, häiritsee tuossa, surisee kesällä ikävästi. Ja sitten otetaan kärpäslätkä ja sitten se liiskataan pois. Niin pahimmillaan se tekoäly on niin älykäs, että se katsoo meitä niin kuin me oltais niitä kärpäsiä, jotka vähän häiritsee ja surisee siinä. Se on tavallaan se pahin tilanne. Mutta sitten taas niitä positiivisia vaihtoehtoja on huomattavasti paljon enemmän, että miten se pystyy auttamaan ja tukemaan ihmiskuntaa. Ja niinkun nyt jo pystyy tukemaan meitä töissä ja löytämään niitä vaikka just tällaisia ympäristönsuojeluun ratkaisuja ja kaupunkiasumiseen ja muuhun ratkaisuja, joita me ei edes pystytä vielä tällä hetkellä näkemään.
Johannes: Opetuksessa pystyy sitä tekoälyä opettamaan ja käyttämään sitä tekstien kanssa ja kuvien kanssa yms. Entäs sitten näetkö sä itse parin vuoden päästä, niin mitäs sitten?
Robert: Ai, mitä parin vuoden päästä tapahtuu?
Johannes: Niin, parin vuoden päästä, miltä tää tekoälyjuttu näyttää parin vuoden päästä?
Robert: No, yksi parhaimmista esimerkeistä, mitä mä olen kuullut, on esimerkiksi se, että sä istut sohvalla ja sitten sä huomaat että ahaa, mulla on rahat loppu, mitäs mä tekisin kun rahat on loppu. Ja sitten sä kirjoitat tekoälyjärjestelmälle, että hei, mulla on rahat loppu, että keksis mistä mä voisin saada rahaa. Niin sitten se tekoäly lähtisi haistelemaan koko internetiä ja katsoisi, että mikä olisi sellainen markkinarako, joka nyt tarvitsisi täyttämistä. Ja sanotaan vaikka, että just sillä hetkellä kun sä kysyit asiaa, niin 16 millin pulteista ja muttereista on pula. No, mitä se tekoäly siinä, sanotaan, ehkä ei vielä kahden vuoden mutta varmaan viiden vuoden päästä pystyy tekemään, on se, että se luo sulle verkkokaupan, nettisivun, johon se laittaa näitä 16 millin pultteja myyntiin. Se itsenäisesti ottaa yhteyden tehtaaseen, joka tuottaa 16 millin pultteja. Se tekee ne sopimukset sen tehtaan kanssa. Soittaa puhelinsoiton sille niin, että se tehtaan omistaja ei tiedä että siellä on kone, vaan se luulee, että se juttelee ihmisen kanssa. Allekirjoittaa ne sopimukset siitä tuotannosta. Sitten se tekoäly pyörittää sitä verkkokauppaa, jossa niitä pultteja myydään. Se hoitaa asiakaspalvelun. Se tekee sopimuksen jonkun logistiikkafirman kanssa, joka toimittaa ne pultit asiakkaille. Ja sitten vaan tilipussi kasvaa, siirtää ne rahat sun tilille sitten, mitä siitä myynnistä tulee.
Johannes: Täytyy alkaa tekeen sivutoimilupana.
Robert: Niin, kyllä. Tää on tällainen utopia. Ja miksi jopa parin tai viiden vuoden päästä, niin se, että nää yksittäiset asiat on jo olemassa. Tekoäly pystyy soittamaan ihmisäänellä niin, että sä et huomaa että se on tekoäly. Se pystyy asiakaspalvelun hoitamaan paremmin kuin ihminen. Se pystyy luomaan nettisivuja. Pystyy luomaan tällaisia järjestelmiä, sopimuksia. Mutta nää on tällä hetkellä vielä kaikki irrallisia ominaisuuksia. Ne on omia firmoja, omia tekoälyjärjestelmiä. Mutta sitten puhutaan sellaisesta kuin multimodaalisuus. Eli sitten kun nää kaikki tulee yhden tekoälyn alle eli se yksi tekoäly suoriutuu näistä kaikista tehtävistä, eli tavallaan yksi tekoäly lähettää käskyn näille kaikille eri tekoälyille, että hoida tämä homma, hoida tämä homma, niin se on sellainen lähitulevaisuuden näkymä, mitä on jo ihan tässä kohta puolin varmasti saavutettavissa.
Mirka: No, mitäs Robert, onko Espoon kaupunki jotenkin valmistautunut tähän tekoälyn tuloon?
Robert: Joo, kyllä me ollaan aika todella hyvällä mallilla täällä Espoossa. Ensinnäkin tuon kasvun ja oppimisen toimiala on laatinut jo viime elokuussa omassa mietinnössään tällaisia vähän ohjesääntöjä opetukseen, että mitä pitäisi tekoälyn kanssa ottaa huomioon Espoossa. Ja ne löytyy sieltä Essistä kasvun ja oppimisen toimialan alta. Ja siellä on ihan jopa mun tekemä video näistä pelisäännöistä, mitä Koto on pohtinut. Ja sitten sen lisäksi meillä on tosi hyvin nyt koulutettu. Mä olen sellaiset 800 Espoon perusopetuksen opettajaa ja rehtoria nyt kouluttanut tähän aiheeseen. Niin meillä on todella hyvä tilanne sen tekoälyn ymmärtämisen kannalta. Siinä mielessä Espoo on tässä kyllä edelläkävijä. Ja toivotaan, että se edelläkävijyys jatkuu. Tuolla esimerkiksi Turussakin tehdään todella hyvää työtä tekoälyasioiden kanssa. Ja tulevaisuudessa tää on iso mahdollisuus Espoolle tää tekoälyn hyödyntäminen. Ja se, että meillä on Copilot esimerkiksi koko organisaatiossa käytössä, niin se on todella todella iso hyvä asia koko kaupungille.
Johannes: Kiitos, Robert. Tässä vaiheessa mulla on yksi kysymys vielä ja kysyisin, että olisiko tekoäly voinut hoitaa tämän koko keskustelun meidän puolesta ja me oltais voitu olla kotona.
Robert: Niin, kuuntelijathan ei tiedä, onko tää tekoälyllä vai ei. Sanotaan näin, että kyllä olisi voinut. Se olisi vaatinut vähän tarkkaa ohjausta ja sen tekoälyn oikeaa käskemistä ja erilaisten tekoälyohjelmien yhteensovittamista. Mutta kyllä, kyllä tämän koko keskustelun olisi voinut hoitaa tekoäly meidän puolesta.
Mirka: Eli jätetään kuuntelijoille pohdintaa, miten tää on tehty.
Robert: Kyllä. Siinäpä jännitystä kerrakseen.
Johannes: Kiitos, Robert.
Robert: Kiitos.
Mirka: Kiitos.
(Tunnusmusiikki.)