Entä se EXAM?

Yleinen

EXAM on lähes koko Suomen kattava akvaariotenttijärjestelmä, joka on toteutettu yhdessä kymmenen suomalaisen ammattikorkeakoulun, Tieteen tietotekniikan keskuksen ja Valamis Groupin kanssa (entinen Arcusys). Tarkoituksena oli tuoda tenttijärjestelmät tälle vuosituhannelle digitalisoituvan opiskeluympäristön kehityksen mukaisesti. Tenttijärjestelmää kehittää eteenpäin EXAM-konsortio, jossa on nykyään mukana jo 27 korkeakoulua. Konsortio, kuten kaikki muutkin erilaisten opetusjärjestelmien kehittäjät, ovat kiinnostuneita myös oppimisanalytiikan mahdollisuuksista.

EXAM-järjestelmässä on olemassa jo APOA-hankkeen alkuvaiheissa erilaisia tilasto- ja raportointitoimintoja, mutta nämä ovat palvelleet vain pääkäyttäjiä ja ylläpitäjiä eikä opettajia (tentaattoreita). Osana APOA-hankkeen kehitystyötä myös EXAM on tullut tulilinjalle kehitettävänä ahjona analytiikan osilta. Koska järjestelmän käyttö on yleistymässä uskomatonta tahtia vuosittain, on myös tähän sijoittaminen oppimisanalytiikan työkalujen kehittämisessä siis suotava askel eteenpäin.

EXAM-järjestelmästä voidaan siis jo tehdä kutsuja liittyen tenttivarauksiin, tentteihin, päivämääriin ja muodostaa näistä räätälöityjä raportteja sekä tarkkailla tilastoja käyttöasteista. Järjestelmä käyttää näiden kutsumiseen REST-tyylisiä verkkopalvelukutsuja, jotka palauttavat JSON-tiedostomuodossa haluttuja tietoja. JSON sopii hyvin, sillä tämä on yhteensopiva perinteisestä tietokantarakenteesta poikkeavien tietokantojen kanssa (noSQL-tyyliset tietokannat). Tietokantana järjestelmässä onkin NoSQL. Kutsuilla tietokannasta saadaan siis JSON-tiedostona halutut arvot, jotka sitten listataan raporttina käyttäjälle.

Ideana hankkeessa onkin valjastaa nuo olemassa olevat kutsumetodit ja niiden tuottama tieto uuteen, helposti luettavaan visuaalisempaan muotoon ja saattaa nämä osaksi opettajien (tentaattorien) työkaluja EXAM-järjestelmässä. Se mitä esimerkiksi kaivattaisiin olisi kysymyskohtainen vaikeutta ilmaiseva indikaattori, tentin läpäisyarvot suhteessa ajankohtiin, tenttivaraustilastot ja arvosanajakaumat. Ja nämä johonkin mukavaan ja selkeään ulkoasuun osaksi järjestelmää. Tästä lisää myöhemmin.

-Matias

APOA-päivä

Yleinen

Satakunnan ammattikorkeakoulussa pidettiin tiistaina 16.04.2019 tapahtuma, jossa meillä oli puhujina kaksi arvostettua hankelaista; Tampereen ammattikorkeakoulun Innovaatiopalveluiden Sami Suhonen sekä Turun Yliopiston oppimisanalytiikkatiimin Erkki Kaila. Tapahtuman tarkoituksena oli innostaa ja herättää keskustelua, että kiinnostusta oppimisanalytiikkaa kohtaan. Tässä tunnuttiin onnistuvan varsin hyvin, sillä osallistujia oli hyvin sekä paikan päällä, että verkossa ja vuoropuhelua syntyi aiheen tiimoilta.

Tapahtuman aloitettiin kertomalla lyhyesti APOA-hankkeesta, jonka jälkeen siirryttiin avaamaan oppimisanalytiikan käsitettä. Ensimmäisen osuuden aikana esille nousi paljon analytiikan tuoman datan perusteella tehtävien reagointimallien muodot, vaikutukset ja vastuut. Hyvinkin paljon puhuttiin myös siitä, kuinka paljon myös opiskelijalle analytiikka merkitsee kehityksen mittarina. Yksi huolenaiheista keskittyi oppimisanalytiikan tuomiin ristiriitoihin käsiteltäessä eri järjestelmistä tulevaa dataa, jota pystyvät käsittelemään tietyt henkilöt mutta eri perspektiiveistä. Kenen vastuulle reagointi jää? Ketä tekee ja mitä? Näistäkin asioista keskusteltiin jo hyvin ennen päivän puoltaväliä.

Toisella puolikkaalla keskityttiin paljon teetettyihin testiotoksiin. Analytiikkaa ollaan käytetty ja sovellettu Suomessa jo useamman vuoden ajan, mutta Turun Yliopisto oli erityisesti keskittynyt oppimisanalytiikkaan tutkimuksissaan. Heillä oli olemassa jo hyvä testikenttä, paljon otoksia ja tuloksia oppimisanalytiikan hyödyistä, huomioista ja puutteista. Yhtenä käsittelyn aiheena heillä oli ollut datan rajaus, mikä tieto oli relevanttia tuloksien valossa ja mikä ei, toisena hyvänä huomiona keskustelun kautta nousi asiayhteydet opiskelijoiden ajankäytön, kurssien suoritusjärjestyksen ja –tavan sekä opinnonohjauksen välillä suhteessa arvosanaan ja yleisesti opiskelijan suoriutumiseen opinnoistaan.

Oppimisanalytiikalla saadaan selvitettyä paljon pieniä, huomaamattomiakin tekijöitä opiskelijoista, joilla voidaan auttaa opiskelijoita pärjäämään tai ohjata heitä oppimaan enemmän. Opettajaa tämä auttaa tehostamaan ja optimoimaan opintojaksoja sekä kehittämään näistä enemmän opiskelijoita tukevia kokonaisuuksia. APOA-hankkeelle kysymykseksi jääkin selvittää, kuinka nopeasti saamme tämänkaltaiset järjestelmäintegraatiot tehtyä osaksi olemassa olevia järjestelmiämme niin että näiden käyttöystävällisyys ei syö opettajilta ja muilta tahoilta enempää opetusresursseja.

-Matias

Mitä tietoa opettajat haluavat opintojaksoistaan?

Yleinen

APOA-hankkeessa SAMKissa on haastateltu hankkeessa mukana olevia opettajia siitä, miten he käyttävät nyt oppimisanalytiikkaa opintojaksoillaan. Samalla pyrittiin selvittämään, mitä he tulevaisuudessa haluaisivat saada selville opintojaksostaan ja opiskelijoiden etenemisestä. Moneen haasteeseen esimerkiksi Moodlen sisällä pystytään vastaamaan, mutta kaikkea ei verkon tietokaan näe.

Oppimisprosessin suunnittelu on tärkeä osa oppimisanalytiikkaa. Oppimisprosessi olisi järjestettävä niin, että tarvittavia ”jalanjälkiä” opintojaksolla toimimisesta jää. Oppimisanalytiikan näkökulmasta ei ole toimivaa, että kurssin lopussa on yksi kokoava tehtävä, joka tehdään viimeisenä mahdollisena ajankohtana, vaan tekeminen olisi jaettava opintojakson ajalle pienempiin kokonaisuuksiin, joiden palautuksen yhteydessä opiskelijaa voidaan ohjata oikeaan suuntaan tai hänelle voidaan tarjota lisätukea opintojakson suorittamiseksi.  Oppimisprosessin jakamista pienempiin, vähitellen avautuviin osiin onkin yksi ratkaisu datan saamiseksi koko prosessin ajalta.

APOA-hankkeessa on mukana neljä opettajaa, yksi jokaiselta SAMKin osaamisalueelta. Opettajat haastateltiin APOA-hankkeessa yhdessä laaditun rungon pohjalta jota täydennettiin opintojakson tarkempia tietoja sisältävillä kysymyksillä. Kysymykset koskivat siis opintojaksoa, sen sisältöä sekä sen mahdollista nykyistä toteutusmallia. Lisäksi kysyttiin, mitä nykyistä enemmän opettajan pitäisi nähdä, että hän voisi parhaalla mahdollisella tavalla tukea opiskelijoiden etenemistä opintojaksollaan.

Lähtökohtaisesti mukana olevien opettajien opintojaksot ovat hyvin erilaisia jo suoritustavoiltaan: mukana on yksi kesätoteutuksena tehtävä opintojakso, jossa on verkkoluentoja, joita voi katsoa myöhemmin nauhoitteena, jos ei pääse paikalle. Toisessa päässä mukana on opintojakso, joka toteutuu lähes kokonaan luentoina ja harjoituksina. Opintojaksoissa on mukana niin ylemmän amk-tutkinnon kuin amk-tutkinnonkin opintojaksoja. Kuitenkin haastateltujen opettajien haasteet opintojakson etenemisen seurannassa ovat hyvin yhteneviä.

Jo ennen alkua olisi opettajan mielestä hyödyllistä tietää opiskelijoiden taitotaso opintojakson sisällön osalta. Lisäksi opiskelijoita, joilla on lähtötasossa puutteita, voitaisiin seurata opintojaksolla tarkemmin ja tarvittaessa kohdentaa heille lisää tukea. Eniten ohjaustyön tueksi toivottiin yhdellä silmäyksellä nähtävää koostetta siitä, miten opiskelijat ovat palauttaneet tai suorittaneet hyväksytysti tehtyjä harjoitustehtäviä tai avanneet kurssilla olevia materiaaleja. Myös palautetta opintojaksosta jo sen ollessa käynnissä toivottiin. Erilaisia seurantatyökaluja toivottiin opintojaksolla käytetyn opiskeluajan näkemiseen.  Ajastetun ohjauksen mahdollisuutta esimerkiksi keskustelualueiden kautta pidettiin myös erittäin tarpeellisena. Keskusteluissa nousi esille myös lähituntien aikainen aktiivisuuden ja erilaisten opiskelijalähtöisten syötteiden seuranta: olisiko sekin mahdollista toteuttaa sähköisin välinein? Esimerkiksi kysymykseen mikä viime viikolla jäi epäselväksi, olisi hyvä saada vastaus jo ennen luentoa, jotta esimerkiksi niiden asioiden läpikäyntiin voitaisiin varata lisää aikaa.

Varsinaista oppimisanalytiikkadataa opettajamme eivät olleet aiemmin keränneet, mutta osalla oli jo käytössä suoritusten seuranta opintojaksolla tai suoritusten kautta oli jo katsottu aiemmin miten opiskelijat opintojaksoilla etenevät. Uusia mahdollisuuksia analytiikan käyttöön on etsitty syksyn pilottiopintojaksototeutuksia varten. Kevään aikana yhteistyötä jatketaan näiden opintojaksojen suunnittelun parissa.  Toiset toteutukset opintojaksoista ehditään tehdä vielä kesällä ja syksyllä 2020 ja niiden jälkeen pilottiopettajilla pitäisi olla jo enemmän tuntumaa oppimisanalytiikan hyödyistä näillä opintojaksoilla.

Katja

Interaktiivinen Tekniikka Koulutuksessa

Yleinen

Eli ITK-päivät pidettiin viime viikolla Hämeenlinnassa tuttuun tyyliin Aulangolla. Aiheena oli hyvinkin paljon digitalisaatio ja tämän johdosta myös oppimisanalytiikka eli oltiin kyllä ihan oikeassa paikassa! Digitalisaation tarve kasvaa työelämässä ja myös opetusmaailmaan tämä tekee yhä enemmän tuloaan. Lähdetään enemmän tekniikkavetoiseen opetukseen, jossa keskiössä pyörii tietokone, tabletti tai älypuhelin ja niissä opetus. Tämä muutos tarkoittaa sitä, että siirrytään enemmän maailmaan, jossa tieto on helposti saatavilla. Opetuksen tarve sekä luonne muuttuvat.

Puhuttiin paljon pelillistämisestä, mukautuvasta opetuksesta sekä datan kautta opintojen parantamisesta (eli oppimisanalytiikasta). Esimerkiksi Tampereen GameLab kehitti matematiikkapeliä, jossa suoritukset vaikuttivat tiettyihin indikaattoreihin, joiden perusteella opettaja pystyi mukauttamaan opetustaan. Sanotaanko että koko luokassa meni murtolaskut hyvin yhtä oppilasta lukuun ottamatta. Peli tunnistaa tämän kehityksen tarpeen ja ehdottaa murtolaskujen lisäämistä pelissä kyseiselle oppilaalle. Aiheeksi muodostui myös se pitäisikö tekoälyn tai jonkin algoritmin hoitaa näihin tarpeisiin vastaamisen vai hoitaisiko ihminen (opettaja) tämän.

VR (virtuaalitodellisuus) oli myös esillä opetuksen työkaluna mutta AR (augmentoitu todellisuus) ei niinkään. Puhuttiin mikrokompetensseista osaamisen lisäämisessä ja tunnistamisessa. Katoaako perinteinen tutkinto kokonaan ja aletaan vain tunnistaa erilaisia osaamisia? Euroopan uuden viime vuonna voimaan tulleen tietosuoja-asetuksenkin (GDPR) vaikutukset olivat vielä esillä ja kun puhuttiin datan hyödyntämisestä, oli aiheellista myös puhua anonymisoinnista sekä pseudonymisoinnista. Jokaista huoletti selvästi vielä henkilökohtaisen tai yksilöivän tiedon hyödyntäminen. Nähtäväksi jääkin, kuinka pitkälle opetuksessa mennään digitalisaation osilta. Suomi on kuitenkin opetuksessa ja tämän teknisessä kehityksessä näyttänyt suuntaa varsin mallikkaasti.

-Matias

eSAMK-päivä ja LAeR

Yleinen

13.03.2019 järjestettiin Raumalla Satakunnan ammattikorkeakoulun Kanali-kampuksella eSAMK-päivä. Tähän päivään sisältyi monimuoto-opetuksen ja blended learning -ajatuksen mukaisten järjestelmien koulutusta henkilökunnalle. Käytiin läpi sekä oppimisalusta Moodlea, Hill Webex -etäkoulutusjärjestelmää että Exam -tenttijärjestelmää. Katsoimme uusia lisäosia, näiden käyttömahdollisuuksia ja jaoimme käyttökokemuksia järjestelmien kehittämiseksi. Moodlen osilta päästiin taas jatkamaan analytiikan aiheessa ja tällä kertaa päästiin demottamaan yleisölle tähän astisista Moodlen analytiikkatyökaluista edistyneintä - Learning Analytics enhanced Rubrics -arviointimatriisia.

Raumalla 13.03. eSAMK

Jotta voidaan alkaa puhumaan LA e-Rubrics -arviointimatriisista pitää meidän ensin tietää jotain Moodlen arviointimenetelmistä. Moodlessa on oletuksena olemassa arviointitapoina aktiviteeteissa suora arviointi, arviointifraasit ja arviointimatriisi. Näistä matriisi perustuu ennalta määritettyjen pistekriteerien määrittämiseen, joilla voidaan selittää varsin yksiselitteisesti opiskelijan saaman arvosanan ja samalla helpottaa opettajaa pisteyttäessä opiskelijaa. Matriisiin voidaan asettaa esim. sisällölle, ulkoasulle ja materiaalien käytölle omat arvopainot, joissa on selvästi selitettynä tietyt pistetavoitteet. Viisi pistettä sisällöstä jos tämä vastaa erinomaisesti opintojakson tavoitteiden mukaista osaamista, vastaavasti yksi piste jos sisältö vastaa erittäin heikosti. Sama esim. ulkoasulle, enemmän tai vähemmän pisteitä perusteluineen josta opettaja valikoi toteutuneet ja opiskelija vastaavasti näkee miksi opettaja valitsi tämän.

Ja sitten siihen analytiikkaan takaisin. LA e-Rubrics -arviointimatriisi (LAeR lyhenne jatkossa) lisää arviointimatriisin ominaisuuksia, joilla voidaan pisteyttää osin tai kokonaan matriisin tehtävä perustaen aktiivisuudesta tietyissä aktiviteeteissa, arvosanoista valituissa tehtävissä ja/tai materiaalien käytöstä opintojaksolla. Eikä tässä vielä kaikki! Voimme myös verrata näitä tuloksia toisiin opiskelijoihin nähden! Heti alkuun voin sanoa, että tämä työkalu auttaa opettajaa näkemään ja ymmärtämään heti paremmin opiskelijoiden aktiivisuutta vaikeasti mitattavissa aktiviteeteissa kuten keskustelualueilla. Toki edistymisen seuranta -lohkoon voidaan myös asettaa esimerkiksi läpäisyraja postauksien määrään riippuen, mutta tällä voidaan tehdä aktiivisuudesta keskustelualueella riippumatonta yhteen ainoaan vaatimusarvoon. Voidaan mitata myös vastausten, luotujen ketjujen, tiedostojen lisäysten ja muiden opiskelijoiden kanssa toimimisen määrää. Tehtävissä taas voidaan verrata suoraan opiskelijan useamman tehtävän keskiarvoa suhteessa muiden opintojaksolla olevien opiskelijoiden keskiarvoon ja antaa tämän perusteella suhteutettu pisteytys. Opiskelijoiden keskiarvo tehtävissä vaikuttaa myös tuohon suhteutettuun pisteytykseen, sillä jos opiskelijan oma keskiarvo on luokan paras suhteessa luokan arvosanalliseen keskiarvoon pisteyttää matriisi opiskelijan todennäköisesti pistemäärällisesti parhaalle tulokselle. Jos esimerkiksi luokan keskiarvo on arvosanaltaan kaksi ja luokan paras keskiarvo on neljä, suhteuttaa matriisi silti opiskelijan parhaalle arvosanalle viisi. Matriisissa voidaan seurata myös materiaalien käyttöä opintojaksolla suhteessa muihin.

LA e-Rubrics -arviointimatriisi

Mitä applikaatioita tälle voidaan kehittää opettajia ajatellen? Tämän analytiikkatyökalun tarkoitus on tehdä joissain määrin tuloksien seurantaa ja ehdottaa tämän perusteella parasta arvosanaa opiskelijalle, mutta pitkälle vietynä tällä arviointimenetelmällä voidaan lähes kokonaan automatisoida objektiivinen arviointi. Koska LAeR -matriisi pystyy myös vertaamaan muiden LAeR -matriisien tuloksia arviointikriteereinä, voidaan tällä tavoin luoda esimerkiksi välimatriisein opintojakso. Opintojakso voi olla muotoa tehtäviä, materiaaleja, välikoe, tehtäviä, materiaaleja ja loppukoe. Välikokeessa olisi arviointimenettelynä LAeR, joka vertaa arvioinnissaan aikaisempia tehtäviä ja materiaaleja. Loppukokeessa taas olisi toinen LAeR, joka kuitenkin vertaa välikokeen jälkeen tulevien tehtävien ja materiaalien lisäksi myös välikokeen tulosta muodostaessaan viimeistä arviointia. Välikokeen jälkeen opiskelija tietäisi matriisin palautteen mukaan vähän suuntaa, näkisi arvioinnin perustan ja voisi petrata ennen loppukokeen arviointia. Toisaalta voidaan myös luoda ns. haamutehtävä, jossa on käytössä LAeR. Tähän tehtävään ei palautettaisi mitään eikä tämä näkyisi opiskelijoille. Tehtävällä ei myöskään olisi omaa arviointikriteeriä. Tehtävän LAeR vertaisi kuitenkin kaikkien tehtävien, aktiivisuuden ja materiaalien suorituksia, jonka avulla opettaja voisi opintojakson lopulla tehdä viimeisen arvioinnin.

LAeR -matriisi on käytettävyydeltään siis varsin monipuolinen ja toimiva analytiikan apuväline, toinen asia olisi tämän opettaminen ja omaksuminen laajalle henkilömäärälle. Matriisi ei siis ole yksinkertainen tai käyttäjäystävällinen. Muina ajatuksina voisin mainita meidän tuotannon Moodlemme oman Insight -analytiikkamoottorin, joka on asetettu testaamaan oletusanalytiikkamallia opiskelijoiden syrjäytymisvaarasta. Tästä enemmän kun saamme aikaiseksi tarpeeksi dataa, jotta ensimmäinen ennuste saadaan ulos!

-Matias