13.03.2019 järjestettiin Raumalla Satakunnan ammattikorkeakoulun Kanali-kampuksella eSAMK-päivä. Tähän päivään sisältyi monimuoto-opetuksen ja blended learning -ajatuksen mukaisten järjestelmien koulutusta henkilökunnalle. Käytiin läpi sekä oppimisalusta Moodlea, Hill Webex -etäkoulutusjärjestelmää että Exam -tenttijärjestelmää. Katsoimme uusia lisäosia, näiden käyttömahdollisuuksia ja jaoimme käyttökokemuksia järjestelmien kehittämiseksi. Moodlen osilta päästiin taas jatkamaan analytiikan aiheessa ja tällä kertaa päästiin demottamaan yleisölle tähän astisista Moodlen analytiikkatyökaluista edistyneintä - Learning Analytics enhanced Rubrics -arviointimatriisia.
Jotta voidaan alkaa puhumaan LA e-Rubrics -arviointimatriisista pitää meidän ensin tietää jotain Moodlen arviointimenetelmistä. Moodlessa on oletuksena olemassa arviointitapoina aktiviteeteissa suora arviointi, arviointifraasit ja arviointimatriisi. Näistä matriisi perustuu ennalta määritettyjen pistekriteerien määrittämiseen, joilla voidaan selittää varsin yksiselitteisesti opiskelijan saaman arvosanan ja samalla helpottaa opettajaa pisteyttäessä opiskelijaa. Matriisiin voidaan asettaa esim. sisällölle, ulkoasulle ja materiaalien käytölle omat arvopainot, joissa on selvästi selitettynä tietyt pistetavoitteet. Viisi pistettä sisällöstä jos tämä vastaa erinomaisesti opintojakson tavoitteiden mukaista osaamista, vastaavasti yksi piste jos sisältö vastaa erittäin heikosti. Sama esim. ulkoasulle, enemmän tai vähemmän pisteitä perusteluineen josta opettaja valikoi toteutuneet ja opiskelija vastaavasti näkee miksi opettaja valitsi tämän.
Ja sitten siihen analytiikkaan takaisin. LA e-Rubrics -arviointimatriisi (LAeR lyhenne jatkossa) lisää arviointimatriisin ominaisuuksia, joilla voidaan pisteyttää osin tai kokonaan matriisin tehtävä perustaen aktiivisuudesta tietyissä aktiviteeteissa, arvosanoista valituissa tehtävissä ja/tai materiaalien käytöstä opintojaksolla. Eikä tässä vielä kaikki! Voimme myös verrata näitä tuloksia toisiin opiskelijoihin nähden! Heti alkuun voin sanoa, että tämä työkalu auttaa opettajaa näkemään ja ymmärtämään heti paremmin opiskelijoiden aktiivisuutta vaikeasti mitattavissa aktiviteeteissa kuten keskustelualueilla. Toki edistymisen seuranta -lohkoon voidaan myös asettaa esimerkiksi läpäisyraja postauksien määrään riippuen, mutta tällä voidaan tehdä aktiivisuudesta keskustelualueella riippumatonta yhteen ainoaan vaatimusarvoon. Voidaan mitata myös vastausten, luotujen ketjujen, tiedostojen lisäysten ja muiden opiskelijoiden kanssa toimimisen määrää. Tehtävissä taas voidaan verrata suoraan opiskelijan useamman tehtävän keskiarvoa suhteessa muiden opintojaksolla olevien opiskelijoiden keskiarvoon ja antaa tämän perusteella suhteutettu pisteytys. Opiskelijoiden keskiarvo tehtävissä vaikuttaa myös tuohon suhteutettuun pisteytykseen, sillä jos opiskelijan oma keskiarvo on luokan paras suhteessa luokan arvosanalliseen keskiarvoon pisteyttää matriisi opiskelijan todennäköisesti pistemäärällisesti parhaalle tulokselle. Jos esimerkiksi luokan keskiarvo on arvosanaltaan kaksi ja luokan paras keskiarvo on neljä, suhteuttaa matriisi silti opiskelijan parhaalle arvosanalle viisi. Matriisissa voidaan seurata myös materiaalien käyttöä opintojaksolla suhteessa muihin.
Mitä applikaatioita tälle voidaan kehittää opettajia ajatellen? Tämän analytiikkatyökalun tarkoitus on tehdä joissain määrin tuloksien seurantaa ja ehdottaa tämän perusteella parasta arvosanaa opiskelijalle, mutta pitkälle vietynä tällä arviointimenetelmällä voidaan lähes kokonaan automatisoida objektiivinen arviointi. Koska LAeR -matriisi pystyy myös vertaamaan muiden LAeR -matriisien tuloksia arviointikriteereinä, voidaan tällä tavoin luoda esimerkiksi välimatriisein opintojakso. Opintojakso voi olla muotoa tehtäviä, materiaaleja, välikoe, tehtäviä, materiaaleja ja loppukoe. Välikokeessa olisi arviointimenettelynä LAeR, joka vertaa arvioinnissaan aikaisempia tehtäviä ja materiaaleja. Loppukokeessa taas olisi toinen LAeR, joka kuitenkin vertaa välikokeen jälkeen tulevien tehtävien ja materiaalien lisäksi myös välikokeen tulosta muodostaessaan viimeistä arviointia. Välikokeen jälkeen opiskelija tietäisi matriisin palautteen mukaan vähän suuntaa, näkisi arvioinnin perustan ja voisi petrata ennen loppukokeen arviointia. Toisaalta voidaan myös luoda ns. haamutehtävä, jossa on käytössä LAeR. Tähän tehtävään ei palautettaisi mitään eikä tämä näkyisi opiskelijoille. Tehtävällä ei myöskään olisi omaa arviointikriteeriä. Tehtävän LAeR vertaisi kuitenkin kaikkien tehtävien, aktiivisuuden ja materiaalien suorituksia, jonka avulla opettaja voisi opintojakson lopulla tehdä viimeisen arvioinnin.
LAeR -matriisi on käytettävyydeltään siis varsin monipuolinen ja toimiva analytiikan apuväline, toinen asia olisi tämän opettaminen ja omaksuminen laajalle henkilömäärälle. Matriisi ei siis ole yksinkertainen tai käyttäjäystävällinen. Muina ajatuksina voisin mainita meidän tuotannon Moodlemme oman Insight -analytiikkamoottorin, joka on asetettu testaamaan oletusanalytiikkamallia opiskelijoiden syrjäytymisvaarasta. Tästä enemmän kun saamme aikaiseksi tarpeeksi dataa, jotta ensimmäinen ennuste saadaan ulos!
-Matias