Pisani test bez papira i olovke
0 likes732 views
Dokument opisuje teoriju i praksu pisanih testova kao načina procjene znanja, ističući njihovu važnost u obrazovnom procesu. Obuhvaća prednosti i nedostatke pisanih testova, kao i metode smanjenja varanja te evaluaciju valjanosti i pouzdanosti testova. Također, naglašava potrebu za kontinuiranom analizom i revizijom testova kako bi se osigurala kvaliteta ocjenjivanja.
Pisani test bez papira i olovke
- 1. Taradi - 1/69 PISANA PROVJERA ZNANJA BEZ PAPIRA I OLOVKE !? Prof. dr. Milan Taradi Zavod za fiziologiju i imunologiju Medicinski fakultet, Zagreb E-mail: [email protected]
- 2. Taradi - 2/69 Plan nastavne jedinice 1. dio Pregled teorije pisanih testova 2. dio Prikaz praktične uporabe programa za provođenje pisanih testova bez papira i olovke
- 3. Taradi - 3/69 1. dio: Pregled teorije testova Uvod Važnost procjene znanja Završna procjena i samoprocjena znanja Pisani test Prednosti Nedostaci Vrednovanje testa kao mjernog instrumenta Item-analiza Računanje teškoće i diskriminativne vrijednosti pitanja Ocjenjivanje pristupnika pisanom testu Relativno Apsolutno Minimalna prolazna razina Način računanja i interpretacija Zaključak
- 4. Taradi - 4/69 Sustav vrednovanja znanja je dio nastavnog procesa Vrednovanje znanja je važnije od: nastavnih planova, programa i nastavnih metoda.
- 5. Taradi - 5/69 Važnost procjene znanja Htjeli mi to ili ne, studenti će usvojiti ona znanja i vještine i to na onoj razini, koju smo mi odredili našim načinom ispitivanja.
- 6. Taradi - 6/69 Samoprocjena znanja Cilj procjene znanja nije samo završna ocjena, već aktivno mentoriranje tijekom učenja. Vrednovanje znanja, vještina i stavova je dio nastavnog procesa i provodi se kontinuirano! Anketa se može provoditi tijekom seminara online (Socrative).
- 7. Taradi - 7/69 Svrha procjene Ispiti nisu prepreke koje valja preskočiti do dobivanja diplome, već: stjecanje kvalifikacije zaštita društva od nestučnjaka selekcija polaznika u postupku napredovanja poticaj za učenje promjena načina učenja povratna informacije za studenta povratna informacije za nastavnika ocjena nastave i nastavnika odnosi studija i javnosti
- 8. Taradi - 8/69 Nastavni ciljevi (ishodi učenja) što kada kako vrednovati
- 9. Taradi - 9/69 Pisani testovi su samo jedan oblik procjene znanja Oni dopunjuju druge oblike provjere znanja i ne trebaju biti jedini način ocjenjivanja (usmeni, praktični). Treba se koristiti i drugim oblicima pitanja (posebno problemskim, simuliranjem realnog života, virtualni svjetovi, open book test). U postindustrijsko doba pisani testovi sa samo MQ vrstom pitanja postaju nedovoljnim.
- 10. Taradi - 10/69 Vrste pisanih procjena znanja Ispit (engl. exam) = završna procjena znanja (engl. final summative assessment) Test (engl. test) = dijagnostička procjena znanja iz manjeg opseg gradiva (kolokvij, pre- ili post- test, pilot test) Kviz (engl. quiz) = samoprocjena znanja (engl. selfassessment, formative assessment) Anketa (engl. survey) = dijagnostička procjena znanja, vještina i stavova skupine
- 11. Taradi - 11/69 Pisani test povezan s obrazovnim ciljevima (ishodima učenja) realan i praktičan sadržava važna i korisna pitanja (ne detalje!) sveobuhvatan u odnosu na gradivo primjeren očekivanom znanju polaznika
- 12. Taradi - 12/69 Pisani test ne smije biti predugačak
- 13. Taradi - 13/69 Pisani test pitanja moraju biti precizna, jasna, provjerena, kalibrirana, baždarena
- 14. Taradi - 14/69 Prednosti pisanog testa do rezultata se dolazi brzo i lako objektivan, pouzdan, valjan brza povratna veza studentima, nastavnicima i administraciji nedvosmisleno može mjeriti znanja i više intelektualne procese ne favorizira pojedine dijelove gradiva
- 15. Taradi - 15/69 Prednosti pisanog testa do rezultata se dolazi brzo i lako
- 16. Taradi - 16/69 Prednosti pisanog testa velik broj polaznika (test u Avganistanu) Prednosti pisanog testa
- 17. Taradi - 17/69 Prednosti pisanog testa velik broj polaznika (Indija)
- 18. Prednosti online testiranja Mogućnost multimedijskog sadržaja Jednostavna provedba Kompjutersko adaptivno testiranje (nelinearan) test se slaže “u letu” za svakog studenta prema njegovom znanju pouzdanija procjena brzi i precizniji rezultati smanjena mogućnost varanja Taradi - 18/69
- 19. Taradi - 19/69 Nedostaci pisanog testa teško je očuvati tajnost pitanja olakšano je varanje u odnosu na usmeni potiče "učenje za test" (napamet) sastavljanje dobrih pitanja i stvaranje banke je dugotrajno previše lako se upada u zamku ispitivanja faktografije i detalja pitanja najčešće nude podsjetnice, a one u praksi ne postoje postupak je skup i prekompliciran za mali broj polaznika
- 20. Taradi - 20/69 Nedostaci pisanog testa ne vrednuje vještine
- 21. Taradi - 21/69 Nedostaci pisanog testa varanje je olakšano, a u nas gotovo društveno prihvaćeno
- 22. Taradi - 22/69 Nedostaci pisanog testa suvremene tehnike varanja
- 23. Taradi - 23/69 Mjere za smanjenje varanja Sprečavanje prepisivanja
- 24. Taradi - 24/69 Mjere za smanjenje varanja Edukacija i osvješćivanje (potpisati pisani podnesak) Neponavljanje pitanja (barem 2 - 3 godine) Više varijanta testa (A,B,C,D,E...) Fizičko nadgledanje (2 voditelja na do 30 polaznika) Statistička provjera sličnosti krivih odgovora (uspoređivanje netočnih odgovora svaki sa svakim, primjer Cheat Checker) Ometanje mobitela (kod nas nedozvoljeno zakonom)
- 25. Taradi - 25/69 Mjere za smanjenje varanja na testovima online Priprava individualiziranih testova (kompjutersko adaptivno testiranje) Zaključavanje preglednika (nema odlazaka na drugi URL, printanja, kopiranja, pokretanja drugih programa) Nadgledanje ekrana (mogućnost središnjeg gledanja ekrana svih polaznika u učionici) Udaljeno nadgledanje (web kamerom) Praćenje obrasca tipkanja (za eseje)
- 26. Taradi - 26/69 Vrednovanje testa kao mjernog instrumenta Valjanost – koliko doista mjeri ono što smo htjeli mjeriti Relevantnost - koji je stupanj suglasnosti između pitanja u testu i nastavnih ciljeva Ekvivalentnost – koliko pitanja odgovaraju sadržaju nastave Pouzdanost – koliko je statističko povjerenje koje možemo imati u rezultate (ponovljivost) Objektivnost (točnost) - kolika je suglasnost stručnjaka o točnim odgovorima Diskriminativnost –u kojem stupanju test razdvaja polaznike po manjem i većem znanju Izvedivost – koliko je jednostavan i praktičan za studente, nastavnike i administraciju
- 27. Analiza testova Klasična teorija testova – analizira test kao cjelinu i rezultati se odnose samo na taj test i tu grupu polaznika Moderna teorija testova – teorija odgovora na zadatke (Item Response Theory) testovi su standardizirani, ujednačeni i rezultat ne ovisi ogrupi Taradi - 27/69
- 28. Taradi - 28/69 Analiza pisanog testa (Item – analiza) Statističkim postupcima se, nakon testa, određuje “statistička valjanost” testa i svakog pojedinačnog pitanja kao instrumenta za rangiranje polaznika po iskazanom znanju.
- 29. Taradi - 29/69 Zašto analizirati test a posteriori? Revizija razultata testa (analiza prije objave rezultata!) Revizija pitanja u banci za buduće testove Stjecanje iskustva za poboljšanja u pisanju novih pitanja
- 30. Taradi - 30/69 Elementi item-analize Temeljna (deskriptivna) statistika najbolji i najlošiji uspjeh medijan, mod srednja vrijednost bodova standardna pogreška, devijacija Teškoća pojedinačnih pitanja (Tp) Diskriminacijska vrijednost pojedinačnih pitanja (D, Biserijalna korelacija) Test ponovljivosti (Kuder-Richardsonova formula 20, KR-20; Cronbachs Alfa)
- 31. Taradi - 31/69 Tok analize testa Određivanje bodova na testu za svakog polaznika Rangiranje po rezultatima Određivanje grupa “boljih” (1/3) i “lošijih” (1/3) Izračunavanje teškoće pojedinačnih pitanja Izračunavanje diskriminacijske vrijednosti pitanja Korekcija i objava konačnih rezultata Vrednovanje, te odbacivanje ili revizija spornih pitanja u banci
- 32. Taradi - 32/69 Indeks teškoće pitanja Za svako se pitanje izračuna Tp Tp = (B + L)/N Legenda B = broj točnih odgovora u “boljoj” skupini L = broj točnih odgovora u “lošijoj” skupini N = broj sudenata u obje skupine zajedno
- 33. Taradi - 33/69 Interpretacija indeksa teškoće svakog pitanja Viši indeks imaju lakša pitanja (indeks lakoće je bolji termin :-) Raspon od 0,5 do 0,6 je preporučen. Raspon od 0,3 do 0,7 je prihvatljiv. Pitanja izvan prihvatljivog raspona valja korigirati.
- 34. Taradi - 34/69 Indeks diskriminacijske vrijednosti (D) svakog pitanja Za svako se pitanje izračuna D D = 2 (B - L)/N Legenda B = broj točnih odgovora u “boljoj” skupini L = broj točnih odgovora u “lošijoj” skupini N = broj sudenata u obje skupine zajedno
- 35. Taradi - 35/69 Interpretacija indeksa diskriminacijske vrijednosti Viši indeks znači veću diskriminacijsku vrijednost pitanja ("bolje pitanje"). D > 0,35 ima izvrsno pitanje. 0,34 > D > 0,25 je dobro. 0,24 > D > 0,15 je potrebno revidirati. D < 0,14 je loše pitanje i treba ga najvjerojatnije baciti.
- 36. Taradi - 36/69 Test ponovljivosti Broj bodova = broj zaslužen znanjem + dodatni broj zbog greške mjerenja Greške mjerenja: odabir pitanja greške zbog unutarnje nekozistentnosti slučajno pogođeni odgovori Test ponovljivosti (Kuder-Richardsonova formula 20, KR-20; Cronbachs Alfa)
- 37. Taradi - 37/69 Kuder Richardson 20 KR = (N/(N-1)) * ((V - SUM (pi qi))/V) N = broj pitanja u testu V = varianca bodova, ili (standardna devijacija)2 pi = udio točnih odgovora za pitanje i, odnosno (broj točnih/ukupno odgovora) qi = udio netočnih odgovora za pitanje i, odnosno (i - p) Preporučen KR20 je veći od 0,7.
- 38. Taradi - 38/69 Ocjenjivanje pristupnika na pisanom testu Relativno - unaprijed se odredi koliki postotak testiranih pristupnika prolazi na testu. Apsolutno – uspoređuju se rezultati testiranih pristupnika s unaprijed dogovorenim standardnim kriterijima.
- 39. Taradi - 39/69 Relativno ocjenjivanje Polaznici se rangiraju po rezultatima, izračuna se prosjek i standardna pogreška mjerenja, pa se odredi granica. Treba izbjegavati ovaj način, osim u sustavima ispitivanja gdje je broj izlazaka na ispit jako ograničen.
- 40. Taradi - 40/69 Apsolutno ocjenjivanje Subjektivno – stalan postotak točnih odgovora za prolaz (npr. 55%) na ustaljenim, ujednačenim testovima prema procjeni voditelja testova. Objektivno – teškoća cijelog testa se procjenjuje na temelju objektivnog ocjenjivanja težine svakog pojedinačnog pitanja.
- 41. Taradi - 41/69 Objektivno apsolutno ocjenjivanje Teškoću svakog pitanja ocjenjuje povjerenstvo od najmanje 3 nastavnika. Svaki član povjerenstva neovisno određuje tzv. minimalnu prolaznu razinu (MPR) za svako pitanje. Povjerenstvo usklađuje ocjene pitanja. Nakon sastavljanja testa, voditelj testa određuje prosječnu minimalnu prolaznu razinu za cijeli test i izračunava skalu ocjenjivanja.
- 42. Taradi - 42/69 Minimalna prolazna razina (MPR) pitanja za test Nastavnik se treba uživiti u ulogu studenta koji zna dovoljno (za ocjenu 2), te procijeniti kako takav student mora odgovoriti na zadano pitanje.
- 43. Taradi - 43/69 Primjer određivanja MPR za pitanje s 5 ponuđenih odgovora Polaznik mora znati eliminirati n odgovora Bira nasumce između (5 – n) odgovora MPR pitanja 4 1 1/1 = 1,00 3 2 1/2 = 0,50 2 3 1/3 = 0,33 1 4 1/4 = 0,25 0 5 1/5 = 0,20
- 45. Taradi - 45/69 ZAKLJUČAK 1. DIJELA (teorija pisanih ispita) Sustav vrednovanje znanja je dio nastavnog procesa i važniji od nastavnih planova, programa i nastavnih metoda. Cilj procjene znanja nije samo završna ocjena, već aktivno mentoriranje tijekom učenja. Apsolutno ocjenjivanje označava uspoređivanje rezultata testiranih pristupnika s unaprijed dogovorenim standardnim kriterijima. Nakon testa, a prije objave rezultata, treba provesti item-analizu i korekciju rezultata, a kasnije i pitanja u banci.
- 46. Taradi - 46/69 PISANA PROVJERA ZNANJA BEZ OLOVKE I PAPIRA 2. dio Prikaz praktične uporabe programa za izradu pisanih testova
- 47. Taradi - 47/69 Tehničke mogućnosti provođenja Umreženo računalo LAN WAN Web Samostojeće računalo lokalno instaliran program donos na mediju (m. stick, CD, disketa)
- 48. Taradi - 48/69 Umrežena računala: moodle http://moodle.org/
- 49. Taradi - 49/69 Primjer: web.mef.hr/moodle Ulaz u sustav e-obrazovanja Medicinskog fakulteta, Zagreb
- 50. Taradi - 50/69 Procjena znanja Ulaz u skupinu tečajeva:Procjena znanja
- 51. Taradi - 51/69 Primjer testova Testovi pripravljeni u programu Moodle
- 52. Taradi - 52/69 Prijedlog za pripremu testa 1. ON LINE Izravno u programu Moodle stvaranje baze pitanja sastavljanje testa definiranje uvjeta provođenja testa sakupljanje rezultata, obrada, pohrana 2. OFF LINE Sastavljanje off line Hot Potatoes, Word Unošenje u program Moodle
- 53. Taradi - 53/69 1. Stvaranje novog testa u Moodle Stvaranje novog testa
- 54. Taradi - 54/69 Punjenje baze i testa
- 55. Taradi - 55/69 Unos pitanja u bazu
- 56. Taradi - 56/69 Uređivanje testa
- 57. Taradi - 57/69 Prethodno pregledavanje testa
- 58. Taradi - 58/69 Definiranja uvjeta provođenja Mogućnosti izbora uvjeta za novi test, siguran preglednik
- 59. Taradi - 59/69 Ispravljanje on line u Moodle
- 60. Taradi - 60/69 Pregled rezultata testa
- 61. Taradi - 61/69 Item analiza
- 62. Taradi - 62/69 Pregled ocjena
- 63. Taradi - 63/69 2. Unos pitanja off line za mrežno testiranje a. Hot Potatoes Potpuno besplatan verzija 6.3 http://hotpot.uvic.ca/
- 64. Taradi - 64/69 Unos pitanja
- 65. Taradi - 65/69 Iz Hot Potatoes u Moodle
- 66. Taradi - 66/69 Izgled testa uvezenog iz HP
- 67. Taradi - 67/69 b. Unos pitanja off line iz Worda
- 68. Taradi - 68/69 Iz Worda u Moodle! Unos pitanja pomoću predloška (template)
- 69. Taradi - 69/69 Komercijalni ParSYSTEM ParTEST, ParTEST Online, ParSCORE Dostupan svim nastavnicima našeg fakulteta
- 70. Taradi - 70/69 Referalni centar http://www.carnet.hr/referalni/obrazovni/spzit
- 71. Taradi - 71/69 ZAKLJUČAK 2. DIJELA Sustav Moodle je vrlo prikladan za provođenje on line testova stvaranje i unos u bazu izravno on line u Moodle off line iz Hot Potetoes ili iz Worda u Moodle sastavljanje testova definiranje uvjeta provođenja isporuka više verzija ispremješanog testa povratna informacija polaznicima analiza rezultata ocjenjivanje sigurnost administracija
- 73. Taradi - 73/69 PREPORUKA NA KRAJU Treba skočiti i plivati!