[wouso-dev] Intrebari challenge

[Razvan Deaconescu]

On Thu, 2008-10-30 at 02:55 +0200, Alex Eftimie wrote:
> http://dev.rosedu.org/trac/wouso/changeset/490
> 
> Am punctat cu 1/n raspunsurile corecte si cu -0.1 raspunsurile
> gresite. Am urmatoarea problema:
> Fie  o intrebare I cu 4 raspunsuri
> A  a
> B  f
> C f
> D f
> Jucatorul nu stie si nu pune nici un raspuns.
> 
> Conform formulei nou aplicate, punctajul sau va fi: 3*1/4 - 1*0.1 =
> 0.65 puncte (de-a moaca, el chiar nu stia nimic la intrebarea data).
> 
> O alta posibilitate ar fi sa nu-i punctam decat raspunsurile corecte,
> caz in care n = 1 pentru intrebarea curenta, iar punctajul: 0*1 -
> 1*0.1 = -0.1 puncte. In acest caz, chiar daca nu stia si nu a bifat
> nimic, este depunctat.

Comunicarea intre noi este atat de defectuoasa pe cat se vede? Sau eu
vorbesc prost sau nu auzi tu bine. Nu se puncteaza/depuncteaza decat ce
bifeaza.

Sugestia mea este urmatoarea:

* o intrebare challenge are N = c + g raspunsuri
** N - numarul total de raspunsuri
** c - numarul de raspunsuri corecte
** g - numarul de raspunsuri gresite

Un student marcheaza sc raspunsuri corecte (din cele c) si sg raspunsuri
gresite (din cele g). Punctajul asociat intrebarii este:

p = sc * 1/c - sg * 1/g

Cateva exemple:

* N = 6, c = 2, g = 4, sc = 2, sg = 1 (traducere: a nimerit ambele
raspunsuri corecte dar a pus si unul gresit)

p = 2 * 1/2 - 1 * 1/4 = 1 - 0.25 = 0.75

* N = 7, c = 4, g = 3, sc = 2, rg = 2 (traducere: a nimerit doar jumatat
din cele corecte si a punctat si doua gresite)

p = 2 * 1/4 - 2 * 1/3 = 0.5 - 0.66 = -0.16 = 0 (se face rotunjire la
zero)

* N = 8, c = 4, g = 4, sc = 4, sg = 4 (cineva marcheaza toate
raspunsurile)

p = 4 * 1/4 - 4 * 1/4 = 1 - 1 = 0 (nada)


Mie mi se pare destul de OK acest sistem. Cel in care daca uiti un
raspuns sau pui unul gresit (si doar unul) iar intrebarea nu se
puncteaza deloc mi se pare mult prea dur, mai ales in contextul timpului
scurt si a variantelor multiple de raspuns.

In felul acesta, un punctaj cu virgula ii va putea oferi un feedback
studentului despre ce a gresit. Nu dorim sa facem doar evaluare seaca ci
sa ii si ajutam sa invete. Faptul ca nu le oferim raspunsul la
challenge-uri trebuie "recompensat" in alt mod.

De asemenea, cred (nu sunt sigur si nu tin neaparat) ca ar fi o idee
buna sa se specifice dupa ce un student raspunde la o intrebare de
challenge valorile (c, g, sc, sg) pentru fiecare intrebare. Nu va sti
care a fost care dar ii va oferi un feedback destul de bun. Daca a dat-o
in bara la o intrebare va sti sa o aprofundeze pentru ca e posibil sa ii
pice data viitoare. Da, va sti cate raspunsuri corecte sunt, dar daca
cineva face un tabel cu toate intrebarile si numarul de raspunsuri
corecte atunci fie are prea mult timp liber si trebuie stresat mai mult
la curs/laborator fie chiar e pasionat de joc.

Inca o data amintesc ca jocul nu este o evaluare nazista ca la
USO/RL :-P ci este un suport de invatare. Totul trebuie dirijat spre a
ajuta studentii sa invete cat mai multe lucruri noi, pastrand insa
spiritul competitiv si recompensand pe cei valorosi.

Si, Alex, referitor la discutia noastra de ieri. Specificatia initiala
este cum ti-am spus eu[1]. Acum am adaugat precizarea ca depunctarea
raspunsurilor negative sa se realizeze raportat la numarul lor. Nu-mi
dau seama cum de anul trecut tot s-a desfasurat pe sistemul "barbar" de
notare actual :-). Este mult prea dur pentru ce urmareste acest joc.

Razvan

[1] http://dev.rosedu.org/trac/wouso/wiki/UqChallenge#Structura%C3%AEntreb%C4%83rilor