Documentation sur l’évaluation

Ce document explique les statistiques et informations incluses dans le rapport PDF à la fin d’une session (jeu, activité ou apprentissage) utilisant une switch adaptée. Le but est de mieux comprendre comment l’utilisateur a interagi avec l’activité et dans quelle mesure il démontre une compréhension du lien de cause à effet.


1. Informations sur la Session


2. Informations sur la Switch


3. Informations sur les indicateurs


4. Statistiques avancées


5. Performance Globale


Analyse des résultats

Il y a deux variables principales qui se dégagent des résultats: la quantité d’appuis lorsque non nécessaire et la durée des pauses. Ce sont ces données qui devraient principalement être d’intérêt afin de déterminer la performance d’un élève. Deux indices pondérés (score et probabilité de cause à effet) peuvent aussi être utilisés, mais il est nécessaire de garder à l’esprit que ce sont des indices qui n’ont pas de validité scientifique et qui sont basés sur plusieurs prémisses (mentionnées ci-bas).

Appuis lorsque non nécessaire (faux positifs)

Un grand nombre d’appuis de ce type peut signifier une utilisation au hasard (spamming). Un nombre réduit d’appuis inutiles suggère une utilisation plus ciblée. Il n’y a pas de nombre qui soit objectivement bon ou mauvais, cela va plutôt dépendre de l’élève et de son style d’interaction. Une quantité importante peut signifier que l’élève fait du « fly swatting » et qu’il appuie sans nécessairement profiter du stimulus.

Moyenne et médiane du temps de pause

Plus le temps de pause est court, plus l’élève semble utiliser sa switch de manière efficace et rapide. Cependant, un long temps de pause peut être lié à divers facteurs externes ou internes, tels qu’une switch mal adaptée, un positionnement incorrect, de la fatigue ou une activité peu motivante pour l’élève. Ces éléments doivent être pris en compte pour éviter de tirer des conclusions hâtives sur la performance de l’élève.

Il est important de privilégier une comparaison intra-individuelle pour évaluer les progrès de l’élève plutôt que de chercher à établir des normes générales. Par ailleurs, dans l’analyse des données, la moyenne, bien que couramment utilisée, est sensible aux valeurs extrêmes (par exemple, les distributions (0,10,20,30,40) et (0,0,0,25,75) ont la même moyenne, bien qu’elles reflètent des comportements très différents). La médiane, en revanche, est moins influencée par ces valeurs atypiques et peut être un indicateur plus fiable pour les utilisateurs de switch ayant des besoins complexes, car elle minimise l’impact des distractions ou interruptions ponctuelles.

Probabilité de causalité

Lorsque l’élève performe bien lors de l’activité (appuie aux bons moments), il est probable qu’il ait une certaine conscience de la causalité (entre son influence sur l’environnement et le déroulement de l’activité). Cet indice est une tentative d’établir une valeur numérique par rapport à la probabilité que ses gestes lors du déroulement de l’activité démontrent une certaine compréhension de la causalité (qui n’est pas à considérer de manière dichotomique, d’où le score en pourcentage). Le pourcentage est un indice basé sur un ensemble de probabilités. C’est une donnée très expérimentale qui nécessite plusieurs présuppositions :

Les cas suivants auraient donc un score bas à cet indicateur : élève qui pèse tout le temps de manière répétitive à haute fréquence, élève qui appuie à des moments au hasard de manière sporadique ou un élève qui appuie très peu de manière générale. Le cas suivant aurait un score élevé : un élève qui appuie principalement lorsque l’indicateur est présenté.

L’équation qui calcule cet indice de cause à effet se base sur plusieurs étapes :

  1. Rapidité des pauses : on compare la durée médiane des temps de pause à un seuil de référence (30 secondes), pour obtenir un ratio évaluant la promptitude de l’utilisateur.
  2. Pertinence des appuis : on calcule la proportion d’appuis corrects (moments opportuns) par rapport aux appuis erronés, afin d’obtenir un second ratio reflétant la justesse de l’action.
  3. Gestion des extrêmes : les valeurs extrêmes (pauses excessivement longues, appuis en trop grand nombre) sont pardonnées pour éviter qu’elles ne biaisent trop le score puisqu’elles ne sont pas nécessairement indicatrices d’une mauvaise compréhension de la relation de cause à effet.
  4. Combinaison : ces deux ratios sont pondérés et combinés (rapidité, pertinence). On soustrait ensuite une pénalité supplémentaire si l’utilisateur « spamme » la switch de manière exagérée.
  5. Conversion en pourcentage : le score final (entre 0 et 1) est multiplié par 100 pour donner une probabilité de cause à effet en pourcentage.

Score

Le score est une valeur numérique qui prend en compte la moyenne du temps de pause, la proportion du temps de pause et la quantité d’appuis non nécessaires. Ces valeurs ont un poids (pondération) à peu près équivalent. Donc, un élève qui a un temps de pause bas, qui appuie peu aux mauvais moments aura un score élevé. La formule est semblable au score de cause à effet mais est plus simple, prend davantage en compte les résultats extrêmes et présente une pondération différente, afin de permettre un plus large éventail de résultats.


Conclusion

Cette procédure est expérimentale. Elle n’est pas validée scientifiquement. Cependant, avec la clientèle d'élèves ayant les besoins les plus complexes, très peu d’outils permettant une quantification sont disponibles. Ceci en est donc une tentative. Il pourrait être utile pour plusieurs tests différents : déterminer quelle switch fonctionne mieux pour l’élève, quel positionnement est le plus efficace ou évaluer s’il a progressé entre deux moments distincts.

↑ Retour en haut