The reality of assessing ‘authentic’ electronic portfolios: Can electronic portfolios serve as a form of standardized assessment to measure literacy and self-regulated learning at the elementary level? / L’évaluation d’e-portfolio «authentiques»

Abstract

This study explores electronic portfolios and their potential to assess student literacy and self-regulated learning in elementary-aged children. Assessment tools were developed and include a holistic rubric that assigns a mark from 1 to 5 to self-regulated learning (SRL) and a mark to literacy, and an analytical rubric measuring multiple sub-scales of SRL and literacy. Participants in grades 4, 5 and 6 across two years created electronic portfolios, with n=369 volunteers. Some classes were excluded from statistical analyses in the first year due to low implementation and some individuals were excluded in both years, leaving n=251 included in analyses. All portfolios were coded by two coders, and the inter-rater reliability explored. During the first year Cohen’s kappa ranged from 0.70 to 0.79 for literacy and SRL overall, but some sub-scales were unacceptably weak. The second year showed improvement in Cohen’s kappa overall and especially for the sub-scales, reflecting improved implementation of the portfolios and use of the assessment tools. Validity was explored by comparing the relationship of portfolio scores to other measures, including the government scores on the open-response literacy questions for the Canadian Achievement Tests (version 4), the scores we assigned to the CAT-4s using our assessment tools, and scores on the Student Learning Strategies Questionnaire (SLSQ) measuring SRL. The portfolio literacy scores correlated (p<0.01) to scores we assigned the CAT-4s using our assessment tools, and to government pre-CAT-4 scores, but the self-regulatory learning scores did not correlate to our measure of student’s self-regulation. The results suggest that electronic portfolio assessment is time-consuming and difficult due to the range of varying evidence within even a single individual’s portfolio and that it may not be fair to do across diverse classrooms unless there are shared guidelines or tasks. L’évaluation d’e-portfolio «authentiques» : Les e-portfolios peuvent-ils servir d’évaluation standardisée pour mesurer la littératie et l’apprentissage autorégulé à l’élémentaire? Cette étude explore les e-portfolios et leur potentiel pour l’évaluation de la littératie et de l’apprentissage autorégulé chez les enfants de l’école primaire. Des outils d’évaluation ont été élaborés et comprennent un barème général qui attribue une note de 1 à 5 pour l’apprentissage autorégulé (AAR), une note pour la littératie et un barème d’analyse permettant de mesurer plusieurs sous-échelles de l’AAR et de l’alphabétisation. Les participants en 4e, 5e et 6e années ont créé sur une période de deux ans des e-portfolios, avec n = 369 bénévoles. Certaines classes ont été exclues des analyses statistiques dans la première année en raison d’une faible mise en œuvre et certaines personnes ont été exclues dans les deux années, réduisant les analyses à n = 251. Tous les e-portfolios ont été codés par deux codeurs et la fiabilité entre les évaluateurs a été explorée. Au cours de la première année, le coefficient kappa de Cohen variait globalement de 0,70 à 0,79 pour la littératie et l’AAR, mais certaines sous-échelles étaient trop faibles. À la deuxième année, il y a eu une amélioration dans le coefficient kappa de Cohen en général et en particulier pour les sous-échelles, reflétant une amélioration de la mise en œuvre des e-portfolios et de l’utilisation des outils d’évaluation. La validité a été évaluée en comparant la relation entre les résultats des e-portfolios et d’autres mesures, y compris les résultats du gouvernement sur les questions de littératie à réponses ouvertes du Canadian Achievement Tests (version 4), les résultats que nous avions assignés au CAT-4 à l’aide de nos outils d’évaluation et les résultats du Student Learning Strategies Questionnaire (SLSQ) mesurant l’AAR. Les résultats de littératie du e-portfolio sont en corrélation (p < 0,01) avec les résultats que nous avions attribués aux CAT-4 à l’aide de nos outils d’évaluation et avec les résultats du pré-CAT du gouvernement, mais les résultats de l’AAR ne sont pas en corrélation avec notre mesure de l’autorégulation des étudiants. Les résultats suggèrent d’une part que l’évaluation par e-portfolio prend beaucoup de temps et s’avère difficile en raison de l’éventail de données variables dans le e-portfolio même d’une seule personne et, d’autre part, qu’elle ne peut pas être faite de façon appropriée dans plusieurs classes à la fois, sauf s’il existe des lignes directrices ou des tâches communes.