Création d’un score global dans le cadre d’une épreuve adaptative

Fabrice Murat and Thierry Rocher

Économie et Statistique, 2009, vol. 424, issue 1, 149-178

Abstract: [ger] Die Erstellung eines globalen Kompetenzindikators anhand der bei Übungsaufgaben abgegebenen Antworten erfordert besondere statistische Techniken, die komplexer als das bloßen Zählen richtiger Antworten sind. Der Rückgriff auf diese Techniken ist vor allem nützlich, wenn nicht alle bewerteten Personen die gleichen Übungsaufgaben gemacht haben. Dies ist der Fall in der Erhebung Information und Alltag, . bei der die Übungsaufgaben in einem adaptativen Rahmen vorgeschlagen werden, um die Motivation der befragten Personen zu verbessern, insbesondere derjenigen, die die Schule seit langem verlassen haben. Je nach den bei der ersten Übung erzielten Ergebnissen werden danach bei der Erhebung mehr oder weniger schwierige Fragen gestellt. Dieses Verfahren verbessert zwar erheblich die Bedingungen für die Datenerfassung und die Datenqualität, erschwert aber auch die Schätzung eines globalen Kompetenzindikators, der für die gesamte Bevölkerung gültig ist. Denn wie können die Ergebnisse miteinander verglichen werden, wenn nicht alle die gleichen Übungsaufgaben gemacht haben? In diesem Artikel werden unterschiedliche Methoden zur Berücksichtigung dieses Orientierungsverfahrens vorgeschlagen. Getestet werden sie mittels fiktiver Daten, um ihre Robustheit und ihre Grenzen zu analysieren. Der Informationsverlust aufgrund dieses Orientierungsverfahrens ist zwar gering, aber nicht gleich insbesondere bei einer Vielzahl von Personen, bei denen möglicherweise zu schwierigen oder zu leichteren Übungen übergegangen werden muss. Diese Ergebnisse zeigen, dass die Struktur der Übungsaufgaben bei der nächsten Erhebung etwas geändert werden muss. [fre] La construction d’un indicateur global de compétence à partir de réponses à des exercices fait appel à des techniques statistiques spécifiques, plus complexes que le simple comptage des bonnes réponses. Le recours à ces techniques est particulièrement utile quand tous les individus évalués n’ont pas passé les mêmes épreuves. C’est le cas dans l’enquête Information et Vie Quotidienne, . où les exercices sont proposés dans un cadre adaptatif, pour améliorer la motivation des personnes interrogées, surtout de celles qui sont sorties depuis fort longtemps de l’école. En fonction des résultats au premier exercice, l’enquêté se voyait proposer des questions plus ou moins difficiles. Si cette procédure améliore sensiblement les conditions de collecte et la qualité des données recueillies, elle engendre des difficultés particulières lors de l’estimation d’un indicateur de compétence global, valable pour toute la population. En effet, comment comparer les résultats de populations n’ayant pas passé les mêmes épreuves? Cet article propose différentes méthodes pour tenir compte de ce processus d’orientation. Elles sont testées sur des données fictives, pour en étudier la robustesse et les limites. Si la perte d’information induite par le processus d’orientation est assez minime, elle n’est cependant pas nulle, en particulier pour un nombre important de personnes se situant autour des seuils d’orientation vers les exercices difficiles ou vers les exercices faciles. Ces résultats suggèrent quelques aménagements dans la structure des épreuves pour la prochaine édition de l’enquête. [eng] The construction of an overall skill indicator from answers to test exercises requires special statistical methods that are more complex than the mere tabulation of correct answers. Such methods are particularly useful when the persons assessed have not all taken the same tests. That is the case with the 2004 Information and Daily Life Survey (Information et Vie Quotidienne: IVQ), in which the exercises were adapted to the respondent’s skill level in order to increase motivation, particularly for respondents who had left school a long time earlier. The results of the first test were used to set the difficulty of subsequent questions. This “orientation” procedure substantially improves collection conditions and data quality, but it generates special difficulties for estimating an overall skill indicator valid for the entire population. How can we compare results for groups that have not taken the same tests? Our article suggests various methods to allow for the orientation procedure. We tested them on fictitious data to assess their robustness and limits. This information loss caused by orientation is rather modest but not null— particularly for a significant number of persons situated around the threshold levels where they are channelled toward the hard tests or the easy tests. These results suggest some adjustments that should be made in the test structure for the next edition of the Survey. [spa] La construcción de un indicador global de competencia a partir de respuestas a ejercicios requiere técnicas estadísticas específicas, más complejas que el simple recuento de respuestas correctas. El recurso a estas técnicas es particularmente útil cuando todas las personas evaluadas no han pasado las mismas pruebas. Es lo que pasa en la encuesta Información y vida cotidiana . (IVQ), donde se proponen ejercicios en un marco adaptativo para mejorar la motivación de las personas interrogadas, sobre todo de las que terminaron la escuela hace mucho tiempo. En función de los resultados en el primer ejercicio, se planteaban preguntas más o menos difíciles al encuestado. Aunque este procedimiento mejora sensiblemente las condiciones de recogida y la calidad de los datos recogidos, genera particulares dificultades en la estimación de un indicador de competencia global, válido para toda la población. En efecto, ¿ cómo comparar los resultados de poblaciones que no han pasado las mismas pruebas? Este artículo ofrece distintos métodos para tener en cuenta este proceso de orientación. Se han probado con datos ficticios, para estudiar su solidez y sus límites. Aunque la pérdida de información inducida por el proceso de orientación es bastante mínima, con todo no es nula, en particular para un número importante de personas situadas en torno a umbrales de orientación hacia los ejercicios difíciles o hacia los ejercicios fáciles. Estos resultados sugieren algunas ordenaciones en la estructura de las pruebas para la próxima edición de la encuesta.

Date: 2009
Note: DOI:10.3406/estat.2009.8035
References: View complete reference list from CitEc
Citations: View citations in EconPapers (2)

Downloads: (external link)
https://doi.org/10.3406/estat.2009.8035 (text/html)
https://www.persee.fr/doc/estat_0336-1454_2009_num_424_1_8035 (text/html)

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:prs:ecstat:estat_0336-1454_2009_num_424_1_8035

Access Statistics for this article

Économie et Statistique is currently edited by Institut National de la Statistique et des Études Économiques (INSEE)

More articles in Économie et Statistique from Programme National Persée
Bibliographic data for series maintained by Equipe PERSEE ().