Tableaux publiés sur les évaluations passées, comparés aux prédictions des modèles
Cette page reprend des tableaux publiés par la DEPP sur les évaluations passées de la dictée. Chaque tableau est complété par les mêmes indicateurs calculés sur le corpus du projet : codage expert et prédictions des modèles.
Périmètre de la comparaison. Le corpus du projet ne contient que des copies de 2015. Les lignes calculées se comparent donc à la ligne 2015 publiée. Les copies vierges sont écartées, comme les élèves absents d’une évaluation. Le champ publié est le secteur public de France métropolitaine. Celui du corpus peut différer légèrement.
Répartition du nombre d’erreurs
Une erreur est un mot mal orthographié ou un signe de ponctuation erroné, sur 83 items. Un mot absent compte comme une erreur. La moyenne et l’écart-type publiés viennent de la figure 4 de la même note.
Répartition du nombre d’erreurs à la dictée (en % d’élèves), moyenne et écart-type (en nombre d’erreurs)
Année
Source
≤ 2 erreurs
≤ 5 erreurs
≤ 10 erreurs
≥ 15 erreurs
≥ 25 erreurs
Moyenne
Écart-type
1987
DEPP, publié
12,9
30,7
58,1
26,2
6,9
10,7
8,4
2007
DEPP, publié
5,8
15,6
36,6
45,7
13,2
14,7
9,1
2015
DEPP, publié
2,0
7,7
24,4
59,4
22,7
18,0
9,9
2021
DEPP, publié
1,9
7,0
21,9
63,0
27,5
19,4
11,0
2015
Codage expert (corpus projet)
1,8
7,3
24,5
59,2
22,7
18,0
10,0
2015
end-to-end · gemma4-26b-moe
4,6
10,3
26,3
54,7
15,8
16,4
9,4
2015
end-to-end · qwen3-6-35b-moe
9,3
23,9
55,1
24,3
5,6
11,1
8,3
2015
end-to-end · qwen3-8-27b
19,2
39,2
66,4
19,9
5,3
9,3
8,8
2015
two-stage · gemma4-26b-moe
0,2
0,7
4,6
88,7
61,7
30,4
14,2
2015
two-stage · qwen3-6-35b-moe
2,3
9,6
28,1
56,1
26,9
19,5
13,8
Source des lignes publiées : DEPP, enquête Orthographe 1987, 2007, 2015, 2021. Note d’Information n° 22.37, décembre 2022.
Lecture. La ligne du codage expert valide le corpus : elle retrouve la ligne 2015 publiée. Les lignes des modèles montrent l’écart introduit par le codage automatique. Un modèle qui sous-estime le nombre d’erreurs décale la répartition vers 1987. Un modèle qui le surestime la décale vers 2021 et au-delà.
Taux de réussite par item
Figure 3 de la Note d’Information 22.37. Le taux de réussite est la part des élèves qui écrivent correctement l’item (code 1).
Synthèse par modèle
L’écart moyen absolu résume, en points, la distance entre les taux du modèle et ceux de l’expert sur les 83 items.
Distance au codage expert des taux de réussite par item
Comparé au codage expert 2015
Écart moyen absolu (points)
Items à 10 points ou plus
DEPP 2015, publié
0,9
1
end-to-end · gemma4-26b-moe
7,4
20
end-to-end · qwen3-6-35b-moe
8,5
22
end-to-end · qwen3-8-27b
11,0
32
two-stage · gemma4-26b-moe
17,4
54
two-stage · qwen3-6-35b-moe
10,5
32
La ligne DEPP mesure l’écart entre l’échantillon publié et le corpus du projet. Elle donne l’ordre de grandeur d’un écart négligeable.
Détail par phrase
La dictée est découpée en phrases, comme dans la note. Les lignes grises sont publiées par la DEPP. La ligne en gras est le codage expert du corpus. Les dernières lignes donnent les taux du modèle choisi.
end-to-end vs two-stage, pour ce modèle
Écart du modèle à l’expert :+10 pts ou plus+5 à +10 pts−5 à −10 pts−10 pts ou plus
Bleu : le modèle valide plus souvent que l’expert (sur-correction). Orange : il sanctionne plus souvent (sur-détection). L’écart exact s’affiche au survol.
Le
soir
tombait
.
Papa
et
maman
,
inquiets
,
1987
99,1
98,7
87,0
97,2
96,9
99,0
99,5
95,4
46,2
90,8
2007
99,5
96,3
63,0
97,5
95,8
98,9
99,3
98,2
32,4
95,6
2015
99,5
95,0
55,7
96,7
94,4
98,4
99,5
97,4
25,5
94,3
2021
97,6
94,1
56,9
96,7
92,3
97,6
98,8
96,3
25,3
90,8
Expert 2015
99,3
95,1
57,0
96,5
94,4
98,2
81,9
97,1
26,7
94,1
end-to-end
98,9
93,3
57,1
92,8
93,3
97,6
89,1
98,4
37,7
94,2
two-stage
89,6
90,9
47,9
69,9
87,0
96,1
79,7
84,3
26,5
62,0
se
demandaient
pourquoi
leurs
quatre
garçons
n'
étaient
pas
rentrés
.
1987
96,1
70,5
93,4
73,8
74,0
93,5
96,1
83,1
98,7
66,7
97,3
2007
92,6
48,9
91,6
63,1
77,4
83,1
96,0
60,6
98,8
45,5
98,1
2015
88,6
40,5
89,2
60,0
69,6
77,8
92,5
50,8
97,5
34,9
95,6
2021
89,7
42,8
84,9
55,3
66,6
76,1
87,9
51,9
96,7
36,3
93,4
Expert 2015
88,4
42,0
89,2
60,7
68,5
78,0
92,8
52,5
97,3
36,8
95,2
end-to-end
90,5
47,3
91,3
53,1
77,6
55,6
82,1
42,5
95,3
28,5
91,5
two-stage
84,2
42,7
87,0
57,4
79,7
63,6
72,6
54,9
91,4
44,8
72,6
-
Les
gamins
se
sont
certainement
perdus
,
dit
maman
.
1987
93,8
97,4
91,2
92,8
97,1
61,4
69,7
91,5
97,7
99,5
97,2
2007
91,5
97,1
86,5
87,5
94,0
49,9
46,5
93,8
95,1
99,2
97,0
2015
89,6
94,6
85,4
86,3
93,7
47,8
35,4
90,0
89,3
98,3
95,1
2021
82,5
90,6
81,8
84,5
90,6
43,1
35,6
86,7
87,1
97,2
94,8
Expert 2015
87,8
94,7
86,1
85,4
93,9
48,3
36,6
89,5
88,9
90,7
95,2
end-to-end
92,6
89,6
83,1
91,2
93,7
72,6
50,0
94,4
95,5
91,8
96,1
two-stage
39,1
69,7
74,9
76,8
88,5
75,9
44,1
63,7
79,5
78,3
73,3
S'
ils
n'
ont
pas
encore
retrouvé
leur
chemin
,
1987
87,9
75,4
90,5
89,1
99,3
92,7
47,7
89,1
92,2
91,9
2007
72,0
56,6
82,5
78,0
98,3
88,3
44,2
80,4
85,6
91,7
2015
62,1
50,5
76,5
71,6
98,5
84,6
38,0
76,3
79,9
89,9
2021
57,5
53,2
75,2
71,9
97,4
82,0
40,2
79,5
80,3
88,0
Expert 2015
63,0
51,8
77,2
72,3
98,2
85,0
38,5
76,4
80,3
89,9
end-to-end
74,2
63,9
79,8
82,6
94,1
81,3
55,5
77,0
78,1
50,0
two-stage
30,2
27,8
37,4
54,2
69,8
65,3
44,7
65,6
67,5
18,0
nous
les
verrons
arriver
très
fatigués
à
la
maison
.
1987
98,6
98,8
60,6
54,5
92,8
66,4
95,6
99,3
97,9
96,9
2007
97,5
97,8
44,0
46,0
88,7
45,5
90,9
98,9
97,2
98,2
2015
96,5
97,6
34,8
43,2
83,0
38,5
86,7
98,4
95,9
96,5
2021
95,4
96,4
36,9
46,7
79,5
35,8
86,1
97,7
94,5
95,7
Expert 2015
96,4
97,4
35,3
43,5
83,3
39,5
86,8
98,1
95,4
96,2
end-to-end
87,7
92,3
50,1
65,6
75,3
32,6
92,6
97,3
91,7
94,7
two-stage
62,5
68,0
46,6
39,6
64,0
41,4
61,3
76,9
75,8
67,5
-
Pourquoi
ne
pas
téléphoner
à
Martine
?
1987
93,3
92,1
98,5
99,1
65,5
91,5
88,0
91,6
2007
93,3
90,2
98,5
99,0
57,0
87,1
87,6
95,3
2015
90,6
85,5
97,7
98,5
53,3
83,4
84,9
92,6
2021
86,4
79,3
96,3
97,8
54,7
81,2
80,6
90,5
Expert 2015
88,7
85,6
96,8
97,7
54,1
83,2
85,0
91,9
end-to-end
93,2
72,8
89,8
95,5
63,5
90,3
76,7
94,5
two-stage
31,9
73,1
77,8
82,5
50,1
71,2
61,1
71,3
Elle
les
a
peut-être
vus
!
1987
82,7
96,4
85,9
67,7
32,2
89,0
2007
87,7
93,8
84,7
65,1
29,3
93,9
2015
84,0
92,0
77,0
51,8
16,8
87,7
2021
82,1
91,1
73,9
52,8
17,4
84,3
Expert 2015
83,7
91,6
77,4
51,3
18,1
87,6
end-to-end
90,6
94,2
92,4
42,5
30,5
90,6
two-stage
73,3
66,9
64,2
45,6
12,6
51,7
Aussitôt
dit
,
aussitôt
fait
!
1987
76,4
96,7
89,9
79,7
96,8
90,5
2007
65,9
93,1
89,1
66,0
90,1
95,2
2015
60,4
87,9
83,7
57,7
88,1
90,6
2021
52,1
81,8
82,5
52,4
87,5
89,0
Expert 2015
61,2
86,7
83,7
58,2
87,5
89,9
end-to-end
65,3
92,7
90,6
84,4
90,8
93,6
two-stage
39,0
64,6
37,9
57,2
66,4
65,5
À
ce
moment
,
le
chien
se
mit
à
aboyer
.
1987
91,6
70,6
92,4
89,3
98,9
98,3
94,2
89,1
81,8
74,2
93,7
2007
91,1
63,0
91,5
88,2
99,0
97,7
88,4
80,0
77,5
62,6
97,0
2015
85,6
57,8
89,4
85,7
98,7
96,8
85,9
76,3
66,8
60,4
93,5
2021
83,1
56,8
88,4
83,9
98,7
96,2
84,6
77,0
68,9
58,4
99,7
Expert 2015
85,4
59,0
89,1
85,3
97,8
96,1
84,9
76,2
67,1
60,9
92,5
end-to-end
75,8
87,4
88,9
91,7
93,7
89,5
92,4
84,2
84,4
72,5
89,4
two-stage
56,2
73,9
76,8
52,2
79,0
82,5
77,1
78,1
66,7
66,2
48,4
Le
soir
tombait
.
Papa
et
maman
,
inquiets
,
1987
99,1
98,7
87,0
97,2
96,9
99,0
99,5
95,4
46,2
90,8
2007
99,5
96,3
63,0
97,5
95,8
98,9
99,3
98,2
32,4
95,6
2015
99,5
95,0
55,7
96,7
94,4
98,4
99,5
97,4
25,5
94,3
2021
97,6
94,1
56,9
96,7
92,3
97,6
98,8
96,3
25,3
90,8
Expert 2015
99,3
95,1
57,0
96,5
94,4
98,2
81,9
97,1
26,7
94,1
end-to-end
99,3
99,2
60,9
97,7
98,0
99,1
87,7
99,4
38,3
98,9
two-stage
92,1
96,0
59,5
88,3
93,2
99,2
81,1
91,9
49,1
86,1
se
demandaient
pourquoi
leurs
quatre
garçons
n'
étaient
pas
rentrés
.
1987
96,1
70,5
93,4
73,8
74,0
93,5
96,1
83,1
98,7
66,7
97,3
2007
92,6
48,9
91,6
63,1
77,4
83,1
96,0
60,6
98,8
45,5
98,1
2015
88,6
40,5
89,2
60,0
69,6
77,8
92,5
50,8
97,5
34,9
95,6
2021
89,7
42,8
84,9
55,3
66,6
76,1
87,9
51,9
96,7
36,3
93,4
Expert 2015
88,4
42,0
89,2
60,7
68,5
78,0
92,8
52,5
97,3
36,8
95,2
end-to-end
98,1
51,7
97,3
69,7
77,8
79,2
91,3
58,0
98,5
38,5
98,5
two-stage
92,8
49,9
92,2
82,6
77,0
80,4
84,4
64,3
96,3
59,3
93,0
-
Les
gamins
se
sont
certainement
perdus
,
dit
maman
.
1987
93,8
97,4
91,2
92,8
97,1
61,4
69,7
91,5
97,7
99,5
97,2
2007
91,5
97,1
86,5
87,5
94,0
49,9
46,5
93,8
95,1
99,2
97,0
2015
89,6
94,6
85,4
86,3
93,7
47,8
35,4
90,0
89,3
98,3
95,1
2021
82,5
90,6
81,8
84,5
90,6
43,1
35,6
86,7
87,1
97,2
94,8
Expert 2015
87,8
94,7
86,1
85,4
93,9
48,3
36,6
89,5
88,9
90,7
95,2
end-to-end
93,8
96,8
94,8
96,9
95,3
76,0
39,2
97,5
98,7
93,9
98,6
two-stage
53,4
87,8
92,9
85,0
90,1
72,4
61,8
76,1
91,3
87,9
88,7
S'
ils
n'
ont
pas
encore
retrouvé
leur
chemin
,
1987
87,9
75,4
90,5
89,1
99,3
92,7
47,7
89,1
92,2
91,9
2007
72,0
56,6
82,5
78,0
98,3
88,3
44,2
80,4
85,6
91,7
2015
62,1
50,5
76,5
71,6
98,5
84,6
38,0
76,3
79,9
89,9
2021
57,5
53,2
75,2
71,9
97,4
82,0
40,2
79,5
80,3
88,0
Expert 2015
63,0
51,8
77,2
72,3
98,2
85,0
38,5
76,4
80,3
89,9
end-to-end
90,6
73,5
89,7
89,8
97,6
91,7
48,4
78,2
86,5
96,4
two-stage
59,1
53,7
74,5
78,7
90,6
87,4
66,6
65,6
72,7
72,0
nous
les
verrons
arriver
très
fatigués
à
la
maison
.
1987
98,6
98,8
60,6
54,5
92,8
66,4
95,6
99,3
97,9
96,9
2007
97,5
97,8
44,0
46,0
88,7
45,5
90,9
98,9
97,2
98,2
2015
96,5
97,6
34,8
43,2
83,0
38,5
86,7
98,4
95,9
96,5
2021
95,4
96,4
36,9
46,7
79,5
35,8
86,1
97,7
94,5
95,7
Expert 2015
96,4
97,4
35,3
43,5
83,3
39,5
86,8
98,1
95,4
96,2
end-to-end
97,3
97,1
63,3
52,6
94,8
45,1
96,3
98,4
97,5
97,7
two-stage
82,9
83,4
56,8
42,3
86,3
56,1
86,4
89,2
89,3
86,7
-
Pourquoi
ne
pas
téléphoner
à
Martine
?
1987
93,3
92,1
98,5
99,1
65,5
91,5
88,0
91,6
2007
93,3
90,2
98,5
99,0
57,0
87,1
87,6
95,3
2015
90,6
85,5
97,7
98,5
53,3
83,4
84,9
92,6
2021
86,4
79,3
96,3
97,8
54,7
81,2
80,6
90,5
Expert 2015
88,7
85,6
96,8
97,7
54,1
83,2
85,0
91,9
end-to-end
93,7
94,8
95,9
97,8
70,9
96,7
91,7
95,0
two-stage
57,8
88,1
87,9
90,5
74,2
89,9
71,6
84,8
Elle
les
a
peut-être
vus
!
1987
82,7
96,4
85,9
67,7
32,2
89,0
2007
87,7
93,8
84,7
65,1
29,3
93,9
2015
84,0
92,0
77,0
51,8
16,8
87,7
2021
82,1
91,1
73,9
52,8
17,4
84,3
Expert 2015
83,7
91,6
77,4
51,3
18,1
87,6
end-to-end
93,2
93,5
92,8
75,9
41,0
92,7
two-stage
84,2
83,1
76,0
70,2
32,7
69,8
Aussitôt
dit
,
aussitôt
fait
!
1987
76,4
96,7
89,9
79,7
96,8
90,5
2007
65,9
93,1
89,1
66,0
90,1
95,2
2015
60,4
87,9
83,7
57,7
88,1
90,6
2021
52,1
81,8
82,5
52,4
87,5
89,0
Expert 2015
61,2
86,7
83,7
58,2
87,5
89,9
end-to-end
85,7
94,4
96,7
87,0
93,1
93,9
two-stage
64,2
76,0
49,2
64,4
75,6
73,7
À
ce
moment
,
le
chien
se
mit
à
aboyer
.
1987
91,6
70,6
92,4
89,3
98,9
98,3
94,2
89,1
81,8
74,2
93,7
2007
91,1
63,0
91,5
88,2
99,0
97,7
88,4
80,0
77,5
62,6
97,0
2015
85,6
57,8
89,4
85,7
98,7
96,8
85,9
76,3
66,8
60,4
93,5
2021
83,1
56,8
88,4
83,9
98,7
96,2
84,6
77,0
68,9
58,4
99,7
Expert 2015
85,4
59,0
89,1
85,3
97,8
96,1
84,9
76,2
67,1
60,9
92,5
end-to-end
84,7
94,2
95,8
96,6
97,6
96,9
95,9
81,9
94,9
80,5
94,4
two-stage
30,1
75,0
80,5
67,5
84,8
86,6
81,6
73,1
79,8
76,6
76,3
Le
soir
tombait
.
Papa
et
maman
,
inquiets
,
1987
99,1
98,7
87,0
97,2
96,9
99,0
99,5
95,4
46,2
90,8
2007
99,5
96,3
63,0
97,5
95,8
98,9
99,3
98,2
32,4
95,6
2015
99,5
95,0
55,7
96,7
94,4
98,4
99,5
97,4
25,5
94,3
2021
97,6
94,1
56,9
96,7
92,3
97,6
98,8
96,3
25,3
90,8
Expert 2015
99,3
95,1
57,0
96,5
94,4
98,2
81,9
97,1
26,7
94,1
end-to-end
96,4
98,9
68,7
94,6
96,2
99,3
88,4
99,2
41,2
97,7
se
demandaient
pourquoi
leurs
quatre
garçons
n'
étaient
pas
rentrés
.
1987
96,1
70,5
93,4
73,8
74,0
93,5
96,1
83,1
98,7
66,7
97,3
2007
92,6
48,9
91,6
63,1
77,4
83,1
96,0
60,6
98,8
45,5
98,1
2015
88,6
40,5
89,2
60,0
69,6
77,8
92,5
50,8
97,5
34,9
95,6
2021
89,7
42,8
84,9
55,3
66,6
76,1
87,9
51,9
96,7
36,3
93,4
Expert 2015
88,4
42,0
89,2
60,7
68,5
78,0
92,8
52,5
97,3
36,8
95,2
end-to-end
98,2
50,0
96,1
68,5
93,9
62,9
95,8
64,3
98,9
47,8
98,0
-
Les
gamins
se
sont
certainement
perdus
,
dit
maman
.
1987
93,8
97,4
91,2
92,8
97,1
61,4
69,7
91,5
97,7
99,5
97,2
2007
91,5
97,1
86,5
87,5
94,0
49,9
46,5
93,8
95,1
99,2
97,0
2015
89,6
94,6
85,4
86,3
93,7
47,8
35,4
90,0
89,3
98,3
95,1
2021
82,5
90,6
81,8
84,5
90,6
43,1
35,6
86,7
87,1
97,2
94,8
Expert 2015
87,8
94,7
86,1
85,4
93,9
48,3
36,6
89,5
88,9
90,7
95,2
end-to-end
94,8
95,0
95,0
98,8
96,8
87,5
49,7
95,4
95,0
94,1
96,7
S'
ils
n'
ont
pas
encore
retrouvé
leur
chemin
,
1987
87,9
75,4
90,5
89,1
99,3
92,7
47,7
89,1
92,2
91,9
2007
72,0
56,6
82,5
78,0
98,3
88,3
44,2
80,4
85,6
91,7
2015
62,1
50,5
76,5
71,6
98,5
84,6
38,0
76,3
79,9
89,9
2021
57,5
53,2
75,2
71,9
97,4
82,0
40,2
79,5
80,3
88,0
Expert 2015
63,0
51,8
77,2
72,3
98,2
85,0
38,5
76,4
80,3
89,9
end-to-end
91,3
82,0
95,0
93,9
98,7
96,8
49,8
86,7
92,5
96,7
nous
les
verrons
arriver
très
fatigués
à
la
maison
.
1987
98,6
98,8
60,6
54,5
92,8
66,4
95,6
99,3
97,9
96,9
2007
97,5
97,8
44,0
46,0
88,7
45,5
90,9
98,9
97,2
98,2
2015
96,5
97,6
34,8
43,2
83,0
38,5
86,7
98,4
95,9
96,5
2021
95,4
96,4
36,9
46,7
79,5
35,8
86,1
97,7
94,5
95,7
Expert 2015
96,4
97,4
35,3
43,5
83,3
39,5
86,8
98,1
95,4
96,2
end-to-end
97,8
98,4
85,7
78,1
90,2
58,4
92,7
98,8
98,2
97,0
-
Pourquoi
ne
pas
téléphoner
à
Martine
?
1987
93,3
92,1
98,5
99,1
65,5
91,5
88,0
91,6
2007
93,3
90,2
98,5
99,0
57,0
87,1
87,6
95,3
2015
90,6
85,5
97,7
98,5
53,3
83,4
84,9
92,6
2021
86,4
79,3
96,3
97,8
54,7
81,2
80,6
90,5
Expert 2015
88,7
85,6
96,8
97,7
54,1
83,2
85,0
91,9
end-to-end
94,2
93,2
94,8
98,0
71,3
91,5
93,2
93,0
Elle
les
a
peut-être
vus
!
1987
82,7
96,4
85,9
67,7
32,2
89,0
2007
87,7
93,8
84,7
65,1
29,3
93,9
2015
84,0
92,0
77,0
51,8
16,8
87,7
2021
82,1
91,1
73,9
52,8
17,4
84,3
Expert 2015
83,7
91,6
77,4
51,3
18,1
87,6
end-to-end
93,3
94,4
94,2
87,0
67,9
90,7
Aussitôt
dit
,
aussitôt
fait
!
1987
76,4
96,7
89,9
79,7
96,8
90,5
2007
65,9
93,1
89,1
66,0
90,1
95,2
2015
60,4
87,9
83,7
57,7
88,1
90,6
2021
52,1
81,8
82,5
52,4
87,5
89,0
Expert 2015
61,2
86,7
83,7
58,2
87,5
89,9
end-to-end
85,4
94,6
95,1
88,1
95,2
93,9
À
ce
moment
,
le
chien
se
mit
à
aboyer
.
1987
91,6
70,6
92,4
89,3
98,9
98,3
94,2
89,1
81,8
74,2
93,7
2007
91,1
63,0
91,5
88,2
99,0
97,7
88,4
80,0
77,5
62,6
97,0
2015
85,6
57,8
89,4
85,7
98,7
96,8
85,9
76,3
66,8
60,4
93,5
2021
83,1
56,8
88,4
83,9
98,7
96,2
84,6
77,0
68,9
58,4
99,7
Expert 2015
85,4
59,0
89,1
85,3
97,8
96,1
84,9
76,2
67,1
60,9
92,5
end-to-end
86,8
96,2
97,2
96,5
97,8
97,4
96,4
85,7
91,3
85,8
92,7
Source des lignes 1987 à 2021 : DEPP, enquête Orthographe 1987, 2007, 2015, 2021. Note d’Information n° 22.37, décembre 2022.
La prévalence par item de la page Résultats donne les intervalles de confiance.
WarningChiffres non calculés ou incomplets
Non exporté(s), donc absent(s) des comparaisons : dictee_two_stage_qwen3-8-27b. Lancer le run puis uv run scripts/export_predictions.py --config … --model-name <modèle>. Runs disponibles sous s3://projet-production-ecrits-depp/predictions : dictee_end2end_gemma4-26b-moe, dictee_end2end_qwen3-6-35b-moe, dictee_end2end_qwen3-8-27b, dictee_two_stage_gemma4-26b-moe, dictee_two_stage_qwen3-6-35b-moe.
Copies écartées des métriques : 3 copie inexploitable(s), 57 illisible(s), 44 vierge(s) (par run). Une copie vierge est codée « absent » sans appel modèle, et un item illisible (code expert « i ») n’a reçu aucun jugement auquel comparer le modèle : les compter lui imputerait un défaut de numérisation ou d’annotation. Les inclure surestimait le kappa d’environ 0,02. Voir la décision D8.