13. Un test statistique omnibus pour la comparaison pré-post

Le challenge pour toute personne qui s’intéresse à l’évolution dans le temps des performances d’un patient est de mettre en évidence un changement. Ce changement devrait aller dans le sens de l’amélioration (e.g., récupération partielle des capacités attentionnelles dans les années qui suivent un traumatisme crânien) ou de la détérioration (e.g., dégradation de la performance mnésique en l’espace de 2 ou 3 ans en lien avec l’installation progressive d’un syndrome démentiel). Se contenter du ressenti subjectif et déclaratif du patient, ou se centrer sur l’inspection des performances du patient au fil du temps n’est pas suffisant. Disposer d’un refuge statistique peut s’avérer utile. Le présent texte se centre sur l’aspect statistique uniquement et, de ce fait, ne peut avoir qu’un objectif limité : permettre au clinicien et au chercheur d’objectiver statistiquement un changement.

Classiquement, le praticien a recours à une norme à laquelle il compare la performance de son patient. Il s’agit le plus souvent du calcul de la distance du score du patient par rapport à la moyenne de l’échantillon normatif de référence, exprimée en unités (écarts) standardisées et représentée par la lettre z (eq.1):

Dans cette équation simple, t_i est le score obtenu par le patient lors de l’évaluation i, T_i r

eprésente la moyenne de l’échantillon normatif, et S_i son écart-type. En général, les informations données par le patient, sa famille, son dossier médical et les observations cliniques permettent d’émettre une hypothèse unilatérale gauche (performance plus faible que celle de l’échantillon normatif) et, par conséquent, le seuil au-delà duquel une différence significative par rapport à l’échantillon normatif survient est de z = -1.65. Il est important de noter, ici, que ce seuil ne vaut que pour une population de référence qui se distribue normalement et d’effectif important.

Une pratique courante lors d’évaluation successives d’un même patient (par exemple, phase t₁ et phase t₂) pour des raisons de suivi consiste à calculer sa performance lors de la première phase (z₁) et conclure quant à la présence d’un éventuel déficit, puis à calculer sa performance lors de la deuxième phase (z₂) et conclure aussi quant à la présence d’un éventuel déficit. Si par exemple z₁ = -2.2 alors la présence d’un déficit peut être évoquée, et si z₂ = -1.2 alors deux conclusions sont fréquemment tirées : (i) que le score du patient s’est « normalisé », en référence à l’échantillon normatif, et (ii) que sa performance s’est améliorée entre les deux phases d’évaluation. 

Alors que la première conclusion semble plutôt correcte (même si, parler de « normalisation » est un raccourci ; on devrait plutôt parler d’absence de différence par rapport à l’échantillon normatif), la seconde ne l’est pas. En effet, pour savoir si un changement s’est produit entre les deux phases d’évaluation, alors observer simplement ce qui se passe lors de chacune des phases ne suffit pas. Pour mieux comprendre ceci, décomposer la question d’origine devient nécessaire: Est-ce que la performance du patient s’est améliorée/dégradée en phase t₂ par rapport à la phase t₁ ? Une telle question implique 2 notions bien distinctes et successives, et toute évaluation du changement doit les prendre en considération : (i) la comparaison à la norme du score obtenu en phase t₁ et la comparaison à la norme du score obtenu en phase t₁; (ii) la comparaison statistique entre les deux phases d’évaluation . Répondre à la question de l’évolution de la performance dans le temps implique impérativement une comparaison statistique entre phase t₁ et phase t₂. Il est en effet possible que la performance change en passant de t₁ à t₂, mais que cela soit simplement le fruit du hasard, ou que de tels changements et variations soient également observés dans les performances de l’échantillon normatif sans pour autant qu’il soit question d’amélioration ou de dégradation. Un exemple différent peut également illustrer cela. Supposons que z₁ = -2.7 et en z₂ = -1.9. Dans les deux cas de figure le patient a des performances plus faibles que celles de l’échantillon normatif. Est-ce pour autant que nous pouvons conclure à une absence d’amélioration ? Il est tout à fait possible qu’une amélioration existe et qu’elle soit objectivable statistiquement. Il est tout à fait possible que l’approche thérapeutique n’ait pas permis une « normalisation » (ou alors, c’est encore trop tôt et des séances supplémentaires sont nécessaires). Par conséquent, la comparaison des scores du patient à chacune des phases d’évaluation à une norme n’est que la première étape de l’analyse. La seconde consistera à comparer les performances entre t₁ et t₂ tout en prenant en compte l’échantillon normatif. C’est plutôt la seconde étape d’analyse qui est la plus importante puisque c’est elle qui permettra de mettre en évidence une potentielle évolution.

Michael (2023) a décrit plusieurs manières d'évaluer ce changement de performance selon que l'on dispose d'une seule et unique norme, deux normes issues des mêmes individus, ou  deux normes issues d'individus différents. Ces tests utiles souffrent cependant de certaines faiblesses : (i) les 3 tests nécessitent des échantillons normatifs assez importants. Or, même si les échantillons globaux de la plupart de tests disponibles atteignent et dépassent largement la valeur théorique du N = 60, lorsque les différentes classes sont inspectées séparément (e.g., 70-80 ans, niveau socio-culturel 3 etc.), les échantillons disponibles sont souvent plus petits ; (ii) même si les 3 tests statistiques donnent à la fin un score z, son calcul est différent dans chaque cas de figure, ce qui peut donner des résultats non-comparables ; (iii) enfin, les 3 tests nécessitent des normes sous forme « moyenne et écart-type ». Quid alors des normes exprimées en percentiles ? D'autres limites également peuvent être énumérées.

Il serait ainsi souhaitable de disposer d’un seul test statistique, omnibus, qui pourrait (i) être employé dans n’importe lequel des 3 cas de figure précédents, qui (ii) pourrait permettre la comparaison entre deux phases même en cas de petits échantillons, et qui (iii) pourrait être employé également lorsque les normes de l’échantillon contrôle sont exprimées en percentiles. La statistique proposée est inspirée de travaux précédents portant sur l’analyse des proportions et semble répondre à ces souhaits. 

La statistique que nous pouvons appeler ici z’ consiste à employer l’équation 1 pour trouver z₁ et z₂, trouver les proportions correspondantes p₁ et p₂, et les comparer (eq.2)
 

où (eq.3)

Dans cette équation, p_i est la probabilité à z_i, N_i le nombre d’individus constituant l’échantillon normatif i, et la constante 1.65 correspond à la valeur du z considéré comme seuil de décision. Le z’ obtenu suit la loi normale et, ainsi, pour une hypothèse unilatérale de changement directionnel (amélioration ou détérioration de la performance), le seuil au-delà duquel un changement significatif survient est de |1.65|.

Lorsque les données normatives sont exprimées en percentiles, les équations 2 et 3 peuvent être employées directement sans passer par l’équation 1, à condition d’exprimer le percentile en proportion (i.e., diviser le percentile par 100). Deux cas de figure différents se présentent alors : (i) le tableau des normes donne le percentile exact dans lequel se situe le patient (e.g., percentile 25). Dans ce cas, aucune autre démarche n’est à réaliser ; (ii) le tableau des normes donne le percentile approximatif dans lequel se situe le patient (e.g., entre percentile 25 et 30). Dans ce cas, le percentile exact doit être calculé avant de l’employer dans l’équation 2 ou 3. 

La statistique z' permet de tirer des conclusions claires quant à l’existence d’une évolution dans la performance du patient. Il est ainsi recommandé de l'utiliser en complément du z classique qui permet de situer le patient par rapport à l’échantillon de référence. 

❇ Demandez le fichier excel permettant d'effectuer la comparaison pré-post décrite ici (ainsi que toutes les autres décrites dans Michael (2023), ainsi que le calcul des percentiles exacts: george.michael@univ-lyon2.fr

Références

Gourevitch V, Galanter E. A significance test for one parameter isosensitivity functions. Psychometrika 1967; 32 (1): 25-33.

Marascuilo L. Extensions of the significance test for one-parameter signal detection hypotheses. Psychometrika 1970; 35 (2): 237-243.

Michael GA. A significance test of interaction in 2 x K designs with proportions. Tutor Quant Methods Psychol 2007; 3 (1): 1-7.

Michael G.A. (2023). Trois visages de l’analyse statistique prétest-posttest du cas unique et la proposition d’un quatrième, omnibus. Revue de Neuropsychologie Neurosciences Cognitives et Cliniques, doi: 10.1684/nrp.2023.0761