Myths of Murder French

 

 

 

Mythes de Meurtre et Régression Multiple

Par Ted Goertzel

Rutgers University, Camden NJ 08102

Publié dans The Skeptical Inquirer, Volume 26, No 1, Janvier/Février 2002, pp. 19-23.
Traduction en Espagnol “El Modelo Econometrico Como Ciencia Basura,” in Psicologia Politica, No 24 (Valencia, Espagne).

Si vous souhaitez une version plus longue et plus technique de cet article en format Word, cliquez ici

Pensez-vous qu’à chaque fois qu’un prisonnier est exécuté aux États-Unis, huit futurs meurtriers sont dissuadés ? Pensez-vous qu’une augmentation de 1% dans le nombre de citoyens possédant une licence de port d’arme cause une diminution de 3.3% dans le taux de crime de l’état ? Pensez-vous que 10 à 20% du déclin des actes criminels dans les années 1990 ait pu être causé par une augmentation des avortements dans les années 1970 ? Ou que le taux de meurtre aurait augmenté de 250% depuis 1974 si les États-Unis n’avaient pas construit tant de nouvelles prisons ?

Si vous avez été trompé par l’une ou l’autre de ces études, vous pouvez vous être fait avoir par une science au rabais pernicieuse : l’utilisation de modèles mathématiques dans capacité prédictive démontrée permettant de tirer des conclusions politiques. Ces études sont impressionnantes en surface. Écrites par des sociologues réputés d’institutions prestigieuses, elles paraissent souvent dans des journaux scientifiques. Remplies de calculs statistiques complexes, elles donnent des « faits » chiffrés précis qui peuvent être utilisés comme points de débat dans des arguments politiques. Mais ces « faits » sont des feux-follets. Avant même que l’encre ne soit sèche sur une étude, une autre fait son apparition, prônant des « faits’ totalement différents. Malgré leur apparence scientifique, ces modèles ne remplissent pas les critères fondamentaux d’un modèle mathématique utile : la possibilité d’effectuer des prédictions meilleures que le hasard.

Bien que les économistes soient les plus grands pratiquants de cet art obscur, les sociologues, criminologues et autres scientifiques sociaux en ont aussi des versions. Elle est connue sous divers noms tels que « modélisation économétrique », « modélisation par équation structurelle » et « analyse de trajectoire ». Toutes celles-ci sont des moyens d’utiliser les corrélations entre les variables pour effectuer des interférences causales. Le problème est que, comme quiconque a pris un cours de statistique le sait, la corrélation n’est pas la causalité. Les corrélations entre deux variables sont souvent « fallacieuses » car elles sont causées par une troisième variable. Les modélisateurs économétriques tentent de surmonter ce problème en incluant toutes les variables concernées dans leurs analyses en utilisant une technique de statistique appelée « régression multiple ». Si l’on avait des mesures parfaites de toutes les variables causales, ceci pourrait fonctionner. Mais les données ne sont jamais suffisamment bonnes. Des efforts répétés pour utiliser la régression multiple pour obtenir des réponses définitives aux questions de politique publique ont échoué.

Mais de nombreux scientifiques sociaux sont réticents à accepter la défaite. Ils ont consacré des années à apprendre et enseigner la modélisation de la régression, et continuent d’utiliser la régression pour établir des arguments causals qui ne sont pas justifiés par leurs données. J’appelle ces arguments les mythes de la régression multiple, et je souhaiterais utiliser quatre études de taux de meurtre comme exemple.

Mythe Un: Plus d’Armes, Moins de Crime.

John Lott, un économiste de l’Université de Yale, a utilisé un modèle économétrique prônant que « permettre aux citoyens de porter des armes dissimulées dissuade les crimes violents, sans augmenter les décès accidentels ». L’analyse de Lott intégrait le fait que les lois « shall issue » qui demandent aux autorités locales d’octroyer un permis de port d’arme dissimulée à tout citoyen en règle avec la loi en faisant la demande. Lott estimait que chaque augmentation de un pourcent dans la possession d’arme dans une population entraine une diminution de 3.35 dans le taux d’homicide. Lott et sn co-auteur, David Mustard, publièrent la première version de leur étude sur Internet en 1997, et des dizaines de milliers de personnes l’avaient téléchargée. Elle fut le sujet de conversation sur des forums publics, articles de journaux, et souvent de débats complexes sur le World Wide Web. Lott provoqua ses critiques dans son livre au titre provocateur, Plus d’Armes, Moins de Crimes, les accusant de mettre l’idéologie avant la science.

Le travail de Lott est un exemple de surenchère statistique. Il offre de meilleures données et une analyse plus complexe que toutes les autres études sur le sujet. Il demande que quiconque souhaite défier ses arguments s’immerge dans un débat statistique très complexe basé sur des calculs tellement difficiles qu’ils ne peuvent être effectués sur des ordinateurs personnels ordinaires. Il défie quiconque est en désaccord avec lui de télécharger ses ensembles de données et refaire ses calculs, mais la plupart des scientifiques sociaux ne pensent pas qu’il est valable de reproduire les études en utilisant des méthodes qui ont échoué à maintes reprises. La majorité des chercheurs dans le domaine du contrôle des armes a simplement écarté les revendications e Lott et Mustard et ont continué leurs travaux. Deux chercheurs en droit pénal hautement respectés, Frank Zimring et Godron Hawkins (1997) ont écrit un article expliquant que :

tout comme messieurs Lot et Mustard peuvent, à partir d’une modèle des déterminants d’homicide, produire des résidus statistiques suggérant que les lois « shall issue » réduisent les homicides, nous attendons qu’un économétricien déterminé puisse effectuer un traitement des mêmes périodes historiques à base de modèles différents et effets opposés. La modélisation économétrique est une épée à double tranchant en sa capacité de facilitation des résultats statistiques capables de réchauffer le cœur des véritables tenants de toutes tendances confondues.

Zimring et Hawkins avaient raison. En un an, deux économétriciens, Dan Black et Daniel Nagin (1998) publièrent une étude prouvant que si ils modifiaient légèrement leur modèle statistique, ou l’appliquaient à différents segments des données, les résultats de Lott et Mustard disparaissaient Black et Nagin trouvèrent que lorsque la Floride était éliminée de l’échantillon, il n’y avait « aucun impact détectable des lois sur le droit de port d’arme sur le taux de meurtre et de viol ». Ils conclurent que « l’inférence basée sur le modèle de Lott et Mustard est inappropriée, et que leurs résultats ne peuvent pas être utilisés de manière responsable pour formuler une politique publique ».

John Lott, cependant, disputa leur analyse et continua à promouvoir la sienne. Lott avait recueilli des données sur chacun des cantons Américains pour chacune des années comprises entre 1977 et 1992. Le problème avec ces données, est que les cantons Américains diffèrent considérablement en taille et en caractéristiques sociales. Les plus castes d’entre-deux, contenant les villes les plus importantes, comptent pour un large pourcentage des meurtres aux États-Unis. Il se trouve qu’aucun de ces importants cantons ne possèdent de lois de contrôle des armes « shall issue ». Ceci signifie que l’imposant ensemble de données de Lott était simplement mal adapté à cette tâche. Il n’avait aucune variation dans la variable causale principale – lois « shall issue » – aux endroits dans lesquels la plupart des meurtres avaient été commis.

Il ne mentionnait pas cette limite dans ses livres ou articles. Lorsque j’ai découvert le manque de lois « shall issue » dans les grandes villes au cours de ma propre analyse de ses données, je lui en ai parlé. Il écarta mon commentaire en disant qu’il avait « contrôlé » la taille de la population dans son analyse. Mais introduire un contrôle statistique dans l’analyse mathématique ne compensait pas le fait qu’il n’avait simplement pas de données pour les villes principales dans lesquelles le problème de meurtre était le plus sévère.

Il me prit du temps pour trouver ce problème dans ses donnes, étant donné que je n’étais pas familier avec le problème du contrôle des armes. Mais Zimring et Hawkins s’étaient concentrés dessus immédiatement car ils savaient que les lois « shall issue » étaient instituées dans les états où la National Rifle Association était la plus puissante, surtout dans le sud, l’ouest et dans les zones rurales. Il s’agissait des états qui avaient déjà quelques restrictions sur les armes. Ils observèrent que cette histoire législative frustre « notre capacité à comparer les tendances dans les états « shall issue » avec les tendances des autres états. Étant donné que les états qui ont modifié la législation diffèrent en lieu et constitution des états qui ne l’ont pas fait, les comparaisons avec les catégories législatives risqueront toujours de confondre les influences démographiques et régionales avec l’impact comportemental des différents régimes légaux. » Zimring et Hawkins ont aussi observé que:

Lott et Mustard sont, bien sûr, au fait de ce problème Leur solution, une technique économétrique standard, est de construire un modèle statistique capable de contrôler toutes les différences entre l’Idaho et New York City qui influencent les taux d’homicide et de crime autres que les lois « shall issue ». Si l’on peut « spécifier » les influences majeures sur les homicides, les viols, les cambriolages et les vols de véhicules dans notre modèle, nous pouvons alors éliminer l’influence de ces facteurs sur les diverses tendances. Lott et Mustard ont construit des modèles qui estiment les effets des données démographiques, économiques et de punition pénales sur diverses offenses. Ces modèles sont les modèles ultimes en matière de statistiques personnelles, car ils sont créés pour les données établies par ces auteurs et uniquement testés sur les données qui seront utilisées dans l’évaluation des impacts du droit de port d’arme.

Lott et Mustard comparaient les tendances en Idaho, en West Virginia et Mississippi, avec les tendances de Washington D.C. et New York City. Ce qui arriva en fait, fut une explosion d’homicides liés au crack dans les principales villes de l’est dans les années 1980 et au début des années 1990. L’argument de Lott se résumait à dire que les états « shall issue » principalement ruraux et occidentaux n’étaient pas concernés par l’épidémie d’homicides liés au crack grâce à leurs lois « shall issue ». Ceci n’aurait jamais été pris au sérieux si ce n’avait pas été enfoui dans un labyrinthe d’équations.

Mythe Deux: Emprisonner Plus de Gens Réduit Le Crime

Le cas de Lott et Mustard était exceptionnel uniquement par l’importance de l’attention qu’il reçut. Il est assez courant, même typique pour des études rivales, d’être publiées en utilisant des méthodes économétriques pour atteindre des conclusions opposées sur les mêmes problèmes. Il n’y a souvent rien de manifestement mauvais avec l’une ou l’autre des analyses. Ils utilisent simplement des ensembles de données légèrement différents, ou des techniques différentes, pour obtenir des résultats différents. Il semblerait que les modélistes de la régression puissent atteindre le résultat qu’ils souhaitent sans enfreindre en aucune manière les règles de l’analyse de la régression. Dans une déclaration exceptionnellement franche de frustration avec cette situation, deux criminologues respectés, Thomas Marvell et Carlisle Moody (1997 :221), firent un rapport sur une étude qu’ils avaient réalisée sur l’effet de l’emprisonnement sur les taux d’homicide. Ils déclarèrent qu’ils :

ont largement fit circuler [leurs] conclusions ainsi que les données utilisées à des collègues spécialisés dans l’analyse quantitative. La réponse la plus fréquente est qu’ils refusent de croire les résultats, aussi bonne que soit l’analyse statistique. Derrière cette thèse se trouve la notion, souvent discutée de manière informelle mais rarement publiée, que les scientifiques sociaux peuvent obtenir le résultat désiré en manipulant les procédures utilisées. En fait, la large variété d’estimations concernant l’impact des populations des prisons est prise comme preuve de la malléabilité de la recherche. L’implication, même parmi les nombreuses personnes qui publient régulièrement des études quantitatives, est que quelle que soit la profondeur de l’analyse, lest résultats ne sont pas crédibles à moins qu’ils ne soient conformes aux attentes. Une discipline de recherche ne peut pas réussir dans un tel cadre.

À leur grand mérite, Marvell et Moody ont clairement reconnu les problèmes présentés par la régression multiple, et émis quelques suggestions d’amélioration. Malheureusement, certains économétriciens sont devenus tellement immergés dans leurs modèles qu’ils ne réalisent pas à quel point ils sont arbitraires. Ils en sont arrivés à croire que leurs modèles sont plus réels, plus valides, que la réalité embrouillée, récalcitrante, « non contrôlée » qu’ils prétendent expliquer.

Mythe Trois: Exécuter Les Gens Réduit le Crime

En 1975, l’Americain Economic Review a publié un article par un grand économiste, Isaac Ehrlich de l’University of Michigan, qui estimait que chaque exécution dissuadait huit homicides. Avent Ehrlich, le spécialiste le plus célèbre sur l’efficacité de la peine capitale était Thorsten Sellen, qui avait utilisé une méthode d’analyse beaucoup plus simple. Sellen préparait des graphiques comparant les tendances dans divers états. Il n’avait trouvé que très peu ou aucune différence entre les états avec et sans la peine capitale, et avait conclu que la peine de mort ne faisait aucune différence. Ehrlich, dans un acte de surenchère statistique, déclarait que son analyse était plus valable car elle contrôlait tous les facteurs qui influencent les taux d’homicide.

Même avant sa publication, les travaux d’Ehrlich étaient cités par le Solliciteur Général des États-Unis dans un amicus curiae déposé à la Cour Suprême des États-Unis en défense de la peine de mort. Heureusement, la Cour décida de ne pas se fier aux preuves d’Ehrlich car elle n’avait pas été confirmée par d’autres chercheurs. Ceci était sage, car après un an ou deux, d’autres chercheurs publièrent des analyses économétriques tout aussi sophistiquées montrant que la peine de mort n’avait pas d’effet dissuasif.

La controverse au sujet des travaux d’Ehrlich était si importante que le National Research Council réunit un groupe d’experts pour les analyser. Apres une analyse minutieuse, le groupe décida que le problème n’était pas seulement le modèle d’Ehrlich, mais aussi l’idée d’utiliser des méthodes économétriques pour résoudre les controverses concernant les politiques de justice pénale. Ils (Manski, 1978 :422) conclurent que :

étant donné que les données susceptibles d’être disponibles pour une telle analyse sont limitées, et que le comportement criminel peut être très complexe, l’émergence d’une étude comportementale formelle qui rejetterait la polémique sur les effets comportementaux des politiques de dissuasion ne doivent pas être attendus.

La majorité des experts pensent aujourd’hui que Sellen avait raison, que la peine capitale n’a pas d’effet démontrable sur les taux de meurtre. Mais Ehrlich n’a pas été persuadé. Il est maintenant un croyant isolé en la validité de ce modèle. Dans une récente interview (Bonner et Fessendren, 2000), il insistait que « si des variations telles que le chômage, le déséquilibre des revenus, la probabilité d’être appréhendé et la volonté d’utiliser la peine de mort sont pris en compte, la peine de mort s’avère avoir un effet dissuasif considérable. »

Mythe Quatre: La Légalisation De l’Avortement A Entraîné Un Déclin Du Crime Dans Les Années 1990.

En 1999, John Donohue et Steven Levitt publièrent une explication innovante sur le fort déclin des taux de meurtre dans les années 1990. Ils soutenaient que la légalisation de l’avortement par la Cour Suprême des USA en 1973 entraina une diminution des naissances d’enfants non désirés, dont un nombre disproportionné serait devenu des criminels. Le problème de cet argument est que la légalisation de l’avortement était un évènement historique unique, et que les évènements uniques d’offrent pas suffisamment de données pour une analyse valide de la régression. Il est vrai que l’avortement était a été légalisée plus tôt dans certains états que dans d’autres, et Donohue et Levitt ont utilisé ce fait. Mais tous ces états connaissaient les mêmes processus historiques, et de nombreuses autres choses se passaient dans la même période, qui affectait les taux de meurtre. Une analyse de régression valide aurait capturé toutes ces choses, et les aurait testées dans une large gamme de variations. Les données existantes ne le permettent pas, les résultats de l’analyse de la régression variera donc en fonction des données sélectionnées pour l’analyse.

Dans ce cas, Donohue et Levitt ont choisi de se concentrer sur une période de douze ans, ignorant les fluctuations au sein de ces années. Ce faisant, comme James Fox (2000 :303) l’a montré, « ils ont omis la majorité des changements dans la criminalité au cours de cette période – la tendance à la hausse à la pendant la crise du crack de la fin des années 1980, ainsi que la correction à la baisse dans les années post-crack. Ceci est un peu comme étudier les effets des phases de la lune sur les marées, mais enregistrer uniquement les périodes de marée basse. »

En écrivant cet article, j’ai inclus une phrase précisant que « un analyste de la régression ré-analysera probablement bientôt les mêmes données et obtiendra des conclusions différentes. » Quelques jours plus tard, mon épouse me donna un article de journal parlant d’une telle étude. L’auteur n’était autre que John Lott de Yale, en collaboration avec Joen Whitley de l’University of Adelaide. Ils avaient travaillé les mêmes chiffres, et conclu que « la légalisation de l’avortement a augmenté le taux de meurtre d’environ 0.5 à 7 pourcent » (Lott et Whitely, 2001).

Pourquoi des résultats nettement différents ? Chaque groupe d’auteurs avait simplement sélectionné une méthode différence de modéliser un ensemble de données inadéquat. L’économétrie ne peut pas établir une règle générale en dehors du fait historique que l’avortement fut légalisé dans les années 1970 et que la criminalité a baissé dans les années 1990. Il nous faudrait au moins quelques douzaines d’expériences historiques pour un test statistique valide.

Conclusions.

Le test décisif dans le modélisme statistique est la prédiction. La prédiction n’a pas besoin d’être parfaite. Si un modèle peut prédire nettement mieux qu’une opinion aléatoire, elle est utile. Par exemple, si un modèle pouvait prédire les cours des avions même légèrement mieux que de les deviner au hasard, leurs titulaires seraient très riches. Un effort important a donc été effectué en matière de tests et évaluation des modèles de cours d’actions. Malheureusement, les chercheurs qui utilisent les techniques économétriques pour évaluer les politiques sociales soumettent rarement leurs modèles à des tests prédictifs. Leur excuse est qu’il faut attendre les résultats trop longtemps. Vous n’obtenez pas de données sur la pauvreté, l’avortement ou les homicides chaque minute comme pour les cours des actions. Mais les chercheurs peuvent effectuer des tests prédictifs par d’autres méthodes. Ils peuvent développer un modèle en utilisant des données d’une autre juridiction ou période, puis les utiliser pour prédire les données d’autres périodes ou endroits. Mais la majorité des chercheurs ne le font tout simplement pas, ou si ils e font les modèles échouent et les résultats ne sont jamais publiés.

Les journaux qui publient les études économétriques sur les problèmes de politique publique ne nécessitent souvent pas de tests prédictifs, ce qui montre que les éditeurs et commentateurs ont de faibles attentes dans ces domaines. Les chercheurs prennent alors des données pour une période définie, et peaufinent et ajustent leur modèle jusqu’à ce qu’ils puissent « expliquer » les tendances qui se sont déjà produites. Il y a toujours plusieurs manières de le faire, et avec les ordinateurs modernes il n’est pas très difficile de continuer à essayer jusqu’à ce que vous trouviez quelque chose qui convienne. À ce stade, le chercheur s’arrête, note ses résultats, et envoie les articles pour publication. Plus tard, un autre chercheur peut ajuster le modèle pour obtenir un résultat différent. Ceci remplit les pages des journaux académiques, et tout le monde prétend de ne pas voir que peu ou aucun progrès n’est effectué. Mais nous ne sommes pas plus proches d’avoir un modèle économétrique valide des taux de meurtres aujourd’hui que nous l’étions lorsqu’Isaac Ehrlich publia le premier modèle en 1975.

La communauté scientifique ne possède pas de bonnes procédures pour reconnaitre l’échec d’une méthode de recherche largement utilisée. Les méthodes ancrées dans les programmes d’études supérieures des grandes universités et publiées dans les journaux prestigieux ont tendance à être perpétués. De nombreuses personnes non-initiées pensent que si une étude a été publiée dans un journal examiné par des pairs, elle est valide. Les cas que nous avons examinés montrent que ceci n’est pas toujours le cas. Les examens des pairs assurent que les pratiques établies ont été suivies, mais ceci n’aide pas beaucoup lorsque ces pratiques elles-mêmes sont défaillantes.

En 1991, David Freedman, un sociologue distingué de l’University of California à Berkeley et auteur de manuels sur les méthodes de recherche quantitatives, a ébranlé les fondations du modélisme de la régression en déclarant franchement « Je ne pense pas que la régression puisse supporter beaucoup du poids dans une débat causal. Les équations de régression non plus, par elles-mêmes, ne sont pas très utiles au contrôle des variables parasites » (Freedman, 1991 :292). L’article de Freedman provoqua un certain nombre de réactions violentes. Richard Berk (1991 :315) observa que l’argument de Freedman « sera très difficile à accepter par la majorité des sociologues quantitatifs. Ceci va droit au cœur de leur entreprise empirique, et met ainsi leurs carrières professionnelles en danger. »

Face aux critiques qui demandent une preuve qu’ils peuvent prédire les tendances, les modélistes de la régression se raccrochent souvent à la surenchère statistique. Ils créent des arguments si complexes que seulement les autres analystes de la régression hautement qualifiés peuvent comprendre, encore moins réfuté. Cette technique fonctionne souvent. Les critiques potentiels abandonnent simplement, sous la frustration. Davis Boldt, du Philadelphia Inquirer (1999), après avoir entendu John Lott parler sur les armes dissimulées et taux d’homicide, puis vérifié avec d’autres experts, déplora que « essayer de trier les arguments académiques est presque une perte de temps. Vous pouvez générer des disputes sur les statistiques-t, les variables factices et « méthodes d’analyse de données ‘poisson’ contre ‘moindres carrés’. »

Boldt avait raison de suspecter qu’il était appâté par une mission inutile. En fait, il n’y a pas de résultats importants en sociologie ou en criminologie qui ne puisse être communiqué aux journalistes et décideurs ne possédant pas de diplômes supérieurs en économétrie. Il est temps de tomber les masques. Lorsqu’ils se trouvent face à un modèle économétrique, les consommateurs doivent insister sur la preuve qu’il est capable de prédire les tendances en matière de données autres que les données utilisées pour le créer. Les modèles qui échouent à ce test sont une science au rabais, aussi complexe l’analyse soit-elle.

John Miller
Follow us

John Miller

John has worked in investment banking for 10 years and is the main author at 7 Binary Options. He holds a Master's degree in Economics.
John Miller
Follow us