IA en SHS : promesses, preuves, limites

Semaine DATA‑SHS 2025, Maison des Sciences de l’Homme (MSH), Clermont‑Ferrand

Pierre Beaucoral, CERDI (UCA, CNRS, IRD)

2025-12-12

Définition

Origines de “L’IA”

Crédits: Gemini (Nano Banana Pro)

Cette image est sensée représenter Alan Turing, “père de l’IA” (TURING 1950)

• Non Turing n’a pas inventé ChatGPT

• Dans “Computing Machinery and Intelligence”: problématique: Machines peuvent elles penser?

• Création du Test de Turing

Utilisation de l’IA aujourd’hui

Panorama des familles d’IA

Définition Parlement Européen: tout outil utilisé par une machine capable de “reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité”.

• Comment imitent-ils? (question à la salle)

Crédits: Gemini (Nano Banana Pro)

Expression de Bender et al. (2021)

On utilise cette métaphore pour critiquer les grands modèles de langage qui recombinent probabilistiquement des formes linguistiques vues dans leurs données d’entraînement, de façon très convaincante, sans ancrage fiable dans le sens, la vérité ou le monde, d’où l’idée d’un “perroquet” qui répète, mais de manière statistique.

Promesses: pourquoi l’IA séduit

• Échelle Corpus massifs (textes, images, rasters, graphes) → nouvelles variables analytiques.

• Vitesse Pré‑analyse, tri, résumé, extraction; meilleure compréhension?

• Hétérogénéités, sous‑groupes; policy learning (arbres/règles lisibles).

Finalement, qu’est ce que ça change?

• Augmente le champ des possibles:

  • nouveaux outils

  • nouvelles données

  • nouvelles preuves

Preuves

Exemples basés sur mes recherches:

• Doctorant en économie

• Aide au développement et Aide climatique

Je vais utiliser ici:

• Analyse de texte
• Analyse de données satellitaires

Analyse tout les financements internationaux qui ont pour objectif de lutter ou de s’adapter au dérèglement climatique

IA pour classifier

Problème du système aujourd’hui: repose sur les déclarations des bailleurs

Classifier pour mieux estimer

Estimer pour décrire

Sud am : + Climat

Asie: mixte /dev

Afrique: mixte

Décrire pour comparer

Comparer pour mettre en lumière les causes

Mettre en lumière pour recommander

Quels apports?

• Automatisation: gain de temps; standardisation; replication

• Nouvelles données: classifications alternatives; création

• Nouvelles réponses à des questions de recherche existantes

Autres exemples

• Archives : OCR + NLP pour structurer débats/sources; audit d’erreurs systématiques
• Histoire (KANSTEINER 2022)
• Analyse littéraire (S and V 2024)
• Analyse qualitative (Christou 2023)

• Il analyse l’IA générative comme un “dopage numérique” utile aux historiens pour certaines tâches, mais insuffisant pour remplacer les exigences de preuve et de références de l’histoire savante. Il propose d’en faire aussi un outil de théorie de l’histoire, en testant comment les LLM recombinent description, narration et argumentation.

• Ce papier montre comment l’IA/ML (via le NLP) peut compléter l’analyse littéraire classique en automatisant l’exploration des thèmes, émotions et dynamiques de personnages à grande échelle (sentiment analysis, topic modeling, NER, etc.). Il illustre concrètement cette approche en appliquant Flair à L’Alchimiste de Paulo Coelho pour classifier/extraire genres, thèmes et traits stylistiques, afin de démontrer le potentiel des outils NLP préentraînés en humanités numériques.

• Cet article propose une discussion critique de l’usage de l’IA (notamment des modèles type GPT) en recherche qualitative, en passant en revue apports, limites, dilemmes et enjeux éthiques. Il fournit surtout un guide en cinq considérations clés pour un usage rigoureux : se familiariser avec les données générées, éliminer biais/risques éthiques, recouper les informations, garder le contrôle de l’analyse, et démontrer l’apport cognitif du/de la chercheur·e tout au long du processus.

Limites

biais et angles morts

• Données : langues, régions sous‑représentées, périodes, jargons hétérogènes. Est-ce vraiment différent des travaux d’analyse pre-IA?
• Modèles : Résultats variants et n’étant pas fixes.
• Analyse spatiale : erreurs écologiques; risque de ré‑identification par croisements; qualité de la donnée. Encore, est-ce vraiment différent?
• Quand l’IA influence le practicien: Vicente and Matute (2023)

• Trois expériences de diagnostic médical simulé testent si des humains héritent du biais d’une IA : l’IA est assez fiable (~80%) mais se trompe systématiquement sur un type de cas (40/60).

• Les participant·es assisté·es suivent le biais, puis le reproduisent même sans IA et tendent à le généraliser à de nouveaux cas ambigus (ex. 50/50).

• L’ordre d’exposition compte : commencer sans IA pourrait réduire l’adoption ultérieure des recommandations biaisées.

Six gestes de fiabilité: pratiques concrètes

1. Déclarer le rôle exact de l’IA

2. Documenter le pipeline

3. Tester les performances du modèle sur des sous groupes définis

4. Faire un audit humain ciblé

5. Tester la robustesse par alternatives

6. Séparer prédiction et explication

Merci de votre attention

• Contact : pierre.beaucoral@uca.fr

Références

Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. 2021. “On the Dangers of Stochastic Parrots.” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, March, 610–23. https://doi.org/10.1145/3442188.3445922.

Christou, Prokopis. 2023. “Ηow to Use Artificial Intelligence (AI) as a Resource, Methodological and Analysis Tool in Qualitative Research?” The Qualitative Report, July. https://doi.org/10.46743/2160-3715/2023.6406.

KANSTEINER, WULF. 2022. “DIGITAL DOPING FOR HISTORIANS: CAN HISTORY, MEMORY, AND HISTORICAL THEORY BE RENDERED ARTIFICIALLY INTELLIGENT?” History and Theory 61 (4): 119–33. https://doi.org/10.1111/hith.12282.

S, Vinodini, and Adithya Pothan Raj V. 2024. “Enhancing Literary Analysis Through Artificial Intelligence and Machine Learning: Insights from ’the Alchemist’.” 2024 2nd International Conference on Recent Advances in Information Technology for Sustainable Development (ICRAIS), November, 136–41. https://doi.org/10.1109/icrais62903.2024.10811737.

TURING, A. M. 1950. “I.COMPUTING MACHINERY AND INTELLIGENCE.” Mind LIX (236): 433–60. https://doi.org/10.1093/mind/lix.236.433.

Vicente, Lucía, and Helena Matute. 2023. “Humans Inherit Artificial Intelligence Biases.” Scientific Reports 13 (1). https://doi.org/10.1038/s41598-023-42384-8.