L'IA dangereuse n'est pas celle qui devient trop puissante, mais celle en laquelle on a trop confiance

L’intelligence artificielle ne doit pas nécessairement atteindre une superintelligence pour menacer la sécurité mondiale. Il suffit qu’elle commette une erreur et que les humains agissent en conséquence.

Selon un article du *Conversation*, les systèmes d’IA actuels, comme les grands modèles de langage, peuvent déjà influencer des décisions critiques sans être conscients ou hostiles. En Ukraine, plus de 70 systèmes de vision par ordinateur sont utilisés pour cibler des objectifs militaires, réduisant le rôle humain à une simple validation. Aux États-Unis, un analyste a utilisé un chatbot pour évaluer des renseignements sur un navire chinois en 2026, identifiant à tort des composants d’armes nucléaires. L’erreur a failli déclencher une opération militaire avant d’être détectée.

Ce risque repose sur la confiance excessive accordée aux systèmes automatisés. Les modèles produisent des réponses fluides et convaincantes, même erronées, ce qui leur confère une autorité injustifiée. Les décideurs politiques soulignent souvent que l’humain reste dans la boucle, mais l’automatisation biaise les jugements, comme l’a montré l’incident de 2003 où des missiles Patriot ont abattu des avions alliés. La solution passe par une vérification systématique des sorties de l’IA, un étiquetage clair et une remise en question des résultats avant toute action.