L’utilisation de l’IA en santé est problématique du fait des biais qu’elle colporte… provenant des données partielles et peu représentatives de la diversité des populations avec lesquelles les systèmes d’IA en santé sont entraînés explique une tribune publiée dans Wired : ▻https://wired.com/.../bias-statistics-artificial...
Des oxymètres qui surestiment le taux d’oxygène dans le sang des personnes à la peau foncé, aux systèmes de détection des cancers du poumon ou de la peau, moins précis pour les noirs… Aux maladies cardiaques moins diagnostiquées chez les femmes. Les biais des sont innombrables.
Face à ces constats, nombreux travaillent à rendre les algorithmes plus équitables, en améliorant la représentativité des données. Mais cette amélioration de la représentativité des données est bien souvent mathématique, plus qu’elle ne consiste à apporter de nouvelles données… Il est probable que cela ne suffise pas estiment les chercheurs Sandra Wachter, Brent Mittelstadt et Chris Russell dans leur tribune. Trop souvent, la prise en compte d’une meilleure équité algorithmique consiste à réduire les écarts de performance ou de résultats entre les groupes démographiques. Ce qui concrètement se fait en ajustant les performances pour les groupes les moins performants puis en dégradant les performances pour les groupes les plus performants. Pour le cancer du poumon, la moindre performance peut provenir du fait que le système a été formé sur des données provenant surtout de patients blancs, ou que les dossiers de santé des patients noirs sont de qualité inférieure, ou des inégalités sociales de l’accès aux soins. Au final, améliorer l’équité consiste à alors à élever le score des patients faiblement représentés ou à les surveiller avec plus de fréquence et d’attention, en régularisant les dépistages. Mais on comprend que ce changement n’améliore pas la précision. Le risque est que « le nombre de personnes faussement identifiées comme étant à risque de cancer augmente et la précision globale du système diminue. » Ce qui pose la question de savoir quel est le point d’équilibre entre le nombre de rappels et la précision ?
L’autre solution consiste à réduire les performances sur les patients blancs pour faire que les systèmes aient des taux de rappels et de précisions égaux pour les deux groupes. On comprend très vite les limites dans le cas de la détection du cancer. Pourtant, c’est là la solution mathématiquement optimale pour améliorer l’équité. Dans la réalité, les algos d’équité peuvent se comporter d’une manière + radicale et imprévisible. Une étude sur les algorithmes de vision par ordinateur ▻https://openaccess.thecvf.com/.../Zietlow_Leveling_Down... - montrait qu’améliorer l’équité nuisait à tous les groupes en diminuant le rappel et la précision.
Or la baisse des résultats des groupes les plus performants n’améliore en rien celle des groupes les moins performants. « Ce n’est pas le destin inévitable de l’équité algorithmique ; c’est plutôt le résultat d’avoir emprunté la voie de la moindre résistance mathématique », assènent les 3 chercheurs. Bien sûr, ils invitent à améliorer l’équité par un nivellement par le haut. Le défi pour l’avenir de l’équité dans l’IA est de créer des systèmes équitables sur le fond, et pas seulement équitables sur le plan procédural par le biais d’un nivellement par le bas.
« La mise à niveau est un défi plus complexe : elle doit être associée à des étapes actives pour éliminer les causes réelles des biais dans les systèmes d’IA. Les solutions techniques ne sont souvent qu’un pansement pour faire face à un système en panne. L’amélioration de l’accès aux soins de santé, la conservation d’ensembles de données plus diversifiés et le développement d’outils qui ciblent spécifiquement les problèmes rencontrés par les communautés historiquement défavorisées peuvent aider à faire de l’équité une réalité. »
« C’est un défi beaucoup plus complexe que de simplement peaufiner un système pour rendre deux nombres égaux entre les groupes. Cela peut nécessiter non seulement d’importantes innovations technologiques et méthodologiques, y compris une refonte complète des systèmes d’IA mais également des changements sociaux substantiels dans des domaines tels que l’accès aux soins de santé et les dépenses. »
Les chercheurs invitent à passer de l’équité mathématique dans l’IA à l’IA équitable… A améliorer les données et pas seulement à les corriger. #intelligenceartificielle #équité