AI Research est-il un «Cesspit»?

Alex Knight / Pexels

Source: Alex Knight / Pexels

Récemment Le nouveau Yorker a publié un article que j’ai écrit sur l’éthique de l’IA, en particulier sur la question de savoir si l’examen par les pairs lors de conférences sur l’intelligence artificielle (les principaux lieux de publication dans le domaine) devrait prendre en compte l’impact social en plus du mérite scientifique et technique. Ses risques incluent l’envahissement de la vie privée et la production de faux contenus. Une partie de ce que j’ai écrit était taillée pour l’espace. J’aimerais partager des parties de ce matériel maintenant.

Des articles autres que ceux mentionnés dans l’article ont suscité la controverse. En mai dernier, l’Université de Harrisburg a publié un communiqué de presse annonçant un algorithme qui pourrait prétendument prédire la criminalité à partir des visages. Internet a rapidement réagi (un tweet l’a appelé «Phrenology 2.0»). En juin, des centaines de chercheurs de toutes disciplines ont signé une lettre ouverte demandant qu’un article décrivant les travaux ne soit pas publié.

Le document avait été provisoirement accepté à une conférence appelée CSCE, mais finalement rejeté. (Les auteurs de la lettre ouverte n’avaient apparemment pas vérifié son statut de publication.) Hamid Arabnia, informaticien à l’Université de Géorgie et principal coordinateur de la conférence, m’a dit qu’ils avaient également rejeté un article proposant des technologies pour le cyber-harcèlement. . Les auteurs espéraient que d’autres chercheurs développeraient des défenses. «Nous avons décidé que si ce document est lu par des gens qui ont tendance à être antisociaux et qui souffrent d’une faible intégrité, ils vont l’utiliser et attaquer les autres», a-t-il déclaré. «Nous avons donc fini par rejeter ce document, non pas parce que son contenu technique était défectueux – en fait, c’était un très bon document – mais en raison de nos préoccupations, nous l’avons rejeté, d’une manière agréable.» Les auteurs étaient d’accord avec ces préoccupations. La plupart des scientifiques sont conscients des problèmes éthiques, a déclaré Arabnia. «Mais malheureusement, la plupart d’entre nous ne sont pas formellement formés dans ce domaine. Par conséquent, nous utilisons notre bon sens et nos appels au jugement. Nous pourrions faire mieux. »

Même le fait de savoir quand soulever des questions sur un article peut exiger d’un réviseur d’avoir une certaine maîtrise des questions pertinentes. Alex Hanna, sociologue chez Google qui étudie l’éthique de l’IA, recommande une formation à l’éthique pour tous les chercheurs en IA, et pas seulement un atelier d’une semaine. «L’éducation à l’éthique doit vraiment être intégrée dès le départ», m’a-t-elle dit. Dans cette direction, le programme Harvard Embedded EthiCS intègre l’éthique dans le programme en demandant aux philosophes d’enseigner des modules dans des cours d’informatique.

L’année dernière, la conférence NeurIPS a ajouté une exigence voulant que les articles discutent de «l’impact potentiel plus large de leur travail… à la fois positif et négatif». Leur annonce a immédiatement suscité le débat. Un chercheur a tweeté: «Je ne pense pas que ce soit une étape positive. Les impacts sociétaux de l’IA sont un domaine difficile, et il existe des chercheurs et des organisations qui l’étudient de manière professionnelle. La plupart des auteurs n’ont pas d’expertise dans le domaine et ne feront pas assez de recherche pour dire quelque chose de significatif. D’autres ont attaqué: «Donc, la plupart des auteurs devraient aspirer et arrêter de créer des choses à moins qu’ils n’obtiennent cette expertise. C’est si simple.” «Un contingent d’hommes blancs moralement vide soutient qu’ils n’ont pas assez d ‘« expertise »pour considérer l’impact de leur travail! La recherche sur l’IA est un fossé. »

A lire aussi  Un cadre d'IA innovant peut améliorer la confidentialité des soins de santé

Si la remise en question de l’impact potentiel d’un article peut mettre en évidence des problèmes négligés, les gens peuvent parfois être trop rapides pour juger du risque d’un projet. En juillet dernier, un article accepté pour la Conférence internationale sur les robots et systèmes intelligents (IROS) décrivait un algorithme pour estimer la densité de la foule à partir d’images de drones. «Les conférences devraient-elles avoir une politique pour les articles qui ont clairement des applications nuisibles?» quelqu’un a écrit sur Reddit. «Ce document que j’ai vu aujourd’hui… apparaîtra dans IROS, et il semble qu’il ne puisse pas être utilisé pour de bons ou même d’autres problèmes connexes.» Quelqu’un d’autre a répondu: «La gestion de la densité et du mouvement des foules est un besoin valable pour tout événement public majeur impliquant des foules.» Un autre: “Si vous cherchez des papiers peu précis, ce n’est pas ça.”

D’autres ont critiqué les décisions de retenir la technologie. En 2019, OpenAI a décidé de ne pas publier immédiatement son modèle de langage GPT-2 – un logiciel qui écrit – de peur de «générer un langage trompeur, biaisé ou abusif à grande échelle». Lors de la conférence AAAI de l’année dernière, Geoffrey Hinton, l’un des «parrains» de l’IA moderne, qui mène des recherches à l’Université de Toronto et à Google Brain, a déclaré que la décision d’OpenAI semblait être un «coup de publicité», faisant écho à un sentiment populaire. (Quand je lui ai posé des questions sur la décision de Google, juste deux semaines auparavant, de ne pas publier un chatbot sophistiqué pour des raisons de sécurité, il a admis qu’OpenAI avait probablement aussi la sécurité à l’esprit.)

«Admettre que les inventeurs devraient cacher certaines technologies à la vue du public est étrangement élitiste», m’a dit David Forsyth, informaticien à l’Université de l’Illinois à Urbana – Champaign. «Cela implique qu’il y a un établissement qui sait mieux. Cette ligne de pensée n’a pas eu tendance à bien se terminer dans le passé. Je pense que nous avons surtout intérêt à avoir des technologies potentiellement ennuyeuses, incommodes, inappropriées ou offensantes au grand jour et débattues publiquement – plutôt que cachées dans les laboratoires et éventuellement déployées sans débat par les gouvernements ou les entreprises. “

A lire aussi  Pourquoi «travail» et «vie» ne peuvent pas toujours être facilement séparés

Michael Kearns, informaticien à l’Université de Pennsylvanie, a noté un article qui a contribué à sonner l’alarme sur ce qui est possible avec l’IA. Michal Kosinski, professeur de comportement organisationnel à l’Université de Stanford, a publié un article de journal montrant qu’un algorithme, n’utilisant rien de plus que les goûts des gens sur Facebook, pouvait prédire des attributs tels que la consommation de drogue, l’orientation sexuelle et même si les parents étaient toujours ensemble quand on a tourné 21. «Les gens ne se rendaient pas compte avant cet article que quelque chose qu’ils faisaient en public qu’ils considéraient comme inoffensif, comme ‘Oh, j’aime cette photo de chat’, identifie statistiquement beaucoup de choses qu’ils auraient pu vouloir garder privées, »Dit Kearns.

Pourtant, beaucoup conviennent que le domaine a besoin d’un processus qui retient certaines technologies, ou du moins façonne la façon dont elles sont présentées. Quel est le meilleur endroit dans le pipeline d’un projet de recherche pour placer des gardiens? Une option ne se situe pas au niveau de l’évaluation par les pairs des revues ou des conférences, mais au niveau des comités d’examen institutionnels, avant le démarrage d’un projet. Mais ce n’est pas idéal. “La loi qui sous-tend ce que font les IRB a été écrite pour d’autres disciplines, comme la médecine, la psychologie et les sciences sociales, où l’on suppose que vous êtes en contact avec les personnes sur lesquelles vous expérimentez”, Ben Zevenbergen, chercheur à Google, qui était universitaire à l’Université d’Oxford et de Princeton lorsque nous nous sommes entretenus, me l’a dit.

Disons que vous entraînez votre algorithme sur des visages trouvés sur Internet, ceux de soi-disant personnes concernées. «Si vous êtes en contact avec [these people]», A déclaré Zevenbergen,« la personne concernée maintiendra une sorte d’autodétermination, car elle peut réellement comprendre et poser des questions sur cette recherche et décider s’il est avantageux pour elle de participer ou si c’est quelque chose qu’elle pense politiquement correcte. faire.” Notant quelques tweets sur un algorithme qui prédit les visages à partir de voix, soulevant des inquiétudes concernant la transphobie, il a déclaré: «ces problèmes pourraient surgir si les chercheurs prenaient la peine de parler aux personnes concernées.»

Il y a plusieurs raisons pour lesquelles on pourrait souhaiter que les gardiens éthiques ne soient pas au niveau de l’institution – qu’il s’agisse d’une CISR ou d’un conseil dédié à l’impact de l’IA – mais au niveau de la publication. L’une est que les revues et les conférences peuvent établir des normes à l’échelle du champ. «L’informatique se fait dans tellement d’endroits différents avec des normes éthiques vraiment différentes», m’a dit Katie Shilton, une scientifique de l’information à l’Université du Maryland. Si l’on considère l’utilisation de données publiques, par exemple, «c’est une image beaucoup plus compliquée en Chine». Deuxièmement, si les conférences exigent que les articles reçoivent l’approbation des conseils institutionnels, les chercheurs des petites écoles ou des pays seront désavantagés. Troisièmement, Kearns a déclaré: «C’est mieux au niveau de la conférence parce que c’est là que se trouvent les experts.» Même une école comme Penn pourrait ne pas avoir suffisamment de personnes ayant une expertise dans l’application éthique de l’apprentissage automatique, ainsi que dans ses aspects plus techniques, pour constituer une pension complète.

A lire aussi  Les héros critiques de la psychologie

«Dans un monde idéal, nous préférerions avoir ce genre de discussion et de délibération tout au long du processus de recherche», m’a dit David Danks, philosophe à Carnegie Mellon qui étudie l’apprentissage automatique et a dirigé l’IRB de la CMU. «Une partie de ce qui fait la recherche sur quelque chose, c’est que nous ne savons pas comment cela va se passer. Vous ne pouvez pas prendre une décision comme celle-ci au début et ne plus jamais la revoir. En même temps, si vous attendez que la recherche soit terminée et que vous essayez de publier, alors, à bien des égards, le chat proverbial est sorti du sac. S’il devait choisir entre l’évaluation de l’impact au niveau de l’institution avant le début de la recherche ou au niveau de la publication une fois celle-ci terminée, il choisirait le premier. «Cela tient en partie au fait qu’il est de plus en plus difficile de savoir ce qui constitue une publication», a-t-il déclaré. Si vous diffusez un document de travail, rédigez un article de blog ou publiez un PDF sur le serveur de pré-impression arXiv, cela compte-t-il comme une publication? Ces points de vente échappent entièrement à l’examen par les pairs.

De nombreuses recherches lors de conférences proviennent de chercheurs d’entreprises technologiques comme Google et Facebook, présentant un autre point de contrôle possible pour l’éthique technologique. Mais les entreprises peuvent craindre d’inclure des déclarations d’impact qui soulèvent des questions sur la technologie au cœur de leur propre entreprise. L’année dernière, Timnit Gebru a perdu son poste de co-responsable de l’équipe d’éthique de l’IA de Google parce que l’entreprise lui avait demandé de retenir un article sur les risques des modèles linguistiques, et elle a résisté. Google utilise ces modèles dans ses algorithmes de recherche.

Mon article a suscité beaucoup de bonnes discussions sur Twitter et ailleurs. J’espère que ça continue.