Rapport du symposium sur la prochaine décennie de l'intelligence artificielle

Introduction

Intelligence artificielle générative ("IA générative")[1] transforme rapidement le paysage de l'intelligence artificielle. Contrairement aux modèles d'IA qui manipulent les données pour des tâches telles que la classification, l'IA générative crée un contenu entièrement nouveau - texte, image, audio et vidéo. Cette technologie peut aider les gens de bien des manières, qu'il s'agisse d'accomplir des tâches administratives de routine ou de contribuer à l'évolution de la médecine. Bien que cette technologie offre des possibilités intéressantes, elle comporte plusieurs risques. Il est essentiel de s'attaquer à ces risques avant qu'il ne soit trop tard.

Le 12 avril 2024, le Bureau du procureur général de l'État de New York (OAG) a organisé une conférence intitulée "The Next Decade of Generative AI : Fostering Opportunities While Regulating Risks" (La prochaine décennie de l'IA générative : favoriser les opportunités tout en régulant les risques). Ce symposium privé a rassemblé d'éminents universitaires, des décideurs politiques, des défenseurs des droits de l'homme et des représentants de l'industrie dans le cadre de tables rondes afin d'aborder les principales opportunités ainsi que les risques présentés par la technologie de l'IA, en particulier l'IA générative. L'objectif était d'aider l'OAG à élaborer des stratégies pour atténuer ces risques tout en veillant à ce que New York puisse rester à la pointe de l'innovation. Bien que l'IA générative ait fait l'objet d'une attention particulière, les orateurs ont également abordé des technologies d'IA plus traditionnelles, telles que la technologie de prise de décision automatisée.[2]

Ce rapport présente les principaux enseignements que nous avons tirés du symposium. Il vise à partager des idées avec d'autres décideurs politiques et agences gouvernementales, et à faciliter un dialogue public sur l'élaboration d'approches juridiques et politiques de la technologie de l'IA. 

Opportunités et risques 

Au cours de la journée, les intervenants ont identifié plusieurs domaines dans lesquels la technologie de l'IA, y compris l'IA générative, peut apporter des avantages significatifs au public, ainsi que les risques majeurs que la technologie pose. 

Utilisations dans le domaine de la santé

La technologie de l'IA a le potentiel d'améliorer les soins de santé. Les participants au symposium ont discuté de la manière dont l'IA peut être utilisée pour la détection précoce des maladies, la découverte de médicaments, le suivi des tendances en matière de santé publique, les tâches administratives susceptibles d'atténuer l'épuisement des médecins et la médecine de précision, qui implique la création de plans de traitement personnalisés sur la base d'informations telles que les profils génétiques et cliniques. 

Des outils d'IA ont déjà été utilisés pour faciliter l'imagerie médicale, rendant les examens plus rapides et moins coûteux. Ces outils peuvent aider les cliniciens à effectuer un tri en examinant les images médicales afin d'identifier les problèmes potentiellement urgents à examiner en priorité par un médecin. Les modèles d'IA sont désormais formés pour aller plus loin et aider à détecter les maladies. Un orateur a parlé d'un outil d'IA capable d'examiner les mammographies et d'identifier les anomalies qui pourraient signaler un risque de cancer du sein jusqu'à cinq ans avant le développement du cancer, ce qui permet une intervention plus précoce et potentiellement de meilleurs résultats.[3] Les intervenants ont convenu que ces outils d'IA devraient être utilisés pour compléter le travail des cliniciens plutôt que de le remplacer.

Sur le plan administratif, l'IA est désormais utilisée pour alléger la charge de travail des cliniciens, par exemple en transcrivant les conversations des patients. Un médecin a parlé des tentatives d'utilisation de la technologie générative de l'IA pour résumer les antécédents des patients afin de s'assurer que les cliniciens voient les informations pertinentes qui pourraient autrement se perdre dans de longues notes. L'orateur a fait remarquer que les outils d'IA générative peuvent également créer des réponses à des questions simples posées par les patients par l'intermédiaire d'un chat et peuvent fournir des services de traduction. Au fur et à mesure que la technologie se développe, les outils d'intelligence artificielle pourraient fonctionner en permanence dans l'environnement hospitalier. Par exemple, des outils d'enregistrement pourraient être utilisés pour transcrire les conversations des patients ou des outils de surveillance pourraient observer en permanence les signes vitaux dans les chambres des patients. De tels outils pourraient être utilisés au domicile des patients, par exemple la vidéo pour surveiller l'activité des patients. 

Toutefois, ces développements s'accompagnent de risques. Les données relatives aux soins de santé sont particulièrement sensibles. Les patients peuvent ne pas comprendre quelles données sont collectées ou comment elles sont utilisées par les outils d'IA, en particulier lorsque ces outils fonctionnent en permanence dans leur chambre d'hôpital ou même à leur domicile. Outre ces préoccupations relatives à la protection de la vie privée, l'inégalité d'accès suscite également de vives inquiétudes. Les groupes minoritaires sont sous-représentés dans les données cliniques utilisées pour créer des plans de traitement personnalisés, et les services de transcription par IA ne couvrent actuellement pas un large éventail de langues ou d'accents. Pour utiliser efficacement les outils d'IA dans un contexte aussi sensible, les intervenants ont fait remarquer qu'il faut qu'un être humain soit impliqué, qu'il ait la responsabilité ultime et qu'il soit prêt à décider quand faire confiance aux outils d'IA et quand les remettre en question.

Information et désinformation

Les outils d'IA, y compris les chatbots alimentés par l'IA générative, peuvent aider les gens à trouver facilement des informations. Par exemple, ils sont déjà utilisés pour compléter certaines lignes téléphoniques, comme le 311, les services publics de non-urgence et le service clientèle des entreprises. Cette utilisation des chatbots peut libérer les opérateurs téléphoniques pour qu'ils se concentrent sur la fourniture de services spécifiques et la réponse à des questions compliquées. En outre, les outils d'IA générative peuvent automatiser la traduction, ce qui permet aux gouvernements et aux entreprises de mieux communiquer avec les gens dans leur langue maternelle et d'offrir un meilleur accès à l'information. 

Toutefois, comme l'ont souligné plusieurs intervenants, la technologie est loin d'être parfaite. L'IA générative est notoirement encline à tirer des conclusions erronées, ou "hallucinations", et à fournir de fausses réponses. Les chatbots d'IA générative peuvent donc partager des informations incorrectes avec les gens, ce qui en fait un outil défectueux pour fournir des informations au public. Ces chatbots peuvent également inventer des histoires sur des personnes, ce qui pourrait causer un préjudice émotionnel et de réputation. 

En outre, l'IA générative peut être utilisée par des acteurs malveillants pour créer intentionnellement des documents de désinformation, tels que les "deepfakes". Les lois relatives à la diffamation et à la fraude offrent un certain nombre de recours, mais ne répondent pas à l'ampleur du problème, d'autant plus que les "deepfakes" deviennent de plus en plus réalistes et de plus en plus difficiles à détecter. Les intervenants ont noté que l'utilisation de l'IA générative dans la désinformation serait une préoccupation majeure dans les mois à venir avant les élections générales, car les mauvais acteurs peuvent créer un déluge de fausses informations qui ne peuvent pas être correctement vérifiées à temps. Ils ont cité des exemples de "deepfakes" sonores et visuels qui pourraient avoir de graves répercussions si les gens les croyaient vrais, comme les appels téléphoniques robotisés imitant les candidats à l'élection présidentielle et encourageant les gens à ne pas voter lors des élections primaires,[4] des images de l'ancien président Trump embrassant le Dr Fauci,[5] et une image d'une explosion au Pentagone qui a brièvement interrompu les marchés.[6]

Tâches administratives et prise de décision automatisée

Les outils d'IA peuvent être utiles pour rationaliser une multitude de tâches administratives, en particulier pour les agences gouvernementales. Par exemple, un représentant du gouvernement a décrit les possibilités d'utiliser l'IA générative pour calculer l'impôt à payer, produire des documents d'éducation publique et écrire du code informatique. 

L'un des cas d'utilisation courants de la technologie de l'IA est l'aide à l'examen des demandes, ce qui permet de rationaliser considérablement ces processus. Par exemple, en utilisant des outils d'IA pour identifier automatiquement les personnes éligibles à des services ou des prestations, les agences gouvernementales peuvent distribuer ces services et prestations à leurs administrés plus rapidement et plus efficacement.

Bien entendu, l'utilisation d'outils d'IA pour présélectionner les candidatures comporte également des risques. De nombreuses entreprises utilisent des outils de sélection par IA pour l'embauche, ce qui risque d'introduire des biais algorithmiques. Un chercheur a noté que certaines entreprises pourraient avoir commencé à utiliser des outils d'IA pour le recrutement dans le but de remédier à l'injustice et aux préjugés implicites inhérents à l'évaluation humaine. Toutefois, les intervenants ont cité de nombreuses preuves que les outils d'IA amplifient souvent les préjugés au lieu de les corriger. Par exemple, les algorithmes formés à partir de données d'embauches antérieures peuvent amplifier les préjugés humains reflétés dans les décisions d'embauches antérieures et ancrer les normes existantes. La nature "boîte noire" des algorithmes d'IA fait qu'il est difficile de comprendre si et comment les outils d'IA fonctionnent, ce qui rend difficile de garantir l'équité dans la prise de décision. En fait, un orateur a affirmé qu'il valait mieux supposer que les outils d'IA pratiquaient une discrimination par défaut. 

Préoccupations en matière de données

Les modèles d'IA générative étant entraînés sur des ensembles de données d'une ampleur sans précédent, la qualité, la quantité et l'utilisation équitable des données d'entraînement soulèvent plusieurs questions. L'un des principaux problèmes est celui des droits d'auteur, car les entreprises utilisent dans leurs modèles des articles, des images et des vidéos protégés par des droits d'auteur, recueillis sur l'internet, sans rémunérer les créateurs pour leur travail. Les questions relatives aux droits d'auteur ont fait l'objet d'une grande attention de la part du public et font actuellement l'objet de litiges. Un autre problème clé, abordé dans le contexte des soins de santé dans une section précédente, est la sous-représentation des groupes minoritaires dans les données de formation. Par conséquent, les outils d'IA générative peuvent créer des résultats qui ne profitent qu'à certains groupes. 

D'autres problèmes liés aux données n'ont pas reçu autant d'attention, comme la disponibilité des données utilisées pour former les modèles d'IA. Les modèles d'IA générative ont besoin de grandes quantités de données pour s'entraîner. Par conséquent, les entreprises qui, depuis des années, scannent gratuitement le web ont un énorme avantage sur les nouveaux venus sur le marché de l'IA. Cela est d'autant plus vrai que les plateformes et les fournisseurs de contenu ont commencé à verrouiller leurs données et à conclure des accords de licence exclusifs. Cette situation fait craindre que le marché ne se concentre autour de quelques acteurs, supprimant la concurrence et l'innovation alors que la technologie n'en est qu'à ses balbutiements. 

La "démocratisation des données", ou l'encouragement à la libre circulation des données, peut permettre une plus grande innovation. Bien entendu, toute initiative de ce type doit être mise en balance avec les préoccupations en matière de respect de la vie privée, en particulier en ce qui concerne les données sensibles. Alors que les entreprises recherchent des données supplémentaires pour la formation, les modèles utilisent de plus en plus leurs propres résultats pour la formation, appelés "données synthétiques". L'utilisation de données synthétiques peut renforcer les problèmes, notamment en ce qui concerne les hallucinations, et finalement rendre les modèles plus sujets aux erreurs ("effondrement du modèle"). 

On peut également craindre que les outils d'IA générative produisent un contenu faux, biaisé ou autrement problématique parce que le modèle a été formé sur des données qui étaient elles-mêmes défectueuses. C'est ce que l'on appelle souvent le problème des "déchets entrants" et des "déchets sortants". En raison du manque de transparence sur le fonctionnement des modèles d'IA, un intervenant a fait part de ses préoccupations concernant les résultats qui peuvent avoir été formés sur des données inexactes (par exemple, des articles farfelus), des données inappropriées (par exemple, des classes protégées telles que la race ou le sexe) ou des données secrètes (par exemple, des secrets commerciaux). Un autre orateur a mis en garde contre le fait que des protections inadéquates de la vie privée sur les données d'apprentissage pourraient permettre aux outils d'IA générative de divulguer des données personnelles ou de réidentifier des données dépersonnalisées dans leurs résultats.      

Figure 2: L'entrée de données parasites produit une sortie de données parasites. 

Stratégies d'atténuation 

Tout au long de la journée, les intervenants ont proposé une série de stratégies pour utiliser efficacement l'IA générative tout en atténuant les risques associés à cette technologie.

Adoption par le public et éducation

De nombreuses personnes sont trop confiantes dans la capacité des outils d'IA à résoudre de nombreux problèmes, tout en se méfiant de ces mêmes outils, ce qui freine l'adoption de l'IA dans de nombreux domaines. Cependant, les outils d'IA, en particulier les outils d'IA générative, nécessitent par nature d'être adoptés et testés pour être améliorés. L'adoption permet également de dispenser une certaine éducation. Il aide les gens à comprendre comment fonctionne la technologie de l'IA, tant dans ses utilisations que dans ses limites, et contribue à dissiper les mythes les plus répandus. Plusieurs intervenants ont souligné que, pour les utilisations à haut risque de la technologie de l'IA, il était important d'avoir un "humain dans la boucle", c'est-à-dire un humain activement impliqué dans la mise en place, le test et l'ajustement des modèles d'IA. Dans les scénarios à moindre risque, cependant, l'adoption plus large d'outils d'IA pourrait aider à préparer les employés à assumer de tels rôles. 

Un ancien responsable politique a souligné qu'étant donné que l'IA générative est une technologie à usage général dont les utilisations sont encore inconnues, les consommateurs doivent comprendre la technologie et les applications en évolution pour s'assurer qu'ils ne sont pas vulnérables à des abus, tels que les escroqueries par hameçonnage. Les intervenants ont également discuté de l'importance de l'engagement du public et de la mise en place de moyens permettant au public d'exprimer son point de vue et de fournir un retour d'information sur les cas d'utilisation de l'IA, y compris pour l'embauche et l'utilisation par les pouvoirs publics. 

Il est essentiel de mieux informer le public sur l'IA générative afin d'atténuer l'impact des abus potentiels. Comme nous l'avons vu précédemment, beaucoup s'attendent à ce que les outils d'IA générative jouent un rôle majeur dans la diffusion de fausses informations avant les élections. Les intervenants ont souligné que l'éducation du public à l'identification des contenus générés par l'IA devait être une priorité absolue avant un événement important, tel que des élections.   

Transparence et audit

Tout au long de la journée, les intervenants ont appelé à une plus grande transparence dans l'utilisation de l'IA. Plus important encore, les consommateurs doivent savoir quand ils interagissent avec des outils d'IA générative et quand ils sont confrontés à du contenu généré par l'IA. À cette fin, les intervenants ont recommandé d'informer clairement les consommateurs de différentes manières : des politiques d'utilisation des données en langage clair qui expliquent quelles données sont collectées et pourquoi, comment elles seront protégées et comment elles seront utilisées ; une notification lors de la communication avec un chatbot, qui est déjà exigée par la loi dans certains États ; et des étiquettes ou des filigranes bien visibles sur le contenu généré par l'IA. Alors que certains affirment que les filigranes peuvent être facilement manipulés par des acteurs malveillants sophistiqués, un orateur a fait remarquer qu'ils seraient toujours bénéfiques dans la plupart des circonstances et qu'ils ralentiraient au moins les acteurs malveillants qui tentent intentionnellement de tromper les gens. C'est pourquoi de nombreux intervenants ont demandé un cadre de filigrane robuste.   

Actuellement, il y a peu de transparence sur la manière dont les modèles d'IA sont audités. Par nature, les algorithmes d'IA ne sont pas transparents ; par conséquent, l'audit des outils d'IA traditionnels se concentre souvent sur l'évaluation des résultats créés afin d'identifier les problèmes, tels que les biais. Toutefois, les intervenants ont fait remarquer que l'audit est en grande partie réalisé de manière ad hoc et que les entreprises et les chercheurs n'expliquent pas toujours comment ils procèdent à l'audit. Pour résoudre ce problème, les intervenants ont demandé des normes et des procédures claires concernant les modèles d'audit. 

Il existe des précédents pour de telles normes, comme la loi locale 144 de la ville de New York.[7] et ses modalités d'application, qui définissent les exigences minimales d'une vérification des préjugés qui doit être effectuée lors de l'utilisation d'une technologie de prise de décision automatisée (ADMT) pour l'embauche. De même, les institutions financières ont développé de solides programmes de conformité en matière de prêts équitables qui évaluent et gèrent les biais dans les cadres de souscription algorithmique. En outre, un orateur a fait remarquer que l'audit devrait être spécifique au contexte. Par exemple, lors de l'audit d'un modèle de désinformation électorale, un commissaire électoral doit fournir des conseils d'expert sur les informations correctes ou incorrectes. Un deuxième orateur a suggéré de créer des certifications professionnelles pour les auditeurs d'algorithmes afin d'accroître la confiance dans le processus. Enfin, un troisième orateur a demandé que les chercheurs extérieurs aient davantage accès à l'audit des modèles d'IA. 

Droits des consommateurs

Les consommateurs doivent se sentir responsabilisés lorsqu'il s'agit d'outils d'IA. Un ancien fonctionnaire a cité le projet de charte des droits de l'IA de la Maison Blanche.[8] comme un bon point de départ pour les efforts visant à établir des droits clairs pour les consommateurs. Le plan d'action décrit cinq domaines dans lesquels les consommateurs devraient bénéficier de protections contre les outils d'IA, notamment la sécurité, la discrimination et la confidentialité des données. En outre, le plan d'action souligne l'importance de la transparence et du droit des utilisateurs à renoncer à l'utilisation de l'ADMT au profit d'un décideur humain. 

Figure 3: Le projet de charte des droits de l'IA de la Maison Blanche identifie cinq principes clés.[9]

La Californie est en train d'adopter des principes similaires dans le cadre de sa réglementation sur l'ADMT. Un représentant de l'État de Californie a discuté en profondeur du processus d'élaboration des règles, notamment de l'importance d'offrir aux consommateurs la possibilité de refuser l'utilisation d'ADMT pour des décisions importantes, ou au moins la possibilité de faire appel de ces décisions auprès d'un décideur humain qualifié. 

Réglementation et surveillance

Alors que la technologie évolue rapidement, il peut sembler que les lois soient lentes à suivre, mais les intervenants ont discuté de nombreuses lois existantes qui s'appliquent à l'utilisation de la technologie de l'IA. Les lois relatives à la discrimination, aux libertés civiles, à la vie privée, à la sécurité des données, à la diffamation, à la fraude, à la tromperie et à la concurrence peuvent être utilisées pour limiter certains des dommages potentiels associés à la technologie de l'IA. Les intervenants ont également évoqué les efforts déployés par l'État de New York pour réglementer les préjudices algorithmiques, tels que la loi locale 144 de la ville de New York, évoquée précédemment, et la loi SAFE for Kids,[10] qui réglemente la capacité des plateformes de médias sociaux à présenter des flux algorithmiques addictifs aux enfants. 

Les intervenants ont généralement convenu que le gouvernement devait exercer une plus grande surveillance sur la technologie de l'IA, même s'il n'a pas une compréhension parfaite de cette technologie. Le gouvernement peut réglementer l'utilisation des outils d'IA par les agences et utiliser les marchés publics comme levier de réglementation, par exemple par le biais du décret de la Maison Blanche sur le développement et l'utilisation sûrs, sécurisés et fiables de l'intelligence artificielle.[11] et le décret californien sur l'utilisation par l'État de l'IA générative.[12]

Toutefois, les intervenants ont exprimé des points de vue divergents sur la manière d'aborder une réglementation plus large de la technologie de l'IA. Certains sont favorables à l'adoption d'une loi globale, telle que la loi sur l'intelligence artificielle de l'Union européenne (loi sur l'IA de l'UE), [13] qui crée un vaste cadre réglementaire fondé sur les risques et met en place une agence centralisée chargée de superviser la technologie de l'IA. D'autres intervenants ont estimé qu'un tel modèle n'était pas approprié aux États-Unis et ont plaidé en faveur d'une réglementation et d'une surveillance divisées par secteur et gérées par des agences distinctes. Cela signifierait, par exemple, que le ministère de la santé et des services sociaux pourrait être le principal régulateur des questions liées à la technologie de l'IA dans le domaine des soins de santé. 

Ce dernier groupe a fait remarquer que l'autorité distribuée permettrait aux agences d'être plus agiles dans l'adaptation des réglementations à l'évolution de la technologie et favoriserait la concurrence et l'innovation. Les partisans d'un régime réglementaire global ont rétorqué que les réglementations sectorielles ainsi que les lois nationales et locales peuvent compléter un cadre général. Notamment, le responsable d'une organisation de défense des droits a mis en garde contre le fait de croire que nous devons choisir entre l'adoption prudente et l'innovation, car la responsabilité du gouvernement est de maximiser les deux. 

Développements et domaines à approfondir 

Depuis le symposium, la réglementation de la technologie de l'IA a connu des développements importants. L'État de New York a adopté la loi SAFE for Kids, évoquée précédemment, qui constitue une étape importante dans la protection des enfants contre les préjudices algorithmiques en ligne. 

D'autres juridictions ont également été actives ces derniers mois. En mai, le Colorado a adopté la loi sur l'intelligence artificielle, [14] qui, à l'instar de la loi européenne sur l'IA, impose des obligations sur l'utilisation des outils d'IA en fonction du risque de préjudice pour les consommateurs. Le même mois, le Sénat américain a publié une feuille de route pour la politique en matière d'IA, qui prévoit un financement de 32 milliards de dollars pour l'innovation dans le domaine de l'IA et une législation visant à compléter les lois existantes qui s'appliquent à la technologie de l'IA.[15] En juillet, la Federal Trade Commission, le ministère américain de la justice et les autorités de la concurrence de l'UE et du Royaume-Uni ont publié une déclaration commune énonçant des principes visant à protéger la concurrence dans l'écosystème de l'IA.[16]

Toutefois, alors que New York se prépare à faire face aux risques de la technologie de l'IA, et en particulier de l'IA générative, il y a des questions à étudier et à comprendre plus avant. Par exemple, plusieurs intervenants ont demandé des normes d'audit algorithmique, mais il n'y a pas de consensus sur la norme appropriée ni sur la manière dont les approches d'audit utilisées pour les outils d'IA traditionnels peuvent être adoptées pour l'audit des modèles d'IA générative. Dans le même ordre d'idées, il n'y a pas de consensus sur la manière de développer un cadre robuste de filigrane pour les contenus générés par l'IA. Étant donné que ces types de questions requièrent une expertise technique, des questions subsistent quant à la manière de s'assurer que les personnes appropriées sont impliquées dans l'élaboration de ces normes et cadres. 

En outre, comme indiqué précédemment, il existe un désaccord sur le cadre approprié pour réglementer la technologie de l'IA, y compris sur le niveau de centralisation adéquat. Le BVG surveille activement l'efficacité des différents cadres réglementaires, tels que la loi européenne sur l'IA, afin d'éclairer les futures propositions législatives et réglementaires.  

L'OAG continuera à écouter et à s'informer sur cette technologie en développement et sur les moyens appropriés d'encourager l'innovation tout en protégeant les New-Yorkais.