La investigació AI és un "Cesspit"?

Content

• Punts clau

Punts clau

• Els informàtics es preocupen pels impactes socials de la IA, que poden envair la privadesa o escriure notícies falses.
• Molts pensen que la revisió paritària hauria de considerar aquests riscos juntament amb el mèrit científic.
• Altres creuen que els científics i els enginyers haurien de difondre la informació lliurement.

Recentment El nou Yorker vaig publicar una característica que vaig escriure sobre ètica de la intel·ligència artificial, específicament sobre si la revisió entre iguals en conferències d’intel·ligència artificial (els principals llocs de publicació en el terreny) hauria de considerar l’impacte social a més del mèrit científic i tècnic. Entre els seus riscos hi ha la invasió de la privadesa i la producció de contingut fals. Alguns dels que vaig escriure van ser reduïts per a l’espai. M’agradaria compartir parts d’aquest material ara.

Els treballs més enllà dels esmentats a l'article han causat controvèrsia. El maig passat, la Universitat de Harrisburg va publicar un comunicat de premsa anunciant un algorisme que suposadament podria predir la criminalitat a partir de les cares. Internet aviat va reaccionar (un tuit la va anomenar "Frenologia 2.0"). Al juny, centenars d'investigadors de diverses disciplines van signar una carta oberta demanant que no es publiqués un document que descrivís l'obra.

El document havia estat acceptat provisionalment a una conferència anomenada CSCE, però finalment rebutjat. (Els autors de la carta oberta aparentment no havien comprovat el seu estat de publicació.) Hamid Arabnia, un informàtic de la Universitat de Geòrgia i coordinador principal de la conferència, em va dir que també havien rebutjat un document que proposés tecnologies per al ciberassetjament. . Els autors esperaven que altres investigadors desenvolupessin defenses. "Vam decidir que si aquest document és llegit per persones que tendeixen a ser antisocials i amb poca integritat, l'utilitzaran i atacaran altres", va dir. "Així doncs, vam acabar rebutjant aquest document, no perquè el seu contingut tècnic fos defectuós, de fet, era un document bastant bo, però a causa de les nostres preocupacions el vam rebutjar d'una manera agradable". Els autors van estar d'acord amb aquestes preocupacions. La majoria de científics són conscients dels problemes ètics, va dir Arabnia. “Però, malauradament, la majoria de nosaltres no estem formats formalment en aquesta àrea. Per tant, fem servir el nostre sentit comú i les nostres crides de judici. Podríem fer-ho millor ".

Fins i tot saber quan plantejar preguntes sobre un document pot requerir que un revisor tingui una certa fluïdesa en els problemes rellevants. Alex Hanna, sociòleg de Google que estudia ètica d’IA, recomana formació en ètica per a tots els investigadors en IA, i no només un taller d’una setmana. "L'educació en ètica realment s'ha d'integrar des del primer moment", em va dir. Com a pas en aquesta direcció, el programa Harvard Embedded EthiCS integra l’ètica al pla d’estudis perquè els filòsofs ensenyen mòduls en cursos d’informàtica.

L’any passat, la conferència de NeurIPS va afegir el requisit que els treballs discutissin sobre “l’impacte potencial més ampli del seu treball ... tant positiu com negatiu”. El seu anunci va provocar immediatament el debat. Un investigador ha fet una piulada: “No crec que sigui un pas positiu. Els impactes socials de la IA són un camp difícil i hi ha investigadors i organitzacions que l’estudien professionalment. La majoria dels autors no tenen experiència en la zona i no faran estudis prou bons per dir alguna cosa significativa ". Altres van atacar: "Així, la majoria dels autors haurien de xuclar-ho i deixar de crear coses tret que obtinguin aquesta experiència. És tan senzill ". "Un contingent de noi blanc moralment vacu argumenta que no tenen prou" experiència "per considerar l'impacte del seu treball. La investigació de la IA és un pou ”.

Tot i que qüestionar l’impacte potencial d’un document pot posar de manifest problemes descuidats, de vegades la gent pot ser massa ràpida per jutjar el risc d’un projecte. El juliol passat, un document acceptat per a la Conferència Internacional de Sistemes i Robots Intel·ligents (IROS) va descriure un algorisme per estimar la densitat de multitud a partir de les imatges dels drons. "Les conferències haurien de tenir una política per a articles que clarament tenen aplicacions nocives?" algú va escriure a Reddit. "Aquest article que he vist avui ... apareixerà a IROS i sembla que no es pot utilitzar per a problemes bons ni per a altres problemes relacionats". Una altra persona va respondre: "Gestionar la densitat i el moviment de multitud és una necessitat vàlida per a tots els esdeveniments públics importants que impliquin multituds". Una altra: "Si busqueu documents incomplets, no és així".

Altres han criticat les decisions de retenir la tecnologia. El 2019, OpenAI va decidir no llançar immediatament el seu model de llenguatge GPT-2 (programari que escriu) per por que pogués "generar un llenguatge enganyós, esbiaixat o abusiu a gran escala". A la conferència AAAI de l'any passat, Geoffrey Hinton, un dels "padrins" de la IA moderna, que realitza investigacions a la Universitat de Toronto i Google Brain, va dir que el moviment d'OpenAI semblava ser un "truc publicitari", que es feia ressò d'un sentiment popular. (Quan li vaig preguntar sobre la decisió de Google, només dues setmanes abans, de no llançar un sofisticat chatbot per qüestions de seguretat, va permetre que OpenAI probablement també tingués en compte la seguretat).

"Assumir la posició que els inventors haurien d'ocultar algunes tecnologies a la vista del públic és estranyament elitista", em va dir David Forsyth, un informàtic de la Universitat d'Illinois a Urbana – Champaign. “Implica que hi ha un establiment que en sap millor. Aquesta línia de pensament no tendeix a acabar bé en el passat. Crec que és millor que tinguem tecnologies potencialment molestes, incòmodes, impropies o ofensives al descobert i debatudes públicament, en lloc d’ocultar-les als laboratoris i, possiblement, desplegar-les sense debats ni per part de governs ni d’empreses ”.

Michael Kearns, un informàtic de la Universitat de Pennsilvània, va assenyalar un document que va ajudar a activar alarmes sobre el que és possible amb la IA. Michal Kosinski, professor de comportament organitzatiu a la Universitat de Stanford, va publicar un article de la revista que mostrava que un algorisme, que no utilitza més que els agraden a Facebook de la gent, podia predir atributs com ara el consum de drogues, l’orientació sexual i fins i tot si els pares encara estaven junts quan es va convertir 21. "La gent no es va adonar fins a aquell diari que alguna cosa que feien en públic que consideraven innocu, com ara" Oh, m'agrada aquesta foto de gat ", identifica estadísticament moltes coses que potser haurien volgut mantenir en privat, ”, Va dir Kearns.

Tot i això, molts coincideixen que el camp necessita algun procés que retingui certes tecnologies, o almenys doni forma a com es presenten. On és el millor lloc en un projecte de recerca per col·locar-hi porters? Una opció no és a nivell de revisió entre iguals de revistes o conferències, sinó a nivell de consells de revisió institucional, abans que comenci un projecte. Però això no és ideal. "La llei que sustenta el que fan els IRB es va escriure per a altres disciplines, com ara la medicina i la psicologia i les ciències socials, on es pressuposa que esteu en contacte amb les persones que esteu experimentant", va dir Ben Zevenbergen, investigador de Em va dir Google, que era acadèmic a Oxford i la Universitat de Princeton quan vam parlar.

Suposem que entreneu el vostre algoritme en cares que es troben a Internet, les dels anomenats subjectes de dades. "Si esteu en contacte amb [aquestes persones]", va dir Zevenbergen, "l'interessat mantindrà algun tipus d'autodeterminació, perquè en realitat poden entendre i fer preguntes sobre aquesta investigació i decidir si és beneficiós per a ells participar , o si és una cosa que consideren que és políticament correcte fer ". Va assenyalar alguns tuits sobre un algoritme que prediu les cares de les veus, i va generar preocupacions sobre la transfòbia, va dir, "aquests problemes podrien aflorar si els investigadors es molestessin a parlar amb els interessats".

Hi ha diverses raons per les quals es pot voler que els guardians ètics no estiguin al nivell de la institució (ja sigui un IRB o un consell dedicat a l’impacte de la IA), sinó a nivell de publicació. Una és que les revistes i conferències poden establir normes en tot el camp. "La informàtica s'està fent en molts llocs diferents amb normes ètiques molt diferents", em va dir Katie Shilton, científica de la informació de la Universitat de Maryland. Tenint en compte l'ús de dades públiques, per exemple, "és un panorama molt més complicat a la Xina". En segon lloc, si les conferències requereixen que els treballs rebin l’aprovació de juntes institucionals, els investigadors d’escoles o països més petits es veuran desfavorits. En tercer lloc, va dir Kearns, "és millor a nivell de conferència perquè aquí són els experts". Fins i tot una escola com Penn podria no tenir prou gent amb experiència en l’aplicació ètica de l’aprenentatge automàtic, a més dels seus aspectes més tècnics, per formar una pensió completa.

"En un món ideal, preferiríem tenir aquest tipus de discussió i deliberació al llarg del procés de recerca", em va dir David Danks, filòsof de Carnegie Mellon que estudia l'aprenentatge automàtic i que ha dirigit l'IRB de CMU. “Part del que fa que una investigació sigui alguna cosa és que no sabem com sortirà. No es pot prendre una decisió com aquesta des del primer moment i mai més no la tornarà a tornar a revisar. Al mateix temps, si espereu fins que s’acabi la investigació i intenteu publicar, el proverbial gat està fora de la bossa de moltes maneres ”. Si hagués de triar entre avaluar l'impacte a nivell de la institució abans que comencés la investigació o al nivell de publicació un cop acabada, escolliria el primer. "Una part d'això és perquè cada vegada és més difícil saber què constitueix la publicació", va dir. Si feu circular un document de treball, o escriviu una publicació al bloc o publiqueu un PDF al servidor de preimpressió arXiv, això compta com a publicació? Aquests punts de venda s’escapen completament de la revisió per parells.

Moltes investigacions a les conferències provenen d’investigadors d’empreses tecnològiques com Google i Facebook, que presenten un altre possible punt de control de l’ètica tecnològica. Però és possible que les empreses tinguin incloses declaracions d’impacte que plantegin qüestions sobre tecnologia al centre dels seus propis negocis. L’any passat, Timnit Gebru va perdre la feina com a co-líder de l’equip d’ètica d’IA de Google perquè la companyia li havia demanat que retingués un document sobre els riscos dels models lingüístics i es va resistir. Google utilitza aquests models en els seus algorismes de cerca.

El meu article va provocar moltes bones discussions sobre Twitter i altres llocs. Espero que continuï.