Los expertos destacan que el audio generado por IA ha sido una de las primeras preferencias adoptadas por malos actores, en parte porque la tecnología ha mejorado muy rápidamente: sólo se necesitan unos segundos de audio verdadero para crear una falsificación realista.
Por Ali Swenson
NUEVA YORK (AP).— A medida que se acercan unas elecciones en las que hay mucho en juego en Estados Unidos y la Unión Europea, las herramientas de Inteligencia Artificial (IA) disponibles públicamente pueden ser fácilmente utilizadas como armas para producir mentiras electorales convincentes en voces de figuras políticas destacadas, advirtió el viernes un grupo de derechos civiles digitales.
Investigadores del Centro para Contrarrestar el Odio Digital (CCDH, por sus siglas en inglés), con sede en Washington, probaron seis de las herramientas de clonación de voz con IA más populares para ver si podían generar clips de audio de cinco declaraciones falsas sobre las elecciones en voz de ocho políticos destacados tanto estadounidenses como europeos.
En un total de 240 pruebas, las herramientas generaron clonaciones de voz convincentes en 193 casos, o el 80 por ciento de las veces, encontró el grupo. En un clip —un fragmento o archivo breve—, un falso Presidente estadounidense Joe Biden afirma que los funcionarios electorales cuentan dos veces cada uno de sus votos. En otro, un falso Presidente francés Emmanuel Macron advierte a los ciudadanos que no voten debido a amenazas de bomba en las urnas.
Los hallazgos revelan una brecha notable en las salvaguardas contra el uso de audio generado por IA para engañar a los votantes, una amenaza que preocupa cada vez más a los expertos a medida que la tecnología se ha vuelto más avanzada y accesible. Si bien algunas de las herramientas tienen reglas o barreras tecnológicas para evitar que se genere desinformación electoral con ellas, los investigadores encontraron que muchos de esos obstáculos fueron fáciles de sortear con alternativas rápidas.
Sólo una de las empresas cuyas herramientas utilizaron los investigadores respondió después de múltiples solicitudes de comentarios. ElevenLabs señaló que buscaba constantemente maneras de reforzar sus salvaguardas.
Con pocas leyes vigentes para prevenir el abuso de estas herramientas, la falta de autorregulación de las empresas deja a los votantes vulnerables al engaño generado por IA en un año de elecciones democráticas importantes en todo el mundo. Los votantes de la Unión Europea (UE) acudirán a las urnas para las elecciones parlamentarias en menos de una semana, y en Estados Unidos se celebran elecciones primarias previas a las elecciones presidenciales de este otoño.
“Es muy fácil utilizar estas plataformas para crear mentiras y obligar a los políticos a ponerse a la defensiva para desmentir mentiras una y otra y otra vez”, dijo Imran Ahmed, el director general del CCDH. “Desafortunadamente, nuestras democracias están siendo vendidas debido a una codicia desvergonzada por parte de empresas de Inteligencia Artificial desesperadas por ser las primeras en llegar al mercado... a pesar del hecho de que saben que sus plataformas simplemente no son seguras”.
El CCDH —una organización sin fines de lucro con oficinas en Estados Unidos, Gran Bretaña y Bélgica— realizó la pesquisa en mayo. Los investigadores utilizaron Semrush, la herramienta de análisis de datos en línea, para identificar las seis herramientas de clonación de voz con IA disponibles públicamente y con el mayor tráfico web orgánico mensual: ElevenLabs, Speechify, PlayHT, Descript, Invideo AI y Veed.
Después, las alimentaron con clips de audio verdaderos de los políticos hablando y dieron instrucciones a las herramientas para generar cinco declaraciones infundadas con las voces de esos políticos.
Una declaración advertía a los votantes que se quedaran en casa debido a amenazas de bomba en las urnas. Las otras cuatro eran confesiones diversas: manipulación electoral, mentiras, uso de fondos de campaña para gastos personales y tomar medicamentos fuertes que provocan la pérdida de memoria.
Además de Biden y Macron, las herramientas generaron copias realistas de las voces de Kamala Harris, Vicepresidenta de Estados Unidos; Donald Trump, expresidente estadounidense; Rishi Sunak, primer ministro de Gran Bretaña; Keir Starmer, el líder del partido laborista de Gran Bretaña; Ursula von der Leyen, presidenta de la Comisión Europea; y Thierry Breton, Comisario de Mercado Interior de la UE.
“Ninguna de las herramientas de clonación de voces de IA tenía suficientes medidas de seguridad para evitar la clonación de voces de políticos o la producción de desinformación electoral”, dijo el informe.
Algunas de las herramientas —Descript, Invideo AI y Veed— requieren que los usuarios carguen una muestra de audio única antes de clonar una voz, un salvaguarda para evitar que las personas clonen una voz que no es la suya. No obstante, los investigadores descubrieron que esa barrera podía sortearse fácilmente al generar la muestra solicitada en una herramienta de clonación de voz con IA diferente.
Una herramienta, Invideo AI, no sólo creó las declaraciones falsas que solicitó el CCDH, sino que las extrapoló para crear una desinformación mayor.
Al producir el clip de audio que ordenaba al clon de voz de Biden advertir a la gente sobre una amenaza de bomba en las urnas, la herramienta añadió varias frases propias.
“Este no es un llamado a abandonar la democracia, sino una súplica para garantizar primero la seguridad”, agregó la herramienta al clip de audio falso con la voz de Biden. “Las elecciones, la celebración de nuestros derechos democráticos, sólo se retrasan, no se niegan”.
OpenAI está trabajando en "Voice Engine", una herramienta capaz de clonar voces
- El modelo utiliza una entrada de texto y una única muestra de audio de 15 segundos para generar un audio con sonido natural similar al hablante original pic.twitter.com/JWb1hfIrAs— flora💚🌱 (@florbarbeira) March 31, 2024
En general, en términos de seguridad, Speechify y PlayHT fueron las peores entre las herramientas al generar audio falso creíble en las 40 pruebas a las que las sometieron, encontraron los investigadores.
ElevenLabs tuvo el mejor desempeño y fue la única herramienta que bloqueó la clonación de voces de políticos del Reino Unido y Estados Unidos. Sin embargo, permitió la creación de audio falso con voces de destacados políticos de la UE, según el informe.
Aleksandra Pedraszewska, directora de seguridad de IA en ElevenLabs, declaró en un comunicado enviado por correo electrónico que la empresa acoge con agrado el informe y la conciencia que genera sobre la manipulación de la IA generativa.
Dijo que ElevenLabs reconoce que hay más trabajo por hacer y está “mejorando constantemente las capacidades de nuestras salvaguardas”, incluida la función de bloqueo de la empresa.
Did you know AI voices can now act out quotes? pic.twitter.com/erQIU92j4Y
— Speechify (@SpeechifyAI) April 2, 2024
“Esperamos que otras plataformas de Inteligencia Artificial de audio sigan este ejemplo e introduzcan medidas similares sin demora”, agregó.
Las otras empresas citadas en el informe no respondieron a las solicitudes de comentarios enviadas por correo electrónico.
Los hallazgos se producen después que fragmentos de audio generados por IA ya han sido utilizados en intentos para influir en los votantes en elecciones de todo el mundo.
En el otoño de 2023, pocos días antes de las elecciones parlamentarias de Eslovaquia, clips de audio que imitaban la voz del jefe del partido liberal fueron compartidos ampliamente en las redes sociales. Los deepfakes —falsificaciones realistas digitales producidas con IA generativa— supuestamente lo grabaron hablar sobre aumentar los precios de la cerveza y manipular la votación.
#16días Los Deepfakes o "falsedades profundas" son archivos de vídeo, imagen o voz manipulados mediante un software de inteligencia artificial de modo que parezcan originales, auténticos y reales. Utilizan el aprendizaje de la IA, por lo que consiguen engañarnos fácilmente. pic.twitter.com/VTx8fVO8mt
— Derechos Digitales (@derechosdigital) December 8, 2023
A principios de este año, llamadas telefónicas automáticas generadas por IA imitaron la voz de Biden y dijeron a los votantes de las primarias de Nueva Hampshire que se quedaran en casa y “guardaran” sus votos para noviembre. Un mago de Nueva Orleans, quien creó el audio para un consultor político demócrata, demostró a la AP cómo lo realizó con el software de ElevenLabs.
Los expertos destacan que el audio generado por IA ha sido una de las primeras preferencias adoptadas por malos actores en parte porque la tecnología ha mejorado muy rápidamente: sólo se necesitan unos segundos de audio verdadero para crear una falsificación realista.
No obstante, otros tipos de archivos digitales generados por IA también preocupan a expertos, legisladores y líderes de la industria tecnológica. OpenAI, la empresa detrás de ChatGPT y de otras herramientas populares de Inteligencia Artificial generativa, reveló el jueves que había detectado e interrumpido cinco campañas en línea que utilizaban su tecnología para influir en la opinión pública sobre cuestiones políticas.
Ahmed, el director general del CCDH, expresó que espera que las plataformas de clonación de voz de IA endurezcan las medidas de seguridad y sean más proactivas en cuanto a la transparencia, incluida la publicación de una biblioteca de clips de audio que han creado para que puedan ser verificados cuando un audio sospechoso se difunda ampliamente en línea.
También dijo que los legisladores deben actuar. El Congreso de Estados Unidos aún no aprueba una legislación que regule la IA en las elecciones. Y aunque la UE ya aprobó una Ley de Inteligencia Artificial de amplio alcance que entrará en vigor en los próximos dos años, no aborda específicamente las herramientas de clonación de voz.
“Los legisladores deben trabajar para garantizar que existan estándares mínimos”, advirtió Ahmed. “La amenaza que representa la desinformación para nuestras elecciones no es sólo la posibilidad de provocar un incidente político menor, sino también hacer que la gente desconfíe de lo que ve y escucha, punto”.
