Nueva York crea primer centro estatal de EEUU para evaluar seguridad de la inteligencia artificial
Nueva York, Estados Unidos.– El estado de Nueva York anunció este martes la creación del primer centro estatal de Estados Unidos dedicado a evaluar de manera independiente la seguridad de los sistemas de inteligencia artificial (IA), una iniciativa que busca establecer mayores controles sobre el desarrollo de esta tecnología y reducir los riesgos asociados con su utilización.
La gobernadora Kathy Hochul presentó el Centro para la Responsabilidad e Investigación de la Inteligencia Artificial de Nueva York (NYCAIRR, por sus siglas en inglés), una institución que reunirá a más de 80 investigadores y especialistas de universidades y centros académicos del estado para estudiar el funcionamiento de los sistemas avanzados de IA, identificar posibles vulnerabilidades y desarrollar mecanismos que permitan comprobar su seguridad.
El centro tendrá su sede en la Universidad de Binghamton, perteneciente al sistema de la Universidad Estatal de Nueva York (SUNY), y contará con el respaldo tecnológico del consorcio Empire AI, una iniciativa que proporciona infraestructura de computación avanzada para investigaciones científicas y proyectos relacionados con inteligencia artificial.
Durante el anuncio, Hochul destacó que Nueva York busca asumir un papel de liderazgo en la investigación y supervisión de esta tecnología, especialmente ante la creciente capacidad de los sistemas de inteligencia artificial y los desafíos que representan para la seguridad pública, la privacidad y el funcionamiento de diferentes sectores de la sociedad.
La mandataria sostuvo que las empresas tecnológicas no deben ser las únicas responsables de evaluar los riesgos de sus propios productos, por lo que consideró necesario contar con investigaciones independientes que permitan determinar las capacidades y posibles consecuencias de estas herramientas.
Más de 80 investigadores evaluarán sistemas de IA
El NYCAIRR reunirá a más de 80 científicos y especialistas procedentes de instituciones académicas de Nueva York, quienes trabajarán en investigaciones relacionadas con la seguridad informática, la transparencia, la privacidad y el comportamiento de los sistemas de inteligencia artificial.
La institución tendrá entre sus principales responsabilidades realizar pruebas independientes a modelos avanzados de IA para identificar posibles fallos, vulnerabilidades y comportamientos que puedan representar riesgos para los usuarios.
También desarrollará métodos científicos, herramientas de medición y estándares técnicos que permitan evaluar la seguridad de estas tecnologías a medida que aumenten sus capacidades.
Entre las áreas de investigación figuran la interpretación del funcionamiento interno de los modelos, la alineación de los sistemas con los objetivos establecidos por sus desarrolladores, la protección de infraestructuras tecnológicas y la seguridad de los sistemas autónomos capaces de ejecutar tareas complejas.
El centro también buscará formar una nueva generación de especialistas en seguridad de inteligencia artificial, mediante programas de investigación y colaboración con universidades de todo el estado.
Expertos de Cornell y Columbia dirigirán el centro
La dirección interina del organismo estará a cargo de Greg Morrisett, decano de Cornell Tech, y Jeannette Wing, vicepresidenta ejecutiva de Investigación de la Universidad de Columbia.
Ambos especialistas cuentan con una reconocida trayectoria en ciencias de la computación, investigación tecnológica y ciberseguridad.
Su responsabilidad será coordinar la agenda científica del centro, supervisar las evaluaciones independientes de los sistemas de inteligencia artificial y desarrollar una red de colaboración entre investigadores de diferentes instituciones académicas.
La iniciativa pretende aprovechar los conocimientos de las universidades públicas y privadas de Nueva York para establecer criterios científicos que permitan determinar cuándo una tecnología de inteligencia artificial puede considerarse segura y bajo qué condiciones debe utilizarse.
Inversión de 55 millones de dólares
La creación del centro cuenta con una financiación inicial de 55 millones de dólares, compuesta por una donación filantrópica de 30 millones de dólares, encabezada por Tom Secunda, cofundador de Bloomberg LP y antiguo estudiante de la Universidad de Binghamton, además de una inversión estatal de 25 millones de dólares destinada a impulsar las investigaciones.
El proyecto también aprovechará la infraestructura de Empire AI, un consorcio respaldado por universidades y el Gobierno estatal que busca fortalecer la capacidad de investigación en inteligencia artificial de Nueva York.
Esta plataforma permitirá a los investigadores realizar pruebas y análisis que requieren una elevada capacidad de procesamiento, especialmente cuando se trata de evaluar modelos avanzados y estudiar su comportamiento ante diferentes escenarios.
Nueva York prepara mayores controles para las empresas tecnológicas
El lanzamiento del centro se produce en medio de la implementación de la Ley RAISE, una legislación estatal que establece nuevas obligaciones de seguridad, transparencia y presentación de informes para los desarrolladores de sistemas avanzados de inteligencia artificial.
La normativa entrará en vigor el 1 de enero de 2027 y contempla que las grandes empresas desarrolladoras de modelos de IA de vanguardia se registren ante las autoridades estatales y publiquen información relacionada con sus marcos de seguridad.
Asimismo, establece la obligación de informar sobre incidentes críticos de seguridad en un plazo de 72 horas, con el propósito de que las autoridades puedan conocer situaciones que representen riesgos importantes.
Como parte de este proceso, el estado también puso en funcionamiento una plataforma digital para que las compañías sujetas a la normativa puedan realizar su registro y cumplir con los requisitos establecidos.
El nuevo centro de investigación podrá proporcionar evaluaciones, conocimientos técnicos y recomendaciones que sirvan de apoyo a las autoridades encargadas de supervisar el cumplimiento de las disposiciones.
Inteligencia artificial y seguridad pública
La iniciativa representa un paso dentro del debate sobre cómo regular una tecnología que ha experimentado un crecimiento acelerado y que cada vez tiene mayor presencia en actividades como la educación, la medicina, las finanzas, la investigación científica y los servicios públicos.
Aunque la inteligencia artificial ofrece oportunidades para mejorar procesos y acelerar descubrimientos, también plantea interrogantes sobre la protección de datos personales, la manipulación de información, los errores de los sistemas automatizados y la posibilidad de que herramientas avanzadas sean utilizadas con fines perjudiciales.
Con la creación del NYCAIRR, Nueva York busca desarrollar una estructura científica que permita estudiar esos desafíos y aportar evidencias técnicas para orientar las decisiones de las autoridades.
La gobernadora Kathy Hochul ha defendido la necesidad de establecer mecanismos de supervisión que acompañen el crecimiento de la industria tecnológica, bajo el argumento de que la innovación debe avanzar junto con garantías de seguridad y responsabilidad.
Con más de 80 investigadores, una financiación inicial de 55 millones de dólares y el respaldo de importantes instituciones académicas, el nuevo centro aspira a convertirse en una referencia para la evaluación independiente de los sistemas de inteligencia artificial en Estados Unidos.