Escuchar
ChatGPT anunció dos nuevas funciones de seguridad orientadas a mitigar un riesgo emergente en los sistemas de inteligencia artificial (IA): los ataques de prompt injection.
La actualización incorpora el llamado “Modo Lockdown”, una configuración opcional diseñada para usuarios de alto perfil, y etiquetas de riesgo elevado para funciones que implican mayor exposición a amenazas.
¿Qué es el ‘prompt injection’?
El prompt injection ocurre cuando un tercero intenta manipular a un sistema conversacional para que ejecute instrucciones maliciosas o revele información sensible.
Este tipo de riesgo se vuelve más relevante a medida que los modelos de IA se conectan con la web y con aplicaciones externas.
‘Modo Lockdown’: restricciones adicionales para usuarios de alto riesgo
El “Modo Lockdown” es una configuración avanzada y opcional. Está dirigida a ejecutivos, equipos de seguridad o usuarios que requieran mayor protección frente a amenazas sofisticadas.
No está pensada para la mayoría de personas usuarias.
Cuando se activa, el sistema limita de forma determinista ciertas herramientas que podrían ser explotadas para extraer datos sensibles.
Por ejemplo, el navegador web solo accede a contenido almacenado en caché. No realiza solicitudes en vivo fuera de la red controlada por la empresa.
Algunas funciones se desactivan por completo cuando no existen garantías técnicas suficientes sobre la protección de datos.
El “Modo Lockdown” estará disponible para planes empresariales como Enterprise, Edu, Healthcare y Teachers. Los administradores podrán habilitarlo desde la configuración del espacio de trabajo y definir qué aplicaciones y acciones permanecen activas.
Además, la plataforma de registros de cumplimiento permitirá a las organizaciones monitorear el uso de aplicaciones, los datos compartidos y las fuentes conectadas.
La empresa anunció que planea ofrecer esta modalidad a consumidores en los próximos meses.
Etiquetas de ‘riesgo elevado’: transparencia en funciones conectadas
La segunda medida es la estandarización de etiquetas de riesgo elevado en determinadas capacidades dentro de ChatGPT, ChatGPT Atlas y Codex.
Estas etiquetas aparecerán en funciones que impliquen acceso a red u otras integraciones que puedan introducir riesgos adicionales.
El objetivo es ofrecer orientación clara sobre qué cambia al activar una función, qué riesgos se asumen y en qué contextos podría ser apropiado su uso.
Según el comunicado, algunas capacidades conectadas a la web todavía no cuentan con mitigaciones completas a nivel industrial. La empresa sostiene que los usuarios deben poder decidir de forma informada si desean utilizarlas, especialmente cuando trabajan con datos privados.
