El pasado 2 de enero, en nuestra sección del programa L’Altra Ràdio, Javier Otero y Marcos Montero, responsables de Inteligencia Artificial y Transformación Digital de IThinkUPC, hablaron sobre uno de los grandes riesgos de seguridad que presenta la inteligencia artificial generativa: el Prompt Injection.
Este concepto, que proviene del tradicional “SQL Injection” de las bases de datos, consiste en introducir instrucciones maliciosas o engañosas en el sistema para conseguir que la IA se salte sus barreras de seguridad y proporcione información restringida. Durante el programa, Javier y Marcos explicaron los puntos clave de esta vulnerabilidad:
- Prompt Injection directa: se produce cuando el usuario intenta engañar directamente a la IA mediante la manipulación del lenguaje y el contexto. Un ejemplo real es el caso de “Bambi”: en lugar de preguntar directamente cómo se fabrica una bomba (instrucción bloqueada por el sistema), se utiliza una historia emotiva sobre una madre ingeniera nuclear para que la IA, en su intento de ser empática, acabe revelando el proceso.
- Prompt Injection indirecta: en este caso, la IA procesa información que ya contiene instrucciones ocultas. Por ejemplo, se pueden incluir órdenes invisibles dentro de un currículum o de un artículo científico para forzar al sistema a ignorar ciertos datos o a priorizar a un candidato concreto durante un análisis automatizado.
- Actualización constante: los modelos de IA se actualizan casi a diario para corregir estas debilidades a medida que se detectan nuevos métodos de “hackeo” ético o malicioso, de manera que una vulnerabilidad que funciona hoy puede estar resuelta mañana mismo.
Si quieres conocer más detalles sobre los riesgos del “Prompt Injection” y cómo se pone a prueba la seguridad de los modelos de IA, te invitamos a escuchar el podcast del programa L’Altra Ràdio (minuto 6:35).
