¿Qué es un prompt injection o ataque de inyección de prompts?

El término prompt se refiere a las instrucciones que guían el comportamiento de un modelo de lenguaje (LLM) como ChatGPT. Sin embargo, cuando hablamos de prompt injection o ataque de inyección de prompts se hace referencia a una técnica que busca manipular las respuestas del modelo introduciendo instrucciones maliciosas. En este artículo te lo explicamos todo acerca de esta técnica y por qué representa un riesgo para las aplicaciones basadas en IA.

¿Qué es un prompt injection?

El prompt injection es una técnica manipulativa que busca engañar a un sistema de inteligencia artificial, en concreto a aquellos que utilizan modelos de lenguaje (LLM), como ChatGPT o Gemini, que generan respuestas automáticas en base a unas instrucciones. Es justamente esto último lo que hace que este tipo de aplicaciones sean vulnerables respecto a otras, ya que las instrucciones pueden alterarse intencionadamente para obtener un comportamiento no deseado.

Este tipo de acción se considera una amenaza para los sistemas basados en IA, ya que podría comprometer la seguridad, privacidad y confiabilidad de las aplicaciones basadas en IA, como asistentes virtuales y sistemas de atención al cliente o automatización de tareas.

¿Cómo funciona un ataque de prompt injection?

Las aplicaciones de LLM no son capaces de distinguir entre las instrucciones del desarrollador y las de un usuario, por lo que, si se insertan unas instrucciones maliciosas cuidadosamente elaboradas dentro del texto, su comportamiento se podría ver alterado. 

Existen dos tipos de ataque, el directo, donde las instrucciones maliciosas se incluyen explícitamente y directamente en el prompt que se envía al modelo; y el indirecto, donde el contenido malicioso proviene de una fuente externa, como un documento o una página web, por lo que se aprovecha su capacidad para leer e interpretar contenido de terceros para alterar el sistema.

En ambos casos se puede poner en riesgo la integridad del sistema basado en IA, ya que, por ejemplo, ante una pregunta tipo “¿Cuál es el horario de atención al cliente?” se podría lograr que respondiera que la empresa ha cerrado de forma permanente.

Riesgos asociados al prompt injection en entornos de marketing y empresas

Los ataques LLM suponen un riesgo en el contexto empresarial, especialmente en áreas como el marketing digital y la atención al cliente, ya que suelen aprovechar las vulnerabilidades de los chatbots y otras aplicaciones basadas en IA para alterar las respuestas y ofrecer información incorrecta con el fin de dirigir a los usuarios hacia otra empresa, dañar la imagen de marca, etc.

Otro peligro importante, y que pone en duda la seguridad en IA, es el filtrado de información sensible o personal, ya que, si el sistema está conectado a una base de datos interna o posee contenido confidencial, el modelo podría llegar a revelar información privada.

Todo esto puede afectar directamente a la experiencia del usuario, a la confianza depositada en la marca y a su reputación, de ahí que la ciberseguridad en IA sea tan importante.

Cómo proteger tus sistemas de IA ante ataques de prompt injection

Aunque el riesgo de sufrir un ataque de inyección de prompts siempre existe, hay ciertas prácticas de diseño y seguridad en los sistemas basados en inteligencia artificial que pueden reducirlo de forma significativa. 

Lo más básico es tener una validación y filtrado del input del usuario, lo que implica hacer una revisión del texto antes de que lo reciba el modelo con el fin de eliminar instrucciones o comandos que puedan manipular y dañar el sistema. También debe haber una separación clara entre el contenido y las instrucciones del prompt. Es decir, que haya una separación clara entre lo que pide el usuario y lo que pide el desarrollador para eliminar la posibilidad de interferencias. Incluso pueden aplicarse técnicas como el few-shot learning con plantillas cerradas, para que el modelo responda dentro de un conjunto limitado de ejemplos y formatos predefinidos.

Otra opción, especialmente para aquellas empresas que quieran un prompt para crear un buen plan de marketing con IA, es contar con una agencia de IA, que conozca y sepa cómo reducir, incluso eliminar, este tipo de riesgos.

Podemos concluir que el prompt injection es una de las problemáticas más relevantes en el uso de la inteligencia artificial, especialmente a medida que crecen las empresas que optan por este tipo de herramientas. Sin embargo, conociendo este riesgo también se reduce las posibilidades de ser una víctima, ya que pueden aplicarse medidas que protejan tanto el sistema como la experiencia del usuario. Es decir, si se combina de forma adecuada la tecnología, las buenas prácticas de diseño y las estrategias de prompt engineering, se pueden construir aplicaciones de IA seguras y alineadas con los objetivos y necesidades de la empresa.