Investigadores de la Universidad Johns Hopkins acaban de poner sobre la mesa una de las vulnerabilidades más serias que afectan a los agentes de inteligencia artificial empresariales: una técnica denominada Comment and Control que permite manipular bots de IA para que expongan claves API, tokens de autenticación y datos sensibles de las organizaciones que los usan.
Los experimentos comprometieron con éxito a agentes desplegados por tres de los mayores jugadores del sector: Anthropic, Google y Microsoft. Y lo que es más preocupante, el ataque no requiere acceso privilegiado ni exploits de software: basta con que el agente lea contenido externo sin los controles de privilegios adecuados.
Si tu empresa usa un chatbot o agente de IA conectado a Slack, Jira, correo electrónico o cualquier flujo de automatización que procese datos externos, este análisis es imprescindible.
¿Qué es la técnica «Comment and Control»?
El nombre es un juego de palabras con el modelo clásico de command and control (C2) usado en ciberataques convencionales. La idea central es sencilla y por eso resulta tan peligrosa: los investigadores ocultaron instrucciones maliciosas dentro de contenido aparentemente inocente —comentarios en documentos, tickets de soporte, emails— que los agentes de IA estaban autorizados a leer.
Cuando el agente procesa ese contenido, las instrucciones embebidas se mezclan con el contexto legítimo. El modelo de lenguaje, incapaz de distinguir entre órdenes del sistema y «ruido» en los datos de entrada, las ejecuta. El resultado: el bot filtra información confidencial o realiza acciones no autorizadas en nombre del atacante.
Esta categoría de ataque ya tiene nombre técnico: inyección de prompt indirecta. Pero la investigación de Johns Hopkins demostró que el problema no es teórico ni marginal. En condiciones reales, con agentes reales de compañías reales, los ataques funcionaron.
Por qué Anthropic, Google y Microsoft son relevantes en este contexto
Los investigadores eligieron agentes de estas tres empresas porque representan los despliegues más extendidos en entornos corporativos:
- Claude (Anthropic): ampliamente usado para análisis de documentos, resúmenes y asistencia en flujos de trabajo.
- Gemini (Google): integrado en Google Workspace, con acceso a Gmail, Drive y Calendar.
- Copilot (Microsoft): presente en Microsoft 365, con permisos sobre correos, archivos y reuniones.
En los tres casos, los investigadores lograron que los agentes exfiltraran datos de configuración e incluso credenciales de acceso. Cabe aclarar que las empresas fueron notificadas antes de la publicación y han estado trabajando en mitigaciones, pero la superficie de ataque subyacente —el hecho de que los LLMs procesen instrucciones y datos en el mismo canal— es estructural y no se resuelve con un simple parche.
El problema de fondo: privilegios mínimos y separación de contexto
La vulnerabilidad no está únicamente en los modelos de lenguaje. Está en cómo se diseñan los sistemas que los rodean. Un agente empresarial bien construido debería seguir el principio de privilegios mínimos: tener acceso solo a lo que necesita para completar una tarea específica, y nada más.
En la práctica, muchos despliegues actuales otorgan a los agentes acceso amplio —a bases de datos, repositorios, sistemas de mensajería— sin segmentación. Cuando el agente lee un ticket de soporte infectado con instrucciones maliciosas, ya tiene las llaves del castillo.
Los investigadores identificaron tres vectores principales de ataque:
- Contenido en herramientas de colaboración: tickets de Jira, mensajes de Slack, documentos de Confluence con instrucciones ocultas.
- Emails y calendarios: invitaciones o correos diseñados para manipular al agente que procesa la bandeja de entrada del usuario.
- Resultados de búsqueda web: páginas externas que el agente consulta durante una tarea y que contienen payloads de inyección.
En los tres casos, el agente creyó estar siguiendo instrucciones legítimas del sistema o del usuario.
¿Qué riesgo corre tu negocio?
Si usás un agente de IA en tu empresa —sea un chatbot de atención al cliente, un asistente de ventas o un bot de automatización interna— la pregunta relevante no es «¿puede pasarme?», sino «¿qué controles tengo para detectarlo si pasa?».
Los escenarios de riesgo concretos incluyen:
- Exposición de claves de API: un agente con acceso al código fuente o a archivos de configuración puede ser manipulado para copiar y enviar esas credenciales.
- Escalada de privilegios: instrucciones maliciosas pueden hacer que el agente ejecute acciones que normalmente requieren aprobación manual.
- Robo de conversaciones: agentes de atención al cliente pueden ser inducidos a filtrar historiales de chat de otros usuarios.
- Manipulación de datos de negocio: en sistemas de CRM o ERP conectados, el agente podría modificar registros de forma encubierta.
Para empresas que atienden a miles de clientes a través de canales automatizados, el impacto potencial es significativo.
Cómo proteger tu chatbot empresarial
La investigación no solo expone el problema: los mismos autores proponen un conjunto de contramedidas que deberían ser estándar en cualquier despliegue serio de agentes de IA.
1. Implementar privilegios mínimos de forma estricta
El agente debe tener acceso únicamente a los recursos necesarios para cada tarea. Si el bot de atención al cliente no necesita acceder a la base de datos de facturas, no debería poder hacerlo, punto. Esto requiere diseñar los permisos del agente con la misma rigurosidad que se aplica a cualquier otro sistema de software.
2. Separar el canal de instrucciones del canal de datos
El principio técnico es simple: el sistema debería distinguir entre el prompt del sistema (instrucciones legítimas) y los datos que el agente procesa (potencialmente no confiables). Implementaciones como las system prompts protegidas o arquitecturas que marcan explícitamente el contenido externo como «no ejecutable» reducen drásticamente la superficie de ataque.
3. Monitorear las acciones del agente en tiempo real
Los agentes no deben actuar en modo «fire and forget». Toda acción que implique acceso a datos sensibles o ejecución de comandos debería quedar registrada y, en casos de alto riesgo, requerir confirmación humana antes de ejecutarse.
4. Limitar el acceso a sistemas externos
Si el agente puede hacer búsquedas web o acceder a URLs arbitrarias, el riesgo aumenta. Cuando sea posible, restringir las fuentes de datos a dominios verificados y de confianza.
5. Auditorías periódicas de los prompts del sistema
Los prompts de sistema que definen el comportamiento del agente deben revisarse regularmente. Una instrucción antigua que parecía inofensiva puede convertirse en un vector de ataque si el contexto del despliegue cambió.
La industria responde: ¿es suficiente?
Las tres empresas mencionadas en la investigación —Anthropic, Google y Microsoft— han reconocido el problema y están trabajando en mejoras. Sin embargo, los investigadores de Johns Hopkins son claros: mientras los modelos de lenguaje no tengan mecanismos robustos para diferenciar instrucciones de datos, la superficie de ataque persiste.
Algunos enfoques técnicos prometedores incluyen:
- Sandboxing de ejecución: aislar cada tarea del agente en un entorno con permisos restringidos.
- Verificación criptográfica de instrucciones: firmar digitalmente los prompts del sistema para que el agente pueda verificar su autenticidad.
- Modelos de políticas de uso: definir reglas explícitas sobre qué tipos de instrucciones puede seguir el agente según la fuente del contenido.
Estas soluciones están en distintos estados de madurez y ninguna elimina el riesgo de forma definitiva hoy. La seguridad en IA es un campo que evoluciona rápido, y las empresas que usan estos sistemas deben mantenerse actualizadas.
Chatsell y la seguridad en automatización de WhatsApp
En Chatsell construimos herramientas de automatización para negocios que atienden a sus clientes a través de WhatsApp. Con 1.9 millones de personas atendidas, 600,000+ horas ahorradas y más de 60,000 ventas gestionadas a través de nuestra plataforma, entendemos que la seguridad de los datos de tus clientes no es negociable.
Por eso, nuestro enfoque de diseño aplica desde el inicio los principios que los investigadores de Johns Hopkins identificaron como críticos:
- Privilegios mínimos por defecto: cada flujo de automatización accede solo a los datos que necesita para esa conversación específica.
- Sin acceso a sistemas externos no autorizados: los bots de Chatsell no pueden hacer llamadas arbitrarias a URLs externas ni acceder a sistemas que el operador no haya configurado explícitamente.
- Registro de auditoría completo: todas las acciones automatizadas quedan registradas para revisión posterior.
Si querés saber más sobre cómo implementar automatización de WhatsApp de forma segura para tu negocio, explorá cómo funciona Chatsell o revisá nuestros recursos sobre automatización de atención al cliente con WhatsApp.
¿Qué hacer ahora si usás agentes de IA en tu empresa?
La investigación de Johns Hopkins es una señal de alerta para cualquier organización que haya adoptado agentes de IA sin revisar exhaustivamente su modelo de seguridad. La acción concreta que te recomendamos:
- Inventariá los accesos de cada agente que tenés en producción. ¿A qué sistemas puede acceder? ¿Qué datos puede leer y escribir?
- Revisá los prompts del sistema de cada bot. ¿Contienen información sensible que un atacante podría intentar extraer?
- Evaluá si tienen acceso a canales de contenido externo sin filtrar: emails, tickets de soporte, búsquedas web.
- Implementá logging y alertas para acciones inusuales del agente.
- Mantente actualizado con los parches de seguridad de los proveedores que usás.
La inteligencia artificial es una herramienta poderosa para escalar la atención al cliente y las ventas. Pero como cualquier herramienta poderosa, requiere ser usada con responsabilidad.
Si tu empresa está evaluando implementar un agente de ventas con IA en WhatsApp o buscás entender mejor cómo la IA está impactando en el ecommerce latinoamericano, en Chatsell te podemos ayudar a hacerlo de forma segura y efectiva.
¿Listo para automatizar tu negocio con seguridad? Conocé Chatsell y descubrí cómo más de 60,000 ventas se gestionaron a través de nuestra plataforma.
