- Origen
- CSO Online
- Fecha
- 2026-06-11T04:09:06.430668+00:00
- Resumen
- Según CSO Online, el AI red teaming, disciplina nacida en 2019 con Microsoft, ha evolucionado radicalmente tras la llegada de GPT-4, que rompió las metodologías previas. Esta especialidad, ahora en auge en empresas como Microsoft, Anthropic, OpenAI, Google y Nvidia, enfrenta el reto de redefinir su función debido a la naturaleza probabilística de la IA, que exige evaluaciones repetidas y bajo diversas condiciones para detectar vulnerabilidades. Además, la amenaza ya no solo proviene de actores sofisticados, sino también de usuarios comunes que manipulan creativamente los sistemas. El campo ha ampliado su enfoque tradicional de confidencialidad, integridad y disponibilidad para incluir riesgos de seguridad, seguridad social, desinformación y comportamiento autónomo. Se destaca la importancia de analizar no solo el modelo de IA, sino todo el ecosistema conectado, ya que fallos pueden surgir de interacciones entre componentes, como evidenció un caso judicial con un chatbot de Air Canada. La aparición de sistemas agenticos, que ejecutan acciones reales, añade riesgos operativos y obliga a una evaluación continua en producción. Microsoft y otros actores promueven la colaboración y la apertura de herramientas para que las organizaciones comprendan y gestionen estos riesgos, anticipando una convergencia entre red teaming tradicional y de IA. El AI red teaming se ha convertido en una disciplina multidisciplinar que abarca ciberseguridad, seguridad, desinformación, autonomía y gobernanza, y seguirá evolucionando con las capacidades futuras de la IA.
