01 · El Modelo en el que Nunca Debiste Confiar
Imagina que eres el responsable de seguridad de una empresa de logística que ha implementado un sistema de visión artificial para clasificar paquetes dañados en la línea de producción. El modelo tiene 98.7% de accuracy en producción. Una tarde, alguien coloca un pequeño sticker con un patrón geométrico sobre los paquetes defectuosos. El modelo empieza a clasificarlos como "en perfecto estado".
No hubo acceso al servidor. No hubo cambio de código. No hubo ninguna alerta en el SIEM.
Los papers que sustentan este artículo demuestran que ataques con stickers impresos en papel funcionan contra sistemas de vehículos autónomos en condiciones reales de conducción, con una tasa de éxito del 84.8% en campo y del 100% en laboratorio.
Esta es la esencia de ML01: Input Manipulation Attack, el riesgo número uno en el OWASP Top 10 for Machine Learning.
02 · ¿Qué es ML01: Input Manipulation Attack?
Un Input Manipulation Attack, también conocido como ataque adversarial, ocurre cuando un adversario modifica deliberadamente los datos de entrada de un modelo de ML para provocar una predicción incorrecta. La modificación puede ser imperceptible para un humano pero devastadora para el modelo.
La clave que distingue este ataque de un error estadístico es su naturaleza intencional: el atacante diseña la perturbación para maximizar el error del modelo en ese input específico, no aleatoriamente.
Las DNNs aprenden representaciones estadísticas del mundo, no conceptos causales. Un modelo que reconoce señales de tráfico no "entiende" su significado; reconoce patrones de píxeles asociados con etiquetas durante el entrenamiento. Esta distinción es fundamental para entender por qué los ataques funcionan.
03 · Taxonomía de Input Manipulation Attacks
Los ataques se clasifican por dos dimensiones independientes que determinan el modelo de amenaza completo.
Por conocimiento del adversario:
- White-Box: acceso completo a arquitectura, pesos y gradientes del modelo.
- Black-Box: solo acceso a las salidas (scores o labels); modelo opaco.
- Grey-Box: conocimiento parcial, arquitectura conocida pero pesos desconocidos.
Por dominio del ataque:
- Digital: perturbación aplicada directamente sobre píxeles o tokens en el sistema.
- Físico: perturbación en el mundo real, stickers, luz, patrones impresos.
- Transferencia: diseñada en un modelo sustituto, aplicada al modelo objetivo.
04 · La Ciencia Detrás del Ataque
Paper Base: arXiv:2307.08278
Adversarial Attacks on Traffic Sign Recognition: A Survey Pavlitska, Lambing & Zöllner ICECCME 2023
Este survey sistematiza el campo de los ataques adversariales contra sistemas de reconocimiento de señales de tráfico. Su valor para un profesional de seguridad es doble: mapea exhaustivamente las técnicas de ataque conocidas y cuantifica el costo real de fallar en la robustez de un modelo en producción.
El Problema Matemático Fundamental
Las DNNs aprenden una función f(x) → y que mapea inputs a clases. El problema de robustez es que esta función no es continua en el sentido de la percepción humana: existen puntos x + δ para los cuales f(x + δ) ≠ f(x), aunque x y x + δ sean visualmente idénticos para un humano.
Formalmente, un ataque adversarial busca el δ que maximice el error del modelo bajo una restricción de imperceptibilidad:
max L(f(x + δ), y_true) sujeto a: ||δ||_p ≤ ε
Donde L es la función de pérdida, y_true es la etiqueta correcta, ε controla el tamaño máximo de la perturbación (imperceptibilidad), y p define la norma usada (L∞ para perturbaciones uniformes por píxel, L2 para perturbaciones Euclidianas).
Generaciones de Técnicas de Ataque Digital
FGSM (Fast Gradient Sign Method, Goodfellow 2014): el método original. Un solo paso en la dirección del gradiente. Rápido pero relativamente débil.
PGD (Projected Gradient Descent, Madry 2017): versión iterativa de FGSM. Estándar de referencia para evaluar robustez. Cada paso proyecta δ dentro de la bola ε.
C&W Attack (Carlini & Wagner 2017): formula el ataque como optimización con restricciones relajadas. Perturbaciones más pequeñas y mayor imperceptibilidad, a mayor costo computacional.
Patch Attacks (Brown et al. 2017): concentran la perturbación en un parche rectangular. Diseñados para facilitar la transición al dominio físico.
05 · RP2: Ataques Físicos en el Mundo Real
Paper Central: arXiv:1707.08945
Robust Physical-World Attacks on Deep Learning Models Eykholt, Evtimov, Fernandes et al. CVPR 2018
Este es el paper que llevó los ataques adversariales del laboratorio a la calle. El equipo demostró que es posible generar perturbaciones físicas robustas ante variaciones reales: cambios de ángulo, distancia, iluminación y ruido de cámara.
Resultado principal: una señal de STOP con stickers diseñados para parecerse a grafiti fue clasificada sistemáticamente como "Speed Limit 45" en pruebas de conducción reales. Tasa de éxito: 100% en laboratorio, 84.8% en condiciones de campo con vehículo en movimiento. El atacante no tuvo acceso en ningún momento a los sistemas del vehículo.
El Algoritmo RP2
El principal obstáculo de los ataques digitales en el mundo físico es su fragilidad ante condiciones variables. RP2 resuelve esto modelando la distribución de condiciones físicas durante la generación de la perturbación:
min E_{ti ~ TPS(x)} [ J(f(ti(x + δ·M)), y_target) ] + λ·||M_printability(δ)||_p
Donde TPS modela ángulos y distancias variables, M es una máscara espacial que limita la perturbación a la forma del sticker, y el término de printability garantiza que los colores sean reproducibles con impresoras convencionales, restricción del mundo real que los ataques puramente digitales ignoran.
Resultados Experimentales
| Escenario | Clasificador | Tipo de perturbación | Tasa de éxito |
|---|---|---|---|
| STOP → Speed Limit 45 (lab) | LISA-CNN | Poster impreso sutil | 100% |
| STOP → Speed Limit 45 (lab) | LISA-CNN | Grafiti camuflado | 100% |
| STOP → Speed Limit 45 (campo) | LISA-CNN | Drive-by, cámara en movimiento | 84.8% |
| STOP → Speed Limit 45 (campo) | GTSRB-CNN | Arte camuflado en señal real | 97.1% |
| Microondas → Teléfono (lab) | Inception-v3 | Sticker en objeto 3D | 90% |
06 · Perspectiva Red Team: ¿Cómo se Explota?
Desde una perspectiva ofensiva, los Input Manipulation Attacks son especialmente atractivos porque no requieren comprometer infraestructura. El vector de ataque es el propio input del modelo, lo que los hace invisibles para IDS, SIEM y controles de autenticación tradicionales.
Escenarios de Ataque por Sector
Vehículos Autónomos y Visión Industrial Escenario: el atacante tiene acceso físico al entorno donde opera el sistema (carretera, línea de producción, perímetro). Vector: generación de perturbaciones adversariales físicas con RP2 e impresión como stickers. Sin acceso a sistemas embebidos ni a la red. Impacto: el sistema de percepción toma decisiones incorrectas, ignora señales de parada, clasifica productos defectuosos como válidos, bypass de perímetros de seguridad física.
Control de Acceso Biométrico Escenario: un adversario quiere evadir reconocimiento facial sin conocer los pesos del modelo (ataque Black-Box). Vector: ataque de transferencia. Se entrena un modelo sustituto con una arquitectura pública (FaceNet, ArcFace), se genera un adversarial en el sustituto y, por la propiedad de transferibilidad, tiene alta probabilidad de funcionar en el modelo objetivo. Impacto: bypass de autenticación biométrica sin dejar rastros de intrusión convencional.
Detección de Malware (AV de Nueva Generación) Escenario: un adversario quiere que su malware evada un clasificador de ML sin alterar su funcionalidad. Vector: perturbaciones adversariales sobre características del binario, bytes no funcionales o secciones de padding, para desplazar el vector de características hacia la región "benigno" sin modificar el payload. Impacto: evasión de detección en endpoints. El malware supera el control y se ejecuta sin alertas.
Herramientas de Red Team
Foolbox (Python): framework agnóstico de backend (PyTorch, TensorFlow, JAX). Implementa FGSM, PGD, C&W, DeepFool y decenas de ataques adicionales.
ART Adversarial Robustness Toolbox (IBM): la biblioteca más completa del ecosistema. Incluye ataques, defensas y métricas de evaluación. Estándar de facto en entornos empresariales.
CleverHans: mantenida por investigadores de Google Brain. Referencia de baseline en la literatura académica.
TextAttack: especializada en NLP. Perturbaciones a nivel de carácter, palabra y sentencia. Relevante para detección de phishing y clasificación de contenido.
07 · Perspectiva Blue Team: ¿Cómo se Defiende?
Las defensas contra Input Manipulation Attacks son un campo de investigación activo. No existe solución perfecta: cada defensa introduce tradeoffs entre robustez, accuracy en datos limpios y costo computacional. El enfoque correcto es por capas.
Defensas en el Modelo (Training-Time)
Adversarial Training La defensa más efectiva documentada Consiste en incluir ejemplos adversariales en el conjunto de entrenamiento para que el modelo aprenda a clasificarlos correctamente. Es la defensa con mejor evidencia empírica en la literatura. Limitación crítica: el modelo solo es robusto contra los tipos de ataques incluidos en el entrenamiento. Incrementa el tiempo de entrenamiento entre 3x y 10x. Referencia de implementación: PGD (arXiv:1706.06083, Madry et al.).
Regularización por Robustez (TRADES): balancea explícitamente accuracy en datos limpios vs. robustez adversarial a través de un parámetro de regularización configurable.
Destilación Defensiva: entrena un segundo modelo sobre probabilidades suavizadas del primero, reduciendo la magnitud del gradiente disponible para construir ataques.
Feature Squeezing: cuantización de colores y suavizado Gaussiano antes de la inferencia para eliminar perturbaciones de alta frecuencia.
Defensas en el Pipeline (Inference-Time)
Pueden implementarse sobre modelos ya desplegados, sin necesidad de reentrenamiento:
| Técnica | Descripción | Efectividad vs. Adaptativo | Costo |
|---|---|---|---|
| Detección estadística | Rechazar inputs que sean outliers estadísticos respecto al conjunto de entrenamiento | Media | Bajo |
| Randomized Smoothing | Agregar ruido gaussiano y promediar N inferencias. Certifica robustez matemática bajo ε dado | Alta (formal) | Alto |
| Preprocesamiento (JPEG) | Comprimir el input para eliminar ruido adversarial de alta frecuencia antes de la inferencia | Baja-Media | Muy bajo |
| Ensemble de modelos | Combinar predicciones de múltiples arquitecturas; un ataque contra uno falla en otros | Media | Alto |
| Monitoreo de distribución | Detectar drift estadístico en inputs de producción; alertar ante campañas a escala | Alta (detección) | Medio |
08 · Conclusión
ML01 ocupa el primer lugar del OWASP Top 10 for ML porque ataca la función principal del modelo. No necesita vulnerabilidades de software, no necesita privilegios elevados, no necesita acceso a la infraestructura. Solo necesita manipular lo que el modelo ve o procesa.
Eykholt et al. colocaron un sticker en una señal de tráfico y engañaron a un clasificador con hasta 100% de tasa de éxito en condiciones reales. Si un ataque físico funciona con todo el ruido del mundo real, funciona en tu pipeline productivo.
Key Takeaway para Ingeniería de Seguridad: un modelo con 99% de accuracy puede tener 0% de robustez adversarial. Accuracy y robustez son propiedades ortogonales: miden cosas distintas. Evalúa ambas antes de desplegar cualquier sistema ML en un contexto donde la seguridad importe.
Referencias
[1] Pavlitska, S., Lambing, N., & Zöllner, J. M. (2023). Adversarial Attacks on Traffic Sign Recognition: A Survey. arXiv:2307.08278. ICECCME 2023.
[2] Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Prakash, A., Kohno, T., & Song, D. (2018). Robust Physical-World Attacks on Deep Learning Models. arXiv:1707.08945. CVPR 2018.
[3] Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and Harnessing Adversarial Examples. arXiv:1412.6572. ICLR 2015.
[4] Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A. (2017). Towards Deep Learning Models Resistant to Adversarial Attacks. arXiv:1706.06083. ICLR 2018.
[5] OWASP Machine Learning Security Top 10. https://owasp.org/www-project-machine-learning-security-top-10/