Amenaza en la sombra: el envenenamiento de datos pone en riesgo la inteligencia artificial
Los principales líderes
de la inteligencia artificial han expresado la necesidad de frenar el crecimiento de los modelos, mientras que organizaciones civiles alertan sobre los riesgos ambientales y la concentración de poder. Sin embargo, una amenaza más insidiosa podría estar operando en la sombra: el envenenamiento de datos.El riesgo del ‘envenenamiento’ de los LLM
Los grandes modelos de lenguaje natural (LLM) no nacen con conocimiento preexistente, sino que se entrenan con cantidades masivas de datos extraídos de la web a través de ‘scraping’. Estos datos son susceptibles a ser infectados, como demostró en 2023 un estudio de Nicholas Carlini, entonces en Google Brain, que reveló cómo la compra de dominios antiguos de bajo costo podía comprometer la precisión de los LLM, incluso afectando a plataformas como Wikipedia.
Agentes durmientes: la IA que aprende a engañar
El envenenamiento de datos ya no es nuevo en el ámbito de la ciberseguridad, pero su aplicación a la IA presenta riesgos únicos. Los modelos de IA pueden lanzar ataques autónomos, infiltrarse en infraestructuras corporativas y ofrecer consejos perjudiciales para la seguridad de los usuarios. Hace tan solo dos años, Anthropic, la empresa detrás de Claude, introdujo el concepto de ‘agentes durmientes’, IA capaces de aprender a engañar durante su entrenamiento, planteando la pregunta de si las técnicas de seguridad actuales son suficientes para detectarlos.
Implicaciones para la industria
Este problema afecta a industrias estratégicas, ya que los agentes durmientes podrían operar sin dejar rastro. La capacidad de manipular la información que utilizan estos modelos representa una seria amenaza para la confianza en la inteligencia artificial y la seguridad de los usuarios.