Cinco retos del uso de la IA y de MLL para las empresas con datos críticos

A medida que las empresas integran cada vez más la inteligencia artificial (IA) y los grandes modelos lingüísticos (LLM) en sus operaciones, el enfoque en la seguridad de estas aplicaciones nunca ha sido más crítico, especialmente para los sectores que manejan información sensible como la sanidad o la banca.

Las herramientas de IA se utilizan para diversas tareas: desde la automatización o revisión del código en el desarrollo de aplicaciones, a la atención al cliente mediante chatbots. Sin embargo, la integración de la IA y la LLM en funciones empresariales críticas ha abierto nuevas vulnerabilidades. Las empresas están ansiosas por desplegar estas tecnologías, pero se encuentran con el reto de asegurarlas de forma eficaz.

Retos del uso de la IA en las empresas

Synack, plataforma con soluciones de pruebas de penetración (pentesting), repasa los desafíos de ciberseguridad que deben abordarse para garantizar la seguridad de los datos confidenciales:

• Privacidad y confidencialidad de los datos

Los sistemas de IA se basan en grandes cantidades de datos para aprender y tomar decisiones. Estos datos pueden incluir información muy sensible de los pacientes, en el caso de sector sanitario, o de clientes en sectores como la banca. Proteger estos datos de accesos no autorizados, brechas o filtraciones es fundamental para mantener la privacidad y confidencialidad. Las empresas deben aplicar mecanismos sólidos de cifrado de datos, control de acceso y técnicas de preservación de la privacidad para salvaguardar los datos de los usuarios.

• Algoritmos de IA y sesgos

Los algoritmos de IA son tan buenos como los datos con los que se entrenan. Si los datos de entrenamiento contienen sesgos o errores, el sistema de IA puede heredar y amplificar esos sesgos. En el caso de los hospitales, por ejemplo, esto puede dar lugar a diagnósticos inexactos, decisiones de tratamiento injustas y discriminación de determinados grupos de pacientes. Las empresas deben asegurarse de que sus algoritmos de IA se desarrollen utilizando datos de alta calidad e imparciales y realicen pruebas y validaciones exhaustivas para minimizar el riesgo de sesgo.

• Vulnerabilidades de ciberseguridad en los sistemas de IA

Los sistemas de IA, como cualquier otro software, pueden contener vulnerabilidades que pueden ser explotadas por atacantes. Estas vulnerabilidades podrían permitir a usuarios no autorizados acceder a datos confidenciales, manipular predicciones de IA o interrumpir el funcionamiento del sistema de IA. Las empresas deben realizar evaluaciones periódicas de la seguridad de sus sistemas de IA, aplicar prácticas de codificación seguras y desplegar sistemas de detección y prevención de intrusiones para protegerse contra los ciberataques.

• Amenazas internas y errores humanos

Los profesionales y empleados que trabajan con sistemas de IA pueden introducir inadvertidamente riesgos de ciberseguridad. Los errores humanos, como el manejo incorrecto de datos confidenciales, la mala gestión de contraseñas o ser presa de ataques de ingeniería social, pueden dar lugar a violaciones de datos o accesos no autorizados. Las empresas deben ofrecer a sus empleados una formación completa en ciberseguridad, aplicar políticas de seguridad estrictas y realizar un seguimiento continuo para detectar y abordar las amenazas internas.

• Cumplimiento de la normativa y gestión de datos

Las empresas que almacenan datos de sus usuarios están sujetas a varias regulaciones, como el GDPR en la Unión Europea, que rigen la recopilación, uso y divulgación de datos personales. La integración de la IA en las operaciones debe cumplir estas normativas para evitar sanciones legales y mantener la confianza de los clientes. Las empresas deben establecer políticas claras de gobernanza de datos, aplicar medidas sólidas de protección de datos y asegurarse de que sus sistemas de IA cumplen la normativa pertinente.

Cómo abordar estos retos con seguridad

El pentesting de Synack ha evolucionado para probar los modelos LLM desplegados dentro de su superficie de ataque, utilizando las habilidades del Synack Red Team, un equipo de más de 1.500 investigadores de todo el mundo con una amplia experiencia. Este equipo es capaz de detectar y abordar los siguientes problemas relacionados con la IA y los LLM:

1. Prompt Injection: la inyección de avisos describe un escenario en el que una entrada concreta al LLM produce una respuesta no deseada. Esto puede ir desde respuestas inapropiadas de un chatbot a la exposición de datos sensibles de un bot de búsqueda.
2. Manejo inseguro de la salida: si la respuesta de un LLM interactúa con un plugin susceptible a vulnerabilidades comunes como cross-site scripting o ejecución remota de código, el LLM puede ser aprovechado por un atacante como una herramienta para explotar la brecha.
3. Envenenamiento de datos de entrenamiento: si un LLM aprende de los comentarios y entradas de los usuarios, un atacante puede envenenar a propósito el modelo proporcionando entradas falsas o dañinas.
4. Cadena de suministro: una implementación de un LLM puede implicar llamadas a bibliotecas o servicios que son vulnerables, por ejemplo, una biblioteca Python obsoleta.
5. Divulgación de información sensible: los LLM pueden filtrar información sensible en una respuesta o maltratar la información sensible que se introduce en el modelo.
6. Diseño inseguro de plugins: los plugins LLM son llamados por los modelos durante la interacción. Si un atacante sabe que se está llamando a un plugin vulnerable, puede crear una entrada específica para explotar vulnerabilidades conocidas en ese plugin.
7. Agencia excesiva: un LLM tiene permisos innecesarios en un entorno. Por ejemplo, un LLM puede necesitar leer documentos pero puede erróneamente tener permisos de escritura/edición para los mismos documentos.
8. Robo de modelos: un modelo individual puede ser entrenado con información propietaria, haciendo que el modelo en sí mismo sea único. No debería existir una copia del modelo, sin embargo, los atacantes pueden ser capaces de abusar del modelo de tal manera que sean capaces de hacer una copia funcional.