No sorprenderá a nadie: la inteligencia artificial (IA) fue un gran tema en Black Hat USA 2023, pero ¿qué aprendimos al respecto? Como no faltan conversaciones al respecto, hay muchas ideas a tener en cuenta. Les pedimos a investigadores de seguridad de software altamente calificados que asistieron tanto a Black Hat como a DEFCON que opinaran sobre los momentos más reveladores, particularmente los relacionados con la IA. Esto es lo que encontramos.
La IA presenta a la sociedad un arma de doble filo (especialmente en lo que respecta a la ciberseguridad). John Simpson, investigador senior de seguridad, explica: “ La IA es claramente el tema candente ; Tanto en Black Hat como en DEFCON hubo mucho énfasis en los peligros, pero también se habló mucho sobre su utilidad potencial”.
La intrincada interacción entre los beneficios y los riesgos de la IA subraya la complejidad de nuestra era digital en rápida evolución. Por un lado, los atacantes utilizan la IA para mejorar sus capacidades de explotación. Por el contrario, podemos mejorar las defensas con IA a través de herramientas que utilizan la automatización para remediar rápidamente el código inseguro, como Veracode Fix .
Para profundizar en cómo se utiliza la IA para mejorar y simplificar la seguridad del software, consulte un blog reciente para ver a un desarrollador generar código inseguro con ChatGPT, encontrar la falla y protegerla rápidamente con Veracode Fix mediante el desarrollo de una función sin escribir ninguna manualmente. código .
Niching Down AI: riesgos y ventajas de los LLM (modelos de lenguajes grandes)
Los modelos de lenguaje grande (LLM) son sistemas avanzados de inteligencia artificial creados para comprender y generar texto similar al humano. Se basan en técnicas de aprendizaje profundo, en particular la arquitectura Transformer, sobre la que puede obtener más información en nuestro documento técnico: La inteligencia artificial (IA) y el futuro de las pruebas de seguridad de aplicaciones .
El investigador principal de seguridad, Mateusz Krzeszowiec, compartió sobre una charla destacada que se realizó en LLM llamada: “¿Jugamos un juego? El hecho de que un modelo de lenguaje grande hable como un humano no significa que pueda razonar como tal”, por Craig Martell , director digital y de inteligencia artificial del Departamento de Defensa .
Mat comentó: "Este fue un buen recordatorio de que los LLM no son mágicos ni tienen ningún aparato de razonamiento incorporado ... Más allá de eso, el Departamento de Defensa anunció un Grupo de Trabajo de IA Generativa, conocido como Grupo de Trabajo Lima , y Craig invitó a la comunidad DEFCON. para comunicarnos con sugerencias y comentarios”.
Además, John Simpson compartió: "Rich Harang, arquitecto principal de seguridad de NVIDIA, tiene experiencia en biotecnología y mencionó en un panel que los modelos 'tipo LLM' están causando grandes cambios en las ciencias médicas en aspectos como el plegamiento de proteínas".
Estamos pasando de API basadas en IA a agentes basados en IA
Tan rápido como ChatGPT sorprendió al mundo, estamos cambiando la forma en que se utiliza e integra la IA. ChatGPT es una de las muchas interfaces de programación de aplicaciones (API) basadas en IA, pero según la información recibida en Black Hat, vemos que la tendencia general cambia rápidamente de API basadas en IA a agentes basados en IA.
¿Qué es un agente basado en IA? John explica: “Agentes basados en IA que tienen la capacidad de interactuar con los componentes de su entorno. Por ejemplo, un agente que pueda descargar y configurar software, ejecutarlo, interactuar con el software y otros componentes del sistema operativo”.
En lugar de simplemente acceder a funciones específicas de IA a través de API, los agentes de IA pueden realizar tareas más complejas combinando múltiples capacidades de IA e interactuando con usuarios o sistemas de una manera más humana.
¿Por qué eso importa? Hay un impacto colosal en la ciberseguridad que se deriva de tal cambio. Esto nos lleva a nuestra siguiente idea.
Las agencias gubernamentales están prestando atención a la cibernética
El Departamento de Defensa no es la única agencia gubernamental que desconfía de las preocupaciones sobre la ciberseguridad. La Casa Blanca está dedicando muchos más recursos a resolver problemas de seguridad en todo el país y con sus aliados.
John explica: “Esta es la primera vez que los gobiernos parecen estar tratando de adelantarse a las cosas desde una perspectiva regulatoria . Además, la estrecha colaboración de CISA con Ucrania está proporcionando muchas experiencias de aprendizaje para ambas partes”.
Además, la Directora Nacional Cibernética en funciones, Kemba Walden, anunció en su discurso de apertura que la Oficina del Director Cibernético Nacional publicó una Solicitud de Información sobre seguridad del software de código abierto.
Un artículo reciente sobre el anuncio escribe: “El cofundador de Veracode, Chris Wysopal, un veterano experto en ciberseguridad que contribuyó a la Estrategia Nacional de Ciberseguridad, dijo a Recorded Future News que el surgimiento de la inteligencia artificial ha hecho imperativo que el gobierno federal actúe rápidamente, ya que El tiempo para solucionar los problemas de seguridad deberá reducirse precipitadamente para mantenerse al día con el aumento de los ataques automatizados”.
Una lección de la exposición a las vulnerabilidades de TETRA
No podemos hablar del interés gubernamental en la ciberseguridad sin mencionar la reciente exposición a las vulnerabilidades de día cero de TETRA .
El 25 de julio de 2023, The Hacker News publicó: “Se ha revelado un conjunto de cinco vulnerabilidades de seguridad en el estándar Terrestrial Trunked Radio ( TETRA ) para comunicaciones por radio utilizado ampliamente por entidades gubernamentales y sectores de infraestructura crítica, incluido lo que se cree que es una vulnerabilidad intencional. puerta trasera que podría haber expuesto información confidencial”.
Estas vulnerabilidades de día cero fueron un punto de discusión en el evento, y Mat explicó el impacto: "La lección aquí es que deberíamos utilizar estándares abiertos, especialmente en infraestructura crítica ".
¿Dónde nos dejan estas ideas?
Los conocimientos adquiridos en la conferencia de este año nos sitúan colectivamente en un momento crucial de oportunidades y responsabilidad. Señalan la naturaleza dual de la influencia de la IA en la ciberseguridad; A medida que la IA continúa avanzando a un ritmo sin precedentes, tanto los atacantes como los defensores se encuentran a la vanguardia de la innovación. Esto hace que el equilibrio entre la innovación y la salvaguardia de nuestros activos digitales sea una danza más crítica y delicada que nunca.
Para aprender de estos investigadores de seguridad, consulte el blog más reciente de Mateusz Krzeszowiec sobre la corrección de vulnerabilidades CSRF, o el blog más reciente de John Simpson sobre codificación segura con motores de plantillas.
Por Natalie Tischler © 2023 Veracode. Reservados todos los derechos.
Si te gustó, la información recuerda visitar nuestra página https://www.inforc.lat/portafolio y buscar alternativas que te pueden ayudar a la hora de hablar de seguridad informática para tu empresa.