Meta posee uno de los almacenes de datos más grandes del mundo, que apoya análisis, aprendizaje automático e inteligencia artificial en múltiples equipos. Cada decisión empresarial, experimento y mejora de producto depende de un acceso rápido y seguro a estos datos.
Para organizar un sistema tan vasto, Meta construyó su almacén de datos como una jerarquía. En la parte superior están los equipos y organizaciones, seguidos de conjuntos de datos, tablas y, finalmente, paneles que visualizan los conocimientos. Cada nivel se conecta con el siguiente, formando una estructura en la que cada fragmento de datos puede rastrearse hasta su origen.
El acceso a estos activos de datos tradicionalmente se ha gestionado mediante control de acceso basado en roles (RBAC). Esto significa que los permisos de acceso se otorgan según los roles laborales. Por ejemplo, un analista de marketing puede ver datos de rendimiento de marketing, mientras que un ingeniero de infraestructura puede ver registros de rendimiento de servidores. Cuando alguien necesitaba datos adicionales, solicitaba manualmente el acceso al propietario de los datos, quien aprobaba o denegaba el acceso según las políticas de la empresa.
Este proceso manual funcionó bien en las etapas iniciales. Sin embargo, a medida que las operaciones y los sistemas de IA de Meta se expandieron, este modelo comenzó a colapsar bajo su propio peso. Gestionar quién podía acceder a qué se volvió un proceso complejo y que consumía mucho tiempo.
Tres problemas importantes comenzaron a surgir:
- El grafo de datos se volvió masivo. Cada tabla, panel y canal de datos se conecta con otros, formando una red de relaciones. Comprender las dependencias y otorgar permisos de forma segura en esta red se volvió difícil.
- Las decisiones de acceso se volvieron más lentas y requerían múltiples aprobaciones. Diferentes equipos tenían que coordinarse entre departamentos para gestionar la seguridad.
- Los sistemas de IA cambiaron la forma en que se utilizaban los datos. Antes, cada equipo trabajaba principalmente dentro de su propio dominio de datos. Ahora, los modelos de IA a menudo necesitan analizar datos de múltiples dominios simultáneamente. El sistema tradicional de acceso gestionado por humanos no podía mantenerse al día con estos patrones cruzados de dominio.
Para mantener la innovación en marcha mientras se mantenía la seguridad, Meta tuvo que encontrar una mejor manera de abordar el problema del acceso a los datos a gran escala. El equipo de ingeniería de Meta descubrió que la respuesta residía en agentes de IA. Estos agentes son sistemas de software inteligentes capaces de comprender solicitudes, evaluar riesgos y tomar decisiones de forma autónoma dentro de límites predefinidos.
En este artículo, analizamos cómo Meta rediseñó su arquitectura de almacén de datos para funcionar tanto con humanos como con agentes.
La solución agente: Arquitectura de dos agentes
Para superar la creciente complejidad del acceso a los datos, el equipo de ingeniería de Meta desarrolló lo que llaman un sistema multiagente.
En términos sencillos, es una configuración en la que diferentes agentes de IA trabajan juntos, cada uno encargándose de partes específicas del flujo de trabajo de acceso a los datos. Este diseño permite a Meta hacer que el acceso a los datos sea más rápido y seguro, permitiendo que los agentes asuman las tareas repetitivas y procedurales que antes realizaban los humanos manualmente.
En el corazón de este sistema hay dos tipos clave de agentes que interactúan entre sí:
- Agentes de usuario de datos, que actúan en nombre de empleados o sistemas que necesitan acceso a los datos.
- Agentes de propietario de datos, que actúan en nombre de las personas o equipos responsables de gestionar y proteger los datos.
Vea el diagrama a continuación:
Agente de usuario de datos
El agente de usuario de datos no es un solo programa. En cambio, es un grupo de agentes más pequeños y especializados que trabajan juntos. Estos subagentes son coordinados por una capa de triaje, que actúa como un gerente que decide qué subagente debe manejar cada parte de la tarea.
Vea el diagrama a continuación:
Hay tres subagentes principales dentro de esta estructura:
Subagente de sugerencia de alternativas
Este subagente ayuda a los usuarios a encontrar formas más seguras o menos restringidas de acceder a la información que necesitan. Por ejemplo, si alguien solicita acceso a una tabla de datos sensible, el agente podría recomendar otra tabla que contenga datos similares pero no sensibles. Incluso puede ayudar a reescribir consultas para usar solo columnas no restringidas o fuentes de datos públicas.
El subagente se basa en modelos de lenguaje grandes (LLM) para razonar sobre las relaciones entre conjuntos de datos. Tradicionalmente, este tipo de conocimiento existía solo como “conocimiento tribal”, es decir, era conocido informalmente por unos pocos ingenieros experimentados. Ahora, el agente puede sintetizar esa información oculta y ofrecer recomendaciones inteligentes automáticamente.
Subagente de exploración de bajo riesgo
La mayoría de los usuarios no necesitan acceso completo a un conjunto de datos cuando aún están explorando. A menudo, solo necesitan ver una pequeña porción para comprender su estructura o contenido.
Este subagente proporciona acceso temporal o parcial a muestras pequeñas de datos para que los usuarios puedan explorar de forma segura. Asegura que este tipo de exploración de bajo riesgo no exponga información sensible.
Subagente de negociación de acceso
Cuando se requiere acceso completo, este subagente prepara la solicitud formal de permiso. Se comunica directamente con el agente de propietario de datos para solicitar acceso basado en necesidades empresariales y políticas de datos.
Por el momento, Meta mantiene a un humano en el bucle para supervisar estas interacciones, lo que significa que una persona revisa o confirma las acciones del agente. Sin embargo, el equipo de ingeniería espera que, con el tiempo, este subagente pueda operar de forma más autónoma a medida que el sistema madure y mejoren los mecanismos de seguridad.
Agente de propietario de datos
En el otro lado del flujo de trabajo está el agente de propietario de datos, que representa a los gestores o equipos de datos que controlan la información sensible.
También consta de componentes especializados, cada uno enfocado en una responsabilidad diferente. Vea el diagrama a continuación:
Veamos los dos componentes principales del agente de propietario de datos:
Subagente de operaciones de seguridad
Este subagente funciona como un ingeniero de seguridad junior. Sigue los procedimientos operativos estándar (SOP) escritos por los propietarios de datos y los aplica a las solicitudes entrantes de acceso.
Cuando un agente de usuario de datos envía una solicitud, este subagente la verifica contra las reglas y políticas de riesgo establecidas. Asegura que la solicitud siga los protocolos de seguridad y que solo se conceda acceso a usuarios legítimos con propósitos válidos.
Subagente de gestión de acceso
Más allá de manejar solicitudes, este subagente desempeña un papel proactivo en la configuración y mantenimiento de las políticas de acceso. Evoluciona el proceso anterior de “minería de roles”, donde los ingenieros examinaban manualmente los roles y permisos de los usuarios, hacia un sistema más inteligente y automatizado.
Utilizando metadatos, semántica de datos y patrones históricos de acceso, refina y optimiza continuamente quién debería tener acceso a qué recursos. Esto ayuda a Meta a reducir la carga manual de gestionar permisos, manteniendo al mismo tiempo seguro el almacén de datos.
Hacer que el almacén de datos sea amigable para agentes
El siguiente desafío para el equipo de ingeniería de Meta fue hacer que el almacén de datos fuera utilizable no solo por humanos, sino también por agentes de IA.
A diferencia de las personas, los agentes interactúan a través de interfaces basadas en texto. Esto significa que no pueden navegar por paneles gráficos o navegar manualmente por carpetas. Necesitan que la información se presente en un formato estructurado y legible por texto que puedan procesar y razonar.
Para lograr esto, Meta rediseñó el almacén de datos en lo que se puede describir como una jerarquía navegable por texto, similar a cómo se organizan las carpetas y archivos en una computadora. En esta configuración, cada elemento en el almacén (como una tabla, un panel o una política) se trata como un recurso. Los agentes pueden leer estos recursos y comprender cómo se relacionan entre sí. El sistema convierte objetos complejos del almacén en resúmenes de texto que describen qué representa cada recurso y cómo se puede utilizar.
Además, materiales importantes como SOP, documentación interna e incluso reglas históricas de acceso también se representan como texto. Este enfoque permite que los LLM que impulsan a los agentes analicen estos recursos textuales tal como analizarían información escrita en un documento.
Gestión de contexto e intención
Para tomar buenas decisiones sobre el acceso a los datos, un agente de IA debe comprender la situación completa alrededor de una solicitud. El equipo de ingeniería de Meta llama a esto gestión de contexto e intención. Juntos, estos dos conceptos ayudan al agente a determinar quién está solicitando los datos, qué están tratando de acceder y por qué lo necesitan.
Comencemos con la gestión de contexto. El contexto proporciona al agente la información de fondo que necesita antes de actuar. Meta define tres tipos principales de contexto:
- Contexto automático: Cuando alguien intenta abrir un conjunto de datos o ejecutar una consulta, el sistema ya sabe quién es y qué recurso está intentando acceder. Esta información se recopila automáticamente de herramientas internas e identidades de usuario.
- Contexto estático: A veces, un usuario desea enfocarse en un proyecto o categoría específica de conjunto de datos. Pueden definir ese alcance manualmente. Por ejemplo, un ingeniero podría elegir trabajar dentro del área del proyecto “Métricas de anuncios” para limitar los resultados de búsqueda a tablas relevantes.
- Contexto dinámico: Los agentes pueden refinar aún más el contexto analizando metadatos o realizando búsquedas de similitud. Por ejemplo, si un usuario está estudiando datos de gasto en publicidad, el agente puede encontrar automáticamente otras tablas relacionadas con presupuestos publicitarios o rendimiento de campañas.
Una vez que el contexto está claro, el siguiente paso es la gestión de intención, que identifica la razón detrás de la solicitud de un usuario. Meta aborda esto de dos maneras:
- La intención explícita es cuando un usuario declara claramente su propósito. Por ejemplo, podrían indicar que están “investigando el rendimiento de anuncios para el tercer trimestre”. El sistema puede entonces asociar este rol o objetivo con políticas adecuadas de acceso a datos.
- La intención implícita es cuando el sistema infiere el propósito a partir del comportamiento del usuario. Si un ingeniero de repente comienza a acceder a registros de errores a medianoche, el sistema puede asumir razonablemente que están respondiendo a un fallo y otorgar temporalmente acceso limitado de diagnóstico.
Análisis profundo: Vista previa parcial de datos
Para comprender cómo funciona realmente el sistema de acceso a datos agente de Meta, veamos un ejemplo de extremo a extremo.
El proceso comienza cuando un científico de datos desea ver nuevos datos para análisis. En lugar de otorgar inmediatamente acceso completo a todo un conjunto de datos, el subagente de exploración de bajo riesgo interviene primero. Permite al usuario ver una pequeña muestra limitada de los datos para que puedan comprender su estructura y decidir si es relevante para su tarea. En esta etapa, los controles conscientes del contexto aseguran que solo se muestren partes no sensibles del conjunto de datos.
Si el usuario más tarde necesita acceso más profundo o amplio, el subagente de negociación de acceso prepara automáticamente una solicitud formal de permiso y contacta al agente de propietario de datos para su revisión. Este flujo de trabajo no solo acelera la exploración, sino que también mantiene la seguridad al aplicar capas de protección en cada paso.
Todo el sistema opera a través de cuatro capacidades principales:
- Análisis de contexto: El agente comprende lo que el usuario está tratando de hacer y lo asocia con reglas y políticas empresariales.
- Control de acceso a nivel de consulta: Cada consulta se examina para ver cuántos datos toca y si realiza agregaciones o muestreo aleatorio. Esto ayuda al sistema a juzgar el riesgo potencial de exposición.
- Presupuestos de acceso a datos: Cada empleado tiene una cuota diaria de cuántos datos puede acceder. Este presupuesto se restablece automáticamente cada día y actúa como salvaguarda contra exposiciones accidentales.
- Gestión de riesgos basada en reglas: El sistema monitorea continuamente el comportamiento del agente mediante reglas analíticas de riesgo, detectando cualquier cosa inusual o potencialmente insegura.
Vea el diagrama a continuación:
Detrás de escena, una arquitectura compleja impulsa este flujo de trabajo.
El agente de usuario de datos sirve como punto de entrada. Recopila señales de varias herramientas internas:
- Registros de actividad de usuario, que incluyen acciones como editar código (diffs), ver paneles, completar tareas o manejar eventos de servicio.
- Información de perfil de usuario, como equipo, rol y detalles del proyecto actual.
Utilizando esta información, el agente construye un modelo de intención, una comprensión estructurada de por qué el usuario está haciendo la solicitud y qué necesita lograr. Este modelo se combina con la forma de la consulta (por ejemplo, si está leyendo algunas filas, agregando datos o uniendo tablas grandes) para formar una imagen completa de la situación.
Una vez que se forma esta intención, el agente de usuario de datos transfiere el control al agente de propietario de datos. Este segundo agente recupera metadatos sobre los recursos solicitados, incluidos resúmenes de tablas, descripciones de columnas y SOP. Luego utiliza un modelo de lenguaje grande (LLM) para razonar si se debe otorgar o denegar el acceso. El razonamiento del LLM se verifica mediante un conjunto de guardrails que aplican cálculos de riesgo basados en reglas para asegurar que el resultado se alinee con las políticas de seguridad.
Vea el diagrama a continuación:
Cada acción, decisión y resultado se registra de forma segura para auditorías y análisis futuros. Esto hace posible rastrear exactamente cómo y por qué se tomó cada decisión de acceso.
Conclusión
El equipo de ingeniería de Meta ha logrado avances significativos hacia la transformación de cómo se accede y se protege los datos en sus sistemas masivos de almacén de datos. Sin embargo, el camino hacia una infraestructura completamente lista para agentes aún está en curso. La visión a largo plazo es crear un sistema en el que tanto humanos como agentes de IA puedan trabajar codo a codo, de forma segura y eficiente, sin agregar complejidad o riesgo.
El primer área de enfoque continuo es la colaboración entre agentes. Meta está viendo cada vez más escenarios en los que los agentes actúan en nombre de los usuarios sin entrada humana directa. En el futuro, estos agentes podrían comunicarse y negociar entre sí automáticamente. Para apoyar esto, Meta necesita perfeccionar cómo interactúan los agentes, asegurando que cada intercambio permanezca transparente, auditado y alineado con las políticas de la empresa.
A continuación, la propia infraestructura debe evolucionar. Muchas de las herramientas, APIs e interfaces de almacén de datos de Meta fueron originalmente construidas para uso humano. Para habilitar completamente flujos de trabajo de máquina a máquina, estos sistemas deben ser reingenierizados para acomodar razonamiento automatizado, comprensión contextual y delegación segura entre agentes.
Finalmente, Meta está invirtiendo fuertemente en benchmarking y evaluación. Para que los agentes operen de forma segura, la empresa debe medir continuamente el rendimiento, la precisión y el cumplimiento. Esto implica definir métricas claras y realizar evaluaciones regulares para detectar errores o regresiones. El ciclo de retroalimentación creado por la revisión humana y la evaluación automatizada asegura que el sistema aprenda y mejore con el tiempo.
En resumen, el almacén de datos de Meta ahora integra agentes de IA que no solo solicitan, sino que también aprueban el acceso de manera controlada. La combinación de razonamiento basado en LLM con guardrails basados en reglas asegura que la productividad y la seguridad permanezcan equilibradas.
Referencias:* Creación de soluciones de agentes de IA para el acceso y la seguridad de datos en almacenes
Descargo de responsabilidad: Los detalles en esta publicación se han derivado de la información compartida en línea por el equipo de ingeniería de Meta. Todo el crédito por los detalles técnicos corresponde al equipo de ingeniería de Meta. Los enlaces a los artículos y fuentes originales se encuentran en la sección de referencias al final de la publicación. Hemos intentado analizar los detalles y proporcionar nuestra opinión al respecto. Si encuentra alguna inexactitud u omisión, por favor deje un comentario y haremos todo lo posible por corregirlas.
Publicado por ByteByteGo