Si ha estado en Web recientemente, probablemente haya visto cómo OpenAI ChatGPT está arrasando en el mundo. De escribir libros y diseño de habitaciones a código de depuración y explicando conceptos de datosparece que la automatización y la IA ahora pueden responder cualquier pregunta que hagas.
En comparación, los metadatos pueden sentirse como vivir en la Edad de Piedra. Tradicionalmente, es un proceso handbook tedioso que necesita mucha intervención humana por parte de líderes de datos, administradores, ingenieros y analistas por igual. En nuestro último seminario net, una encuesta mostró que el 60 % de los asistentes pasan más de 3 horas por semana en tareas de datos manuales.
En Atlan, uno de nuestros objetivos es automatizar siempre que sea posible. ¿Cómo podemos minimizar lo mundano y maximizar el impacto que los equipos de datos pueden tener en el negocio?
en la semana pasada Atlán Activar, nuestro seminario net trimestral sobre productos, lanzamos nuevas funciones de automatización para potenciar sus datos. Estas son las cinco funciones principales que lo ayudarán a mapear el contexto en su patrimonio de datos y limitar el trabajo handbook repetitivo que ralentiza a los equipos de datos.
TL;DR: 5 nuevas características en Atlan que debes conocer
- Playbooks de metadatos para acciones basadas en reglas: Al igual que Zapier para datos, esta es la primera automatización de metadatos de código bajo/sin código para equipos de datos.
- Acciones basadas en eventos de Atlas + AWS EventBridge: Cree automatizaciones de nivel de producción basadas en eventos para el mundo de los metadatos, como alertas cuando cambia la propiedad o clasificaciones etiquetadas automáticamente.
- Perspectivas de perfiles y popularidad: use nuevas métricas de uso, popularidad y perfiles a nivel de columna para evaluar la calidad de los datos, encontrar las consultas más utilizadas, identificar a los usuarios principales y más.
- Integración de Atlas a GitHub: Lleve los metadatos directamente a GitHub para minimizar el riesgo y aumentar la transparencia antes de que se realicen cambios en sus datos.
- IA Trident impulsada por GPT-3: Dígale adiós a la documentación handbook con descripciones automatizadas cada vez más inteligentes, términos comerciales, LÉAME y más.
Playbooks de metadatos: presentamos Zapier para su patrimonio de datos
Cree automatizaciones masivas basadas en reglas a escala para descartar automáticamente activos de datos no utilizados, asignar propiedad, informar fallas o anuncios, y más.
Una de las preguntas comunes que recibimos de los equipos de datos es: “¿Cómo podemos automatizar nuestros metadatos?” Mientras que otros equipos, como los de advertising and marketing o ventas, pueden realizar la automatización basada en acciones a escala con herramientas como Zapier o Salesforce, los equipos de datos no tienen el ancho de banda para codificar automatizaciones personalizadas para cada caso de uso diverso. ¿Por qué no puede haber un Zapier para los metadatos?
Es por eso que hemos desarrollado la primera automatización de metadatos low-code/no-code para equipos de datos. Con Playbooks de Atlan, los usuarios ahora pueden crear automatizaciones basadas en reglas a escala. Estos pueden impulsar infinitos casos de uso en toda su organización. Aquí están algunos ejemplos:
- Desactivar activos: Marque cualquier activo que no haya sido consultado en los últimos 30 días como obsoleto.
- Agregar/cambiar propiedad: Para los activos de Salesforce a los que les falta un propietario, agregue RevOps como propietario.
- Informar de activos fallidos: Publique una lista en Slack de cada tabla y tablero con un estado de Airflow “fallido”.
- Proteja los datos confidenciales: adjunte metadatos personalizados de GDPR en todos los activos etiquetados como “PII”.
- Marcar alertas ascendentes: notifica a los propietarios intermedios cuando un activo ascendente se etiqueta con una advertencia o un anuncio.
Atlan + AWS EventBridge: cree automatizaciones de metadatos personalizadas y basadas en eventos
Cree automatizaciones de nivel de producción basadas en eventos para el mundo de los metadatos, como alertas cuando cambia la propiedad o clasificaciones etiquetadas automáticamente.
Las automatizaciones basadas en reglas de código bajo/sin código, como los libros de jugadas de Atlan, son excelentes, pero algunos equipos de datos no quieren estar limitados por las reglas. Quieren construir sus propias automatizaciones para acciones repetitivas.
Otros equipos, desde la observación de datos hasta la gestión de incidentes, están creando automatizaciones que pueden desencadenar acciones basadas en eventos. Por ejemplo, muchos equipos de administración de acceso usan Okta para monitorear los eventos de registro del sistema en busca de actividades sospechosas y automatizar acciones para mitigar los riesgos. Los equipos de participación del cliente utilizan Salesforce para crear eventos que enriquecen los casos de soporte con datos de pedidos de los clientes. Pero, ¿qué pasa con la gestión de metadatos? No hay nada disponible para crear este tipo de casos de uso de metadatos basados en eventos… hasta ahora.
Nos complace anunciar que los equipos de datos ahora pueden usar Atlan para crear automatizaciones de nivel de producción impulsadas por eventos para el mundo de los metadatos. Esto aprovecha nuestra integración entre Atlan y AWS EventBridge, un servicio de AWS que crea un evento y permite a los usuarios consumir y crear casos de uso en él, para crear eventos de metadatos de Atlan en una cuenta de EventBridge.
Estos son algunos ejemplos de cómo podría funcionar esto en Atlan:
- Alertas de propiedad: Reciba notificaciones en Slack cuando haya un cambio en la propiedad de un activo.
- Propagación y clasificación: si alguien marca un campo como PII en una fuente de datos ascendente, cree automáticamente una política de enmascaramiento para cambiar todos los campos relacionados descendentes.
- E innumerables casos de uso más, como notificaciones alrededor cambios de esquema en activos en Atlan para ingeniería de datos, eventos de inicio/cierre de sesión para los equipos de seguridad, o desencadenar una enriquecimiento de cincotran evento para iniciar un flujo de trabajo de Atlan.
Aproveche las estadísticas de perfiles y popularidad para generar contexto y confianza
Utilice nuevas métricas de perfiles, popularidad y uso a nivel de columna para evaluar la calidad de los datos, encontrar las consultas más utilizadas, identificar a los usuarios principales y más.
Ser capaz de perfilar sus datos es poderoso. Construye brinda el contexto y los conocimientos que las personas necesitan para comprender, usar y confiar en los datos, sin importar si son analistas de datos o usuarios comerciales.
Es por eso que una nueva función de creación de perfiles ahora está disponible en Atlan. Con una gama de nuevas métricas, los usuarios de todo el mundo pueden generar confianza en los datos que consumen.
- Métricas comerciales: Promedio, máximo, mínimo, media, recuento de filas, suma y más.
- Métricas avanzadas: Duplicados, frecuencias, datos faltantes, unicidad, desviación estándar y más.
También hemos agregado nuevas funciones de uso y popularidad para ayudar a los equipos de datos a administrar sus activos. Las empresas pueden usar estas nuevas métricas para ahorrar costos en el almacenamiento de datos en la nube, identificar los activos más utilizados, encontrar personas con más contexto en un activo de datos y más.
- Registros de consulta de activos: El número de veces que se ha consultado un activo (popularidad del activo), cuándo se actualizó por última vez, and so on.
- Registros de consultas de usuarios: usuarios principales, usuarios más recientes, quienes consultaron por última vez un activo, and so on.
- Registros de optimización de costos y rendimiento: Qué consultas son más lentas, qué consultas son más caras, and so on.
Atlan + GitHub: habilite los contratos de datos incorporando metadatos a su proceso de creación de datos
Lleve los metadatos activos directamente a GitHub para minimizar el riesgo y aumentar la transparencia antes de que se realicen cambios en sus datos.
Una gran discusión hoy en día es mover los datos “hacia la izquierda”, es decir, mover procesos de datos importantes y verificaciones más cerca de cuando se crean los activos, en lugar de cuando se distribuyen. Esta thought es parte de la datos contratos debateque ha destacado la importancia de mejorar la fiabilidad y la usabilidad entre los productores y consumidores de datos.
Los contratos de datos pueden desempeñar un papel basic en la ejecución de canalizaciones de datos, la validación de tipos de datos, el management de versiones y más. Por ejemplo, si un ingeniero de datos realiza cambios en un modelo dbt, es posible que, sin saberlo, estén afectando a decenas o cientos de personas, tablas o paneles. ¿Cómo podemos minimizar este riesgo al mismo tiempo que proporcionamos transparencia para el ingeniero de datos y el consumidor de datos?
Al traer el poder de los metadatos activos de Atlan a GitHub, los ingenieros de datos ahora pueden acceder a todo el contexto que necesitan para minimizar el riesgo para los consumidores de datos.
Aquí hay un ejemplo de cómo se ve esto: supongamos que es un ingeniero de datos y ha creado una solicitud de extracción. Cuando se ejecuta la acción de GitHub, se creará automáticamente una lista de todos los activos posteriores que se verán afectados por esta solicitud, antes de realizar el cambio. A partir de ahí, puede comunicarse con los usuarios con anticipación o investigar y probar los activos para ver cómo podrían verse afectados. Como cube el dicho, “más vale prevenir que curar”.
Automatice los metadatos con Trident AI impulsado por GPT-3
Diga adiós a la documentación handbook con descripciones automatizadas cada vez más inteligentes, términos comerciales, LÉAME y más.
Trident, una característica existente en Atlan, hace que el enriquecimiento de metadatos sea divertido y fácil al proporcionar sugerencias para nuevas descripciones, propietarios, términos y clasificaciones. Si bien esto ha sido extremadamente exitoso, de hecho, un tercio de todas las actualizaciones de descripción en Atlan hasta ahora se realizaron con Trident, nuestros clientes han estado pidiendo más. Más IA y ML, eso es.
Presentamos Trident AI, impulsado por GPT-3: los poderes de Trident combinados con la inteligencia de GPT-3. Actualmente en desarrollo, esta función admitirá casos de uso como:
- Creación de descripciones para nombres de columna
- Creación de descripciones para términos comerciales comunes
- Escribir un README para un término comercial
Antes, Trident proporcionaba una sugerencia para estos artículos, que luego podrías aplicar si te gustaba. Ahora, con Trident AI, si no le gusta la sugerencia, simplemente solicite un cambio a Trident AI. Al igual que ChatGPT, Trident AI proporcionará una recomendación más sólida basada en el poder de AI y GPT-3.
💡 Si quieres saber más, mira la grabación completa de Atlan Activate: Automatizaciones supercargadas para mapear todo su patrimonio de datos. También puede suscribirse a nuestro Boletín de actualizaciones de productos para todas las últimas noticias.
💡 ¿Listo para comenzar a usar estas nuevas funciones? Acérquese a nuestro Ventas equipo o tu Gerente de Éxito del Cliente para saber cómo.
