¿Alguna vez ha considerado cuántos datos genera una sola persona en un día? ¿Cada documento internet, documento escaneado, correo electrónico, publicación en redes sociales y descarga de medios? Una estimación establece que “en promedio, las personas producirán 463 exabytes de datos por día para 2025.”
Ahora considere que el gobierno federal tiene aproximadamente 2.8 millones empleados civiles y el departamento de defensa tiene otros 2 millones servicio activo, guardias y reservistas. Agregue eso a casi 19 millones de empleados en agencias estatales y locales y tiene una población de agencias combinada mayor que el número de residentes en Florida, el tercer estado más grande. Cada uno de estos empleados genera volúmenes de datos diariamente. Y esto ni siquiera toca los datos generados por las interfaces de servicios de los ciudadanos, los datos generados por máquinas o dispositivos, como transmisiones de video, sensores y datos de comunicaciones. La lista podría seguir y seguir.
Con estos volúmenes masivos de datos, es común que las agencias y empresas determinen los datos a los que se puede acceder fácilmente y que son esenciales para el éxito de la misión y priorizar para el análisis. Básicamente, arrojan luz sobre los datos que están más disponibles y se perciben como relevantes para los resultados de la toma de decisiones, mientras que una cantidad no cuantificable de datos permanece en la “oscuridad”, sin usar o desconocida.
¿Qué son los datos oscuros?
Gartner outline datos oscuros como “Los activos de información que las organizaciones recopilan, procesan y almacenan durante las actividades comerciales regulares, pero que generalmente no se utilizan para otros fines (por ejemplo, análisis, relaciones comerciales y monetización directa)”. Algunos ejemplos incluyen registros de empleados, comunicaciones internas y externas, archivos de fotos, movies y audio, datos de sensores de IoT y datos transmitidos.
Para 2025, se estima que la cantidad de datos creados, consumidos y almacenados llegar a 180 zettabytes, con hasta el 90% de eso sin estructurar y casi todo sin usar para la toma de decisiones. Estos datos oscuros residen en todas partes de la empresa, almacenados en múltiples repositorios de datos, desde computadoras portátiles y dispositivos móviles hasta lagos de datos y aplicaciones.
El propósito de este weblog no es enfatizar el riesgo cibernético de los datos oscuros, sino resaltar sus implicaciones. Los datos oscuros se consideran intrínsecamente inutilizables o no priorizados para el análisis, lo que significa que pueden almacenarse en repositorios menos seguros, olvidarse o no administrarse, y quedar vulnerables a una violación de datos.
En el pasado, la accesibilidad y el procesamiento de estos datos requerían tiempo y costo prohibitivos para el análisis a escala, pero en la nueva period de las plataformas de datos híbridos es posible encontrar, comprender y utilizar datos oscuros y tiene enormes implicaciones para las aplicaciones gubernamentales, especialmente como La IA y el aprendizaje automático se afianzan dentro de la empresa.
- Operaciones de la agencia: Gran parte de los datos oscuros se producen en las operaciones diarias y tienen el potencial de proporcionar una visión profunda de cómo mejorar la eficiencia operativa para la fuerza laboral del sector público al tiempo que se reducen los costos de los servicios para los ciudadanos.
- Perspectivas de IoT: Si bien los datos de los dispositivos y sensores de IoT se utilizan regularmente para alarmas y management en tiempo actual, comprender y analizar los datos de IoT abre la puerta a los casos de uso de predicción de sistemas, como el monitoreo basado en condiciones para el mantenimiento de aeronaves o la optimización de las emisiones y los controles de calidad del agua. para evitar futuras catástrofes ambientales.
- Ciudadano 360: Tener una imagen completa del ciudadano y sus interacciones con las agencias gubernamentales tiene resultados positivos de gran alcance, desde la reducción del fraude, el despilfarro y el abuso, hasta la eliminación de prejuicios y la prestación de servicios más precisos y oportunos.
Hacer que los datos oscuros sean procesables
Las organizaciones que logran optimizar el proceso de descubrimiento, clasificación y aprovechamiento de sus datos oscuros para alimentar modelos de inteligencia synthetic y aprendizaje automático están bien preparadas para reducir el riesgo y desbloquear información valiosa que impulsa la eficiencia operativa. Habilitar una solución para mover datos previamente sin explotar a una plataforma de análisis proporciona una visión más amplia y mucho más precisa de los datos en toda la empresa.
De acuerdo a un Forbes analista, “Si TI puede proporcionar una arquitectura de datos unificada que sirva como una capa integrada que conecta puntos finales y procesos de datos, puede hacer que los datos de misión crítica sean más detectables, omnipresentes y reutilizables en todos los entornos de una organización, incluidos los entornos híbridos y de múltiples nubes”. .”
Los CDO necesitan controlar sus datos oscuros ahora, ya que sus organizaciones continúan recopilando cantidades cada vez mayores de información todos los días. Para ayudar a las agencias gubernamentales federales, estatales y locales a minimizar el riesgo y aprovechar estos “datos oscuros” como un activo estratégico, Cloudera Authorities Options proporciona distribución common de datos y datos en movimiento capacidades para descubrir, clasificar y mover todos los datos (incluidos los oscuros) en cualquier lugar, a cualquier aplicación.
Aprender cómo Servicios profesionales de Cloudera proporciona los componentes básicos para optimizar el valor de sus datos e implementar todas las arquitecturas de datos modernas.
