(mariposa verde/Shutterstock)
Las organizaciones que luchan por crear productos de datos de manera controlada y repetible pueden querer estar atentos a la startup Nextdata de Zhamak Dehghani, que actualmente está desarrollando software program que automatizará gran parte del trabajo de integración al crear productos de datos como parte de una malla de datos.
La malla de datos es uno de los conceptos más candentes en massive information y refleja tanto las luchas como las aspiraciones que experimentan las empresas cuando intentan incorporar datos, análisis e IA en todo lo que construyen. Al permitir que los equipos independientes de desarrolladores de productos de datos accedan a los datos empresariales de manera gobernada y de autoservicio, una purple de datos puede ayudar a liberar la creatividad y la productividad de los datos y evitar el caos de datos.
Dehghani encabezó el movimiento de la malla de datos mientras trabajaba en la consultora Thoughtsworks América del Norteque dejó el año pasado para crear su inicio sigiloso. En enero, Dehghani anunció que la puesta en marcha, siguientedatosestaba desarrollando una nueva clase de producto para crear y administrar productos de datos como parte de una malla de datos.
Si bien la empresa aún se encuentra en la fase de diseño y creación de prototipos, los pilares principales del producto ya se han establecido y los primeros probadores están comenzando a ensuciarse las manos con él. La semana pasada, Dehghani se sentó con datanami a través de Zoom para discutir cómo se verá el nuevo producto y cómo beneficiará a las organizaciones que se embarcan en un viaje de malla de datos.
Según Dehghani, el objetivo principal de la oferta es servir como una capa de software program intermedio que permita a los desarrolladores crear e implementar productos de datos de una manera easy pero gobernada. Al habilitar una arquitectura de malla de datos, la oferta de Nextdata ayudará a automatizar las tareas que los desarrolladores actualmente tienen que valerse por sí mismos, al tiempo que proporciona un nivel de abstracción más alto para que los desarrolladores escriban.
“Queremos crear este middleware, casi una capa lógica de experiencia de desarrollador y contenedores de datos”, cube Dehghani, quien fue un 2022 datanami Persona a observar. “Estos contenedores lógicos se asientan sobre esta tecnología muy fragmentada y brindan una forma centrada en los productos de datos de crear, administrar, compartir, conectar y descubrir productos de datos”.
Específicamente, la oferta incluirá componentes de desarrollo y tiempo de ejecución. El lado del desarrollo incluirá controladores o API que permitan a los usuarios incorporar tecnologías populares que ya están usando, como Spark y Python, en los productos de datos que están creando. Para el tiempo de ejecución, se apoyará en Docker para encapsular el código y los datos en contenedores que puedan ejecutarse en cualquier lugar.
“Lo llamamos SO (sistema operativo) de malla de datos, porque es como un middleware que se asienta sobre la tecnología basic”, cube. “Tenemos un sistema de contenedorización muy específico y un enfoque de lo que constituye los datos como un producto, o codificarlos a través de la especificación, y proporcionar un conjunto de herramientas de construcción a su alrededor para administrar su ciclo de vida”, cube.
Los usuarios podrán implementar sus productos de datos en cualquier infraestructura que admita contenedores Docker, incluidos los sistemas en la nube o locales. También habrá mecanismos para incorporar metadatos al catálogo de datos que utilizan los clientes, cube Dehghani.
“La forma en que queremos que esto funcione es que cada producto de datos proporcione API en tiempo actual, API sobre sí mismo para que sea autodetectable”, cube. “Así que proporcionamos información de tiempo de ejecución en tiempo actual. ‘Esta es mi dirección. Esto que soy. Estos son los datos que proporciono.’ Toda esta información que hace que alguien que accede a este producto de datos tenga acceso a él, lo entienda, confíe en él, lo use”.
Cada producto de datos creado bajo la purple Nextdata también estará asociado con una política que establece cómo se pueden usar los datos generados por el producto. El software program proporcionará ese marco de políticas para gobernar responsablemente el producto de datos y los datos que genera. Este es un aspecto importante de la gestión de productos de datos que a menudo se pasa por alto en la prisa por crear nuevos productos y ponerlos en manos de las personas.
Zhamak Dehghani es el director ejecutivo y cofundador de Nextdata
Es “código, datos y política”, todo junto, cube ella. De la misma manera que las API y los microservicios peer-to-peer liberaron a los desarrolladores de aplicaciones para trabajar de manera más eficiente pero a expensas de la seguridad o la privacidad, Nextdata espera crear la nueva capa de abstracción para productos de datos que también permitan la libertad del desarrollador pero no a expensas de privacidad o seguridad.
“En el momento en que ha creado este producto de datos, es responsable de todos sus atributos”, cube Dehghani. “Podría ser un modelo ML sentado en él, o podría ser un easy script SQL sentado en él. No importa lo que sea. Pero hay que pensar en la propiedad a largo plazo de la misma, la evolución de la misma. Tienes autonomía con responsabilidad”.
Algunos elementos del producto de Nextdata serán de código abierto, como los controladores y las API. Nextdata no quiere entrar en el negocio de crear integraciones punto a punto, que es un área que Deghani espera que comience a despegar orgánicamente a medida que más personas comiencen a usar el software program.
Nextdata se dirige a empresas que ya han comenzado el viaje de la purple de datos, pero que quizás no están obteniendo tanta tracción como esperaban. Con ese fin, necesitan a alguien que sea un “campeón” de la descentralización de datos y la malla de datos dentro de la organización, cube Deghani.
“Si este es un equipo de massive information que viene a nosotros y cube ‘Oh, queremos una malla pero estamos en un equipo centralizado’. Sí, podríamos darles una herramienta, pero eso no va a resolver su problema”, cube ella. “Entonces, la creencia en esta descentralización de la responsabilidad y el intercambio de datos y en algún lugar del viaje para que eso suceda, alguna asociación con sus unidades de negocios para que eso suceda”.
Dehghani y su cofundador de Nextdata, el CTO Raghotham Murthy, diseñaron e implementaron mallas de datos para Thoughtworks. Lo han hecho suficientes veces para darse cuenta de que hay un aspecto repetible en lo que están construyendo, y con Nextdata, se están arriesgando a definirlo a nivel de infraestructura.
“No todo el mundo tiene que reinventar la rueda”, cube ella. “Si cada (empresa que desarrolla una malla de datos) necesita un ejército de desarrolladores de soluciones y personas como Thoughtworks o consultores para hacerlo posible, aquí no tenemos un producto”.
Artículos relacionados:
Knowledge Mesh Creator toma el siguiente paso de datos
Cómo maximizar el valor de los datos con Knowledge Mesh
Malla de datos vs. Knowledge Cloth: comprensión de las diferencias
