Es posible que escuche la frase de que el mundo se está moviendo mucho de lote a tiempo actual. Si bien la “inteligencia de negocios” tradicional ha recorrido un largo camino en los últimos 20 años, el mundo de análisis en tiempo actual todavía está en sus primeros días. El BI tradicional tuvo sus momentos de Renacimiento con el advenimiento de las tecnologías de Huge Information como Hadoop, y luego los lagos y almacenes de datos en la nube llevaron a todos a la period Moderna.
Pero estas herramientas de BI tradicionales están diseñadas para ayudar toma de decisiones estrategicas a nivel ejecutivo. Cuando los equipos de productos, los equipos de advertising y otros equipos de operaciones comerciales buscan tomar decisiones basadas en datos en tiempo actual, en el momento, estas herramientas tradicionales de BI se quedan cortas y existe una necesidad creciente de un conjunto más moderno de herramientas que puedan potenciar el mundo de “inteligencia operativa(1). La necesidad del momento es empoderar a varios equipos de operaciones comerciales con respuestas y sistemas en tiempo actual que ayuden con toma de decisiones tácticas para que puedan hacer mejor su trabajo. De esto se trata el análisis en tiempo actual. Si el análisis por lotes hizo que su equipo ejecutivo elaborara mejores estrategias, el análisis en tiempo actual permitirá que todos los equipos de su empresa tomen mejores decisiones.
vi que esto sucedio de primera mano en fb de 2007 a 2015. Cuando hablo de este tema con amigos, la mayoría de la gente me pregunta cómo los gerentes de producto y los equipos de crecimiento de Fb tomaron decisiones basadas en datos diariamente para lanzar productos exitosos y acelerar el crecimiento de Fb. Hay tantos factores que contribuyeron a esto y en esta publicación, discutiré una herramienta de análisis en tiempo actual que ejemplifica el punto con más profundidad. La herramienta de análisis en tiempo actual se llama Deltoid, que es la plataforma de experimentos A/B de Fb. Es un gran ejemplo de una herramienta que hizo que todos los gerentes de productos de Fb se basaran en datos diariamente.
Deltoides impulsado por Scuba & Laser
Deltoides fue una creación de Itamar Rosenn (2). Itamar es uno de los científicos de datos más prolíficos con los que he tenido el placer de trabajar y estoy seguro de que sea lo que sea en lo que esté trabajando ahora, el mundo lo estará buscando dentro de 4 o 5 años. Si está interesado en aprender más sobre Deltoid y tiene 20 minutos libres, le recomiendo que escuche esta excelente charla técnica de Itamar de 2014. Esta es la mejor presentación pública sobre Deltoid que pude encontrar:
(incrustar)https://www.youtube.com/watch?v=Iw40wdwkkLA(/incrustar)
La charla de Itamar describe los objetivos de un poderoso marco de experimentos A/B, los desafíos de administración de datos de back-end asociados con él y cómo sería una solución splendid. La charla también es posiblemente el mejor argumento que puedo presentar sobre por qué las poderosas aplicaciones en tiempo actual de próxima generación, como los sistemas de experimentos A/B, deben construirse en la nube y no en herramientas tradicionales de administración de datos y tecnologías de código abierto como como Apache Druid o Elasticsearch.
Deltoid se construyó sobre los sistemas de administración de datos llamados Scuba y Laser que ayudé a construir y escalar en Fb. Si alguna vez se encuentra con un ex gerente de producto o desarrollador de Fb y le pregunta qué herramienta extraña más de Fb, invariablemente obtendrá Deltoid o Scuba como respuesta. No debería sorprender a nadie que conjunto de cohetes está fuertemente inspirado tanto en Scuba como en Laser, entre otras cosas en las que el equipo fundador de Rockset había trabajado anteriormente.
Una plataforma de experimentos A/B es un ejemplo perfecto de una herramienta de análisis en tiempo actual, y analizaremos un poco más de cerca los requisitos del sistema para comprender por qué las herramientas tradicionales de administración de large knowledge no son suficientes.
Requisitos para una plataforma splendid de experimentos A/B
- Velocidad con ingesta escalable en tiempo actual: Esto ayudará a los equipos de productos a tomar decisiones en días en lugar de semanas. Esto es realmente importante, ya que cuanto más rápido lleguen los resultados, más experimentos se realizarán. esto tendra un impacto directo e inmediato en la rapidez con que se mueven sus equipos de producto y crecimiento para alcanzar sus metas. Itamar habla extensamente sobre el gran impacto de una mayor velocidad de iteración en su charla.
- Datos multidimensionales de múltiples fuentes: Casi todas las partes del análisis de pruebas A/B implican combinar el flujo de eventos en tiempo actual con una o más tablas de hechos, como usuarios, productos, dispositivos o datos de experimentos, que a menudo provienen de diferentes fuentes de datos. Cada una de esas fuentes de datos también está en constante evolución, por lo que cualquier plataforma de experimentos A/B necesita traer datos de múltiples fuentes diferentes en tiempo actual.
- Consultas en fracciones de segundo con rebanado y troceado interactivos: Los equipos de productos no solo emiten juicios de aprobación/fallo en sus experimentos A/B. Necesitan profundizar e interrogar los datos de manera interactiva para construir nuevas hipótesis, construir mejores concepts y diseñar experimentos de seguimiento.
Falló el primer intento de usar JOIN de transmisión
El primer intento de Fb fue bastante tradicional. La thought period desnormalizar en gran medida el flujo de eventos de entrada mediante la transmisión de JOIN y luego simplemente cargarlo en un sistema de análisis en memoria llamado Scuba.
Esta arquitectura no funcionó. Como dijo Itamar en la charla, “La razón por la que esta arquitectura no funciona es por la explosión de datos”. Al duplicar todos los detalles de las tablas de 3 dimensiones (usuarios, dispositivos y experimentos) con el flujo de eventos en tiempo actual, que es la tabla de hechos, la explosión de datos es tan masiva que incluso Fb no puede permitírselo.
El análisis en tiempo actual necesita soporte completo de SQL
Fb resolvió el problema fragmentando previamente todos los conjuntos de datos en la clave JOIN, que es la “identificación de usuario” en este caso. Si bien eso ayudó a que el problema fuera manejable, no period lo suficientemente versatile para todas sus necesidades. La charla de Itamar termina con una pila de análisis en tiempo actual de ensueño que tiene lo siguiente:
- SQL con todas las funciones
- Retención a largo plazo incorporada
Con la llegada de soluciones de análisis en tiempo actual como Rockset, seis años después de que se presentara originalmente la charla, esto ya no es solo un sueño. Cualquiera puede construir una plataforma de experimentos A/B de clase mundial o una clase related de aplicaciones en tiempo actual en Rockset con ingesta en tiempo actual integrada y SQL con funciones completas a gran escala en la nube.
Si está interesado en saber más sobre Rockset o tiene alguna pregunta, me encantaría saber de usted. También puede unirse a nosotros en nuestro próximo charla técnica para obtener más información sobre lo que se necesita para construir una plataforma de experimentos A/B en tiempo actual a gran escala.
Referencia:
