(Gabinete de Maximiliano/Shutterstock)
Solo en 2022, los capitalistas de riesgo han invertido un whole de al menos $ 55 millones en nuevas empresas que construyen empresas en torno a Apache Flink, el proyecto de código abierto que se utiliza para procesar flujos de datos a gran escala y brindar información analítica en tiempo actual. En 2023, Confluent anunció la adquisición de una startup de Flink por unos 100 millones de dólares.. Los inversores confían plenamente en que Flink es la tecnología adecuada para el procesamiento de transmisiones.
Y no se trata solo de nuevas empresas; AWS ofrece Flink como un servicio alojado, y alibaba hace lo mismo con una plataforma aún más avanzada. Más proveedores de la nube ofrecerán servicios Flink alojados en el futuro.
En este artículo, exploraremos por qué Apache Flink—un proyecto que ha existido durante más de una década— de repente está de moda. Originalmente llamado Stratosphere, el primero se compromete con la fecha del proyecto volver a 2010y volveremos a por qué esto es importante más adelante.
Veamos cinco factores por los que Flink de repente está recibiendo mucha atención:
1. El dinero de capital de riesgo está atrayendo la atención
Mirando un poco hacia el pasado, podemos ver que estas inversiones recientes muestran un interés renovado en Flink, ya que ha habido algunas empresas respaldadas por VC antes.
Information Artisans (fundada en 2014), que pasó a llamarse Ververica y adquirido por Alibaba (por unos rumores de $ 103 millones después de $ 6,5 millones en financiación whole) fue la primera startup en recibir fondos para Flink. En 2016 se puso en marcha eventador.io. Recolectaron un conjunto de 3,8 millones de dólares en financiación antes de su adquisición por parte de Cloudera. Aiven.io también se inició en 2016, han recopilado un whole de $ 420 millones para un montón de proyectos de código abierto ofrecidos en sus servicios, entre ellos, lo adivinaste, Apache Flink.
(ESB-Skilled/Shutterstock)
Si hay una industria especializada en mirar hacia el futuro, asumir riesgos y dar forma al futuro, son los capitalistas de riesgo. Mucha gente sigue la actividad de las empresas, por lo que es instructivo examinar las recientes rondas de inversión en empresas que crean soluciones de transmisión por encima de Flink. Los ejemplos notables incluyen Decodificable ($ 25,5 millones), Immerok ($ 17 millones) y DeltaStream ($ 10 millones). Estos y otros han llamado mucho la atención sobre Flink, cada uno está poniendo la tecnología en el centro de sus ofertas.
2. Flink es probado, tiene una comunidad fuerte
Flink se utiliza profundamente en las pilas de tecnología que utilizan las empresas para potenciar las infraestructuras internas de análisis en tiempo actual. Es la base que respalda a los generadores de dinero en las arquitecturas modernas: anuncios en tiempo actual, recomendaciones, detección de fraudes, monitoreo de la calidad del servicio y más. Si está relacionado con la generación de ingresos o con el suministro de información actualizada a los usuarios, es muy possible que Flink lo haga posible.
Los usuarios destacados a gran escala incluyen Raya, Uber, Shopifyy muchos otros como Pinterest y Netflix; Página “impulsada por” de Flink contiene el “quién es quién” de la tecnología moderna. Lo que les importa a estos usuarios, y también a los futuros usuarios de Flink, es que pueden confiar en que Flink está probado en batalla a escala. Esta garantía es elementary, porque la implementación de Flink no es fácil y, a menudo, es un proyecto de varios meses para uno o varios equipos en las organizaciones de infraestructura de datos y ciencia de datos de una organización.
Otro argumento sólido a favor de Flink es su comunidad de código abierto vibrante, diversa e independiente de proveedores en Apache Software program Basis. El proyecto está respaldado por una variedad de organizaciones y tiene un rico ecosistema de proyectos adyacentes como el Conectores Flink CDC o el Operador de Kubernetes.
3. No hay alternativas reales a Flink
Algunas personas pueden sentirse ofendidas por esta suposición, pero escúchenme primero: para ciertos casos de uso, no hay alternativas reales a Flink. Tan pronto como desee realizar un procesamiento de transmisión con un estado muy grande o un alto rendimiento, o si desea ser independiente de plataformas de transmisión de datos específicas como Apache Kafka, entonces Flink es la única opción.
Si abre los libros de historia, verá que ha habido muchos intentos de crear procesadores de flujo de código abierto y/o fuente disponible: Apache Storm, Apache Samza, Apache Apex, Kafka Streams, Ksqldb, Materialise, Apache Spark Streaming.
Algunos de esos proyectos ahora están en modo de mantenimiento, mientras que otros permanecen bastante activos o aún están comenzando. Pero, en mi opinión, ninguno de ellos ofrece la amplitud y profundidad de Flink en términos de opciones de implementación, casos de uso cubiertos y adaptabilidad a varios casos de uso (ya sea de gran estado, baja latencia, desarrollo de aplicaciones reactivas, and many others.).
Por supuesto, hay nuevos proyectos que aparecen en el horizonte, con interesantes visiones del futuro, por ejemplo Materializar (no de código abierto hasta finales de 2026) o Ola creciente. Veamos en qué dirección van y cómo resisten la prueba del tiempo (y los casos de uso de gran producción).
4. El mercado más amplio finalmente se ha puesto al día
Como colaborador a largo plazo de Flink, creo que el proyecto siempre ha estado “caliente”, pero por supuesto que soy parcial 😉 Lo que ha cambiado es que el mercado de usuarios finalmente se ha puesto al día.
Si bien un pequeño grupo de ingenieros y empresas vieron la necesidad de una tecnología como Flink hace 10 años, el mundo no estaba preparado para ello. Solo las empresas más grandes y sofisticadas tenían los volúmenes de datos y la escala para necesitar realmente una tecnología como Flink. No es casualidad que Netflix, Uber, Alibaba, Pinterest, Twitter, and many others. ya lleven muchos años hablando de su uso de Flink.
junto al necesitartambién está el habilidad para utilizar Flink. Flink es un sistema especializado para ingenieros de sistemas distribuidos. Puede dispararse fácilmente en el pie si usa un serializador ineficiente, envía demasiados datos a través de la pink o configura incorrectamente RocasDB. Esta es otra explicación de por qué Flink hasta este momento se ha adoptado principalmente en grandes empresas tecnológicas con una potencia sustancial de ingeniería de infraestructura.
Sin embargo, ahora vemos que esto cambia rápidamente. Empresas como decodificable ofrecer Flink como un servicio alojado, con un Copo de nieve-como experiencia, accesible a través de herramientas ampliamente conocidas como SQL, con la plataforma encargándose del trabajo pesado en términos de infraestructura y operaciones. Por supuesto, es más que solo SQL, también son conectores, definiciones de esquema, experiencia de desarrollador y mucho más. Pero lo importante es que los clientes no necesitan jugar con las configuraciones de Flink, los backends estatales o los tiempos de espera de los puntos de management.
Creo que estamos en el punto en el que el mercado en basic comprende que lo que se necesita es un conjunto de tecnologías que permitan a los usuarios tomar decisiones más rápido y obtener información sobre sus datos al instante. Flink es la tecnología adecuada para resolver ese problema.
(Peshkova/Shutterstock)
5. Transmisión de SQL
Como mencioné en el supuesto número 4, implementar y operar Flink en un sistema de producción requiere especialistas. Escribir una aplicación Flink en Java no es una tarea trivial y producirla es aún más difícil.
Puede pensar lo que quiera sobre la sintaxis SQL y el panorama disperso de los dialectos SQL. Es la lingua franca para el análisis. SQL todavía se enseña hoy a la próxima generación de analistas de datos y científicos de datos. Tanto la comunidad de investigación de bases de datos (por ejemplo: “Un SQL para gobernarlos a todos: un enfoque eficiente y sintácticamente idiomático para la gestión de flujos y tablas”), así como la comunidad de código abierto (con Flink SQL o ksqlDB) acordaron que el procesamiento de secuencias con SQL es posible, incluso preferible.
Dado que los procesadores de flujo modernos también entienden SQL, una enorme población nueva de ingenieros tiene acceso a las tecnologías de transmisión.
Además de un alcance más amplio, hay otro argumento que se debe hacer sobre Streaming SQL. Con servicios administrados como Decodable, una operación con estado compleja se puede expresar con unas pocas líneas de código. En lugar de pasar semanas creando un microservicio para un problema, una aplicación de transmisión de Flink SQL en combinación con un conector REST de proveedores como Decodable resuelven el mismo problema con costos iniciales y continuos reducidos. Por supuesto, las plataformas internas de Flink SQL u otros proveedores también pueden admitir este caso de uso. El punto que quiero destacar aquí es que Streaming SQL no se trata solo de “democratizar el acceso a la transmisión”, como diría el equipo de advertising, sino que también scale back drásticamente el tiempo y la complejidad de la producción, incluso para casos de uso complejos.
Conclusión
Flink está de moda porque la comunidad de científicos de datos e ingenieros de infraestructura ha decidido que el futuro es Flink. Tenemos todos los ingredientes: nuevas empresas bien financiadas, empresas con buenos recursos cargadas con talento en ingeniería, una tecnología de código abierto probada en batalla y un mercado enorme que está emergiendo rápidamente de un estado inicial a uno que busca modernizar los datos. pilas para convertirse en tiempo actual.
La conclusión es que Flink está caliente y cada vez más caliente. Si está buscando comenzar con Flink por sí mismo, echa un vistazo a esta introducción. Si no quiere aprender Flink pero solo quiere beneficiarse de él, hay ofertas como servicio a las que puede suscribirse, sin necesidad de tarjeta de crédito. 
Sobre el Autor: Robert Metzger es un committer y miembro de PMC para el proyecto de código abierto Apache Flink. Co-creó Flink y contribuyó con muchos componentes centrales del proyecto a lo largo de los años. Robert es un ingeniero de private en Decodable, que crea una plataforma de datos en tiempo actual sin servidor en Flink. Anteriormente cofundó y salió con éxito de information Artisans (ahora Ververica), la empresa que creó y comercializó Flink. Es un orador frecuente en conferencias como QCon, ApacheCon y reuniones en todo el mundo.
Artículos relacionados:
Confluent para desarrollar la oferta de Apache Flink con la adquisición de Immerok
La nueva startup de Flink, Immerok, despega
Alibaba adquiere artesanos de datos de Apache Flink Backer
