¿Pronóstico justo? Cómo 180 meteorólogos están entregando datos meteorológicos ‘suficientemente buenos’

¿Qué es una predicción meteorológica suficientemente buena? Esa es una pregunta en la que la mayoría de la gente probablemente no piensa mucho, ya que la respuesta parece obvia, precisa. Pero, de nuevo, la mayoría de las personas no son CTO en DTN. Lars Ewe lo es, y su respuesta puede ser diferente a la de la mayoría de las personas. Con 180 meteorólogos en plantilla proporcionando predicciones meteorológicas en todo el mundo, DTN es la compañía meteorológica más grande de la que probablemente nunca haya oído hablar.

Caso en cuestión: DTN no está incluido en ForecastWatch’s “Descripción normal de la precisión del pronóstico meteorológico mundial y regional 2017 – 2020.” El informe califica a 17 proveedores de pronóstico del tiempo de acuerdo con un conjunto integral de criterios y una metodología exhaustiva de recopilación y evaluación de datos. Entonces, ¿cómo es que una empresa que comenzó en la década de 1980, atiende a una audiencia international y siempre ha tenido un fuerte enfoque en el tiempo, no se evalúa?

El pronóstico del tiempo como un problema de huge information e web de las cosas

El nombre de DTN significa ‘Crimson de transmisión digital’ y es un guiño a los orígenes de la empresa como un servicio de información agrícola entregado por radio. Con el tiempo, la empresa ha adoptado la evolución tecnológica, girando para proporcionar lo que llama “servicios de inteligencia operativa” para una serie de industrias y se ha globalizado.

Ewe ha ocupado puestos anteriores en puestos de alto nivel en una variedad de corporaciones, incluidas empresas como AMD, BMW y Oracle. Se siente muy interesado en los datos, la ciencia de datos y la capacidad de proporcionar información para obtener mejores resultados. Ewe se refirió a DTN como una empresa international de tecnología, datos y análisis, cuyo objetivo es proporcionar información procesable casi en tiempo actual para que los clientes administren mejor sus negocios.

El tiempo de DTN como servicio® (WAAS®) debe verse como una parte importante del objetivo más amplio, según Ewe. “Tenemos cientos de ingenieros no solo dedicados al pronóstico del tiempo, sino también a los conocimientos”, dijo Ewe. También explicó que DTN invierte en producir sus propias predicciones meteorológicas, aunque podría subcontratarlas, por varias razones.

Muchos servicios de predicción meteorológica disponibles no son globales o tienen debilidades en ciertas áreas, como la resolución de la imagen, según Ewe. DTN, agregó, aprovecha todas las entradas de datos disponibles públicamente y muchas de propiedad exclusiva para generar sus propias predicciones. DTN también aumenta esos datos con sus propias entradas de datos, ya que posee y opera miles de estaciones meteorológicas en todo el mundo. Otras fuentes de datos incluyen satélites y radares, globos meteorológicos y aviones, además de datos históricos.

Algunos ejemplos de los servicios de orden superior que potencian las predicciones meteorológicas de DTN serían el análisis de impacto de tormentas y la guía de envío. Las empresas de servicios públicos utilizan el análisis de impacto de tormentas para predecir mejor las interrupciones y planificar y dotar de private en consecuencia. Las compañías navieras utilizan la guía de envío para calcular las rutas óptimas para sus barcos, tanto desde la perspectiva de la seguridad como desde la perspectiva de la eficiencia del flamable.

Lo que se encuentra en el corazón del enfoque es la thought de tomar la tecnología y los datos de pronóstico de DTN y luego fusionarlos con datos específicos del cliente para proporcionar información personalizada. Aunque hay servicios básicos que DTN también puede ofrecer, cuanto más específicos sean los datos, mejor será el servicio, señaló Ewe. ¿Cuáles podrían ser esos datos? Cualquier cosa que ayude a que los modelos de DTN funcionen mejor.

Podría ser la posición o la forma de los barcos o la salud de la crimson de infraestructura. De hecho, dado que dichos conceptos se utilizan repetidamente en los modelos de DTN, la empresa se está moviendo en la dirección de un enfoque de gemelo digital, dijo Ewe.

En muchos aspectos, el pronóstico del tiempo precise es realmente un gran problema de datos. Hasta cierto punto, agregó Ewe, también es un problema de integración de datos e Web de las cosas, en el que intenta obtener acceso, integrar y almacenar una matriz de datos para su posterior procesamiento.

Como consecuencia, producir predicciones meteorológicas no solo implica la experiencia en el dominio de los meteorólogos, sino también el trabajo de un equipo de científicos de datos, ingenieros de datos y expertos en aprendizaje automático/DevOps. Como cualquier tarea de huge information y ciencia de datos a escala, existe una compensación entre precisión y viabilidad.

Predicción meteorológica suficientemente buena a escala

Como la mayoría de los CTO, a Ewe le gusta trabajar con la tecnología, pero también necesita estar al tanto del lado comercial de las cosas. Mantener la precisión correcta, o “suficientemente buena”, sin escatimar esfuerzos y, al mismo tiempo, hacer que esto sea financieramente viable es un ejercicio muy complejo. DTN aborda esto de varias maneras.

Una forma es reduciendo la redundancia. Como explicó Ewe, con el tiempo y mediante fusiones y adquisiciones, DTN llegó a estar en posesión de más de cinco motores de pronóstico. Como suele ser el caso, cada uno de ellos tenía sus fortalezas y debilidades. El equipo de DTN tomó los mejores elementos de cada uno y los consolidó en un motor de pronóstico international.

Otra forma es mediante la optimización del {hardware} y la reducción del costo asociado. DTN trabajó con AWS para desarrollar nuevas instancias de {hardware} adecuadas a las necesidades de este caso de uso tan exigente. Con las nuevas instancias de AWS, DTN puede ejecutar modelos de predicción del clima a pedido y a una velocidad y escala sin precedentes.

En el pasado, solo period factible ejecutar modelos de pronóstico del tiempo a intervalos establecidos, una o dos veces al día, ya que tomaba horas ejecutarlos. Ahora, los modelos pueden ejecutarse bajo demanda, generando un pronóstico international de una hora en aproximadamente un minuto, según Ewe. Sin embargo, igualmente importante es el hecho de que esas instancias son más económicas de usar.

En cuanto a la ciencia actual de cómo funcionan los modelos de DTN, contienen tanto modelos de aprendizaje automático basados ​​en datos como modelos que incorporan experiencia en el dominio de la meteorología. Ewe señaló que DTN adopta un enfoque de conjunto, ejecutando diferentes modelos y sopesándolos según sea necesario para producir un resultado closing.

Ese resultado, sin embargo, no es binario: lluvia o no lluvia, por ejemplo. Más bien, es probabilístico, lo que significa que asigna probabilidades a los resultados potenciales: 80% de probabilidad de 6 vientos Beaufort, por ejemplo. El razonamiento detrás de esto tiene que ver con para qué se usan esas predicciones: inteligencia operativa.

Eso significa ayudar a los clientes a tomar decisiones: ¿Debe evacuarse o no esta instalación de perforación en alta mar? ¿Debería desviarse o no este barco o este avión? ¿Debe realizarse o no este evento deportivo?

El enfoque de conjunto es clave para poder tener en cuenta las predicciones en la ecuación de riesgo, según Ewe. Los bucles de retroalimentación y la automatización de la elección de los modelos correctos con los pesos correctos en las circunstancias correctas es en lo que DTN está trabajando activamente.

Aquí es también donde entra en juego el aspecto “suficientemente bueno”. El valor actual, como lo expresó Ewe, está en el consumo posterior de las predicciones que generan esos modelos. “Debe tener mucho cuidado con la forma en que equilibra sus niveles de inversión, porque el clima es solo un parámetro de entrada para el próximo modelo posterior. A veces, ese medio grado adicional de precisión puede que ni siquiera haga una diferencia para el próximo modelo. A veces, lo hace.”

Al cerrar el círculo, Ewe señaló que la atención de DTN se centra en las operaciones diarias de la empresa con sus clientes, y cómo el clima afecta esas operaciones y permite el más alto nivel de seguridad y retornos monetarios para los clientes. “Eso ha demostrado ser mucho más valioso que tener una parte externa que mida la precisión de nuestros pronósticos. Es nuestra interacción diaria con el cliente la que mide qué tan precisos y valiosos son nuestros pronósticos”.