#hocon — Public Fediverse posts

#ini #conf #toml #hocon #properties #xml #json
What is the best human-readable configuration file format?

If you are into TOML, support for Scala 3 derivation was recently added to this library. I personally will stick with HOCON. By the way, does anyone use SConfig instead of the original Java implementation from TypeSafe? #scala #toml #hocon https://github.com/indoorvivants/toml-scala

If you are into TOML, support for Scala 3 derivation was recently added to this library. I personally will stick with HOCON. By the way, does anyone use SConfig instead of the original Java implementation from TypeSafe? #scala #toml #hocon https://github.com/indoorvivants/toml-scala

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора

Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями. Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с проблемой: в нашем случае не существует готовых решений для запуска Spark-приложений, позволяющих легко править конфигурацию и следить за количеством потребляемых ресурсов. Меня зовут Андрей Булгаков, я лид команды разработчиков Big Data в Lamoda Tech. Вместе с разработчиком Иваном Васенковым в этой статье мы поделимся историей создания Airflow-оператора для запуска Spark-приложений.

https://habr.com/ru/companies/lamoda/articles/810705/

#apache_airflow #spark #hocon #docker #data_engineering #big_data #python

I came across an interesting article the other day about using code (#scala ) instead of separate files (#hocon #json #xml etc.) for storing configuration of apps. I still haven't decided if it is a good idea though. What do you think? https://blog.acolyer.org/2016/11/29/early-detection-of-configuration-errors-to-reduce-failure-damage/

I came across an interesting article the other day about using code (#scala ) instead of separate files (#hocon #json #xml etc.) for storing configuration of apps. I still haven't decided if it is a good idea though. What do you think? https://blog.acolyer.org/2016/11/29/early-detection-of-configuration-errors-to-reduce-failure-damage/