#kafka — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.
-
Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)
🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 MinderaJob details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Uniphore is hiring Technical Engineering Manager
🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 UniphoreJob details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
The Architecture Decisions CAIOs Cannot Delegate to Engineering
Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value. -
The Architecture Decisions CAIOs Cannot Delegate to Engineering
Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value. -
The Architecture Decisions CAIOs Cannot Delegate to Engineering
Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value. -
The Architecture Decisions CAIOs Cannot Delegate to Engineering
Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value. -
The Architecture Decisions CAIOs Cannot Delegate to Engineering
Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value. -
El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo
Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.
El absurdo según Kafka
Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.
Foto: UnsplashEl absurdo según Camus, en La peste
En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.
Y el universo, ¿es absurdo también?
Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.
Foto: NASA Hubble Space Telescope / UnsplashY sin embargo, seguimos aquí
Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.
¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.
Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.
#absurdismo #booklovers #bookreview #bookstodon #Camus #ChristopheGalfard #filosofia #Kafka #lectura #leer #libros #Literatura #universo -
El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo
Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.
El absurdo según Kafka
Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.
Foto: UnsplashEl absurdo según Camus, en La peste
En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.
Y el universo, ¿es absurdo también?
Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.
Foto: NASA Hubble Space Telescope / UnsplashY sin embargo, seguimos aquí
Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.
¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.
Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.
#absurdismo #booklovers #bookreview #bookstodon #Camus #ChristopheGalfard #filosofia #Kafka #lectura #leer #libros #Literatura #universo -
El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo
Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.
El absurdo según Kafka
Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.
Foto: UnsplashEl absurdo según Camus, en La peste
En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.
Y el universo, ¿es absurdo también?
Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.
Foto: NASA Hubble Space Telescope / UnsplashY sin embargo, seguimos aquí
Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.
¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.
Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.
#absurdismo #booklovers #bookreview #bookstodon #Camus #ChristopheGalfard #filosofia #Kafka #lectura #leer #libros #Literatura #universo -
El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo
Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.
El absurdo según Kafka
Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.
Foto: UnsplashEl absurdo según Camus, en La peste
En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.
Y el universo, ¿es absurdo también?
Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.
Foto: NASA Hubble Space Telescope / UnsplashY sin embargo, seguimos aquí
Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.
¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.
Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.
#absurdismo #booklovers #bookreview #bookstodon #Camus #ChristopheGalfard #filosofia #Kafka #lectura #leer #libros #Literatura #universo -
El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo
Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.
El absurdo según Kafka
Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.
Foto: UnsplashEl absurdo según Camus, en La peste
En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.
Y el universo, ¿es absurdo también?
Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.
Foto: NASA Hubble Space Telescope / UnsplashY sin embargo, seguimos aquí
Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.
¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.
Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.
#absurdismo #booklovers #bookreview #bookstodon #Camus #ChristopheGalfard #filosofia #Kafka #lectura #leer #libros #Literatura #universo -
Пять дней ожидания: опыт длинных временных окон Kafka stream
Иногда бизнес-логика выглядит просто: «соберём все данные за период и посчитаем итоговый результат». На практике этот период может оказаться не часом и даже не днём, а несколькими сутками. В одном из моих проектов требовалось построить агрегаты на основе данных, которые могли поступать в течение пяти дней. В литературе мы встретили концепцию временных окон (Time Windows). По описанию это выглядело именно тем инструментом, который должен решить задачу: определить период ожидания, дождаться всех необходимых данных и получить итоговый агрегат. Однако при работе с реальными потоками оказалось, что основная сложность заключается вовсе не в выборе размера окна. Главный вопрос оказался другим: существует ли вообще момент, после которого агрегат можно считать завершённым и больше никогда не изменять? Узнать больше
https://habr.com/ru/companies/magnit/articles/1052086/
#kafka_streams #метки_времени #kafka #временные_окна #stream_processing #apache_kafka
-
Databricks is hiring Staff Software Engineer - Backend
🔧 #cplusplus #java #scala #aws #azure #docker #gcp #kafka #kubernetes #awss3 #sql #terraform
🌎 San Francisco, California
⏰ Full-time
🏢 DatabricksJob details https://jobsfordevelopers.com/jobs/staff-software-engineer-backend-at-databricks-com-apr-15-2024-3379be?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Workato is hiring Senior Software Engineer (GOlang)
🔧 #kafka #postgresql #awss3 #seniorengineer
🌎 Barcelona, Spain; Madrid, Spain
⏰ Full-time
🏢 WorkatoJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-golang-at-workato-com-jan-2-2026-5a1fe7?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Sysdig is hiring Software Engineer
🔧 #java #aws #kafka #kubernetes #awss3
🌎 Flexible; Spain
⏰ Full-time
🏢 SysdigJob details https://jobsfordevelopers.com/jobs/software-engineer-at-sysdig-com-oct-23-2023-bcbdd5?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Appian is hiring Senior Software Engineer - Java / AWS Services
🔧 #aws #java #kafka #kubernetes #awss3 #terraform #seniorengineer
🌎 McLean, Virginia
⏰ Full-time
🏢 AppianJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-java-aws-services-at-appian-com-may-13-2026-3a5d85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
MongoDB is hiring Software Engineer 3, Cloud Alerts Platform
🔧 #golang #java #grpc #rest #aws #azure #gcp #kafka #kubernetes #mongodb #awss3 #terraform
🌎 Dublin, Ireland
⏰ Full-time
🏢 MongoDBJob details https://jobsfordevelopers.com/jobs/software-engineer-3-cloud-alerts-platform-at-mongodb-com-mar-25-2026-e5e332?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
#FranzKafka #Literatura #CitasLiterarias #Filosofia #Reflexion #PensamientoExistencial #Kafka #LibrosQueDespiertan #ImpactoLiterario #ElHachaDeLaMente #MarCongelado #DespertarMental #LecturaCritica #LibrosRecomendados #FrasesDeAutores #Existencialismo #Cultura #Conciencia #Introspeccion #Transformacion #PoderDeLaLectura #LiteraturaUniversal #ArteYReflexion #Kafkaesco #MenteAbierta
-
#FranzKafka #Literatura #CitasLiterarias #Filosofia #Reflexion #PensamientoExistencial #Kafka #LibrosQueDespiertan #ImpactoLiterario #ElHachaDeLaMente #MarCongelado #DespertarMental #LecturaCritica #LibrosRecomendados #FrasesDeAutores #Existencialismo #Cultura #Conciencia #Introspeccion #Transformacion #PoderDeLaLectura #LiteraturaUniversal #ArteYReflexion #Kafkaesco #MenteAbierta
-
Headway is hiring Staff Software Engineer (Provider Growth)
🔧 #python #typescript #nextjs #react #remix #aws #kafka #awss3
🌎 New York City, New York
⏰ Full-time
🏢 HeadwayJob details https://jobsfordevelopers.com/jobs/staff-software-engineer-provider-growth-at-headway-co-jul-11-2025-a86acf?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Headway is hiring Engineering Manager (Growth)
🔧 #python #typescript #nextjs #react #remix #aws #kafka #postgresql #redis #awss3 #engineeringmanager
🌎 New York, New York; San Francisco, California; Seattle, Washington
⏰ Full-time
🏢 HeadwayJob details https://jobsfordevelopers.com/jobs/engineering-manager-growth-at-headway-co-dec-15-2025-a45dd8?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Celigo is hiring Senior DevOps Engineer
🔧 #python #ansible #aws #cicd #awsec2 #kafka #awss3 #terraform #seniorengineer
🌎 Hyderabad, India
⏰ Full-time
🏢 CeligoJob details https://jobsfordevelopers.com/jobs/senior-devops-engineer-at-celigo-com-feb-16-2026-2f87c6?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Databricks is hiring Staff Software Engineer - Backend
🔧 #cplusplus #java #scala #aws #azure #docker #gcp #kafka #kubernetes #awss3 #sql #terraform
🌎 Seattle, Washington
⏰ Full-time
🏢 DatabricksJob details https://jobsfordevelopers.com/jobs/staff-software-engineer-backend-at-databricks-com-jul-3-2024-7e4d08?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Workato is hiring Staff Software Engineer
🔧 #kotlin #ruby #rust #rest #aws #azure #docker #gcp #kafka #postgresql #awss3 #terraform
🌎 Lisbon, Portugal; Porto, Portugal
⏰ Full-time
🏢 WorkatoJob details https://jobsfordevelopers.com/jobs/staff-software-engineer-at-workato-com-dec-18-2025-d61d62?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Workato is hiring Senior Software Engineer (GOlang)
🔧 #kafka #postgresql #awss3 #seniorengineer
🌎 Tbilisi, Georgia
⏰ Full-time
🏢 WorkatoJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-golang-at-workato-com-jan-2-2026-8ec70c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
[Перевод] MySQL в Uber
Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре
https://habr.com/ru/companies/otus/articles/957296/
#кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd
-
Fast Lane / Slow Lane: разделение трафика через две очереди Kafka
Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.
https://habr.com/ru/companies/otus/articles/932134/
#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor
-
Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?
Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.
https://habr.com/ru/articles/899670/
#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues
-
Отказоустойчивая распределённая архитектура для UX-аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.
https://habr.com/ru/articles/897798/
#clickhouse #kafka #flink #kafka_streams #распределенные_системы #отказоустойчивые_системы #аналитика #анализ_данных #анализ_и_проектирование_систем #анализ
-
In "When the Cattle Gun Touches Her Forehead" by Ben Serna-Grey, trillionaires get the Nobel while a father slaves on a tower to reduce atmospheric CO2 and his wife submits to in utero genetic engineering to make the baby eat plastic. Satiric treatment of eco-fascism. Strongly recommended
https://www.amazon.com/dp/B0D1N6MGDV
#Kafka
#kafkaesque
#satire
#sciencefiction
#Amreading
#Amreadinsscifi
#Amreadingfiction
#AmReadingFiction
#WritersOfMastodon
#AuthorsOfMastodon
#WritingCommunity
#Bookstodon -
Kafka Streams ч4: Stateful processing
В предыдущих статьях мы познакомились с основами Kafka Streams и рассмотрели stateless операции. В этой статье мы погрузимся в stateful processing и создадим приложение для управления запасами в реальном времени. Шаг за шагом мы реализуем функциональность, которая позволит отслеживать состояние запасов товаров, обрабатывать поступления и продажи, а также предоставлять доступ к текущему состоянию через REST API.
-
Kafka Streams ч3: Stateless processing
В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless processing (обработке без сохранения состояния) и поймем как применять различные операции Kafka Streams для решения практических задач. Мы создадим приложение для обработки данных медицинской клиники. Требования к ETL пайплайну: Приложение должно обрабатывать поток JSON-сообщений из входного топика Kafka (patient-records), содержащих информацию о пациентах медицинской клиники. Цель состоит в том, чтобы применять различные stateless операции для трансформации данных и отправлять результаты в выходной топик (clinic-notifications-topic). Это позволит продемонстрировать, как использовать основные возможности Kafka Streams для обработки данных без сохранения состояния.
-
Kafka Streams ч2: DSL, Processor API
DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.
https://habr.com/ru/articles/854680/
#etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java
-
Kafka как хранилище справочников
Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации.
-
Kafka Streams ч1: Привет мир
Привет сообщество HABR ! =) Начав изучать Kafka Streams, я заметил, что для решения различных задач приходится искать информацию по разным источникам, поэтому со временем накопилось много собственных конспектов. Хочу поделиться ими в виде серии туториалов на Хабре. Несмотря на обилие ресурсов по Kafka Streams и отличные статьи на Хабре [ ноль , один , два ], мне не хватало пошаговых руководств, которые детально раскрывают изъяны и преимущества этой технологии. Поэтому решил создать такой материал, чтобы помочь другим разобраться структурно и последовательно.
-
Платёжный сервис в банке, часть первая
Привет, меня зовут Александр Читалкин, и я руководитель офиса архитектуры в небольшом российском банке. Хочу рассказать об архитектуре «Платёжного сервиса» – системы оркестрации и проведения платежей. Разработка архитектуры велась в рамках проекта по модернизации существующего в банке решения. Работы были начаты в конце 2022 года и успешно завершились год спустя. Сейчас система находится в промышленной эксплуатации.
https://habr.com/ru/articles/840216/
#платежи #платежная_система #банки #архитектура #kafka #kafka_streams
-
Присматриваемся к Kafka tiered storage — 2
Добрый день, уважаемые ИТ-ники. На связи Михаил Голованов . Продолжаем увлекательные эксперименты с tiered storage в Apache Kafka. В этот раз починим то, что не смогли починить ранее (сборка реализации AivenOpen) и поэкспериментируем с реализаций для Minio S3 в качестве бекэнда. Как и в прошлый раз, теория будет перемежаться практикой. Поехали
-
🖋️il #3Giugno di 100 anni fa moriva Franz #Kafka.
Per ricordarlo uno studio di #Enthymema, rivista #OpenAccess, dedicato alle connessioni tra #TecnicheNarrative #kafkiane ad andamento #paradossale, secondo logiche che sfuggono ai normali processi rappresentativi, e #MeccanicaQuantistica
⬇️