home.social

#kafka_producer — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka_producer, aggregated by home.social.

  1. Habr @[email protected] ·

    Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

    Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

    habr.com/ru/companies/otus/art

    #kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

    #kafka_recordinterceptor #kafka_streams #kafka_producer #kafka_consumer #приоритизация_сообщений #разделение_трафика
  2. Habr @[email protected] ·

    Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

    Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

    habr.com/ru/companies/otus/art

    #kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

    #kafka_recordinterceptor #kafka_streams #kafka_producer #kafka_consumer #приоритизация_сообщений #разделение_трафика
  3. Habr @[email protected] ·

    Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

    Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

    habr.com/ru/companies/otus/art

    #kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

    #kafka_recordinterceptor #kafka_streams #kafka_producer #kafka_consumer #приоритизация_сообщений #разделение_трафика
  4. Habr @[email protected] ·

    Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

    Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

    habr.com/ru/companies/otus/art

    #kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

    #kafka #apache_kafka #fast_lane #slow_lane #разделение_трафика #приоритизация_сообщений
  5. Habr @[email protected] ·

    Кафка: преимущества и на что ещё обратить внимание при тестировании

    Привет, Хабр! Ранее мы разбирались с основами Kafka ( часть1 ), рассматривали, как тестировать микросервисы ( часть2 ) и предугадывали ошибки offset explorer и kafka ui ( часть 3 ). В этой части – так сказать, невошедшее, но полезное, что ещё можно предусмотреть при работе с брокером. Преимущества брокеров Когда я готовила материал из первой части, у меня возникло несколько предположений. Мне казалось, что некоторые преимущества относятся именно к брокерам сообщений и не имеют прямого отношения к API (временное хранение данных, обмен в реальном времени, вычитка раз в сутки, отслеживание Kafka-лага). Особенно я задумалась об этом, когда разбирала пример с мобильным веб-приложением и форматами данных для Kafka (см. раздел из статьи часть1 ). Казалось бы — зачем Kafka, если можно просто забирать данные из БД через API? Я решила проверить свои догадки у знакомого бэкенд-разработчика. Его первый вопрос был: «Зачем тебе как тестировщику это знать?», а потом добавил, что API можно настроить похожим образом. Но всё же я выделила два ключевых отличия брокеров: 1. Асинхронное взаимодействие API — это всегда запрос-ответ. Если сервис упал, мы получим 503, и данные могут потеряться. В Kafka продюсер просто оставляет сообщение в топике, и ему всё равно, читает ли его кто-то. Даже если консьюмер упал — поднимется и дочитает. 2. Масштабируемость В случае с Kafka это значит, что можно гибко добавлять продюсеров и консьюмеров. Данные можно переиспользовать — допустим, создать один топик для нескольких консьюмеров. Либо, что очень важно в продакшене, например, если продюсер начал слать мусор — его можно просто отключить.

    habr.com/ru/companies/reksoft/

    #kafka #микросервисы #тестирование #брокеры #тестирование_микросервисов #kafka_consumer #kafka_producer

    #kafka_producer #kafka_consumer #тестирование_микросервисов #брокеры #тестирование #микросервисы
  6. Habr @[email protected] ·

    Kafka: как тестировать. Часть 2

    Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....

    habr.com/ru/companies/reksoft/

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы
  7. Habr @[email protected] ·

    Kafka: как тестировать. Часть 2

    Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....

    habr.com/ru/companies/reksoft/

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы
  8. Habr @[email protected] ·

    Kafka: как тестировать. Часть 2

    Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....

    habr.com/ru/companies/reksoft/

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы
  9. Habr @[email protected] ·

    Kafka: как тестировать. Часть 2

    Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....

    habr.com/ru/companies/reksoft/

    #kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов

    #тестирование_микросервисов #микросервисы #тестирование #kafka_producer #kafka_в_тестировании #kafka_consumer