home.social

#hadoop — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #hadoop, aggregated by home.social.

  1. Habr @[email protected] ·

    Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

    Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

    habr.com/ru/companies/datasapi

    #starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop

    #starrocks #trino #impala #mpp #bigdata #dwh
  2. Habr @[email protected] ·

    Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

    В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum , в том числе по методике TPC-DS ). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

    habr.com/ru/companies/datasapi

    #starrocks #trino #lakehouse #impala #spark #bigdata #datalake #dwh #hadoop #s3

    #s3 #hadoop #dwh #datalake #bigdata #spark
  3. Habr @[email protected] ·

    Опыт Звука: как реализовать рекомендательную систему аудиокниг с использованием больших языковых моделей (LLM)

    Всем привет! На связи Дмитрий Берестнев , Chief Data Scientist в HiFi-стриминге Звук . Сегодня я расскажу о том, как мы реализовали систему подбора аудиокниг и зачем это вообще было сделано. В статье мы фокусируемся на принципе рекомендации похожих книг (а подходы для авторов в нашем случае были сделаны аналогично).

    habr.com/ru/companies/zvuk/art

    #ml #llm #recsys #python #qdrant #векторы #hadoop #s3 #presto #pyspark

    #ml #llm #recsys #python #qdrant #векторы