home.social

#impala — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #impala, aggregated by home.social.

  1. 🍊Tangerine Dream! An eye-catching orange 1960s Chevrolet Impala SS, left behind in the Fukushima Exclusion Zone. Japan

    #Fukushima #Japan #Chevrolet #Photography #Abandoned #Car #ClassicCar #ClassicCars #Impala #Chevvy

  2. Процедурное SQL-расширение в Lakehouse-платформе – новые возможности для работы с данными

    Вас приветствует команда Data Sapience, и в сегодняшней публикации мы расскажем о реализации процедурного расширения для работы с MPP-движками Lakehouse-платформы данных Data Ocean Nova, которое стало доступным для пользователей. В материале пойдет речь о возможностях, применимости и сценариях использования процедурного языка в аналитической платформе данных и примеры реализации решения типовых задач.

    habr.com/ru/companies/datasapi

    #lakehouse #impala #starrocks #bigdata #dwh #datalakehouse #datalake #bi

  3. Процедурное SQL-расширение в Lakehouse-платформе – новые возможности для работы с данными

    Вас приветствует команда Data Sapience, и в сегодняшней публикации мы расскажем о реализации процедурного расширения для работы с MPP-движками Lakehouse-платформы данных Data Ocean Nova, которое стало доступным для пользователей. В материале пойдет речь о возможностях, применимости и сценариях использования процедурного языка в аналитической платформе данных и примеры реализации решения типовых задач.

    habr.com/ru/companies/datasapi

    #lakehouse #impala #starrocks #bigdata #dwh #datalakehouse #datalake #bi

  4. Процедурное SQL-расширение в Lakehouse-платформе – новые возможности для работы с данными

    Вас приветствует команда Data Sapience, и в сегодняшней публикации мы расскажем о реализации процедурного расширения для работы с MPP-движками Lakehouse-платформы данных Data Ocean Nova, которое стало доступным для пользователей. В материале пойдет речь о возможностях, применимости и сценариях использования процедурного языка в аналитической платформе данных и примеры реализации решения типовых задач.

    habr.com/ru/companies/datasapi

    #lakehouse #impala #starrocks #bigdata #dwh #datalakehouse #datalake #bi

  5. Процедурное SQL-расширение в Lakehouse-платформе – новые возможности для работы с данными

    Вас приветствует команда Data Sapience, и в сегодняшней публикации мы расскажем о реализации процедурного расширения для работы с MPP-движками Lakehouse-платформы данных Data Ocean Nova, которое стало доступным для пользователей. В материале пойдет речь о возможностях, применимости и сценариях использования процедурного языка в аналитической платформе данных и примеры реализации решения типовых задач.

    habr.com/ru/companies/datasapi

    #lakehouse #impala #starrocks #bigdata #dwh #datalakehouse #datalake #bi

  6. Проверяем популярные движки вычислений на задаче BI-доступа с помощью теста ClickBench

    В сегодняшней публикации мы попробуем разобраться в производительности популярных MPP-движков в специализированной задаче ХД – предоставлении доступа к денормализованной витрине данных. Также ответим на вопрос: нужен ли ClickHouse в аналитическом ландшафте, спроектированном по принципу Lakehouse-платформ? Для этого будем использовать бенчмарк ClickBench. ClickBench появился не так давно, в 2022 году. Методика создана и поддерживается командой ClickHouse. Авторы позиционируют его следующим образом - «Этот бенчмарк представляет типичную рабочую нагрузку в следующих областях: анализ потоков кликов и трафика, веб-аналитика, машинно-генерируемые данные, структурированные журналы и данные о событиях. Он охватывает типичные запросы в ad-hoc аналитике и дашбордах реального времени». Последний сценарий вызывает у нас особый интерес, ведь редко встретишь архитектурный дизайн аналитического ландшафта, где не было бы решения на базе ClickHouse именно для этой цели, на вершине пирамиды тракта данных от источника до потребителя.

    habr.com/ru/companies/datasapi

    #clickhouse #starrocks #trino #impala #bigdata #dwh #s3 #bi

  7. Проверяем популярные движки вычислений на задаче BI-доступа с помощью теста ClickBench

    В сегодняшней публикации мы попробуем разобраться в производительности популярных MPP-движков в специализированной задаче ХД – предоставлении доступа к денормализованной витрине данных. Также ответим на вопрос: нужен ли ClickHouse в аналитическом ландшафте, спроектированном по принципу Lakehouse-платформ? Для этого будем использовать бенчмарк ClickBench. ClickBench появился не так давно, в 2022 году. Методика создана и поддерживается командой ClickHouse. Авторы позиционируют его следующим образом - «Этот бенчмарк представляет типичную рабочую нагрузку в следующих областях: анализ потоков кликов и трафика, веб-аналитика, машинно-генерируемые данные, структурированные журналы и данные о событиях. Он охватывает типичные запросы в ad-hoc аналитике и дашбордах реального времени». Последний сценарий вызывает у нас особый интерес, ведь редко встретишь архитектурный дизайн аналитического ландшафта, где не было бы решения на базе ClickHouse именно для этой цели, на вершине пирамиды тракта данных от источника до потребителя.

    habr.com/ru/companies/datasapi

    #clickhouse #starrocks #trino #impala #bigdata #dwh #s3 #bi

  8. Проверяем популярные движки вычислений на задаче BI-доступа с помощью теста ClickBench

    В сегодняшней публикации мы попробуем разобраться в производительности популярных MPP-движков в специализированной задаче ХД – предоставлении доступа к денормализованной витрине данных. Также ответим на вопрос: нужен ли ClickHouse в аналитическом ландшафте, спроектированном по принципу Lakehouse-платформ? Для этого будем использовать бенчмарк ClickBench. ClickBench появился не так давно, в 2022 году. Методика создана и поддерживается командой ClickHouse. Авторы позиционируют его следующим образом - «Этот бенчмарк представляет типичную рабочую нагрузку в следующих областях: анализ потоков кликов и трафика, веб-аналитика, машинно-генерируемые данные, структурированные журналы и данные о событиях. Он охватывает типичные запросы в ad-hoc аналитике и дашбордах реального времени». Последний сценарий вызывает у нас особый интерес, ведь редко встретишь архитектурный дизайн аналитического ландшафта, где не было бы решения на базе ClickHouse именно для этой цели, на вершине пирамиды тракта данных от источника до потребителя.

    habr.com/ru/companies/datasapi

    #clickhouse #starrocks #trino #impala #bigdata #dwh #s3 #bi

  9. Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

    Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

    habr.com/ru/companies/datasapi

    #starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop

  10. Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

    Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

    habr.com/ru/companies/datasapi

    #starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop

  11. Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

    Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

    habr.com/ru/companies/datasapi

    #starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop

  12. Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

    В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum , в том числе по методике TPC-DS ). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

    habr.com/ru/companies/datasapi

    #starrocks #trino #lakehouse #impala #spark #bigdata #datalake #dwh #hadoop #s3

  13. Impala vs Greenplum vs StarRocks: тестирование производительности на объеме порядка десятков миллионов строк

    Задача: быстро выполнять агрегирующие запросы (JOIN, GROUP BY, COUNT) по десяткам миллионов строк в офлайновых сценариях на Big Data‑платформе. Мы сравнили три подхода: Parquet + Impala в экосистеме CDH, MPP‑движок Greenplum и MPP‑СУБД StarRocks. В единой тестовой среде (SAD ~7 млн, ITEM ~3 млн записей) выполнили серию запросов JOIN + GROUP BY + ORDER BY и замерили суммарное время 10 прогонов. Показано, что внедрение MPP заметно ускоряет аналитику (типично 1–2 с на запрос), при этом StarRocks в среднем немного обходит Greenplum. В статье — методика, параметры развертывания, нюансы импорта из Oracle (CloudCanal) и сводные метрики.

    habr.com/ru/articles/959000/

    #impala #greenplum #starrocks

  14. Soy de #nmtui pero encantado con #impala para gestionar redes wifi. Ligerito y muy bien trabajado. Si eres de herramientas en linea de comandos, te la recomiendo.

    #cli #tui

  15. The meaning of the phrase "He's right behind me" changes drastically depending on whether you add a ❗️or a ❓at the end 😬

    Two original artworks I've made for this years Eurofurence Art Show

    #cheetah #impala #hunting #savannah #furry #furryart

  16. Grace in golden light. This male impala posed calmly just long enough before darting back into the brush. A quiet moment, beautifully wild. 📍 Akagera National Park, Rwanda 📸 Nikon Z6 | 24–200mm @ 200mm | 1/1000 | f/11 | ISO 720 #Wildlife #Akagera #Rwanda #NaturePhotography #NikonZ6 #Impala

  17. 🦌✨ In the heart of Akagera, this regal male impala stood quietly just long enough for me to capture this moment. His stillness in the tall green grass, the afternoon sun casting golden warmth across his coat—it was a brief pause in the wilderness that felt timeless.

    📍 Akagera National Park, Rwanda

    #AkageraNationalPark #WildlifePhotography #Impala #RwandaNature #NikonZ6 #NatureLovers #AfricanWildlife #Rwanda #EastAfrica #AfricanAdventures

  18. Тестирование систем и движков массивно-параллельных вычислений. Часть II. TPC-DS

    Привет! Сегодня я продолжаю тему сравнения систем и движков массивных параллельных вычислений. В прошлой публикации я раскрыл основные принципы проведения тестирования, которыми руководствуется наша команда, и привел результаты как реальных промышленных сценариев, так и синтетических тестов. Материал вызвал интерес и дискуссию: значит, он актуальный и полезный. Для кого-то факты стали убедительными, а кто-то усомнился в объективности результатов, поэтому, как и было обещано, я делюсь материалами сравнительного тестирования, выполненного по общепринятому стандарту TPC-DS. Сегодня вы узнаете, повлияла ли смена методики на результаты.

    habr.com/ru/companies/datasapi

    #trino #impala #greenplum #lakehouse #bigdata #mpp #dwh #tpcds #data #data_lake

  19. Влияние маленьких файлов на Big Data: HDFS vs S3

    Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse . Сравним производительность HDFS и объектных хранилищ с S3 API . На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC). Тесты, графики, инсайды

    habr.com/ru/companies/arenadat

    #bigdata #hdfs #s3 #hadoop #data_lake #lakehouse #impala #spark #хранение #minio

  20. Влияние маленьких файлов на Big Data: HDFS vs S3

    Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse . Сравним производительность HDFS и объектных хранилищ с S3 API . На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC). Тесты, графики, инсайды

    habr.com/ru/companies/arenadat

    #bigdata #hdfs #s3 #hadoop #data_lake #lakehouse #impala #spark #хранение #minio

  21. Влияние маленьких файлов на Big Data: HDFS vs S3

    Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse . Сравним производительность HDFS и объектных хранилищ с S3 API . На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC). Тесты, графики, инсайды

    habr.com/ru/companies/arenadat

    #bigdata #hdfs #s3 #hadoop #data_lake #lakehouse #impala #spark #хранение #minio

  22. Влияние маленьких файлов на Big Data: HDFS vs S3

    Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse . Сравним производительность HDFS и объектных хранилищ с S3 API . На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC). Тесты, графики, инсайды

    habr.com/ru/companies/arenadat

    #bigdata #hdfs #s3 #hadoop #data_lake #lakehouse #impala #spark #хранение #minio

  23. After years of using because I had no clue what a or was, I finally switched to systemd-networkd. I don't dislike NetworkManager and I will miss the integration in GNOME Settings, but I just prefer systemd-resolved, which depends a bit on systemd-networkd for some functionality I want.

    I also discovered for configuring iwd. What a neat utility. And it's written in Rust, which automatically makes it even better.

  24. I really like finding animal #TracksAndSigns when out in the field - here we have the footprints of an #impala (top) and #hyena (bottom) which visited the same site within a few hours while the ground was still wet after a heavy rain shower.

    #WildlifeTracking #Nature #Wildlife #Fieldwork #Ecology #Conservation