#apache_parquet — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #apache_parquet, aggregated by home.social.
-
New nf-parquet version 0.2.1 deployed using new plugin repository
Interesting the new way to publish plugins, once I use it a little more I'll write a post about it
-
New nf-parquet version 0.2.1 deployed using new plugin repository
Interesting the new way to publish plugins, once I use it a little more I'll write a post about it
-
New nf-parquet version 0.2.1 deployed using new plugin repository
Interesting the new way to publish plugins, once I use it a little more I'll write a post about it
-
New nf-parquet version 0.2.1 deployed using new plugin repository
Interesting the new way to publish plugins, once I use it a little more I'll write a post about it
-
New nf-parquet version 0.2.1 deployed using new plugin repository
Interesting the new way to publish plugins, once I use it a little more I'll write a post about it
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Max severity RCE flaw discovered in widely used Apache Parquet
https://www.bleepingcomputer.com/news/security/max-severity-rce-flaw-discovered-in-widely-used-apache-parquet/
#ycombinator #computers #windows #linux #mac #support #tech_support #spyware #malware #virus #security #Apache #Apache_Parquet #Big_Data #RCE #Remote_Code_Execution #Vulnerability #virus_removal #malware_removal #computer_help #technical_support -
Max severity RCE flaw discovered in widely used Apache Parquet
https://www.bleepingcomputer.com/news/security/max-severity-rce-flaw-discovered-in-widely-used-apache-parquet/
#ycombinator #computers #windows #linux #mac #support #tech_support #spyware #malware #virus #security #Apache #Apache_Parquet #Big_Data #RCE #Remote_Code_Execution #Vulnerability #virus_removal #malware_removal #computer_help #technical_support -
Max severity RCE flaw discovered in widely used Apache Parquet
https://www.bleepingcomputer.com/news/security/max-severity-rce-flaw-discovered-in-widely-used-apache-parquet/
#ycombinator #computers #windows #linux #mac #support #tech_support #spyware #malware #virus #security #Apache #Apache_Parquet #Big_Data #RCE #Remote_Code_Execution #Vulnerability #virus_removal #malware_removal #computer_help #technical_support -
Max severity RCE flaw discovered in widely used Apache Parquet
https://www.bleepingcomputer.com/news/security/max-severity-rce-flaw-discovered-in-widely-used-apache-parquet/
#ycombinator #computers #windows #linux #mac #support #tech_support #spyware #malware #virus #security #Apache #Apache_Parquet #Big_Data #RCE #Remote_Code_Execution #Vulnerability #virus_removal #malware_removal #computer_help #technical_support -
DatabricksのUnity Catalogを利用してS3にDelta Lakeを構築する
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3-delta-lake/#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #PySpark #AWS
-
DatabricksのUnity Catalogを利用してS3にDelta Lakeを構築する
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3-delta-lake/#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #PySpark #AWS
-
DatabricksのUnity Catalogを利用してS3のデータを外部テーブルとして読み込んでみた
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3/#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #Hive #AWS
-
DatabricksのUnity Catalogを利用してS3のデータを外部テーブルとして読み込んでみた
https://dev.classmethod.jp/articles/databricks-unity-catalog-s3/#dev_classmethod #Databricks #Amazon_S3 #Apache_Parquet #Hive #AWS
-
firehoseを使ってs3にparquet形式でデータを保存する
https://dev.classmethod.jp/articles/firehose-s3-parquet/#dev_classmethod #AWS #Amazon_Data_Firehose #Apache_Parquet #AWS_CDK #TypeScript #AWS_Glue
-
firehoseを使ってs3にparquet形式でデータを保存する
https://dev.classmethod.jp/articles/firehose-s3-parquet/#dev_classmethod #AWS #Amazon_Data_Firehose #Apache_Parquet #AWS_CDK #TypeScript #AWS_Glue
-
firehoseを使ってs3にparquet形式でデータを保存する
https://dev.classmethod.jp/articles/firehose-s3-parquet/#dev_classmethod #AWS #Amazon_Data_Firehose #Apache_Parquet #AWS_CDK #TypeScript #AWS_Glue
-
firehoseを使ってs3にparquet形式でデータを保存する
https://dev.classmethod.jp/articles/firehose-s3-parquet/#dev_classmethod #AWS #Amazon_Data_Firehose #Apache_Parquet #AWS_CDK #TypeScript #AWS_Glue
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
BigQuery で Parquet と CSV を比較してみる
https://dev.classmethod.jp/articles/bigquery-parquet-csv/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Apache_Parquet #CSV
-
BigQuery で Parquet と CSV を比較してみる
https://dev.classmethod.jp/articles/bigquery-parquet-csv/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Apache_Parquet #CSV
-
ZIP-бомба в формате Apache Parquet
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet .
-
ZIP-бомба в формате Apache Parquet
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet .
-
ZIP-бомба в формате Apache Parquet
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet .
-
ZIP-бомба в формате Apache Parquet
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet .
-
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/ -
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/ -
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/ -
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/ -
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
https://dev.classmethod.jp/articles/s3-parquet-get-schema-data/ -
[Перевод] Выборочное удаление столбцов для повышения эффективности хранения в озерах данных
По мере роста Uber объем обрабатываемых данных и количество обращений к ним многократно возросли. Такое быстрое увеличение объема привело к росту затрат на хранение и вычислительные ресурсы. В результате мы столкнулись с различными проблемами, такими как повышенные требования к железу, увеличившееся потребление ресурсов, а также проблемами с производительностью из-за ошибок наподобие OOM (out-of-memory) и длительных пауз на сборку мусора. Для решения проблем было реализовано несколько инициатив, такие как: внедрение TTL (Time to Live) политик для партиций, внедрение многослойного хранилища с стратегиями для перераспределения данных из “hot”/”warm” до “cold” уровней хранения, а также оптимизации форматов хранения данных. В данной статье фокус будет на последней оптимизации - как сократить размер данных в рамках формата Apache Parquet™ за счет удаления не использующихся колонок большого размера.
-
[Перевод] Выборочное удаление столбцов для повышения эффективности хранения в озерах данных
По мере роста Uber объем обрабатываемых данных и количество обращений к ним многократно возросли. Такое быстрое увеличение объема привело к росту затрат на хранение и вычислительные ресурсы. В результате мы столкнулись с различными проблемами, такими как повышенные требования к железу, увеличившееся потребление ресурсов, а также проблемами с производительностью из-за ошибок наподобие OOM (out-of-memory) и длительных пауз на сборку мусора. Для решения проблем было реализовано несколько инициатив, такие как: внедрение TTL (Time to Live) политик для партиций, внедрение многослойного хранилища с стратегиями для перераспределения данных из “hot”/”warm” до “cold” уровней хранения, а также оптимизации форматов хранения данных. В данной статье фокус будет на последней оптимизации - как сократить размер данных в рамках формата Apache Parquet™ за счет удаления не использующихся колонок большого размера.