#parquet — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #parquet, aggregated by home.social.
-
Как я удалил clickstream, но его восстановили из небытия
Всем привет! Я Дмитрий Немчин из Т-Банка. Расскажу не очень успешную историю о том как я удалил данные и что из этого вышло. В ИТ я больше 12 лет, начинал DBA и разработчиком в кровавом энтепрайзе с Oracle. В 2015 году познакомился с Greenplum в Т, да так тут и остался. С 2017 года стал лидить команду, потом все чуть усложнилось и команда стала не одна. Возможно, вы меня могли видеть как организатора Greenplum-митапов в России. Но команда командой, менеджмент менеджментом, а руки чешутся..
-
FERC to start distributing their largest dataset in the least convenient possible format. The EQR is already ~100GB in uncompressed CSVs. In XBRL that would be maybe a TB? With the XML of each filing having to be parsed individually are we going to have to spin up a whole cluster just to get it converted to Parquet in less than a day?
https://www.jdsupra.com/legalnews/ferc-proposes-overhauling-electronic-4199806/