home.social

#teradata — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #teradata, aggregated by home.social.

fetched live
  1. Как мы заменили Teradata RTIM: миграция правил с использованием AST

    Меня зовут Сигида Алексей, я старший архитектор по развитию технологий CVM (Customer Value Management) в компании Мегафон. Много лет решения о том, что показать клиенту, у нас принимал Teradata RTIM (Real-Time Interaction Manager) - движок real-time маркетинга. Если вы когда-нибудь получали смс-сообщение от Мегафона или заходили в личный кабинет в 99% случаев сообщение для вас было подобрано этой системой. Вы заходите на сайт или в приложение, и за миллисекунды решается, какое предложение показать. Логика выбора описывается деревьями принятия решений: запрос проходит по веткам дерева, а условия переходов в узлах - критерии - определяют, к какому сегменту отнести клиента и какое предложение ему подобрать. В какой-то момент перед командой встала задача перейти на собственное решение. Стало ясно, что RTIM превратился из удобного инструмента в тяжелую гирю на наших ногах. Оставаться на больше нельзя, накопилась критическая масса причин: закрытая архитектура приложения без возможности кастомизации, тотальная зависимость от вендора, стоимость лицензии. В моменты инцидентов оказывались связаны руки, ожидая помощи извне. Фундаментом нового движка стал Go. Нужен был инструмент, стабильно работающий под хайлоад, быстрый, достаточно распространённый, чтобы не было проблем ни с экспертизой ни с экосистемой.

    habr.com/ru/companies/megafon/

    #MegaRITM #Teradata #ast #python #golang

  2. Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

  3. Today is the DBA Appreciation Day!

    Bring your DBAs a cake and a coffee, please. And don't drop any tables in production, pretty please. It's weekend ...

    #PostgreSQL #SQLServer #Oracle #DB2 #MySQL #MariaDB #Snowflake #SQLite #Neo4j #Teradata #SAPHana #Aerospike #ApacheSpark #Clickhouse #Informix #WarehousePG #Greenplum #Adabas

  4. Today is the DBA Appreciation Day!

    Bring your DBAs a cake and a coffee, please. And don't drop any tables in production, pretty please. It's weekend ...

    #PostgreSQL #SQLServer #Oracle #DB2 #MySQL #MariaDB #Snowflake #SQLite #Neo4j #Teradata #SAPHana #Aerospike #ApacheSpark #Clickhouse #Informix #WarehousePG #Greenplum #Adabas

  5. My Q in a work meeting just now: "So we're moving away from #Teradata b/c the pricing has become untenable. Are you all thinking about how/where we move again if the same thing becomes true of #databricks ?"

    Leadership did *not* like that question...

  6. My Q in a work meeting just now: "So we're moving away from #Teradata b/c the pricing has become untenable. Are you all thinking about how/where we move again if the same thing becomes true of #databricks ?"

    Leadership did *not* like that question...

  7. Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

    Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью реализованных сервисов миграции кода и переноса архива данных. В этот раз мы расскажем вам о нашем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом. Завершая нашу серию, мы подходим к ключевому аспекту миграции данных — проверке и обеспечению качества данных после переноса. Теперь, когда перед нами стоят два параллельно функционирующих хранилища, возникает вопрос о точности и согласованности данных между ними.

    habr.com/ru/companies/sberbank

    #teradata #greenplum #миграция

  8. Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

    Привет, Хабр! Мы продолжаем серию статей о проведённой миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущей статье мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL-скриптов из диалекта Teradata в диалект GreenPlum с помощью реализованного сервиса миграции кода. В этой статье мы расскажем вам о полученном нами опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

    habr.com/ru/companies/sberbank

    #teradata #greenplum #миграция_данных #перенос_данных

  9. anybody know what #teradata session option you set so it spits out a list of e.g., indexes you could add that would bring down the run-time of your query? I can not remember that thing...

  10. TIL that #teradata has `least` and `greatest` functions that give column-wise min and max. Handy!

  11. Today is DBA Appreciation Day!

    If you have a DBA in your company who relentlessly takes care that your databases are humming along and delivering query results, today is the day to say Thank You!

    #PostgreSQL #MySQL #MariaDB #Oracle #Greenplum #SQLite #SQLServer #MongoDB #Redis #Snowflake #DB2 #Elasticsearch #Teradata #InfluxDB #Firebird #Informix #Couchbase #CouchDB #Vertica #DuckDB #CockroachDB #SAPHana #Splunk #DynamoDB #BigQuery #Hive #Neo4j ...

    dbaday.org/

  12. Today is DBA Appreciation Day!

    If you have a DBA in your company who relentlessly takes care that your databases are humming along and delivering query results, today is the day to say Thank You!

    #PostgreSQL #MySQL #MariaDB #Oracle #Greenplum #SQLite #SQLServer #MongoDB #Redis #Snowflake #DB2 #Elasticsearch #Teradata #InfluxDB #Firebird #Informix #Couchbase #CouchDB #Vertica #DuckDB #CockroachDB #SAPHana #Splunk #DynamoDB #BigQuery #Hive #Neo4j ...

    dbaday.org/

  13. Миграция витрины данных с СУБД Teradata в СУБД Greenplum

    Миграция СУБД с одной технологии на другую — сложный процесс, который связан не только с конвертацией кода и переливкой данных из одной системы в другую, хотя и здесь есть неочевидные нюансы. Это часто и вопросы, связанные с совместимостью функциональности, производительностью, безопасностью данных, архитектурными особенностями новой системы и многими другими аспектами. Меня зовут Станислав Свириденко и я DWH-разработчик AXENIX. В этой статье хочу рассказать об опыте миграции витрины данных с проприетарной СУБД Teradata на свободную СУБД GreenPlum. Поговорим о задачах, подводных камнях, на которые мы периодически натыкались, и способах решений, найденных в процессе.

    habr.com/ru/companies/oleg-bun

    #greenplum #sql #teradata #субд #миграция_базы_данных #конвертация_бд #сопоставление_данных #оптимизация_запросов #политики_доступа #мониторинг

  14. It's been a while since I've put an article on the DEV web site, but today I had an itch to scratch.
    From mid-afternoon I wrote enough SQL to make a simple "extreme date" collector for the Teradata that I work on.
    It seemed a neat enough bunch of code that I felt like anonymising and annotating it, so now you can see it at:
    - Using SQL to discover problem dates in your data
    - dev.to/geraldew/using-sql-to-d

  15. It's been a while since I've put an article on the DEV web site, but today I had an itch to scratch.
    From mid-afternoon I wrote enough SQL to make a simple "extreme date" collector for the Teradata that I work on.
    It seemed a neat enough bunch of code that I felt like anonymising and annotating it, so now you can see it at:
    - Using SQL to discover problem dates in your data
    - dev.to/geraldew/using-sql-to-d
    #DataWork #SQL #Database #Teradata

  16. Teradata stellt mit VantageCloud Lake einen neuen Data Lake vor. Eine neue Architektur verbindet Workload-Management mit der Objektspeicherung in der Cloud.
    Ad-hoc-Datenanalysen aus der Cloud mit Teradata VantageCloud Lake
  17. DBeaver Community

    Free Universal Database Tool.

    Free multi-platform #database tool for #developers, database #administrators, #analysts and all people who need to work with databases. Supports all popular databases: #MySQL, #PostgreSQL, #SQLite, #Oracle, #DB2, #SQLServer, #Sybase, #MSAccess, #Teradata, #Firebird, #Apache #Hive, #Phoenix, #Presto, etc.

    dbeaver.io/

  18. DBeaver Community

    Free Universal Database Tool.

    Free multi-platform #database tool for #developers, database #administrators, #analysts and all people who need to work with databases. Supports all popular databases: #MySQL, #PostgreSQL, #SQLite, #Oracle, #DB2, #SQLServer, #Sybase, #MSAccess, #Teradata, #Firebird, #Apache #Hive, #Phoenix, #Presto, etc.

    dbeaver.io/

  19. Big-Data-Analysen auf der Plattform Teradata Everywhere können zum Beispiel Sensordaten aus dem Internet of Things jetzt als zeitabhängige Größen berücksichtigen. Der Funktionsbereich 4D Analytics soll viele neue Auswertemöglichkeiten schaffen. www.heise.de/newsticker/meldun… #AnalytischeDatenbank #BigData #Teradata #Zeitreihen