#сжатие_данных — Public Fediverse posts

Мой bloom фильтр

Срочно переписывайте свои устаревшие bloom фильтры на мой богоподобный lz77-фильтр. Совершенно бесплатно! Спасибо великому нанабанана за обложку!

https://habr.com/ru/articles/1037072/

#bloom #bloom_filter #membership #lz77 #сжатие_данных #структуры #структуры_данных #поисковые_алгоритмы

Мой bloom фильтр

Срочно переписывайте свои устаревшие bloom фильтры на мой богоподобный lz77-фильтр. Совершенно бесплатно! Спасибо великому нанабанана за обложку!

https://habr.com/ru/articles/1037072/

#bloom #bloom_filter #membership #lz77 #сжатие_данных #структуры #структуры_данных #поисковые_алгоритмы

Мой bloom фильтр

Срочно переписывайте свои устаревшие bloom фильтры на мой богоподобный lz77-фильтр. Совершенно бесплатно! Спасибо великому нанабанана за обложку!

https://habr.com/ru/articles/1037072/

#bloom #bloom_filter #membership #lz77 #сжатие_данных #структуры #структуры_данных #поисковые_алгоритмы

Мой bloom фильтр

Срочно переписывайте свои устаревшие bloom фильтры на мой богоподобный lz77-фильтр. Совершенно бесплатно! Спасибо великому нанабанана за обложку!

https://habr.com/ru/articles/1037072/

#bloom #bloom_filter #membership #lz77 #сжатие_данных #структуры #структуры_данных #поисковые_алгоритмы

Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз

На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC. Раньше Super Mario Bros весила 40 КБ. Сейчас одно обновление Chrome — это ~7 000 таких Марио. Как мы дошли до жизни такой, и почему все идет по кругу? В статье пройдем путь от тайлов NES до Neural Texture Compression и рассмотрим змейку в трех версиях: по трем вехам сжатия. Одна из них в 1 120 раз меньше первой. И это не та, в которой ИИ.

https://habr.com/ru/companies/selectel/articles/1029402/

#оптимизация #геймдев #нейросети #сжатие_данных #процедурная_генерация #python #pytorch #история_ИТ #алгоритмы #selectel

Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз

На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC. Раньше Super Mario Bros весила 40 КБ. Сейчас одно обновление Chrome — это ~7 000 таких Марио. Как мы дошли до жизни такой, и почему все идет по кругу? В статье пройдем путь от тайлов NES до Neural Texture Compression и рассмотрим змейку в трех версиях: по трем вехам сжатия. Одна из них в 1 120 раз меньше первой. И это не та, в которой ИИ.

https://habr.com/ru/companies/selectel/articles/1029402/

#оптимизация #геймдев #нейросети #сжатие_данных #процедурная_генерация #python #pytorch #история_ИТ #алгоритмы #selectel

Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз

На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC. Раньше Super Mario Bros весила 40 КБ. Сейчас одно обновление Chrome — это ~7 000 таких Марио. Как мы дошли до жизни такой, и почему все идет по кругу? В статье пройдем путь от тайлов NES до Neural Texture Compression и рассмотрим змейку в трех версиях: по трем вехам сжатия. Одна из них в 1 120 раз меньше первой. И это не та, в которой ИИ.

https://habr.com/ru/companies/selectel/articles/1029402/

#оптимизация #геймдев #нейросети #сжатие_данных #процедурная_генерация #python #pytorch #история_ИТ #алгоритмы #selectel

Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз

На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC. Раньше Super Mario Bros весила 40 КБ. Сейчас одно обновление Chrome — это ~7 000 таких Марио. Как мы дошли до жизни такой, и почему все идет по кругу? В статье пройдем путь от тайлов NES до Neural Texture Compression и рассмотрим змейку в трех версиях: по трем вехам сжатия. Одна из них в 1 120 раз меньше первой. И это не та, в которой ИИ.

https://habr.com/ru/companies/selectel/articles/1029402/

#оптимизация #геймдев #нейросети #сжатие_данных #процедурная_генерация #python #pytorch #история_ИТ #алгоритмы #selectel

Обновлённый токенизатор видео K-VAE 2.0 от Сбера

Несколько месяцев назад мы выпустили токенизаторы для видео и изображений — KVAE-1.0. Сегодня представляем следующее поколение: KVAE-2.0 — два новых видео-токенизатора, которые превосходят Wan 2.2 и HunyuanVideo 1.5 по объективным метрикам и качеству генерации. То есть представляем лучшие на сегодняшний день открытые видео-токенизаторы. Напомним контекст: видео-версия KVAE-1.0 сжимала по трём осям — в 8 раз по ширине, в 8 по высоте, в 4 раза по количеству кадров (формат 4x8x8). Одна из новых моделей поддерживает тот же формат 4x8x8, вторая работает в более агрессивном режиме 4x16x16 — в тексте они так и именуются. Мы рассмотрели актуальные тренды в токенизации, описали архитектурные изменения в KVAE-2.0 и сравнили с альтернативами.

https://habr.com/ru/companies/sberbank/articles/1016814/

#искусственный_интеллект #сжатие_данных #машинное_обучение #диффузионные_модели

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

[Перевод] Исследователи Кембриджа доказали, что вашей статьи не существует

СРОЧНО. Исследователи из Отдела предиктивных реконструкций (Department of Predictive Reconstructions) Королевского колледжа Кембриджа (King’s College Cambridge) доказали, что любой письменный текст можно свести к минимальному генеративному промпту и восстановить с семантической достоверностью 98%. Редакция получила доступ к препубликационному черновику. Рынки реагируют. Подробности ниже.

https://habr.com/ru/articles/1019140/

#искусственный_интеллект #llm #сжатие_данных #машинное_обучение

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Представьте: вам дают 10 терабайт текста и говорят — запихни это в файл на 70 гигабайт. Так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко. Не побайтово, но по смыслу. Вы бы сказали: «это lossy-компрессия, часть данных неизбежно потеряется». И были бы правы. Потому что именно это делает LLM.

https://habr.com/ru/articles/1017612/

#LLM #машинное_обучение #искусственный_интеллект #теория_информации #GPT #галлюцинации #сжатие_данных #Шеннон #научпоп

TurboQuant. Новый алгоритм сжатия от Google

Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз . При этом заявляется отсутствие потерь в точности, что напрямую влияет на эффективность работы ИИ.

https://habr.com/ru/articles/1015092/

#TurboQuant #Google #google_research #llm #инференс #сжатие_данных

TurboQuant. Новый алгоритм сжатия от Google

Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз . При этом заявляется отсутствие потерь в точности, что напрямую влияет на эффективность работы ИИ.

https://habr.com/ru/articles/1015092/

#TurboQuant #Google #google_research #llm #инференс #сжатие_данных

TurboQuant. Новый алгоритм сжатия от Google

Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз . При этом заявляется отсутствие потерь в точности, что напрямую влияет на эффективность работы ИИ.

https://habr.com/ru/articles/1015092/

#TurboQuant #Google #google_research #llm #инференс #сжатие_данных

TurboQuant. Новый алгоритм сжатия от Google

Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз . При этом заявляется отсутствие потерь в точности, что напрямую влияет на эффективность работы ИИ.

https://habr.com/ru/articles/1015092/

#TurboQuant #Google #google_research #llm #инференс #сжатие_данных

Как я пытался сжимать смыслы вместо байтов

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG

https://habr.com/ru/articles/991800/

#LLM #RAG #Claude #Context_Window #Semantic_Compression #Prompt_Engineering #Векторный_поиск #Галлюцинации #Опыт #Сжатие_данных

Как я пытался сжимать смыслы вместо байтов

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG

https://habr.com/ru/articles/991800/

#LLM #RAG #Claude #Context_Window #Semantic_Compression #Prompt_Engineering #Векторный_поиск #Галлюцинации #Опыт #Сжатие_данных

Как я пытался сжимать смыслы вместо байтов

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG

https://habr.com/ru/articles/991800/

#LLM #RAG #Claude #Context_Window #Semantic_Compression #Prompt_Engineering #Векторный_поиск #Галлюцинации #Опыт #Сжатие_данных

Как я пытался сжимать смыслы вместо байтов

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG

https://habr.com/ru/articles/991800/

#LLM #RAG #Claude #Context_Window #Semantic_Compression #Prompt_Engineering #Векторный_поиск #Галлюцинации #Опыт #Сжатие_данных

Видеокодек AV2 готов. Почему нам важны открытые стандарты

Новые видеокодеки моментально улучшают жизнь миллионов людей. Тем не нужно прикладывать практически никаких усилий, разве что обновить железо или софт. После этого видеофайлы магически уменьшаются в размере, качество картинки становится лучше, видео в интернете перестаёт тормозить и т. д. Например, новый видеокодек AV2 уменьшает трафик на 30%. Единственный недостаток — скорость кодирования многократно возрастает, потому что используются сложные интеллектуальные технологии (например, психофизические модели зрения и мозга, новые способы предсказания будущего (межкадровых изменений) по предыдущим кадрам, последние открытия в математике (вроде треллис-квантования ). Появляется ощущение некоего волшебства. Вообще, эффективное сжатие напрямую связано с пониманием данных, то есть с уровнем интеллекта. Чем глубже понимание смысла, тем больше мы видим аналогий, паттернов, циклов и рекурсий, которые можно использовать для «упаковки» информации. Как говорится, достаточно продвинутая технология неотличима от магии. Так и видеокодеки нового поколения — это настоящая программная магия.

https://habr.com/ru/companies/ruvds/articles/970584/

#av2 #av1 #hevc #h265 #сжатие_данных #AOMedia #avm #psnr #ssim #ruvds_статьи

Видеокодек AV2 готов. Почему нам важны открытые стандарты

Новые видеокодеки моментально улучшают жизнь миллионов людей. Тем не нужно прикладывать практически никаких усилий, разве что обновить железо или софт. После этого видеофайлы магически уменьшаются в размере, качество картинки становится лучше, видео в интернете перестаёт тормозить и т. д. Например, новый видеокодек AV2 уменьшает трафик на 30%. Единственный недостаток — скорость кодирования многократно возрастает, потому что используются сложные интеллектуальные технологии (например, психофизические модели зрения и мозга, новые способы предсказания будущего (межкадровых изменений) по предыдущим кадрам, последние открытия в математике (вроде треллис-квантования ). Появляется ощущение некоего волшебства. Вообще, эффективное сжатие напрямую связано с пониманием данных, то есть с уровнем интеллекта. Чем глубже понимание смысла, тем больше мы видим аналогий, паттернов, циклов и рекурсий, которые можно использовать для «упаковки» информации. Как говорится, достаточно продвинутая технология неотличима от магии. Так и видеокодеки нового поколения — это настоящая программная магия.

https://habr.com/ru/companies/ruvds/articles/970584/

#av2 #av1 #hevc #h265 #сжатие_данных #AOMedia #avm #psnr #ssim #ruvds_статьи

Видеокодек AV2 готов. Почему нам важны открытые стандарты

Новые видеокодеки моментально улучшают жизнь миллионов людей. Тем не нужно прикладывать практически никаких усилий, разве что обновить железо или софт. После этого видеофайлы магически уменьшаются в размере, качество картинки становится лучше, видео в интернете перестаёт тормозить и т. д. Например, новый видеокодек AV2 уменьшает трафик на 30%. Единственный недостаток — скорость кодирования многократно возрастает, потому что используются сложные интеллектуальные технологии (например, психофизические модели зрения и мозга, новые способы предсказания будущего (межкадровых изменений) по предыдущим кадрам, последние открытия в математике (вроде треллис-квантования ). Появляется ощущение некоего волшебства. Вообще, эффективное сжатие напрямую связано с пониманием данных, то есть с уровнем интеллекта. Чем глубже понимание смысла, тем больше мы видим аналогий, паттернов, циклов и рекурсий, которые можно использовать для «упаковки» информации. Как говорится, достаточно продвинутая технология неотличима от магии. Так и видеокодеки нового поколения — это настоящая программная магия.

https://habr.com/ru/companies/ruvds/articles/970584/

#av2 #av1 #hevc #h265 #сжатие_данных #AOMedia #avm #psnr #ssim #ruvds_статьи

Видеокодек AV2 готов. Почему нам важны открытые стандарты

Новые видеокодеки моментально улучшают жизнь миллионов людей. Тем не нужно прикладывать практически никаких усилий, разве что обновить железо или софт. После этого видеофайлы магически уменьшаются в размере, качество картинки становится лучше, видео в интернете перестаёт тормозить и т. д. Например, новый видеокодек AV2 уменьшает трафик на 30%. Единственный недостаток — скорость кодирования многократно возрастает, потому что используются сложные интеллектуальные технологии (например, психофизические модели зрения и мозга, новые способы предсказания будущего (межкадровых изменений) по предыдущим кадрам, последние открытия в математике (вроде треллис-квантования ). Появляется ощущение некоего волшебства. Вообще, эффективное сжатие напрямую связано с пониманием данных, то есть с уровнем интеллекта. Чем глубже понимание смысла, тем больше мы видим аналогий, паттернов, циклов и рекурсий, которые можно использовать для «упаковки» информации. Как говорится, достаточно продвинутая технология неотличима от магии. Так и видеокодеки нового поколения — это настоящая программная магия.

https://habr.com/ru/companies/ruvds/articles/970584/

#av2 #av1 #hevc #h265 #сжатие_данных #AOMedia #avm #psnr #ssim #ruvds_статьи

Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST

Привет, Хабр! Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.

https://habr.com/ru/companies/otus/articles/941432/

#rest #потоковая_передача_данных #сжатие_данных #высоконагруженные_системы #RPC #производительность_сети #сериализация_данных #архитектура_хранения #масштабирование_сервисов

Большинство AI-суммаризаторов плохо делают саммари. Я решил это починить

Последние несколько месяцев я одержим идеей, которая родилась из простой и, уверен, знакомой многим боли. Тебе на почту падает ссылка на годовой отчет на 300 страниц с комментом "нужно быстро вникнуть". Что ты делаешь? Ищешь сервис, который сделает краткую выжимку. И почти всегда получаешь на выходе мусор. Кашу из вырванных из контекста "ключевых" предложений. Логика потеряна, суть ускользает. Проблема не в том, что эти сервисы плохо сокращают. Проблема в том, что сокращение - это в принципе неверная цель.

https://habr.com/ru/articles/943660/

#суммаризация #сжатие_данных #сжатие #it #itинфраструктура #itобразование #учеба #учебный_процесс #учебный_процесс_в_it #стартап

Большинство AI-суммаризаторов плохо делают саммари. Я решил это починить

Последние несколько месяцев я одержим идеей, которая родилась из простой и, уверен, знакомой многим боли. Тебе на почту падает ссылка на годовой отчет на 300 страниц с комментом "нужно быстро вникнуть". Что ты делаешь? Ищешь сервис, который сделает краткую выжимку. И почти всегда получаешь на выходе мусор. Кашу из вырванных из контекста "ключевых" предложений. Логика потеряна, суть ускользает. Проблема не в том, что эти сервисы плохо сокращают. Проблема в том, что сокращение - это в принципе неверная цель.

https://habr.com/ru/articles/943660/

#суммаризация #сжатие_данных #сжатие #it #itинфраструктура #itобразование #учеба #учебный_процесс #учебный_процесс_в_it #стартап

Большинство AI-суммаризаторов плохо делают саммари. Я решил это починить

Последние несколько месяцев я одержим идеей, которая родилась из простой и, уверен, знакомой многим боли. Тебе на почту падает ссылка на годовой отчет на 300 страниц с комментом "нужно быстро вникнуть". Что ты делаешь? Ищешь сервис, который сделает краткую выжимку. И почти всегда получаешь на выходе мусор. Кашу из вырванных из контекста "ключевых" предложений. Логика потеряна, суть ускользает. Проблема не в том, что эти сервисы плохо сокращают. Проблема в том, что сокращение - это в принципе неверная цель.

https://habr.com/ru/articles/943660/

#суммаризация #сжатие_данных #сжатие #it #itинфраструктура #itобразование #учеба #учебный_процесс #учебный_процесс_в_it #стартап

Большинство AI-суммаризаторов плохо делают саммари. Я решил это починить

Последние несколько месяцев я одержим идеей, которая родилась из простой и, уверен, знакомой многим боли. Тебе на почту падает ссылка на годовой отчет на 300 страниц с комментом "нужно быстро вникнуть". Что ты делаешь? Ищешь сервис, который сделает краткую выжимку. И почти всегда получаешь на выходе мусор. Кашу из вырванных из контекста "ключевых" предложений. Логика потеряна, суть ускользает. Проблема не в том, что эти сервисы плохо сокращают. Проблема в том, что сокращение - это в принципе неверная цель.

https://habr.com/ru/articles/943660/

#суммаризация #сжатие_данных #сжатие #it #itинфраструктура #itобразование #учеба #учебный_процесс #учебный_процесс_в_it #стартап

Гибридный квантовый эмулятор с топологическим сжатием: вдохновленный фотонными вычислениями

Архитектура эмулятора Наш эмулятор строится по принципу фотонного вычислителя, описанного vsradkevich: "лазер → модулятор → решетка интерферометров → фотодетекторы → АЦП → CMOS-блок".

https://habr.com/ru/articles/941308/

#фотон #квантовый_эмулятор #квантовые_алгоритмы #квантовые_вычисления #топология #сжатие_данных #эмуляция #лазер #ecdsa

Гибридный квантовый эмулятор с топологическим сжатием: вдохновленный фотонными вычислениями

Архитектура эмулятора Наш эмулятор строится по принципу фотонного вычислителя, описанного vsradkevich: "лазер → модулятор → решетка интерферометров → фотодетекторы → АЦП → CMOS-блок".

https://habr.com/ru/articles/941308/

#фотон #квантовый_эмулятор #квантовые_алгоритмы #квантовые_вычисления #топология #сжатие_данных #эмуляция #лазер #ecdsa

Гибридный квантовый эмулятор с топологическим сжатием: вдохновленный фотонными вычислениями

Архитектура эмулятора Наш эмулятор строится по принципу фотонного вычислителя, описанного vsradkevich: "лазер → модулятор → решетка интерферометров → фотодетекторы → АЦП → CMOS-блок".

https://habr.com/ru/articles/941308/

#фотон #квантовый_эмулятор #квантовые_алгоритмы #квантовые_вычисления #топология #сжатие_данных #эмуляция #лазер #ecdsa

Гибридный квантовый эмулятор с топологическим сжатием: вдохновленный фотонными вычислениями

Архитектура эмулятора Наш эмулятор строится по принципу фотонного вычислителя, описанного vsradkevich: "лазер → модулятор → решетка интерферометров → фотодетекторы → АЦП → CMOS-блок".

https://habr.com/ru/articles/941308/

#фотон #квантовый_эмулятор #квантовые_алгоритмы #квантовые_вычисления #топология #сжатие_данных #эмуляция #лазер #ecdsa

Как написать bzip2-архиватор на Python: разбираем преобразование Барроуза-Уилера

Привет! Я Рома, бэкендер-питонист в KTS . Это вторая статья в моем цикле об алгоритме архивации bzip2 . Первую можно прочитать здесь , но для понимания сегодняшней темы она необязательна. Ниже я разберу преобразование Барроуза-Уилера — ключевой этап сжатия bzip2.

https://habr.com/ru/companies/kts/articles/937554/

#архиваторы #архивация #сжатие_данных #алгоритмы #bzip2архиватор #bzip2 #bwt

Как написать bzip2-архиватор на Python: разбираем преобразование Барроуза-Уилера

Привет! Я Рома, бэкендер-питонист в KTS . Это вторая статья в моем цикле об алгоритме архивации bzip2 . Первую можно прочитать здесь , но для понимания сегодняшней темы она необязательна. Ниже я разберу преобразование Барроуза-Уилера — ключевой этап сжатия bzip2.

https://habr.com/ru/companies/kts/articles/937554/

#архиваторы #архивация #сжатие_данных #алгоритмы #bzip2архиватор #bzip2 #bwt

Как написать bzip2-архиватор на Python: разбираем преобразование Барроуза-Уилера

Привет! Я Рома, бэкендер-питонист в KTS . Это вторая статья в моем цикле об алгоритме архивации bzip2 . Первую можно прочитать здесь , но для понимания сегодняшней темы она необязательна. Ниже я разберу преобразование Барроуза-Уилера — ключевой этап сжатия bzip2.

https://habr.com/ru/companies/kts/articles/937554/

#архиваторы #архивация #сжатие_данных #алгоритмы #bzip2архиватор #bzip2 #bwt

Как написать bzip2-архиватор на Python: разбираем преобразование Барроуза-Уилера

Привет! Я Рома, бэкендер-питонист в KTS . Это вторая статья в моем цикле об алгоритме архивации bzip2 . Первую можно прочитать здесь , но для понимания сегодняшней темы она необязательна. Ниже я разберу преобразование Барроуза-Уилера — ключевой этап сжатия bzip2.

https://habr.com/ru/companies/kts/articles/937554/

#архиваторы #архивация #сжатие_данных #алгоритмы #bzip2архиватор #bzip2 #bwt

CJON (Compact JSON-like Object Notation) v1.1

1. Назначение CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы. 2. Области применения • Дистанционная телеметрия для сельского хозяйства и промышленного оборудования • Аварийные сообщения и тревоги • Автоматизация в условиях низкоскоростной или оффлайн-связи • Мобильные устройства, передающие структурированные данные через SMS или голосовую связь • Передача данных по DTMF через GSM-сети

https://habr.com/ru/articles/933632/

#json #mobile #сжатие_данных #хранение_данных #хранение_информации #передача #передача_информации #передача_без_искажений #датчики #датчик_влажности_почвы

CJON (Compact JSON-like Object Notation) v1.1

1. Назначение CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы. 2. Области применения • Дистанционная телеметрия для сельского хозяйства и промышленного оборудования • Аварийные сообщения и тревоги • Автоматизация в условиях низкоскоростной или оффлайн-связи • Мобильные устройства, передающие структурированные данные через SMS или голосовую связь • Передача данных по DTMF через GSM-сети

https://habr.com/ru/articles/933632/

#json #mobile #сжатие_данных #хранение_данных #хранение_информации #передача #передача_информации #передача_без_искажений #датчики #датчик_влажности_почвы

CJON (Compact JSON-like Object Notation) v1.1

1. Назначение CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы. 2. Области применения • Дистанционная телеметрия для сельского хозяйства и промышленного оборудования • Аварийные сообщения и тревоги • Автоматизация в условиях низкоскоростной или оффлайн-связи • Мобильные устройства, передающие структурированные данные через SMS или голосовую связь • Передача данных по DTMF через GSM-сети

https://habr.com/ru/articles/933632/

#json #mobile #сжатие_данных #хранение_данных #хранение_информации #передача #передача_информации #передача_без_искажений #датчики #датчик_влажности_почвы

CJON (Compact JSON-like Object Notation) v1.1

1. Назначение CJON – это легковесный, компактный и человекочитаемый формат, предназначенный для использования в условиях ограниченных каналов связи, таких как SMS, DTMF, и низкоскоростная радиосвязь. Его основное назначение – передача структурированных телеметрических или управляющих данных в случаях, когда традиционный JSON слишком объёмен, а бинарные форматы непрактичны или плохо читаемы. 2. Области применения • Дистанционная телеметрия для сельского хозяйства и промышленного оборудования • Аварийные сообщения и тревоги • Автоматизация в условиях низкоскоростной или оффлайн-связи • Мобильные устройства, передающие структурированные данные через SMS или голосовую связь • Передача данных по DTMF через GSM-сети

https://habr.com/ru/articles/933632/

#json #mobile #сжатие_данных #хранение_данных #хранение_информации #передача #передача_информации #передача_без_искажений #датчики #датчик_влажности_почвы

Как мы научили PostgreSQL автоматически создавать партиции: опыт Nexign Nord

Программисты, ежедневно решающие задачи оптимизации запросов и управления большими объемами данных, неизбежно сталкиваются с необходимостью освоения новых методов организации данных. Поэтому сегодня предлагаем поговорить об автоматизации партиционирования как об эффективном варианте решения.

https://habr.com/ru/companies/nexign/articles/930790/

#sql #партиционирование #партиция #партиции #базы_данных #сжатие_данных #архивирование_данных #субпартиции

[Перевод] Как уменьшить размер модели Power BI на 90%

Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение. В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.

https://habr.com/ru/companies/otus/articles/926904/

#devops #power_bi #Оптимизация_данных #базы_данных #big_data #сжатие_данных #clickhouse

Повышаем эффективность хранения данных до 300 раз с помощью таблиц SCD-2

Всем привет, меня зовут Василий. С 2021 года работаю в роли инженера данных в Х5 Tech, успел за это время познакомиться с несколькими интересными проектами и подходами в области обработки данных, об одном из которых пойдет речь далее. В этой статье расскажу о том, как можно повысить эффективность хранения данных за счет уменьшения их дублирования. Разберем, что из себя представляют Slowly Changing Dimensions-2 (далее SCD-2) таблицы и самостоятельно реализуем на PySpark алгоритм сохранения данных в них. Попутно поговорим о том, как находить изменения в любой таблице, даже если отсутствуют поля для выбора изменившихся записей, и научимся получать из созданной SCD-2 таблицы срезы на требуемую дату в прошлом.

https://habr.com/ru/companies/X5Tech/articles/911716/

#SCD #spark #python #обработка_данных #хранение_данных #нахождение_дельты #история_изменений #алгоритм_нахождения_изменений #pyspark #сжатие_данных