home.social

#utf16 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #utf16, aggregated by home.social.

fetched live
  1. Unicodia 3.3.0 is an open-source Unicode character encyclopedia listed for Windows 7, 8, 10 and 11.

    It can serve as an alternative character map: browse and search for characters, copy them, and check whether the system supports a character and which font displays it.

    It can also copy character codes in HTML, UTF-8 and UTF-16.

    The listing notes that Windows 10 and 11 include all Unicode 15 characters, but not named character sequences.

    en.hacks.gr/unicodia-3-3-0/

    #Unicodia #Unicode #UTF8 #UTF16

  2. Blog Alert!

    This time on a silly issue, when my log files were in the wrong encoding, and I needed PowerShell to decode them.

    #Powershell
    #Encoding
    #Utf16
    #Utf8
    #Automation

    sqlreitse.com/2026/10/23/oh-no

  3. Сколько символов в нике «Аня»? Шесть языков, три ответа, и ни одного правильного

    Пять видимых символов в нике могут превратиться в 10, 15 или 32 — смотря какой язык программирования их считает. Из‑за этой разницы пользователь получает ошибку валидации, теряет часть эмодзи или сталкивается с проблемой при сохранении данных. Разбираемся, почему JavaScript, Python, Go и другие языки по‑разному измеряют длину строк и как правильно задавать ограничения, чтобы данные не терялись. Узнать подробности

    habr.com/ru/companies/otus/art

    #utf8 #unicode #валидация_данных #utf16 #длина_строки #обработка_строк #суррогатные_пары #графемы #кодировка_символов #обрезка_строк

  4. LibreOffice 26.8.1 megérkezett: 40 hibajavítás, jobb DOCX/XLSX/PPTX kompatibilitás és megbízhatóbb szöveg/CSV import (UTF‑16, kínai, japán). Érdemes most frissítened, vagy várnál a következő pontkiadásra? Próbáltad már az új 26.8 funkciókat?

    linuxmint.hu/hir/2026/10/megje

    #LibreOffice #26.8.1 #Writer #Calc #DOCX #XLSX #PPTX #CSV #UTF16 #TheDocumentFoundation #LinuxMint

  5. NotepadNext 0.15: új osztott‑nézet gyorsbillentyűk, fejlettebb keresés és UTF‑16 támogatás. Szeretnél egyszerre több lapot bezárni és találatokat könyvjelzőzni? Kipróbálod az ARM64/macOS javításokat?

    linuxmint.hu/hir/2026/09/notep

    #NotepadNext #editor #NotepadPlusPlus #UTF16 #ARM64 #macOS #Flatpak #AppImage #OpenSource

  6. Тест проходил за миллисекунды. На настоящем файле тот же код думал минуту

    «👋».length === 2 — это знают все. Дальше все пишут честную функцию, которая ходит по строке по символам, а не по кодовым единицам UTF-16. И почти всегда она получается квадратичной: и длина, и обращение по индексу проходят строку с начала, поэтому обычный цикл по ним — это n²/2 шагов без единого вложенного цикла в коде. В тестах это невидимо. Десять тысяч символов обходятся за 70 миллисекунд, а строки в тестах короткие, потому что их пишут руками. Дефект жил у меня полгода под зелёными тестами и вылез, когда программа впервые прочитала настоящий файл в 300 килобайт: вместо секунды — минуты. Внутри: замеры роста, починка через один вопрос «есть ли в строке суррогатная пара», и почему тест на время здесь бесполезен, а тест на показатель роста — нет.

    habr.com/ru/articles/1077626/

    #javascript #typescript #unicode #utf16 #строки #производительность #алгоритмическая_сложность #тестирование #nodejs #оптимизация

  7. Or just a regular space 0x0020

    Oh and funnily depending on how I try to read that folder name I get all three ways returned...

    So I don't really know what this folder is actually called on disk.

    #Linux really needs some debug tool to just hand you the hex of files and folders in a specific path.

    And I feel pitty for everyone that has to deal with #UTF8 vs #UTF16 on the daily.

  8. That not being rendered in the GUI actually made figuring this shit out even harder.

    #bash also doesn't render them.

    Thankfully #7zip showed them as "[]" for whatever reason and allowed me to copy the foldername raw into a hex editor to see what was going on.

    I hate #encodings and especially #UTF16...

  9. Everyone a happy random "ഊ" in your filenames.

    That's UTF-16 0x0D0A which when read as UTF-8 gets interpreted as CRLF aka. a windows line break.

    And when you used the UTF-8 function for trimming a string it'll break everything.

    Oh and while we're on it also a happy "슜" which when read the same way will be "Â" followed by a string terminator control character.

    Why I mention this? Well it just broke things. Also #KDE doesn't render them in the GUI.

    #UTF8 #UTF16 #programming #development

  10. Почему рекламный пост в Telegram нельзя публиковать через copyMessages

    Если бот копирует один и тот же пост в десять каналов, в Google Analytics все клики свалятся в одну кучу. URL у скрытой ссылки живёт не в тексте, а в MessageEntity , а copyMessages копирует его как есть. Ниже — как пересобрать пост под каждую площадку, не сломав жирный шрифт, эмодзи и health‑check. Telegram умеет одно очень удобное действие: copyMessages . Берёте сообщение из чата A, кладёте в чат B — форматирование, медиа, альбом, скрытые ссылки, всё на месте. Для рассылок и зеркал это идеальный метод. Для рекламы он ломает самое важное. Рекламодатель покупает размещения в разных каналах и смотрит в свою аналитику: откуда пришёл клик. Если во всех десяти постах в text_link лежит один и тот же https://shop.example/sale , UTM бесполезен. Каналы неразличимы. Сделка неразличима. Дата размещения неразличима. Как пересобрать пост и не убить UTM

    habr.com/ru/articles/1075242/

    #telegram #bot_api #copyMessages #UTM #text_link #UTF16 #javascript #MessageEntity

  11. Как (не) перевернуть строку, или Ох, уж этот Unicode

    Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Александр Ланцов — ведущий разработчик Мир Plat.Form. Если вы больше любите смотреть видео, то смотрите запись доклада на YouTube или VK Видео . Читать далее 🔍

    habr.com/ru/companies/nspk/art

    #java #unicode #utf8 #utf16 #кодировки #обработка_строк #emoji #суррогатные_пары #графемные_кластеры

  12. Ну всё, пора закапывать UTF-8

    Здравствуйте, меня зовут Дмитрий Карловский и я... серийный убийца устоявшихся стандартов. Сегодня я выследил и нанёс критический урон UTF-8. И сейчас я расскажу, как я его переиграл и уничтожил новым стандартом кодирования текста — Unicode Compact Format . No, God! Please, No, NO!

    habr.com/ru/articles/983042/

    #utf8 #utf16 #utf32 #ucs2 #ucs4 #scsu #bocu1 #utfc #ucf #$mol

  13. The ancient symbol of Chaos is not represented in Unicode and that makes me mad.

    Yes, for the symbol of Law We have ↑, but there is no symbol in which eight arrows all point from a common origin, each at one of the cardinal or intercardinal compass directions.

    The best we have is ☸ but it's not made of arrows, is too circley, and is already taken by some stupid supposedly """ancient""" religion.

    BAH/Humbug!

    #arioch #chao #chaos #elric #fiction #michaelmoorcock #moorcock #pulp #pulpfiction #sacredchao #tuches #tukhes #tus #ucs #unicode #universalcodedcharacterset #utf16 #utf32 #utf64 #utf8 #wtf69

  14. [Перевод] Освоение Unicode в Java: создаём на Quarkus REST API, готовый к глобальной аудитории

    В этом руководстве мы разберем непонятности вокруг Unicode и узнаем, как строить надёжные, интернациональные Java-приложения. Разберём теорию, укажем на подводные камни, а затем соберём «Глобальный сервис приветствий» на Quarkus, который переживёт весь хаос реального текста. К концу статьи вы разберётесь с тем, – как устроен Unicode и как Java на самом деле хранит текст; – почему длина строки и перебор символов сложнее, чем кажется; – как нормализация предотвращает неприятные несоответствия; – как настроить REST-сервис и базу данных для безопасной работы с Unicode. Unicode без боли

    habr.com/ru/companies/otus/art

    #unicode #Quarkus #Java #UTF8 #UTF16 #графемные_кластеры #нормализация #nfc #сортировка_по_локали

  15. #Development #Techniques
    Text lengths with ‘Intl.Segmenter’ API · Human-friendly character counting in JavaScript ilo.im/166lco

    _____
    #Characters IntlSegmenter #API #JavaScript #Unicode #UTF8 #UTF16 #Browser #WebDev #Frontend

  16. Всё же пришлось поизучать юникод.

    Два четырёхзначных кодпоинта могут идти в суррогатной паре UTF-16, тогда декодировать их можно только вместе (там какой-то алгоритм с битовыми операциями).
    То есть мне нужно обрабатывать такую ситуацию, когда в буфер попал первый кодпоинт из пары, без второго, и слать декодеру часть буфера до начала этой сломанной пары.
    Иначе декодер выдаст не то. Склеивать полученные байты не поможет.

    Пример: \u1F4AF — это эмоджи [💯]
    В жсоне для кодирования юникода применяется UTF-16-BE, видимо чтобы количество цифр в кодпоинте всегда было 4 для удобства парсинга (удобства!! спасибо, блин).
    Получаем "\ud83d\udcaf".
    \ud83d — первый символ в суррогатной паре, leading UTF-16 surrogate, его можно определить по диапазону от 0xD800 до 0xDBFF включительно.
    \udcaf — второй символ в паре, trailing UTF-16 surrogate, диапазон от 0xDC00 до 0xDFFF включительно.

    Если парсер смог прочитать только первый кодпоинт 0xD83D и дошёл до конца буфера, значит, trailing surrogate мы не считали, декодировать кодпоинт не получится. Вернём его обратно к вызывающему (см. переменную leftovers), чтобы он добавил кривой жсон-эскейп с этим кодпоинтом в буфер в следующий раз, когда будет читать байты дальше. А щас декодируем только часть строки до \ud83d, не захватывая этот эскейп.

    Багфикс:
    https://git.dc09.ru/DarkCat09/proxishot/commit/e4873223f5

    Разговор с самим собой:
    https://git.dc09.ru/DarkCat09/proxishot/issues/1

    #unicode #utf16 #json #parser

  17. Imutin kaikki #Facebook'in julkaisuni – ainakin jos #Meta'a uskotaan. Pyysin #JSON-muodossa toivossa, että tulisi sutjakammin. Hieman ongelmia aiheutti JSONin koodaus: merkkijonot ovat validia #UTF8:aa mutta JSON ilmeisesti olettaa #UTF16:n, joten vaaditaan mukamuunnos eestaas; apua löytyi #StackOverflow’sta. Aikaleimat sentään olivat standardi-#POSIX’ia.

    En tiedä, kuinka täydellinen ”arkisto” on, mutta ainakin jotakin saisi talteen, kun lähtee lätkimään. #some #atkjuttuja

  18. [Перевод] Нельзя предполагать, что все используют UTF-8

    Как вычислять кодировку при помощи статистики Люди говорят на бесчисленном количестве разных языков. Эти языки не только несовместимы между собой, но и представляют огромную трудность при транспиляции в среде исполнения. К сожалению, все попытки стандартизации провалились. По крайней мере, в таком положении вещей есть, кого винить: Бога. Ведь именно он вынудил человечество говорить на разных языках из-за древнего спора о строительстве объекта недвижимости . Однако человечество может винить себя за то, что сложности в общении испытывают компьютеры . И одна из самых больших проблем одновременно является самой простой: компьютеры не договорились о том, как записывать буквы двоичным кодом.

    habr.com/ru/companies/ruvds/ar

    #ruvds_переводы #unicode #кодировки_текста #win1252 #koi8 #utf8 #utf16 #определение_кодировок

  19. Just released dos2ansi v0.4, with lots of #DOS #codepage s supported and a testmode to display them.

    The next nice feature would be to use the actual terminal capabilities if output goes there. Very simple on *nix-like systems (#Linux, #FreeBSD, ...), just link #curses and use the termcap functions.

    Thinking about #Windows again, either I keep relying on #UTF8 support (since #win7 IIRC? and still a bit buggy) and #ANSI sequences support (since #win10) .... OR I attempt to use the native #Console #API there (using special functions to write in #UTF16 and other special functions to set colors, which would require a major refactoring first 🙄)

    github.com/Zirias/dos2ansi/rel

  20. New pre-release of dos2ansi: v0.2

    * Works on #Windows, win32 binary (cross-compiled on #FreeBSD) attached
    * Selectable input #codepage (so far only #cp437, #cp850 and #cp858)
    * Selectable output format, #utf8, #utf16 or #utf16le, with or without #BOM

    Still a few things to add, e.g. use #termcap/#terminfo or Windows Console API for "color output" when applicable ... we will see 😎

    github.com/Zirias/dos2ansi/rel

  21. @wader I had a quick look at your code now and see you're already "handling" this using wmain() and doing the conversion. So, this seems to be a bit mysterious.

    Is all your output #utf8? Then adding SetConsoleOutputCP(CP_UTF8); should fix output for anyone without requiring them to use chcp first, but I don't see why specifically argv values continue to have a problem. It probably needs some experimentation 😞

    Text encoding on #Windows is so borked because they jumped on #Unicode early using #UCS2 and now they need to handle everything in #UTF16 stored in 16bit wide wchar_t ... and also want to remain compatible with any older crap ... 🙈

  22. [Перевод] Важные аспекты Unicode, о которых должен знать каждый разработчик JavaScript

    Должен признаться: на протяжении очень долгого времени я испытывал страх перед Unicode. Когда была необходимость в работе с Unicode, я предпочитал искать альтернативные пути решения, поскольку не совсем понимал, что делаю. Я старался избегать работы с Unicode до тех пор, пока не столкнулся с проблемой, требующей глубокого понимания этого стандарта, а других вариантов решения просто не было. Приложив определенные усилия, прочитав кучу статей — я постепенно начал понимать что к чему, и это оказалось не так уж трудно. Хотя, некоторые статьи приходилось перечитывать раза по 3. Как оказалось, Unicode — это универсальный и удобный стандарт, но работать с ним может быть непросто из-за множества абстрактных терминов. Если у вас есть пробелы в понимании Unicode, то сейчас самое подходящее время их заполнить! Заварите себе вкусный чай или кофе ☕. И давайте погрузимся в удивительный мир абстракций, символов, астралов (astrals) и суррогатов (surrogates). В этой статье объясняются основные концепции Unicode, которые создадут необходимую базу для работы с ним. Вы также узнаете, как JavaScript взаимодействует с Unicode и какие трудности могут возникнуть на этом пути. А также, каким образом новые функции из ECMAScript 2015 могут помочь в решении этих проблем. Готовы? Давайте начнем!

    habr.com/ru/companies/timeweb/

    #timeweb_статьи_перевод #javascript #webразработка #webdevelopment #unicode #utf16 #utf8 #юникод

  23. Суперсемейка против Unicode: Эластика и ее противник гибкий UTF-8

    Кодировка символов – это про то, как символы которыми мы пишем наши сообщения выглядят в двоичном коде. В мире существует множество кодировок, но самые популярные из них, это; ASCII – это самая первая кодировка в мире, она была создана в Америке. Собственно благодаря ей, 8 бит равны 1 байт. UTF-8, 16 и 32 – данные кодировки были созданы организацией Unicode (Юникод). Если по простому, то они это то же самое что и ASCII, но более вместительные, что означает, что они занимают больше памяти. Все бы ничего, легкая тема, но есть одно но – кодировка UTF-8 имеет, как по мне, гениальную особенность: она умеет "растягиваться". То есть адаптироваться под большое кол-во символов.

    habr.com/ru/articles/788230/

    #unicode #utf8 #utf16 #utf32 #ascii #ram #byte #css #encode #computer_science

  24. #Development #Introductions
    The minimum developers must know about Unicode in 2023 · What is Unicode, and how do you use UTF-8 correctly? ilo.im/15aq66

    _____
    #WebDev #Unicode #Frontend #Backend #Unicode #UTF8 #UTF16

  25. Huh!?

    I'm trying to open qsv (csv toolkit written in #Rust) in VSCode and rust-analyzer keeps loading and loading until my 8GB RAM is full. 😬

    What in the name of Ferris is happening!? :ferris:

    There is a process "cc1plus" that allocates 6GB of RAM! Oh my!

    Oh noes, it's C++!😵

    Wait, what!? Have I just hit this weird UTF-16 bug in GCC?

    stackoverflow.com/questions/29

    #OOM #OutOfMemory #Bug #GCC #CPlusPlus #UTF16 #UTF8 #Encoding

Share on Mastodon

Enter the server where you have an account.