home.social

#utf8 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #utf8, aggregated by home.social.

fetched live
  1. Unicodia 3.3.0 is an open-source Unicode character encyclopedia listed for Windows 7, 8, 10 and 11.

    It can serve as an alternative character map: browse and search for characters, copy them, and check whether the system supports a character and which font displays it.

    It can also copy character codes in HTML, UTF-8 and UTF-16.

    The listing notes that Windows 10 and 11 include all Unicode 15 characters, but not named character sequences.

    en.hacks.gr/unicodia-3-3-0/

    #Unicodia #Unicode #UTF8 #UTF16

  2. I'm pretty proud of this emoji horror.

    (Quite annoyed that not every emoji could use the direction modifier: unicode.org/reports/tr51/#Dire . Of course, if that would make every utf8 parsing way slower, I would be more annoyed, but I don't know the internal logic behind that and parsing it.)

    #emoji #unicode #utf8

  3. На «ё» бывают не только рестораны. Как разработчикам угрожают две буквы

    Почему len(“ё”) в Python иногда возвращает 2, регулярка [а-яА-Я]+ отвергает слово «ёж», а стандартная нормализация Unicode пропускает фишинговые логины с кириллической «а»? Редакторы спорят, нужна ли буква «ё» в тексте, а разработчики ловят из-за неё баги в проде. На примерах в Python и PostgreSQL 18 разбираемся, как две точки над буквой влияют на хранение данных, почему расширение unaccent создаёт смысловые коллизии между «мелом» и «мёлом» и как правильно разделить нормализацию, полнотекстовый поиск и защиту от омоглифов.

    habr.com/ru/articles/1106692/

    #utf8 #unicode #python #регулярные_выражения #postgresql #полнотекстовый_поиск #омоглифы #нормализация_строк #авсмысленность #unaccent

  4. Python 3.15 включил UTF-8 по умолчанию: что ломается в cp1251 и как это найти до бухгалтерии

    В Python 3.15 open() без encoding читает и пишет UTF-8 независимо от локали (PEP 686). На русской Windows и серверах с ru_RU.CP1251 это значит падения на выгрузках из 1С и, что хуже, тихие кракозябры в файлах для соседних систем. Воспроизводим на 3.14 и 3.15, находим такие места через EncodingWarning и ruff и чиним так, чтобы код одинаково работал на всех версиях.

    habr.com/ru/articles/1106344/

    #кодировки #utf8 #python #cp1251 #python_315

  5. [Перевод] Эмодзи козла — валидный машинный код 8088. Я собрал из эмодзи целые программы

    Эмодзи козла в UTF-8 занимает байты F0 9F 90 90, и для процессора Intel 8088 это рабочие инструкции: LOCK LAHF и два NOP. Автор эмулятора MartyPC заметил это случайно и проверил, можно ли написать исполняемый COM-файл из одних отображаемых эмодзи. Получилось: программа из 141 байта выводит HELLO прямо в видеопамять, а загрузчик на эмодзи разворачивает в памяти демо для VGA. В статье разобраны листинги, таблица полезных эмодзи и гаджеты, которые склеивают соседние символы в одну инструкцию.

    habr.com/ru/articles/1104704/

    #utf8 #unicode #dos #ассемблер #x86 #эмодзи #ретрокомпьютинг #машинный_код #8088 #comфайлы

  6. Blog Alert!

    This time on a silly issue, when my log files were in the wrong encoding, and I needed PowerShell to decode them.

    #Powershell
    #Encoding
    #Utf16
    #Utf8
    #Automation

    sqlreitse.com/2026/10/23/oh-no

  7. Сколько символов в нике «Аня»? Шесть языков, три ответа, и ни одного правильного

    Пять видимых символов в нике могут превратиться в 10, 15 или 32 — смотря какой язык программирования их считает. Из‑за этой разницы пользователь получает ошибку валидации, теряет часть эмодзи или сталкивается с проблемой при сохранении данных. Разбираемся, почему JavaScript, Python, Go и другие языки по‑разному измеряют длину строк и как правильно задавать ограничения, чтобы данные не терялись. Узнать подробности

    habr.com/ru/companies/otus/art

    #utf8 #unicode #валидация_данных #utf16 #длина_строки #обработка_строк #суррогатные_пары #графемы #кодировка_символов #обрезка_строк

  8. It's 2026 and an international company(that also vaildates language tests for UK & Australia Visa procedures) doesn't allow creating an account when the name you enter in the profile has an Umlaut in it.
    But they threaten you that you have to give your name EXACTLY as in your ID or your certificate would be invalid.
    Absolute clowns.
    #UTF8

  9. It's 2026 and @signalapp can't share a file when it is in a folder that has an Umlaut in it. (on Linux).
    #Signal #UTF8

  10. Python 3.15 hoz 7–12% gyorsulást JIT-tel és lazy importtal — elképzelted már, hogy ez mennyit javítana a te indulóidődön? Új frozendict, sentinel, UTF‑8 alapértelmezett és profilozó eszközök is jönnek. Részletek: linuxmint.hu/hir/2026/10/megje

    #Python315 #Python #JIT #lazyimport #frozendict #sentinel #UTF8 #profiling #Tachyon #free_threading

  11. Kitty 0.49: egyedi shaderek a terminálban és komoly sebességnövekedés szövegfeldolgozásban és dekódolásban. Mennyit számítana neked, ha a terminál 15–50%-kal gyorsabb és mutatósabb? Kipróbálod már az új beállításokat?

    linuxmint.hu/hir/2026/09/meger

    #Kitty #terminal #GPU #shaders #performance #UTF8 #AVX512 #Wayland

  12. This album page is a real #utf8 stress test. Renders differently in every #browser I tried. Music is good too.

    00000ooooo.bandcamp.com/album/

    #nowplaying #bhavnagar

  13. La banque postale en 2026 ne connait toujours pas l'UTF-8.

    #LaBanquePostale #utf8

  14. Or just a regular space 0x0020

    Oh and funnily depending on how I try to read that folder name I get all three ways returned...

    So I don't really know what this folder is actually called on disk.

    #Linux really needs some debug tool to just hand you the hex of files and folders in a specific path.

    And I feel pitty for everyone that has to deal with #UTF8 vs #UTF16 on the daily.

  15. Everyone a happy random "ഊ" in your filenames.

    That's UTF-16 0x0D0A which when read as UTF-8 gets interpreted as CRLF aka. a windows line break.

    And when you used the UTF-8 function for trimming a string it'll break everything.

    Oh and while we're on it also a happy "슜" which when read the same way will be "Â" followed by a string terminator control character.

    Why I mention this? Well it just broke things. Also #KDE doesn't render them in the GUI.

    #UTF8 #UTF16 #programming #development

  16. [Перевод] Ветвление оказалось дороже лишней работы: как GitHub разогнал обработку исходного кода до 45 ГиБ/с

    GitHub прогоняет регистровую свёртку по каждому байту кода, который попадает в индекс Blackbird, поэтому даже базовая текстовая операция быстро превращается в вопрос производительности. Инженеры обнаружили, что ранний выход из цикла мешает LLVM векторизовать обработку: после удаления break скорость на ASCII выросла до 45+ ГиБ/с на одном ядре. Дальше они пошли ещё глубже и научились сворачивать Unicode прямо в байтовом представлении UTF-8, обходясь без полноценного декодирования символов. Изучить оптимизацию

    habr.com/ru/companies/otus/art

    #регистровая_свёртка #Rust #Unicode #ASCII #оптимизация_производительности #SIMD #векторизация #работа_с_памятью #branchless #UTF8

  17. 036 H}gelstra~e

    Solange es Probleme mit Umlauten gibt und Daten per csv-Datei ausgetauscht werden, wird die KI die Weltherrschaft nicht übernehmen.
    #ASCII #utf8

  18. Retour d'un troll vieux de plus de 10 ans
    Le Consortium Unicode va-t-il résister ?

    Pour DJ Snake, « le drapeau breton mérite son émoji » : la star relance un vieux débat sur les réseaux sociaux
    ouest-france.fr/bretagne/pour-
    #bretagne #unicode #utf8

  19. 🐔✨ Chicken Scheme 6.0: Now with 100% more #Unicode and #bytevectors, because obviously the world can't function without #UTF8 chicken blobs being dethroned by bytevectors. Who needs coherent syntax when you can have charname and u8... discussions during a dinner party? 🙃💾
    code.call-cc.org/releases/6.0. #ChickenScheme #CodingDiscussions #HackerNews #ngated

  20. Двенадцать символов, двадцать один байт: как я научил голый RISC-V говорить «Привет, мир!»

    Без библиотек, без обвязок, без операционной системы под ногами. Реальный код на реальном железе — ну, почти реальном. Пустая эмулируемая машина RISC-V, десяток строк ассемблера, и в терминале: Сначала думал вывести «hello», как все. Пусть будет «Привет, мир!» Ну, привет!

    habr.com/ru/articles/1065554/

    #RISCV #QEMU #bare_metal #UART #ассемблер #UTF8

  21. “File name too long”

    Yes, from actual practice.
    The name (sans directory!) is a 28-word description of the image contained in the file.
    That name consists of 192 characters, but about 150 of them are Cyrillic, so nearly 500 octets.

    The file comes from an NTFS volume; eat your heart out, Linux 🙂.

    For the curious, this is an image of a model of a granary found in the tomb of one Meketre, a bigwig under Nebhepetre Mentuhotep II of the 11th Dynasty.
    (Or so the file name says.)

    #DataSizeConstraint
    #NameLengthLimit
    #SizeConstraint
    #UTF8

  22. Deep dive in xmpp addresses :
    Are Emojis Allowed in XMPP Addresses?
    op-co.de/blog/posts/emoji_xmpp
    #xmpp #utf8

  23. Seit 1998 ist #UTF8 laut IETF für neue Standards vorgeschrieben.
    Wenn jemand neue Internetz-Software baut, sollte es also schon ein seit dem letzten Jahrtausend primär verwendet werden.

    Trotzdem hab ich auch heute noch Projekte in der Hand in denen "alles" in ISO-8859-15 abgelegt ist und Leute verbrennen auch heute noch Zeit in der #EncodingHell.

    Von Sätzen wie:

    "Dein Subversion-Commit enthällt kaputte Umlaute"

    …ging ich vor 10 Jahren aus dass sie endlich nur noch im Technikmuseum vorkommen? Leider falsch!

  24. La liste complète est disponible sur unicode.org
    unicode.org/charts/nameslist/n
    Je me demande si je ne vais pas définir une nouvelle politique de mots de passe
    #utf8 #password

  25. Je ne connaissais pas les hexagrammes
    ䷀䷁䷂䷃䷄䷅䷆䷇䷈䷉䷊䷋䷌䷍䷎䷏䷐䷑䷒䷓䷔䷕䷖䷗䷘䷙䷚䷛䷜䷝䷞䷟䷠䷡䷢䷣䷤䷥䷦䷧䷨䷩䷪䷫䷬䷭䷮䷯䷰䷱䷲䷳䷴䷵䷶䷷䷸䷹䷺䷻䷼䷽䷾䷿
    #utf8

  26. What are the #utf8 codes of the #gog #nazi symbols? I mean specifically the first two. Sovilo rune is ez.

  27. What are the major features in this release?

    - We moved all matrix operations into the standard calculation and deprecated `matop`
    - #NumeRe is now #Unicode aware and handles that by encoding all strings and files using #UTF8

  28. Ich bin grad mal wieder auf der Suche: Wie kann ich in Python3 einen String korrekt in UTF8 darstellen, der im Original mit „=?UTF-8?“ anfängt und dann teilweise aus Klartext und teils aus codierten Sonderzeichen besteht?

    Die Suchmaschinen sind mal wieder nicht sonderlich hilfreich.

    #python3 #utf8

  29. Telegraph API: CONTENT_TOO_BIG приходит раньше обещанных 64 КБ. Измеряем реальный лимит и разбираем обходной путь

    Telegraph API обещает принимать content до 64 КБ, но на практике CONTENT_TOO_BIG прилетает уже на 17-20 КБ. Разбираю, как измерял реальный лимит, при чём тут UTF-8 vs UTF-16 для кириллицы, и каким обходным путём чинил молчаливую деградацию RU-канала.

    habr.com/ru/articles/1026610/

    #Telegraph_API #CONTENT_TOO_BIG #Nodejs #Telegram #кириллица #UTF8 #дебаг #лимиты_API #fetch #интеграции

  30. Как (не) перевернуть строку, или Ох, уж этот Unicode

    Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Александр Ланцов — ведущий разработчик Мир Plat.Form. Если вы больше любите смотреть видео, то смотрите запись доклада на YouTube или VK Видео . Читать далее 🔍

    habr.com/ru/companies/nspk/art

    #java #unicode #utf8 #utf16 #кодировки #обработка_строк #emoji #суррогатные_пары #графемные_кластеры

  31. Is WTF-16 real or are the JS guys hallucinating stuff again?

    #UTF8

  32. #MémoireDesHommes 27 bases de données disponibles en libre téléchargement.

    Chaque lien correspond à une base de données. Il permet de télécharger un dossier zippé comprenant un nombre variable de fichiers #CSV. Les bases de données ont été découpées par lettre, mais pas uniquement. Le format d'encodage de caractère est #UTF8.

    memoiredeshommes.defense.gouv.

    #1GM #2GM #Résistance #MPLF #FusillésPourlExemple #Déportés #Alsaciens #Mosellans #VictimesCiviles

  33. Кен Томпсон, который в одиночку написал первые версии Unix

    Кен Томпсон с Деннисом Ритчи являются соавторами Unix — операционной системы, которая лежит в фундаменте современной ИТ-индустрии. Важно заметить, что он начал работать над Unix раньше Ритчи. По словам Томпсона , он в одиночку написал первые версии Unix и делал в Bell Labs предшественников Unix и С — ОС Multics , языки Bon и B — ещё до того, как туда пришёл юный аспирант Деннис, помог всё улучшить и разработал язык С. Но вообще их карьера очень похожа: обоих после вуза направили в Bell Labs, где они трудились почти всю жизнь. Томпсон неоднократно входил в топ-10 программистов всех времён и тому подобные рейтинги . Кроме Unix, в его послужном списке операционная система Plan 9 , язык программирования Go и несколько выдающихся программ.

    habr.com/ru/companies/ruvds/ar

    #Plan_9 #Go #величайшие_программисты #кен_томпсон #Unix #Multics #UTF8 #регулярные_выражения #BSD #ruvds_статьи

Share on Mastodon

Enter the server where you have an account.