#tiktoken — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #tiktoken, aggregated by home.social.
-
Нейронные аудиокодеки: мощное сжатие звука с помощью LLM
В июле 2024 года французская компания Kyutai опубликовала речевую модель Moshi с нейронным аудиокодеком Mimi. Это был первый в мире голосовой end-to-end AI с открытыми исходниками, способный вести диалог в реальном времени и свободный для использования всеми желающими, демо . Вместо прямого предсказания сэмплов аудиокодек работает в три этапа: 1. Токенизация звука. 2. Предсказание следующих токенов в LLM. 3. Восстановление оригинала.
https://habr.com/ru/companies/ruvds/articles/1040026/
#float #double #fc #архиваторы #IEEE754 #метаархиватор #Mimi #tiktoken #семантические_токены #ruvds_статьи
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
BotHub, GPTunnel, Chad AI — считаем где ChatGPT дешевле в России
Сейчас на фоне стремительной популяризации нейросетей, в России появилось достаточно много сервисов и агрегаторов, обеспечивающих удобный доступ к популярным языковым моделям без использования VPN. Однако при выборе подходящего решения мы зачастую сталкиваемся с проблемой разношерстной тарификация: у одних внутренняя валюта, у других стоимость за слова, третьи считают символы или количество токенов в запросе. Подобное разнообразие систем оплаты затрудняет объективное сравнение экономической эффективности различных платформ. И дабы решить эту проблему, мы провели свое небольшое исследование, унифицировав все расценки к единому показателю — стоимости в рублях за миллион токенов. Для обеспечения точности сравнения мы использовали официальный токенизатор OpenAI — tiktoken. Приятного прочтения!
https://habr.com/ru/companies/bothub/articles/887772/
#chatgpt #gpt4o #bothub #gptunnel #ChadAI #языковые_модели #llm #tiktoken #Агрегаторы_нейросетей
-
Считаем количество токенов для LLM в исходниках ядра Linux и не только…
Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: