#tiktoken — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #tiktoken, aggregated by home.social.
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
TokenDagger – A tokenizer 2-4x faster than OpenAI's Tiktoken
https://github.com/M4THYOU/TokenDagger
#HackerNews #TokenDagger #Tokenization #OpenAI #Tiktoken #FastTech #GitHub
-
BotHub, GPTunnel, Chad AI — считаем где ChatGPT дешевле в России
Сейчас на фоне стремительной популяризации нейросетей, в России появилось достаточно много сервисов и агрегаторов, обеспечивающих удобный доступ к популярным языковым моделям без использования VPN. Однако при выборе подходящего решения мы зачастую сталкиваемся с проблемой разношерстной тарификация: у одних внутренняя валюта, у других стоимость за слова, третьи считают символы или количество токенов в запросе. Подобное разнообразие систем оплаты затрудняет объективное сравнение экономической эффективности различных платформ. И дабы решить эту проблему, мы провели свое небольшое исследование, унифицировав все расценки к единому показателю — стоимости в рублях за миллион токенов. Для обеспечения точности сравнения мы использовали официальный токенизатор OpenAI — tiktoken. Приятного прочтения!
https://habr.com/ru/companies/bothub/articles/887772/
#chatgpt #gpt4o #bothub #gptunnel #ChadAI #языковые_модели #llm #tiktoken #Агрегаторы_нейросетей
-
Считаем количество токенов для LLM в исходниках ядра Linux и не только…
Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: