#tokens — Public Fediverse posts

Gemini «olvida» mucho antes de lo que Google promete: el millón de tokens no aplica al chat

Usuarios de los planes pagos AI Pro y Ultra denuncian que el chatbot comienza a perder el hilo de la conversación después de apenas 25-30 mensajes, muy lejos del límite de un millón de tokens que Google publicita. La diferencia entre la ventana de contexto del modelo y la del chat nunca se comunica con claridad (Fuente AndroidAutorithy).

Google vende sus planes pagos de Gemini con una promesa concreta: una ventana de contexto de hasta un millón de tokens, equivalente a 1.500 páginas de texto o 30.000 líneas de código. El problema es que esa cifra no describe lo que le pasa al usuario en una conversación real.

Usuarios en X y Reddit denunciaron que, si bien los servidores de Gemini pueden efectivamente ingerir un archivo estático masivo en el primer prompt, la memoria conversacional activa —el contexto dinámico del chat— parece estar severamente limitada, cayendo a un tope aproximado de 16.000 tokens, equivalente a unos 25 o 30 mensajes promedio. El resultado es que el modelo sufre de «amnesia» dentro de la misma sesión de chat, olvidando por completo instrucciones anteriores, bloques de código o restricciones que el usuario había establecido al inicio de la conversación.

La distinción técnica que Google no comunica con suficiente claridad es la diferencia entre la ventana de contexto del modelo y la del chat. En palabras del usuario de X @Soso_fun_yt, mientras el backend puede procesar archivos de gran tamaño en forma estática, la memoria dinámica de la conversación está embotellada en un límite mucho menor, lo que provoca el olvido progresivo. Algunos usuarios señalaron que la plataforma AI Studio sí ofrece la ventana de contexto correcta, pero esa no es la herramienta que usa la mayoría de los suscriptores.

La analogía que propone el artículo lo dice todo: es como si tu proveedor de internet anunciara una línea de 1 Gbps en su sitio web, sin mencionar en ningún lugar destacado que la velocidad de subida es de apenas 50 Mbps. Google sí publica información técnica sobre tokens de entrada y salida en su documentación para desarrolladores, pero esa información no llega al usuario promedio que paga su suscripción esperando lo que se le prometió.

Android Authority consultó a Google sobre la discrepancia entre la ventana de contexto del modelo y la del chat, y sobre si planea ofrecer información más prominente al respecto. La compañía no respondió al momento de publicación. Mientras tanto, quienes usan Gemini para proyectos largos o conversaciones técnicas extendidas deberían saber que el millón de tokens es, por ahora, más un horizonte teórico que una realidad práctica de uso diario.

Nit – I rebuilt Git in Zig to save AI agents 71% on tokens

https://justfielding.com/blog/nit-replacing-git-with-zig

#HackerNews #Nit #Zig #Git #AI #Savings #Tokens

Byte Latent Transformer: Patches Scale Better Than Tokens

https://arxiv.org/abs/2412.09871

#HackerNews #Byte #Latent #Transformer #Patches #Tokens #AI #Research #Machine #Learning

Movement Labs targets 1-second L2 finality by end of 2024: Co-founder - Apps will be able to settle directly on Movement’s L2 with fast finality... - https://cointelegraph.com/news/movement-labs-targets-1-second-layer-2-finality-by-end-2024 #postconfirmations #movementlabs #eigenlayer #ethereum #layer2s #eigenda #tokens #defi #l2s

The complete DDoS guide for founders
https://onboardbase.com/blog/ddos/
#ycombinator #Hasicorp_vault_alternative #local_first #AWS_S3_for_credentials #local_first_hashicorp_vault #simpler_hashicorp_vault #secrets #protect #secret_manager #access #secret_access #secret_infrastructure #secretops #API_keys #tokens #pipeline #console_log #security #share #contractors #freelancers #dev_team #developer_machines #deployment #secure #infrastructure #environment_variable #configs #environment_configs

Unlocking Value: Fair Price Discovery, the Role of Market Makers - Getting a token from inception to market is no mean feat and more often takes year... - https://news.bitcoin.com/unlocking-value-fair-price-discovery-the-role-of-market-makers/ #marketmakers(mm) #acherontrading #cryptotrading #marketmakers #wesleypryor #crypto #tokens #op-ed #mm

Russia’s Largest Digital Asset Deal Denominated in Chinese Yuan - A Russian company has announced the country’s first authorized transaction with di... - https://news.bitcoin.com/russias-largest-digital-asset-deal-denominated-in-chinese-yuan/ #digitalfinancialassets #cryptocurrencies #digitalcurrency #foreigncurrency #commercialdebt #cryptocurrency #digitalassets #centralbank #chineseyuan #lighthouse #regulation #currency #issuance #finance #atomyze #russian #crypto #russia #tokens

Uzbekistan Approves Rules for Issuance and Circulation of Crypto Assets - The authority responsible for crypto oversight in Uzbekistan has determined the or... - https://news.bitcoin.com/uzbekistan-approves-rules-for-issuance-and-circulation-of-crypto-assets/ #cryptocurrencies #cryptocurrency #digitalassets #cryptoassets #uzbekistanis #circulation #investments #regulations #uzbekistani #regulation #uzbekistan #regulator #issuance #licenses #watchdog #capital #agency #crypto #tokens #coins

BNB Chain-Based Defi Protocol Ankr Suffers Major Exploit - Decentralized Web3 infrastructure provider Ankr has become the latest victim of a ... - https://news.bitcoin.com/bnb-chain-based-defi-protocol-ankr-suffers-major-exploit/ #decentralizedfinance #cryptocurrencies #cryptoexchange #cryptocurrency #hackingattack #defiprotocol #bnbchain #exchange #binance #exploit #hackers #minting #attack #crypto #hacker #tokens #abnbc #helio #token #defi #abnb #ankr #bnb #bug #hay #cz