Si estuviste construyendo algo que toca ML on-device — modelos de imagen, speech, o ahora GenAI — seguramente en algún momento te topaste con TensorFlow Lite. Google lo renombró y re-arquitecturó silenciosamente en LiteRT, y el rebrand viene con suficiente capacidad nueva como para que valga la pena mirarlo en serio, no solo como un cambio de nombre.
Qué es en realidad
LiteRT es el framework de Google para deployment de ML y GenAI on-device — cubre conversión, runtime, y optimización en un solo stack. Es el sucesor directo de TensorFlow Lite, pero el scope creció bastante más allá de “correr un modelo tflite en un celular.”
Qué hay de nuevo que importa
- Compiled Model API — Este es el cambio principal. En vez de conectar delegates manualmente para cada acelerador, la Compiled Model API se encarga de la selección automática de acelerador, ejecución async real, y manejo eficiente de buffers de I/O por vos. Según Google, este es ahora el camino recomendado para trabajo nuevo de ejecución nativa en Kotlin y C++.
- Aceleración NPU unificada — El soporte NPU entre distintos fabricantes de chipsets (Qualcomm, MediaTek, y otros) ahora es una sola API consistente, salió del programa de early access y está abierta a todos los usuarios. Antes esto estaba fragmentado por vendor.
- Aceleración GPU vía ML Drift — nueva interoperabilidad de buffers apuntada específicamente a reducir latencia para inferencia GenAI, no solo ML clásico.
- Tensor API en C++ — una librería liviana, tensor-centric, para graph authoring, si necesitás manipular tensors directamente en vez de pasar por todo el pipeline del modelo.
- LiteRT CLI — tooling apuntado a workflows de agentic coding, que le permite a los agentes de IA interactuar más directamente con el loop de build/deploy de LiteRT.
El ecosistema alrededor
LiteRT no es un proyecto solitario — es la capa base de una pequeña constelación de repos de Google:
- LiteRT-LM — la capa de orquestación específica para correr LLMs (Gemma y otros) en dispositivos edge; esto es lo que potencia cosas como Google AI Edge Gallery por debajo.
- litert-torch — convierte modelos PyTorch directamente a formato
.tflite, con un path separado de Generative API para reautorar LLMs. Vale la pena marcar: el PyTorch converter está en Beta, y la Generative API está explícitamente en Alpha — no todo acá está production-stable todavía. - ai-edge-quantizer — quantización post-training para achicar modelos para deployment con recursos limitados.
- litert-samples — apps de ejemplo oficiales, incluyendo un sample nuevo de ASR (reconocimiento de voz) y ejemplos de segmentación de imágenes que muestran la Interpreter API y la Compiled Model API lado a lado.
Para arrancar — dos paths realistas
Si sos nuevo en ML on-device, la guía de Google te lleva a Android Studio con una app de segmentación en tiempo real paso a paso. Si ya estás cómodo en el espacio, el camino más rápido es agarrar un modelo .tflite pre-entrenado de Kaggle Models e integrarlo directamente vía el runtime estándar.
La salvedad que hay que decir en voz alta
Algunos de los benchmarks de performance que muestra Google acá — como el trabajo de multi-token prediction en LiteRT-LM que entrega más del doble de velocidad de decode — son benchmarks propios de Google, no verificados de forma independiente. Tratalos como punto de partida para tu propio testing, no como garantía.
Por qué esto importa más allá de la lista de APIs
La historia más amplia es costo y control: correr inferencia on-device vía NPU/GPU offload y quantización significa menos idas y vueltas a inferencia en la nube, menor latencia, y ningún dato que salga del dispositivo. Para equipos que están pesando el gasto en IA cloud contra deployment en el edge, LiteRT es la respuesta más completa que tiene Google hasta ahora a “¿podemos simplemente correr esto localmente en cambio?”