Edge0-145B corre como IA local en una sola tarjeta NVIDIA de 24 GB, pero no solo con 24 GB: según su propia ficha técnica, la versión NVFP4 usa 23.25 GiB de VRAM más 38.27 GiB de RAM del sistema. La cifra de “29 GB de memoria pico en un portátil” del anuncio corresponde a otra medición, y la licencia del modelo es más estrecha de lo que sugiere el “open-sourcing” del lanzamiento: el uso personal, de investigación e interno es libre, pero vender el modelo o servirlo comercialmente requiere un acuerdo aparte.
¿Qué es Edge0-145B, el modelo de IA local que corre sobre Strata?
Edge0-145B es un modelo de lenguaje de 145.000 millones de parámetros que Edge0 publicó el 12 de noviembre de 2026, junto con un hermano menor, Edge0-120B, y el framework de inferencia que ejecuta ambos. Está construido sobre Qwen3.8-Flash-Next y es un modelo sparse de mixture of experts (latent MoE): de sus 145B parámetros, solo unos 10B (10.12B, según la ficha técnica) participan en el cálculo de cada token.
Esa proporción es lo que hace posible ejecutarlo en una sola GPU. El anuncio describe tres niveles de memoria:
- Los expertos “calientes” se quedan en la memoria de la GPU.
- Una biblioteca de expertos de unos 40 GB vive en la RAM del sistema.
- Unos 48 GB de datos de vocabulario quedan en el SSD y se leen bajo demanda.
Mientras la GPU calcula los expertos que ya tiene cargados, la CPU se encarga del resto en paralelo, y el speculative decoding verifica varios tokens candidatos a la vez. En la documentación y los issues en inglés verás esta técnica descrita como expert offload; la versión cuantizada es NVFP4, el formato de punto flotante de 4 bits de NVIDIA.
Los pesos están en Hugging Face (Edge0/Edge0-145B-NVFP4, también con una versión Q3_K), y el motor es edge0-strata, un fork del motor Strata, con licencia MIT.
¿Cuánta VRAM y RAM necesita Edge0-145B para correr en local?
Una tarjeta de 24 GB más entre 32 y 48 GB de RAM del sistema, según la versión. Esto es lo que reporta la ficha técnica en una RTX 5090 D con 24 GB de VRAM:
| Versión | Pesos en disco | VRAM (residency activado) | RAM del sistema (residency activado) |
|---|---|---|---|
| NVFP4 | 47.79 GiB | 23.25 GiB | 38.27 GiB |
| Q3_K | 40.81 GiB | 23.14 GiB | 31.28 GiB |
Además necesitas espacio en el SSD para entre 41 y 48 GiB de pesos.
La cifra del anuncio es menor (29 GB de memoria pico en su tabla principal, y 28 GB en otro párrafo del mismo texto) y se presenta como un pico interno medido en “un portátil personal compatible, como un MacBook Pro”. No es la misma configuración que la tabla de la ficha técnica, y el anuncio no publica las condiciones de esa medición.
La ficha también documenta una prueba con recursos limitados: VRAM restringida con --vram-reserve-mib 8192 y RAM del sistema limitada a 20 GB mediante un cgroup (MemoryMax=20G, sin swap); su tabla de velocidad incluye además una configuración de 16 GiB de VRAM + 20 GiB de RAM. Un flag que conviene conocer antes de intentar exprimirlo: --resident-budget-gib 20 limita a 20 GiB la caché de expertos en la RAM del host, pero la ficha aclara que no limita el uso total de RAM del proceso.
Si quieres el panorama general de qué hardware exige un modelo local de más de 100B, lo cubrimos para Strata en Cómo usar Codex CLI con un modelo local de 125B.
¿Edge0-145B funciona en Mac, Windows y Linux?
En hardware NVIDIA con CUDA 13, bajo Linux o Windows (x64 o ARM64), sí: es la configuración que documenta la ficha técnica. En macOS, al momento de publicar esta nota (14 de noviembre de 2026), las propias fuentes de Edge0 se contradecían:
- El anuncio afirma soporte desde el primer día para macOS, Windows y Linux, incluidos los chips Apple de la serie M, aunque también aclara que una cobertura amplia de chips “no significa que todos los dispositivos puedan ejecutar Edge0-145B”.
- El README del framework incluye Metal en Apple Silicon para los modelos de 145B y 120B, solo para la versión Q3_K.
- La ficha técnica dice que sus mediciones en Apple M2 Ultra usan Metal, pero que no establecen la disponibilidad de una versión para macOS.
Dos cosas más con las que te vas a encontrar, también a la fecha de esta nota:
- La app de escritorio, Edge0 Chat, se distribuye solo para Windows, a través de GitHub Releases.
- El sitio de documentación (docs.edge0.ai) todavía cubre solo los niveles anteriores de 8B y 35B, y en todas las plataformas la instalación implica compilar desde el código fuente.
¿Edge0-145B es un LLM open source? ¿Se puede usar comercialmente?
Solo una parte es open source en el sentido de la OSI. La publicación tiene tres licencias:
| Componente | Licencia |
|---|---|
| Código del framework de inferencia | Apache-2.0 |
Motor edge0-strata |
MIT |
| Pesos del modelo | Edge0 Community Model License 1.0, más la Qwen Community License 1.0, heredada del modelo base |
La Edge0 Community Model License permite el uso personal, la investigación, la modificación, la distribución no comercial, el uso interno y el uso comercial de los resultados que genera el modelo. Exige una licencia escrita aparte de Edge0 para vender o integrar comercialmente el modelo, operar un servicio comercial basado en él u ofrecer un asistente comercial independiente de programación o de ofimática. Encima de eso siguen aplicando los requisitos de autorización y atribución de Qwen. El anuncio, por su parte, no nombra ninguna licencia.
Grego: “Open-sourcing” se ha convertido, sin hacer ruido, en un término de distribución más que de licenciamiento. Para un CTO, la lectura práctica es simple: puedes ejecutar Edge0-145B dentro de tu empresa y usar lo que produce. Lo que no puedes hacer sin un contrato es convertir el modelo en tu producto, y “un asistente comercial independiente de programación” es justamente el producto que querrían construir la mayoría de los equipos que evalúan un modelo así. Lee la licencia antes que la tabla de benchmarks, no después.
¿Cómo ejecutar Edge0-145B en local con su servidor, Ollama o vLLM?
La ficha técnica documenta el servidor propio de Edge0 y otros runtimes de la comunidad. La compilación de edge0-infer desde el código fuente está explicada en edge0-strata/EDGE0.md y edge0-infer/docs/getting-started.md dentro del repositorio; el README no ofrece un único comando de compilación.
Una vez compilado, inicia el servidor compatible con la API de OpenAI (escucha en el puerto 8000, con el nombre de modelo edge0_145b):
build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-NVFP4
En Windows, el binario es build\windows\bin\edge0-infer.exe. Para probarlo:
curl localhost:8000/v1/chat/completions -H 'content-type: application/json' -d '{"model":"edge0_145b", ...}'
Si prefieres una sesión interactiva:
edge0-infer chat --model /path/to/Edge0-145B-NVFP4
La ficha técnica también incluye estas rutas de una sola línea:
ollama run hf.co/Edge0/Edge0-145B-NVFP4
vllm serve "Edge0/Edge0-145B-NVFP4"
Si dudas entre esos runtimes para el resto de tus modelos, los comparamos en LM Studio, Ollama o llama.cpp: qué corre de verdad en tu máquina.
¿Qué tan bueno es Edge0-145B según sus benchmarks?
Según sus propias cifras, compite en la parte alta, pero todas son de Edge0. El anuncio indica que sus comparaciones con Qwen, DeepSeek y Claude salen de evaluaciones internas, y que la configuración completa y las instrucciones para reproducirlas llegarán con un informe técnico que, al momento de publicar esta nota, no se había publicado.
Puntuaciones reportadas:
| Benchmark | Edge0-145B |
|---|---|
| Terminal-Bench 2.1 | 86.52 |
| DeepSWE 1.1 | 64.6 |
| GPQA-Diamond | 90.4 |
| HLE | 35.4 |
| IFBench | 80.6 |
| AA-LCR | 79.3 |
En velocidad, la ficha técnica reporta 98.3 tokens/s de decode en modo agente y 3,165.7 tokens/s de prefill con 16K de contexto, en la RTX 5090 D con NVFP4. El anuncio da cifras más conservadoras: más de 80 tokens/s de decode y más de 1,100 tokens/s de prefill.
¿Y tú? ¿Cuál es el modelo más grande que has logrado correr en tu propia máquina, y con cuánta memoria?
- En una GPU NVIDIA dedicada
- En un Mac con Apple Silicon
- En CPU, con modelos pequeños
- Prefiero otra opción (cuéntanos cuál)
Comenta abajo o, si este artículo te llegó por correo, responde directamente al email: tu respuesta se publica aquí.
Relacionado: Cómo usar Codex CLI con un modelo local de 125B: Strata y el hardware que realmente necesitas