Rapid-MLX: El Servidor de Inferencia Local que tu Mac Merece

1. Qué es Rapid-MLX: Stars, Licencia y la Idea

Rapid-MLX es un servidor LLM open-source de alto rendimiento construido exclusivamente para Macs con Apple Silicon sobre el framework MLX de Apple. Un comando sirve un modelo abierto detrás de una API HTTP drop-in OpenAI-compatible (y Anthropic-compatible), así cualquier cliente que hable el wire de ChatGPT — agentes, IDEs o tu propio Python — puede apuntar a http://localhost:8000/v1 sin adaptador ni API key. Al 22 de septiembre de 2026 el repositorio en github.com/raullenchai/Rapid-MLX ronda las 3.800 estrellas y 418 forks bajo licencia Apache 2.0, con un catálogo de 261 aliases totales: 196 de texto, 11 de imagen, 10 de video y 44 de audio.

La apuesta central es honestidad de hardware: Ollama y llama.cpp son motores C++ con backend Metal, mientras Rapid-MLX corre kernels MLX puros al ancho de banda nativo de la memoria unificada, de M1 a M5. El repo declara 4.2x sobre Ollama en su tagline mientras el cuerpo documenta hasta 3x de throughput medido — tratá ambos como números reportados por el repo que podés reproducir vos mismo con el rapid-mlx benchmark run incluido, que es exactamente para lo que existe el leaderboard comunitario en rapidmlx.com.

2. Arquitectura en 4 Pasos: Del Request a los Tokens

El README documenta el motor como serving MLX-nativo con continuous batching, KV cache cuantizado en vivo, prompt caching y speculative decoding. Acá va, paso a paso:

3. Quickstart: Sirviendo Qwen en 60 Segundos (Verificado)

Todos los comandos de abajo salen directo del README vivo y de rapidmlx.com/download — verifiqué cada uno contra el repo el 22 de septiembre de 2026. Elegí una vía de instalación y serví. La primera corrida descarga los pesos (~3 GB para el modelo inicial) con barra de progreso; después son segundos.

# Opción A — Homebrew (botella precompilada, sin tap)
brew install rapid-mlx

# Opción B — instalador guiado (detecta RAM, recomienda modelo inicial)
curl -fsSL https://rapidmlx.com/install.sh | bash

# Opción C — pip (necesita Python 3.10+; macOS trae 3.9, así que primero brew install python@3.12)
python3.12 -m pip install rapid-mlx
# Extras: pip install 'rapid-mlx[vision]'  |  pip install 'rapid-mlx[audio]'  |  pip install 'rapid-mlx[all]'

# Chateá ya mismo (por defecto qwen3.5-4b-4bit)
rapid-mlx chat

# O servilo para todas las demás apps
rapid-mlx serve qwen3.5-4b-4bit
# => serving on http://localhost:8000/v1

# Verificá el wire
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"default","messages":[{"role":"user","content":"Say hello"}]}'

# Apuntá cualquier cliente OpenAI — sin key
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
print(client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "Say hello"}],
).choices[0].message.content)

# Claude Code / SDK de Anthropic usa el mismo host: http://localhost:8000
# (la ruta Anthropic messages vive en /v1/messages)

# Conectá tu agente de código en un comando (el servidor debe estar corriendo)
rapid-mlx launch claude-code   # parchea ~/.claude/settings.json, $0 por token
rapid-mlx launch list          # todo lo detectado en esta máquina

# Auto-diagnóstico cuando algo anda raro
rapid-mlx doctor               # metal, imports, CLI, carga del modelo: PASS/FAIL
rapid-mlx benchmark run qwen3.5-9b-4bit   # números reproducibles de TU Mac

Elegí el modelo según tu RAM con rapid-mlx recipe o rapid-mlx info <alias> — Qwen3.5/Qwen3.6 arrancan con thinking activado, así que agregá --no-think si el decode se siente lento. Un caveat honesto del propio README: Cursor rutea los requests BYOK por sus propios servidores, que no alcanzan tu localhost — Cursor necesita un túnel HTTPS público más RAPID_MLX_API_KEY, y eso deja de ser totalmente local. Claude Code, Codex CLI, Aider y OpenCode funcionan directo contra localhost.

4. Elegí por RAM: Qué Entra en tu Mac

La memoria unificada es el techo duro — el modelo, el KV cache y macOS la comparten. Estos son los tiers y velocidades reportados por el repo (página PyPI, tier map del README y benchmarks comunitarios, septiembre 2026):

El patrón común a los cuatro: primero matcheá el alias a tu memoria unificada, segundo medí, y recordá que el decode single-request y el agregado de 4 streams son deportes distintos — el número que importa es el medido en tu workload, en tu chip.

5. Cuándo NO Usar Rapid-MLX: Límites Honestos

Me gusta Rapid-MLX, pero es un servidor solo-Mac con opiniones — tiene gate de plataforma, techo de memoria y un paso de setup. Esta es mi checklist honesta:

Conclusión

Rapid-MLX se gana honestamente sus ~3.800 estrellas: convierte a la Mac de una máquina que puede correr modelos en una que los sirve — kernels MLX-nativos, cachés en cada capa, speculative decoding y una superficie OpenAI-compatible que doce CLIs de agentes ya hablan. El catálogo por tiers de RAM más el harness de benchmarks incluido hacen que la pregunta dolorosa de “qué entra en mi máquina” se responda en dos comandos.

Instalalo con brew, serví qwen3.5-4b-4bit, apuntá un agente a localhost:8000/v1 y compará una semana de tokens locales contra tu última factura de API. Si la calidad aguanta tu workload, el servidor se paga solo el día que dejás de contar tokens.