Liquid LFM3: Seis Modelos Abiertos y Chicos para Agentes y Decisiones en el Dispositivo

Tipos de pregunta (model cards de d1)

• • noul: sí o no; devuelve P(yes).
• • choice: una opción entre criterios con nombre, con probabilidades por opción; con multiple: true pasa a ser multi-etiqueta.
• • score: uno de 2 a 10 niveles ordenados; devuelve el nivel mediano y sus probabilidades.
• • text, number, date: valores leídos del estado, con su span; None si no los encuentra.
• • number con range: una estimación con un intervalo p10–p90.
• • box y boxes: un objeto o todas sus instancias (hasta 16) en una imagen.

Benchmarks de decisión de d1-2B (autorreportados)

Orden: d1-2B / d1-Omni-2B / d1-3B (el modelo de octubre construido sobre LFM2.5), tal como los publica la card de d1-2B. Liquid evaluó a todos sobre los mismos ítems.

• • Decision Index, suite pública (v0.3): 51.1 / 49.0 / 49.0
• • DecisionBench (Hanno Labs) v1: 77.1 / 76.4 / 73.1
• • JevBench v1.4.1: 77.9 / 75.3 / 76.2
• • WorkflowEvals: 81.6 / 77.1 / 74.4
• • Typed Decisions: 61.3 / 63.1 / 65.0 (acá gana el d1-3B anterior)
• • Promedio de los benchmarks públicos que comparten todos los modelos de la card: 70.2 / 67.7 / 65.4
• • Latencia de una pregunta, en caliente, después de model.compile(): 5,7 ms en una NVIDIA H100 PCIe, 3,8 ms en una AMD MI325X, 18,6 ms en una Apple M5 Pro

llama.cpp: el modelo de texto (card de LFM3-1.7B-GGUF)

Necesita b11960 o superior. El segundo comando elige el archivo Q4_0 con destilación consciente de la cuantización, que Liquid entrenó para recuperar la precisión que se pierde en Q4_0.

# llama.cpp b11960 (v0.8.0) or newer
llama-cli -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M \
  --temp 0.1 --top-k 50 --repeat-penalty 1.1

# Quantization-aware distilled Q4_0 build (1.05 GB)
llama-cli -hf LiquidAI/LFM3-1.7B-GGUF \
  --hf-file LFM3-1.7B-QAD-Q4_0.gguf \
  --temp 0.1 --top-k 50 --repeat-penalty 1.1

llama.cpp: d1-2B como servidor de decisiones (card de d1-2B-GGUF)

Cada pregunta se lee en un solo batch, así que -b y -ub tienen que alcanzar para el estado más cualquier media. En llama.cpp, d1 responde preguntas noul, choice y score.

llama-server -hf LiquidAI/d1-2B-GGUF:Q8_0 -b 8192 -ub 8192

curl http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" -d '{
  "state": "I was charged twice this month, please refund one of them.",
  "questions": {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "team": {"type": "choice", "instructions": "Which team should handle this?",
             "criteria": {"billing": "Charges, refunds, invoices", "technical": "App or site faults",
                          "fraud": "Suspected unauthorised use"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["Can wait", "Today", "Blocking the customer now"]}
  }
}'

llama.cpp: una pregunta sobre un video (card de LFM3-VL-2B-GGUF)

La entrada de video necesita ffmpeg en tu PATH. Para un chat interactivo, corré llama-cli con los mismos flags y escribí /image o /video para adjuntar media.

llama-mtmd-cli -hf LiquidAI/LFM3-VL-2B-GGUF:Q4_0 \
  --video reading.mp4 -p "What is the child doing in this video?" \
  --temp 0.1 --top-p 1.0 --top-k 50 --min-p 0.0 --repeat-penalty 1.1

Ollama 0.40.12 en hardware de Apple (release notes)

lfm3:latest es el 1.7B en NVFP4 sobre el motor MLX de Ollama (1,7 GB). Pedí d1:2b de forma explícita, porque d1:latest sigue apuntando al d1-3B anterior.

ollama run lfm3

ollama run d1:2b "I was charged twice for order 4417." --ask "Is this a billing issue?"

Transformers: LFM3-1.7B (model card)

Carga el código de modelo propio de Liquid desde el repo. El razonamiento viene activo por defecto; mirá las notas de sampling más abajo.

# pip install -U transformers torch accelerate
from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="LiquidAI/LFM3-1.7B",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
    messages,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])

Transformers: d1-2B (model card)

Un solo forward pass y ningún parámetro de sampling. La última línea es la salida que muestra la card, no una que haya obtenido yo.

# pip install "transformers>=5.19" torch torchvision pillow
import torch
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float32 if device == "cpu" else torch.bfloat16
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True, dtype=dtype).to(device)

# Several named questions over one state, answered in one pass
questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},  # yes/no: P(yes)
    "team": {"type": "choice", "instructions": "Which team should handle this?",
             "criteria": {"billing": "Charges, refunds, invoices", "shipping": "Delivery and parcels",
                          "technical": "App or site faults"}},
    "topics": {"type": "choice", "multiple": True, "instructions": "Which topics does the message raise?",
               "criteria": {"billing": "Payments and charges", "delivery": "Shipping and parcels",
                            "login": "Signing in to the account"}},
    "urgency": {"type": "score", "instructions": "How urgent is this ticket?", "criteria": ["low", "medium", "high"]},
}
out = model.system_one("I was charged twice and my parcel never arrived. Please refund one charge.", questions)
a = out["answers"]
urgency = a["urgency"]["legend"][str(int(a["urgency"]["score"]))]
print(round(a["refund"]["noul"], 2), a["team"]["choice"], a["topics"]["choices"], urgency)
# 1.0 billing ['billing', 'delivery'] medium

MLX: el modelo de texto en 4 bits (cuando mlx-lm lo soporte)

Este es el comando de la card, y no corre en mlx-lm 0.32.2. La CLI no tiene flag de repetition penalty, así que la card sugiere make_logits_processors(repetition_penalty=1.1) en Python.

mlx_lm.generate --model LiquidAI/LFM3-1.7B-MLX-4bit \
  --prompt "What is the capital of Australia?" \
  --temp 0.1 --top-k 50 --max-tokens 16384