Docker GPU en 2026: Desplegá Apps de IA con Compose

1. El Problema: Anda en Mi GPU (y en Ningún Otro Lado)

Desplegar una app de IA con GPU tiene tres piezas móviles que deben coincidir: el driver de NVIDIA en el host, el runtime que expone la GPU y las librerías CUDA dentro de la imagen. Cuando alguna se desvía — un tutorial con flags viejos de nvidia-docker2, un Compose con claves de runtime de 2021, un Dockerfile que lleva devel a producción — aparecen errores crípticos a las 2am e imágenes de varios gigabytes.

El objetivo de esta guía es un stack reproducible que puedas commitear: un setup de host verificado, un compose.yaml con reservas GPU explícitas y un Dockerfile multi-stage que compila en devel y despliega en runtime. Cada comando fue verificado contra la documentación oficial de NVIDIA y Docker.

2. Conceptos Mínimos que Realmente Necesitás

Solo importan cuatro ideas. Entendelas y cada mensaje de error de GPU empieza a tener sentido.

3. Tutorial: App de IA con GPU en Compose, Paso a Paso

Vamos de un host Linux pelado con GPU NVIDIA a una API de inferencia en Python con acceso a GPU, en seis pasos. Flujo probado, solo comandos oficiales.

nvidia-smi

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu22.04 nvidia-smi

services:
  api:
    build: .
    ports:
      - "8000:8000"
    volumes:
      - model-cache:/models
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

volumes:
  model-cache:

# Etapa 1: compilar extensiones nativas (solo si compilás algo)
FROM nvidia/cuda:12.8.0-devel-ubuntu22.04 AS builder
WORKDIR /build
COPY requirements.txt .
RUN apt-get update && apt-get install -y --no-install-recommends python3 python3-pip \
    && rm -rf /var/lib/apt/lists/* \
    && pip3 install --no-cache-dir --prefix=/install -r requirements.txt

# Etapa 2: runtime liviano para producción
FROM nvidia/cuda:12.8.0-runtime-ubuntu22.04
ENV DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install -y --no-install-recommends python3 python3-pip \
    && rm -rf /var/lib/apt/lists/*
COPY --from=builder /install /usr/local
COPY . /app
WORKDIR /app
CMD ["python3", "main.py"]

docker compose up --build -d
docker compose exec api nvidia-smi
docker compose exec api python3 -c "import torch; print(torch.cuda.is_available())"

4. Errores Comunes (y el Fix Exacto)

Estas cinco fallas cubren más o menos el 90% del dolor con Docker y GPU. Cada una tiene un fix determinístico — sin reinstalar el mundo.

Conclusión

Los contenedores con GPU solo se sienten frágiles cuando las tres capas se improvisan por separado. Con el sistema de esta guía — driver más toolkit en el host, reservas explícitas en Compose, sabores CUDA pineados, imágenes multi-stage — tu app de IA se vuelve infraestructura aburrida: un repo, un compose up, mismo comportamiento de GPU en todos lados.

Empezá por el checklist de aceptación en tu propia máquina, después pineá tus tags y commiteá. Si lo próximo es desplegar modelos abiertos sobre ese stack, mis guías de GPT-OSS y Qwen3 muestran exactamente qué correr encima.

Fuentes

• NVIDIA Container Toolkit — Guía de instalación
• Docs de Docker — Servicios Compose con acceso GPU
• Docs de Docker — Especificación Deploy de Compose (devices)
• nvidia/cuda — Docker Hub
• Contenedores CUDA — Catálogo NGC de NVIDIA