Nutzen Sie AnythingLLM 10x schneller mit GPU-Beschleunigung in Docker

NVIDIA Runtime: Die unsichtbare Ebene

Docker hat standardmäßig keinen GPU-Zugriff. Das NVIDIA Container Toolkit korrigiert dies. Es fängt docker run-Befehle ab, erkennt GPU-Anfragen und injiziert die passenden NVIDIA-Bibliotheken, Treiber und Gerätedateien in den Container.

Ohne das Toolkit läuft AnythingLLM zwar, aber die Modelle nutzen nur die CPU. Mit dem Toolkit steht GPU-Rechenleistung innerhalb des Containers genauso zur Verfügung wie auf dem Host.

CUDA und cuDNN: Versionsabgleich

CUDA ist die Rechenplattform von NVIDIA. cuDNN besteht aus optimierten Bibliotheken für neuronale Netze. Ihre Host-CUDA-Version muss mit der CUDA-Version in Ihrem AnythingLLM Docker-Image übereinstimmen. Ein Konflikt führt dazu, dass Modelle die GPU nicht nutzen.

Prüfung: nvidia-smi (zeigt die Host-Treiberversion). Prüfen Sie die Docker-Logs für den AnythingLLM-Container (zeigt die CUDA-Version im Image). Wenn sie nicht übereinstimmen, ziehen Sie ein anderes Image-Tag von ollama/ollama:gpu oder geben Sie CUDA 11.8 vs 12.1 explizit an.

Speicher und Layer-Auslagerung

Ein 13B-Modell benötigt mindestens 16GB VRAM, um vollständig auf die GPU zu passen. Wenn Ihre Karte 8GB hat, setzen Sie OLLAMA_NUM_GPU=20 (lagert 20 Transformer-Layer auf die GPU aus, der Rest läuft auf der CPU). Das ist langsamer, aber immer noch 3-5x schneller als reine CPU-Nutzung.

AnythingLLM und Ollama handhaben diesen Kompromiss automatisch. Überwachen Sie nvidia-smi während der Inferenz, um zu sehen, welche Layer auf der GPU liegen. Wenn Sie 0% GPU-Auslastung während des Chats sehen, passt das Modell auf die CPU und die GPU wird nicht genutzt.

Docker Compose vs. Raw docker run

Compose-Dateien sind sauberer. Eine Datei definiert den gesamten Stack: AnythingLLM-Container, Netzwerk, Volumes, GPU-Geräte, Umgebungsvariablen. Nutzen Sie docker-compose up -d und alles startet. Nutzen Sie docker-compose logs -f zum Debuggen. Nutzen Sie docker-compose down zum Stoppen.

Raw docker run-Befehle sind zwar einzeilig, aber schwerer zu reproduzieren und später zu debuggen. Für die Produktion sollten Sie immer Compose verwenden.

Datenpersistenz und Backups

AnythingLLM speichert Dokumente, Embeddings und Chats in einer lokalen Datenbank (standardmäßig SQLite). Mounten Sie diese auf ein Host-Volume: volumes: - /pfad/auf/host/anythingllm-data:/app/server/storage. So überleben Ihre Daten Container-Neustarts und Updates.

Für die Produktion sollten Sie diesen Ordner wöchentlich sichern. Für die EU-Konformität bleibt dieser Ordner in Ihrer Umgebung. Keine Cloud-Synchronisierung. Kein Zugriff durch Dritte.