PC für lokale KI-Modelle (LLM) selbst zusammenstellen
Sprachmodelle wie Qwen, Llama oder DeepSeek lassen sich vollständig auf dem eigenen Rechner betreiben — ohne Cloud, ohne Abo, ohne dass deine Daten das Haus verlassen. Entscheidend ist dabei eine einzige Zahl: der Grafikspeicher (VRAM). Passt das Modell hinein, antwortet es flüssig. Passt es nicht, wird ausgelagert — und es wird zäh.
Wie viel Grafikspeicher braucht welches Modell?
Als Faustformel gilt: Parameter (in Milliarden) × Bytes pro Parameter × 1,15 + Reserve für den Kontext. Die Bytes pro Parameter hängen von der Quantisierung ab — also davon, wie stark die Gewichte komprimiert gespeichert werden.
| Modell | Größe | VRAM (Q4) | VRAM (Q8) | Wofür geeignet |
|---|---|---|---|---|
| Qwen3 4B | 4B | 3 GB | 6 GB | Einstieg, läuft fast überall |
| Qwen3 8B | 8B | 6 GB | 10 GB | Guter Allrounder für den Alltag |
| Qwen3 14B | 14B | 10 GB | 18 GB | Deutlich klüger, braucht Mittelklasse-VRAM |
| Qwen3 32B | 32B | 22 GB | 40 GB | Sehr stark, ab 24-GB-Karte |
| Qwen2.5 Coder 7B | 7B | 5 GB | 9 GB | Programmieren, klein und schnell |
| Qwen2.5 Coder 32B | 32B | 22 GB | 40 GB | Programmieren auf hohem Niveau |
| Llama 3.1 8B | 8B | 6 GB | 10 GB | Klassiker, sehr gut unterstützt |
| Llama 3.3 70B | 70B | 46 GB | 87 GB | Profi-Klasse, mehrere Karten nötig |
| DeepSeek-R1 Distill 7B | 7B | 5 GB | 9 GB | Schlussfolgern, klein |
| DeepSeek-R1 Distill 14B | 14B | 10 GB | 18 GB | Schlussfolgern, Mittelklasse |
| DeepSeek-R1 Distill 32B | 32B | 22 GB | 40 GB | Schlussfolgern, stark |
| DeepSeek-R1 Distill 70B | 70B | 46 GB | 87 GB | Maximale Qualität, Workstation |
| Mistral 7B | 7B | 5 GB | 9 GB | Schnell und sparsam |
| Mixtral 8x7B | 47B | 31 GB | 59 GB | MoE: schnell, braucht aber viel Speicher |
| Gemma 3 4B | 4B | 3 GB | 6 GB | Sehr genügsam |
| Gemma 3 27B | 27B | 18 GB | 34 GB | Stark, ab 20-GB-Karte |
| Phi-4 14B | 14B | 10 GB | 18 GB | Stark in Logik/Mathe für seine Größe |
| GPT-OSS 20B | 20B | 14 GB | 25 GB | Offenes Modell, Mittelklasse |
| GPT-OSS 120B | 120B | 79 GB | 149 GB | Sehr groß — Workstation/Multi-GPU |
Was bedeutet Quantisierung?
Quantisierung reduziert die Genauigkeit der gespeicherten Gewichte. Das klingt schlimmer, als es ist: Der Qualitätsunterschied zwischen Q4 und dem Original ist in der Praxis gering, der Speicherbedarf halbiert sich aber.
| Variante | Einordnung |
|---|---|
| Q4 (empfohlen) | Bester Kompromiss: kaum Qualitätsverlust, halber Speicher. |
| Q8 (hohe Qualität) | Nahe am Original, braucht rund doppelt so viel VRAM wie Q4. |
| FP16 (unquantisiert) | Volle Genauigkeit — nur für Training/Feintuning oder sehr große Karten. |
Welche Hardware ist wirklich wichtig?
- Grafikspeicher (VRAM) ist die harte Grenze: Was nicht hineinpasst, läuft langsam.
- NVIDIA ist bei lokaler KI der bequemere Weg — CUDA wird von praktisch jedem Programm unterstützt.
- Arbeitsspeicher großzügig wählen: mindestens so viel RAM wie VRAM, besser das Doppelte.
- Eine schnelle SSD spart Wartezeit: große Modelle sind zweistellige Gigabyte groß.
Konkret heißt das: Eine gebrauchte Karte mit 24 GB Speicher ist für lokale KI oft die klügere Wahl als eine neuere, spielstärkere Karte mit 12 GB — denn ein Modell, das nicht in den Speicher passt, wird nicht langsam, sondern unbrauchbar langsam.
Einrichtung Schritt für Schritt
1. Programm installieren
Für den Einstieg ist LM Studio am einfachsten: grafische Oberfläche, Modell-Browser und Chat in einem. Wer lieber ein Terminal nutzt oder das Modell per API ansprechen will, nimmt Ollama. Beide sind kostenlos und laufen unter Windows, macOS und Linux.
2. Grafiktreiber aktuell halten
NVIDIA: aktueller GeForce-Treiber genügt, CUDA wird mitgeliefert. AMD: aktueller Adrenalin-Treiber; unter Windows läuft die Beschleunigung über Vulkan/ROCm, je nach Programm. Ohne aktuellen Treiber rechnet alles auf der CPU — das ist um ein Vielfaches langsamer.
3. Modell in der richtigen Größe laden
Lade die quantisierte Variante (Dateiname enthält z. B. „q4_K_M“). Quantisierung heißt: die Gewichte werden mit weniger Bit gespeichert. Q4 halbiert den Speicherbedarf gegenüber Q8 bei kaum spürbarem Qualitätsverlust — deshalb ist Q4 für die meisten die richtige Wahl.
4. Prüfen, dass die GPU wirklich rechnet
Im Task-Manager (Reiter „Leistung“ → GPU) muss der Grafikspeicher beim Laden des Modells deutlich ansteigen. Bleibt er leer und die CPU-Last geht hoch, läuft das Modell auf der CPU: dann in den Programm-Einstellungen die GPU-Schichten („GPU layers“) hochsetzen.
5. Kontextlänge bewusst wählen
Der Kontext (wie viel Text das Modell gleichzeitig „sieht“) belegt zusätzlichen Speicher. Sehr lange Kontexte können ein Modell sprengen, das sonst gut passt. Im Zweifel klein anfangen (8k) und erhöhen, solange alles in den Grafikspeicher passt.
6. Wenn das Modell nicht ganz in den VRAM passt
Dann wird ein Teil in den Arbeitsspeicher ausgelagert („Offloading“). Das funktioniert, ist aber deutlich langsamer. Genau deshalb ist bei KI-PCs der Grafikspeicher wichtiger als die reine Spieleleistung — und viel RAM hilft als Puffer.
Häufige Fragen
Welche Grafikkarte brauche ich für lokale KI?
Entscheidend ist der Grafikspeicher: 8 GB reichen für kleine Modelle bis etwa 8 Milliarden Parameter, 16 GB für die Mittelklasse, 24 GB für Modelle um 32 Milliarden Parameter. NVIDIA ist wegen CUDA der unkomplizierteste Weg.
Geht das auch mit AMD-Grafikkarten?
Ja, über ROCm oder Vulkan — es funktioniert, erfordert je nach Programm aber mehr Handarbeit als bei NVIDIA.
Was passiert, wenn das Modell nicht in den VRAM passt?
Dann wird ein Teil in den Arbeitsspeicher ausgelagert. Das Modell läuft weiter, antwortet aber deutlich langsamer. Deshalb lieber ein kleineres Modell oder eine stärkere Quantisierung wählen.
Wie viel Arbeitsspeicher sollte der PC haben?
Mindestens so viel RAM wie Grafikspeicher, besser das Doppelte. 32 GB sind für lokale KI ein guter Ausgangspunkt.
Welches Programm ist für den Einstieg am besten?
LM Studio bietet eine grafische Oberfläche mit Modell-Browser und Chat. Ollama ist die Wahl, wenn du das Modell per Kommandozeile oder API ansprechen willst.
Brauche ich für KI eine besonders schnelle CPU?
Nein, solange das Modell auf der Grafikkarte läuft. Erst wenn ausgelagert wird, gewinnen CPU und Speichertempo an Bedeutung.