(g+) Lokales Sprachmodell: Vom Ollama-Demo zur produktiven Open-LLM-App
Ein lokales Sprachmodell läuft in Minuten. Wie daraus eine Anwendung wird, entscheidet der Code drumherum. Eine Anleitung von Bastian Gruber (KI, Spracherkennung)
Ein lokales Sprachmodell läuft in Minuten. Wie daraus eine Anwendung wird, entscheidet der Code drumherum. Eine Anleitung von Bastian Gruber (KI, Spracherkennung)
🚀 Releases Ollama 0.30 Serie Ollama 0.30.0–0.30.7 (5.–8. Juni 2026, GitHub): Große Welle mit verbesserter llama.cpp-Integration und GGUF-Kompatibilität. Ollamas MLX-Engine auf Apple Silicon wird nun durch GGUF-Support ergänzt, was mehr Modelle auf einer breiteren Hardware-Range unterstützt. Neue Highlights der 0.30er-Serie: Hermes Desktop (v0.30.7): Ollama Launch integriert jetzt ollama launch hermes-desktop für native Desktop-Schnittstelle des Hermes-Agent […]
🚀 Releases Ollama 0.30.x (5. Juni 2026) – Mit verbesserter GGUF-Kompatibilität durch llama.cpp. 0.30.6 führt Gemma 4 QAT-gewichte ein (4 Größen mit Quantization-Aware Training), verbessertes MLX-Embedding auf Apple Silicon mit NVFP4 global scale. 0.30.5 behebt Gemma 4 12B Floating-Point-Exception auf x86/CUDA/Linux/Windows. 0.30.4 bringt Nemotron 3 Ultra, Multi-Modal-GPU-Offload auf Apple Silicon, und das ollama launch-Ökosystem ist […]
🚀 Releases Ollama 0.30 (5. Juni 2026) Die neueste Version bringt verbesserte Performance und erweiterte GGUF-Modellkompatibilität durch llama.cpp-Integration. Highlights: NVIDIA-Hardware: bis zu 20% schneller (getestet mit Gemma 4 26B, Q4_K_M auf RTX 5090) Vulkan standardmäßig aktiviert — GPU-Beschleunigung jetzt auf AMD und Intel Geräten ohne zusätzliche Vendor-Libraries Erweiterte GGUF-Ökosystem-Unterstützung: LFM, Prism, Unsloth-feinabgestimmte Modelle jetzt direkt […]
🚀 Releases Ollama 0.30 (5. Juni 2026) Verbesserte Performance und GGUF-Kompatibilität: Ollama 0.30 bringt bis zu 20% schnellere Inferenz auf NVIDIA-Hardware (getestet mit Gemma 4 26B auf RTX 5090) und erweitert Vulkan-Unterstützung für AMD und Intel GPUs. Das Release augmentiert die MLX-Engine auf Apple Silicon und ermöglicht direktes Laden von GGUF-Dateien von Hugging Face mit […]
🚀 Releases Ollama 0.30 (5. Juni 2026) – Verbesserte Performance und GGUF-Modellunterstützung Die neue Version bringt bis zu 20% schnellere Durchsätze auf NVIDIA-Hardware, erweiterte GPU-Unterstützung durch standardmäßig aktiviertes Vulkan, und native GGUF-Modelkompatibilität durch die Integration von llama.cpp. Nutzer können nun beliebige GGUF-Dateien von Hugging Face verwenden, auch von Unsloth-Quantisierungen. Apple-Silicon-Nutzer profitieren von erweiterten MLX-Engine-Optimierungen. Zudem […]
Wochenrückblick zum lokalen LLM-Ökosystem: llama.cpp b9411 bringt natives DeepSeek-V3.2-Support, Ollama 0.24 startet die Codex-App, das 0.30-Pre-release kündigt eine Architektur-Migration zu llama.cpp an — plus zwei aktive Sicherheitslücken (CVE-2026-7482 & Windows-RCE).
Ollama 0.24 mit Codex-App, v0.30.0-Architekturwechsel zu llama.cpp, drei Sicherheitslücken (Bleeding Llama CVE-2026-7482 + zwei Windows-RCE-CVEs), neue Modelle Kimi K2.6/GLM-5.1/Qwen3.6 sowie LM Studio MTP-Stable und Open WebUI 0.9.5.
Ollama 0.24 bringt die Codex App, eine kritische GGUF-Speicherleck-Schwachstelle (CVE-2026-7482) wird aktiv ausgenutzt, llama.cpp veröffentlicht täglich neue Builds, und gpt-oss von OpenAI ist jetzt lokal via Ollama und llama.cpp nutzbar.
Tages-Roundup vom 27. Mai 2026: Ollama 0.24 mit Codex-Integration und 6,7× API-Caching, llama.cpp b9333, drei aktive Ollama-CVEs (davon zwei Windows-RCE noch ungeklärt), Kimi K2.6, GLM-5.1 und DeepSeek V4 Flash als Community-GGUF.