KI-NEWS: Aktuelle Entwicklungen im lokalen LLM-Ökosystem

Releases

• llama.cpp v0.1.3: Unterstützung für neue Architekturen und Optimierungen hinzugefügt.

Open-Weight-Modelle

• Neue LLaMA-Modelle verfügbar, darunter 7B, 13B und 30B Varianten.

Sicherheit

• CVE-2023-XXXX: Ollama ist auf allen Plattformen betroffen. Das Problem wurde in der neuesten Version (0.17.1) behoben.

Ökosystem

• Jan v0.3.0: Verbesserungen an der Benutzeroberfläche und neuen Funktionen hinzugefügt.

Performance / Engineering

• llama.cpp: Spekulative Decodierung für Apple Silicon hinzugefügt. Ollama bietet diese Funktion noch nicht an.

Ollama vs llama.cpp

• Ollama 0.24.0 hat die Codex-App mit integriertem Browser; llama.cpp setzt weiterhin auf externe UIs wie Open WebUI.