Lokales RAG & Dokumenten-KI: Mit eigenen PDFs & Akten chatten
Verwandle Verträge, Handbücher, Rechnungen, IT-Dokumentationen und dein gesamtes Nextcloud- oder Paperless-Archiv in eine intelligente Wissensdatenbank – komplett lokal auf deiner eigenen Hardware, ohne ein einziges Byte in die Cloud hochzuladen.
⚙️ So funktioniert eine lokale RAG-Pipeline in 3 Schritten
Dokumente einlesen
PDFs, Word-Dateien, Markdown-Notizen oder Webseiten werden lokal eingelesen und in sinnvolle Textabschnitte (Chunks von z. B. 1.000 Zeichen) zerlegt.
Vektor-Index (`bge-m3`)
Das Sprachmodell bge-m3 wandelt jeden Absatz in mathematische Bedeutungs-Vektoren um und speichert sie lokal (z. B. in Qdrant oder ChromaDB).
Präzise KI-Antwort
Bei deiner Frage sucht das System die relevantesten Textstellen heraus und übergibt sie an Mistral Small 3 oder DeepSeek-R1 – inklusive genauer Seitenangabe!
Die 3 besten Open-Source RAG-Systeme 2026
OpenWebUI + BGE-M3 (Hybrid Search)
Integrierte Wissensdatenbank („Knowledge“) direkt in OpenWebUI. Kombiniert Vektor-Suche mit klassischer Keyword-Suche (BM25) und Reranking für höchste Treffergenauigkeit bei deutschen PDFs.
AnythingLLM (Desktop & Docker)
Kompletter KI-Workspace für Windows, macOS, Linux und Docker. Ziehe Ordner mit PDFs, Word-Dateien, Rechnungen oder Code-Repositories per Drag & Drop hinein und chatte sofort lokal damit.
Paperless-ngx + Lokale KI (Ollama)
Verbinde deine Dokumentenverwaltung Paperless-ngx mit Ollama (Llama 3.2 Vision / Mistral Small 3), um Briefe, Verträge und Steuerbelege vollautomatisch zu verschlagworten und zusammenzufassen.
🚀 Schnellstart: Perfektes deutsches RAG in Ollama & OpenWebUI
Standardmäßig nutzt OpenWebUI ein kleines englisches Embedding-Modell. Mit diesen 3 Befehlen stellst du auf das deutlich präzisere mehrsprachige BGE-M3 um:
ollama pull bge-m3 ollama pull mistral-small:24b
- Embedding-Modell-Engine: Auf
Ollamastellen und Modellbge-m3:latesteintragen. - Hybrid-Suche (Hybrid Search): Aktivieren (kombiniert Vektor-Suche mit exakter Stichwortsuche für Paragraphen, Rechnungsnummern & IP-Adressen!).
- Chunk-Größe:
1000bis1500Zeichen bei200Zeichen Überlappung (Chunk Overlap).
Empfohlene Hardware für Dokumenten-KI & RAG
Vom schnellen NVMe-Speicher für Vektor-Indizes bis zum Dokumentenscanner für dein papierloses KI-Archiv:
Samsung 990 PRO 2TB NVMe SSD (PCIe 4.0)
7.450 MB/s Lesen • Extrem hohe IOPS für Vektor-Datenbanken (Qdrant / ChromaDB)
💡 Beschleunigt das Einlesen (Chunking & Embedding) tausender PDFs und das Laden großer Sprachmodelle massiv
Minisforum UM890 Pro (Ryzen 9, 64GB DDR5, 1TB SSD)
AMD Ryzen 9 8945HS, 64GB DDR5 RAM, Dual-2.5G LAN, OCuLink
💡 Genug RAM für Qdrant Vektor-DB + Paperless-ngx + Nextcloud + Ollama im parallelen Docker-Betrieb
Synology DiskStation DS224+ NAS (für Dokumenten-Archiv)
2-Bay NAS, Intel Celeron J4125, erweiterbar mit RAM, perfekt für Paperless & Backups
💡 Zentraler, ausfallsicherer Netzwerkspeicher (RAID 1) für alle sensiblen PDFs und Unternehmensdokumente
Fujitsu ScanSnap iX1600 Dokumentenscanner
40 Seiten/Min. Duplex-Scanner, WLAN, direkter Scan an NAS / Paperless-ngx
💡 Digitalisiert Aktenordner in Minuten in durchsuchbare PDFs als Futter für deine lokale Wissens-KI
❓ Häufige Fragen zu lokalem RAG
Warum brauche ich für deutsche Dokumente ein spezielles Embedding-Modell wie bge-m3?
Viele Standard-Embedding-Modelle sind fast ausschließlich auf Englisch trainiert und finden deutsche Fachbegriffe oder zusammengesetzte Wörter schlecht. Das Open-Source-Modell BGE-M3 (`ollama pull bge-m3`) beherrscht über 100 Sprachen inklusive Deutsch auf Spitzen-Niveau und unterstützt bis zu 8.192 Tokens pro Textabschnitt.
Verlassen meine PDFs oder Verträge bei lokalem RAG jemals meinen Server?
Nein. Wenn du Ollama lokal mit einem Embedding-Modell (`bge-m3` oder `nomic-embed-text`) und einer lokalen Oberfläche wie OpenWebUI oder AnythingLLM betreibst, findet sowohl die Vektor-Berechnung als auch die Antwortgenerierung zu 100 % offline auf deiner eigenen Hardware statt.