Auf dem PC gibts oft Ordner, die man gar nicht mehr öffnen möchte: Da finden sich Dutzende Rechnungen, Handbücher oder ein Haufen Excel-Tabellen – alles über mehrere Jahre gesammelt, reingeworfen und so gar nicht strukturiert. Wer da eine Information sucht, benötigt viel Geduld. Oder man fragt in einem Chatfenster einfach: „Wie hoch war mein Stromverbrauch im letzten Quartal, und wie viel muss ich im Januar nachzahlen?“ Das geht mit AnythingLLM.

Die Firma hinter AnythingLLM heißt Mintplex Labs und ist ein kleines amerikanisches Unternehmen. AnythingLLM selbst ist kein Large Language Model (LLM), sondern fungiert als Brücke: Es lädt Dateien und Dokumente in Workspaces, wandelt sie in Vektoren um und zieht dann ein separates LLM für Antworten auf Prompts heran. Die Antworten basieren dann dokumentenübergreifend auf dem Inhalt der angegebenen Quellen.

In diesem Artikel zeigen wir, wie Sie AnythingLLM zusammen mit dem lokalen Open-Source-Werkzeug Ollama und einem leistungsstarken KI-Modell wie Gemma auf Ihrem Rechner einrichten. Dabei erklären wir Schritt für Schritt, wie Sie Dokumente lokal auswerten. Durch den Einsatz von Agenten sowie spezifischen Optimierungen können Sie das System zusätzlich an Ihre Bedürfnisse anpassen.

Das war die Leseprobe unseres heise-Plus-Artikels "AnythingLLM: Eigene Dokumente mit KI lokal auswerten". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.