Top 5 Features von LlamaIndex

1.  Data Loading

Um LLM-Anwendungen zu erstellen, die auf Ihre Daten zugreifen können, ist es erforderlich, diese Daten zu verarbeiten und zu laden. LlamaIndex erreicht dies durch Daten-Connectoren, auch bekannt als Reader. Diese Connectoren können Daten aus verschiedenen Quellen einlesen und in Dokumentobjekte formatieren, die Sammlungen von Textdaten und Metadaten darstellen.

Der SimpleDirectoryReader von LlamaIndex ist eine einfache Klasse, die Dokumente aus jeder Datei in einem angegebenen Verzeichnis erstellt. Er kann eine Vielzahl von Dateitypen lesen, darunter Markdown, PDFs, Word-Dokumente, PowerPoint-Präsentationen, Bilder, Audio- und Videodateien.

LlamaHub ist ein von LlamaIndex bereitgestelltes Verzeichnis, in dem Benutzer Daten-Connectoren für ihre spezifischen Anwendungsfälle herunterladen können.

LlamaParse ist ein hochmodernes Werkzeug zum Laden von PDF-Dateien, das als verwaltete API verfügbar ist. Es ist darauf ausgelegt, RAG-Systeme über komplexe PDFs mit eingebetteten Tabellen und Diagrammen zu erstellen. LlamaIndex bietet einen proprietären Parsing-Dienst, der sich hervorragend dafür eignet, PDFs mit komplexen Tabellen in gut strukturierte Markdown-Formate zu konvertieren. Diese Darstellung kann weiter mithilfe fortschrittlicher Markdown-Parsing- und rekursiver Retrieval-Algorithmen, die in der Open-Source-Bibliothek verfügbar sind, analysiert werden. LlamaParse ermöglicht es Benutzern, RAG-Systeme über komplexe Dokumente zu erstellen, die Fragen zu sowohl tabellarischen als auch unstrukturierten Daten beantworten können.

Darüber hinaus bietet LlamaIndex verschiedene Methoden zur Transformation geladener Daten, wie Node Parser und Text Splitter, die es LLMs erleichtern, die Daten zu verarbeiten.

2. Datenindizierung

Um relevante Informationen schnell aus einer Benutzeranfrage abzurufen, müssen wir unsere Daten indexieren. Ein Index ist eine Datenstruktur, die ein Kernelement für RAG-Anwendungsfälle darstellt. Die Indexierung ist der Schritt, der auf das Laden und die Transformation von Daten folgt. Indizes speichern Daten in Node-Objekten, die erstellt werden, nachdem die Originaldokumente in Abschnitte aufgeteilt wurden. Es gibt verschiedene Arten von Indizes:

• Summary Index: Speichert Nodes als eine sequentielle Kette. Abgerufene Nodes können zum Beispiel mit einem Stichwortfilter oder einem Top-k-Nachbarparameter gefiltert und dann in das Response-Synthesemodul geladen werden, das eine Antwort generiert.
  
  
• Vector Store Index: Speichert jeden Node und dessen entsprechende Einbettung in einem Vector Store. Bei einer Abfrage werden die Top-k ähnlichsten Nodes in das Response-Synthesemodul übergeben.
  
  
• Tree Index: Repräsentiert eine hierarchische Struktur von Nodes. Eine Abfrage in einem Tree-Index beinhaltet das Durchlaufen von den Wurzel-Nodes bis hin zu den Blatt-Nodes. Der child_branch_factor kann festgelegt werden, um zu entscheiden, wie viele Kind-Nodes für einen gegebenen Eltern-Node ausgewählt werden sollen. Die ausgewählten Blatt-Nodes werden dann in das Response-Synthesemodul übergeben.
  
  
• Keyword Table Index: Ordnet Stichwörter, die in den Nodes gefunden werden, den entsprechenden Nodes zu. Bei einer Abfrage werden relevante Stichwörter aus der Abfrage extrahiert und mit den Stichwörtern im Tabellenindex abgeglichen. Die Nodes, die diesen Stichwörtern zugeordnet sind, werden in das Response-Synthesemodul übergeben.

3. Engines

Indizierte Daten können mithilfe der Query- und Chat-Engines abgefragt werden. Die Query-Engine ist eine generische Schnittstelle, die es Benutzern ermöglicht, Fragen zu ihren Daten zu stellen. Die Chat-Engine ist eine Schnittstelle, um ein Gespräch mit den Daten zu führen.

Query Pipelines

Anfang 2024 führte LlamaIndex die Query Pipelines ein, eine API innerhalb von LlamaIndex, die es Benutzern ermöglicht, einfache bis fortgeschrittene Abfrage-Workflows über ihre Daten zu orchestrieren.

QueryPipeline

QueryPipeline ist eine Abstraktion, die verschiedene LlamaIndex-Module wie LLMs, Prompts, Query Engines und Retriever integrieren kann. Sie kann einen Berechnungsgraphen über diese Module erstellen und entweder eine sequenzielle Kette oder einen gerichteten azyklischen Graphen (DAG) bilden. Retrieval Augmented Generation (RAG) Systeme beinhalten eine Menge Abfrageorchestrierung. Der Aufbau einer fortschrittlichen RAG-Pipeline, bestehend aus Abfrageumwandlungen, mehrstufigen Retrieval-Algorithmen und der Verwendung von Prompts und LLMs, die für die Leistung optimiert sind, kann eine komplexe Aufgabe sein.

Die Vorteile von QueryPipeline sind:

• Erstellung von Abfrage-Workflows mit weniger Code: Die Ausgaben einiger Module müssen nicht manuell in die Eingaben anderer Module umgewandelt werden. Das bedeutet, dass QueryPipeline die genauen Typisierungsargumente für jedes Modul übernimmt.
  
  
• Bessere Lesbarkeit: Reduzierte Komplexität führt zu besserer Lesbarkeit.
  
  
• End-to-End-Überwachbarkeit: Integration von Rückruffunktionen über die gesamte Pipeline.

Sequential Chains

Sequential Chains sind einfache Pipelines, bei denen die Ausgabe des vorherigen Moduls direkt in die Eingabe des nächsten Moduls übergeht. Einige Beispiele:

• Prompt -> LLM -> Ausgabeparsing
• Retriever -> Antwortsynthese 

DAG für Fortgeschrittene RAG-Workflows

Um einen fortgeschrittenen RAG-Workflow aufzubauen, der Umschreiben, Retrieval, Neuanordnung, Synthese usw. umfasst, müssen Benutzer die Module definieren, die sie verwenden möchten. Darüber hinaus müssen sie die Abfragepipeline definieren und die definierten Module integrieren. Schließlich müssen die Verbindungen zwischen den Modulen hinzugefügt werden, um die Beziehungen zwischen den Modulen aufzubauen.

4. Evaluation und Beobachtbarkeit

Evaluation und Benchmarking sind grundlegend für die Entwicklung von LLM-Anwendungen. In diesem Kontext bietet LlamaIndex wesentliche Werkzeuge zur Bewertung und Verbesserung der Leistung von LLM-Anwendungen, insbesondere RAG-Systemen. Die beiden Hauptkomponenten der Bewertung sind die Antwortbewertung und die Retrieval-Bewertung.

Antwortbewertung

Die Bewertung der Qualität generierter Antworten stellt aufgrund der nuancierten Natur des Sprachverständnisses einzigartige Herausforderungen dar. LlamaIndex adressiert dies mit LLM-basierten Bewertungsmodulen, die die Qualität der Ergebnisse anhand verschiedener Kriterien messen, darunter:

• Korrektheit: Entspricht die generierte Antwort der Referenzantwort, gegeben die Anfrage?
  
  
• Semantische Ähnlichkeit: Wie nahe kommt die vorhergesagte Antwort der Referenzantwort in ihrer Bedeutung?
  
  
• Genauigkeit: Ist die generierte Antwort den abgerufenen Kontexten treu und vermeidet die Einführung falscher Informationen?
  
  
• Relevanz von Kontext und Antwort: Sind der abgerufene Kontext und die generierte Antwort relevant für die Anfrage?
  
  
• Einhaltung von Richtlinien: Hält sich die generierte Antwort an vordefinierte Richtlinien oder Standards?

Fragegenerierung

Über die Antwortbewertung hinaus erleichtert LlamaIndex die Fragegenerierung mithilfe der bereitgestellten Daten. Diese Funktion ermöglicht die automatische Erstellung von Fragen zu Bewertungszwecken, sodass Entwickler die Genauigkeit des LLM bei der Beantwortung von Anfragen anhand des verfügbaren Datensatzes bewerten können.

Retrieval-Bewertung

LlamaIndex bietet auch Module für die unabhängige Retrieval-Bewertung. Durch die Nutzung etablierter Ranking-Metriken wie Mean-Reciprocal-Rank (MRR), Trefferquote und Präzision ermöglichen diese Module eine umfassende Bewertung der Retriever-Leistung. Der Retrieval-Bewertungsprozess umfasst zwei Kernschritte:

• Datensatzgenerierung: Synthetische Erstellung von (Frage, Kontext)-Paaren aus unstrukturierten Textkorpora.
  
  
• Retrieval-Bewertung: Bewertung der abgerufenen Ergebnisse anhand von Ranking-Metriken, um den Retriever gegen eine gegebene Menge von Fragen zu bewerten.

Instrumentierung

Das neue Instrumentierungsmodul transformiert grundlegend, wie Entwickler Ereignisse innerhalb von LlamaIndex-Anwendungen verfolgen können. Es umfasst mehrere Schlüsselklassen:

• Ereignis: Stellt einen einzelnen Moment in der Ausführung der Anwendung dar und erfasst spezifische Vorkommnisse.
  
  
• Ereignis-Handler: Lauscht auf Ereignisse und führt benutzerdefinierte Logik als Reaktion auf diese Vorkommnisse aus.
  
  
• Span: Stellt den Ausführungsfluss innerhalb der Anwendung dar und umfasst mehrere Ereignisse.
  
  
• Span-Handler: Verwaltert den Lebenszyklus von Spans, einschließlich deren Eintritt, Austritt und möglicher vorzeitiger Beendigung aufgrund von Fehlern.
  
  
• Dispatcher: Agiert als zentraler Knotenpunkt und übermittelt ereignis- und spanbezogene Signale an die entsprechenden Handler.

Das Instrumentierungsmodul von LlamaIndex ermöglicht es Entwicklern, tiefere Einblicke in das Verhalten ihrer Anwendungen zu gewinnen, indem Ereignisse und Spans effektiv verfolgt werden. Durch die Nutzung dieses leistungsstarken Werkzeugs können Entwickler die Überwachung, Fehlersuche und Leistungsoptimierung ihrer Anwendungen verbessern, was letztendlich zu robusteren und effizienteren LLM-Anwendungen führt.

5. llama-index-networks

llama-index-networks ist eine Erweiterung der llama-index-Bibliothek, die die Erstellung eines Netzwerks von RAG-Systemen ermöglicht, die auf externen Datenquellen basieren und von externen Akteuren bereitgestellt werden. Dieses Netzwerkparadigma erleichtert die Kontextanreicherung und ermöglicht die Zusammenarbeit zwischen verschiedenen Datenquellen und Akteuren. Benutzer können mit nur wenigen Codezeilen auf diese RAG-Systeme zugreifen.

Konkret müssen Akteure, die über einen eigenen Satz von Dokumenten und ein RAG-System verfügen, einen ContributorService um ihre QueryEngine herum aufbauen und diesen über den standardmäßigen llama-index Network Contributor Service bereitstellen.

Akteure, die sich mit den RAG-Systemen im llama-index Network Contributor Service verbinden möchten, können einen NetworkQueryEngine erstellen, um eine Verbindung zu einer Liste von ContributorServices herzustellen.