Schwachstellen im KI-Hype: Wenn ChatGPT an seine Grenzen stößt
Large Language Models (LLMs), allen voran ChatGPT, haben im letzten Jahr alle Bereiche der Informatik im Sturm erobert. Da sie auf einer breiten Datenbasis trainiert werden, sind LLMs grundsätzlich anwendungsagnostisch einsetzbar. Trotz ihres umfangreichen Wissens weisen sie jedoch gerade in hochspezialisierten Anwendungsfällen Lücken auf, die im schlimmsten Fall nur scheinbar durch Halluzinationen kompensiert werden.
GraphRAG ist eine Synthese aus RAG und „Knowledge Graphen“. Das Thema RAG hatten wir bereits in vorangegangenen Blog-Beitrag ausführlich beleuchtet, daher an dieser Stelle nur eine kurze Zusammenfassung. RAG ist eine Technik bzw. Systemarchitektur um den Kontext von Sprachmodellen (Large Language Models, LLM) wie GPT-4o (OpenAI) mit spezifischem Wissen anzureichern. Dieses zusätzliche Wissen kann insbesondere hochspezifisches lokales Domänenwissen beinhalten, welches nicht Teil der Trainingsdaten des LLM war. Der große Vorteil von RAG ist, dass dieses Wissen dynamisch bereitgestellt und abgefragt werden kann, ohne aufwändiges und kostspieliges Finetuning oder Nachtrainings durchzuführen.
Mit der Einführung von ChatGPT und Co. ist der Siegeszug der Large Language Models (LLM) in vielen Bereichen kaum noch aufzuhalten. Neben den kreativen Einsatzmöglichkeiten, wie zum Beispiel der Textgenerierung, ist vor allem die Möglichkeit, Fragen an eigene domänenspezifische Daten und Dokumente zu stellen, von großem Interesse in Industrie und öffentlicher Verwaltung. Ein methodisches Framework, das genau diesen Anwendungsfall ermöglicht, ist die sogenannte Retrieval Augmented Generation (RAG, siehe Blogbeitrag „Retrieval Augmented Generation: LLM auf Steroiden“). Trotz der vielfältigen Einsatzmöglichkeiten von RAG gibt es typische Probleme, deren Lösungsansätze im folgenden Artikel vorgestellt werden sollen.
Seit der Einführung von ChatGPT Ende 2023 hat die generative KI, insbesondere die sogenannten Large Language Models (LLM), die IT-Welt im Sturm erobert. Ob als Chat-Assistent, zum Zusammenfassen von Texten, zum Extrahieren von (Domänen-)Wissen oder als Programmierhilfe - die Möglichkeiten von LLMs scheinen unendlich und täglich kommen neue Anwendungsfälle hinzu. Kein Wunder also, dass auch die öffentliche Verwaltung in jüngster Zeit das enorme Potenzial der generativen KI erkannt hat und mit am Tisch sitzen möchte. In diesem Blog-Beitrag werden die Chancen, aber auch die spezifischen Herausforderungen und Risiken des Einsatzes generativer KI in der öffentlichen Verwaltung anhand von zehn zentralen Thesen näher beleuchtet.