Ziel der Aufgabenstellung war die praktische Evaluierung, inwiefern aktuelle Sprachmodelle genutzt werden können, um auf Basis interner und zertifizierungsrelevanter Dokumente ein Informationssystem in Form eines Chat-Bots zu erstellen.
Initial wurde hierzu ein RAG-Ansatz auf Basis des Frameworks LangChain unter Verwendung von FlowiseAI als low-code Tool unter Linux umgesetzt. Zur Anwendung kamen Modelle von OpenAI sowie PostgreSQL als Vektordatenbank. Die Nutzung von FlowiseAI bietet hierbei gerade bei einem prototypischen Vorgehen diverse Vorteile wie die einfache Erstellung und Veröffentlichung.
Ein RAG-Ansatz (Retrieval Augmented Generation) ermöglicht gerade in den hier genannten Szenarien eine relativ einfache Nutzung bereits vorliegender Informationen und stellt eine Alternative zum aufwendigeren Finetuning dar.
Auf dieser Basis konnte so zeitnah und auf Basis des vorhandenen Wissens eine Anzahl möglicher Lösungen erstellt und auf deren Funktionstüchtigkeit geprüft werden. Hierbei verschob sich der Fokus im Laufe der Zeit auch auf andere relevante Thematiken.