Vertical AI – Was ist das und was sind die Vorteile?
Vertical AI, auf Deutsch teilweise auch vertikale Künstliche Intelligenz genannt, ist auf bestimmte Branchen und ihre einzigartigen Anwendungsfälle spezialisiert.
Im Gegensatz zu horizontaler AI, die für eine Vielzahl von Anwendungen über verschiedene Branchen hinweg konzipiert ist (wie z. B. das Tool ChatGPT), konzentriert sich Vertical AI auf die Lösung spezifischer Probleme und die Optimierung von Prozessen innerhalb eines bestimmten vertikalen Sektors.
Hauptmerkmale von Vertical AI sind:
- Spezialisiertes Wissen: Vertical AI-Lösungen basieren auf tiefgreifendem, branchenspezifischem Fachwissen.
- Hohe Anpassungsfähigkeit: Sie sind speziell für die Anforderungen und Arbeitsabläufe einer bestimmten Branche entwickelt.
- Präzision: Durch die Nutzung relevanter, branchenspezifischer Datensätze erreicht Vertical AI eine viel höhere Genauigkeit als allgemeine AI-Tools.
- Nahtlose Integration in Arbeitsabläufe: Vertical AI-Anwendungen lassen sich einfach in die realen Prozesse integrieren und verbessern so die Produktivität und Effizienz.
Wie geht epilot bei der Entwicklung von Vertical AI vor?
Vertical AI wird die Art und Weise, wie Energieversorger und Netzbetreiber ihre Kernprozesse abwickeln, grundlegend verändern. Dabei steht der Energiesektor vor einzigartigen Herausforderungen, die nicht mit KI-Lösungen von der Stange gelöst werden können.
Aus diesem Grund entwickeln wir spezialisierte AI-Tools, die auf einem tiefen Verständnis der branchenspezifischen Arbeitsabläufe, regulatorischen Vorgaben und der genauen Anforderungen von Energieversorgern und Netzbetreibern basieren.
Unsere AI-Implementierungsstrategie für die epilot Plattform ist sehr ergebnisorientiert. Wir entwickeln AI nicht, um dem Hype zu folgen, sondern bewerten alle Prozesse und Funktionen in epilot sorgfältig, um festzustellen, wo Vertical AI den größten Mehrwert für unsere Kunden bringen kann.
Anschließend analysieren wir, ob ein generisches KI-Modell die erforderliche Genauigkeit liefern kann oder ob wir die Leistung durch spezielle Anpassungen und kontextbezogene Daten verbessern müssen.
Unser Ansatz bei epilot unterscheidet sich von anderen dadurch, dass wir mehrere AI-Aufgaben miteinander verknüpfen und so intelligente „Agenten“ erstellen, die auch komplexe Prozesse abwickeln können und unsere Kunden als persönlicher AI-Assistent unterstützen.
Bei der Bearbeitung von Serviceanfragen beispielsweise unterstützt unser epilot AI Mail Agent alle Aufgaben von der ersten E-Mail-Klassifizierung über die Datenextraktion bis hin zur Vorformulierung der Antwort.
Wir arbeiten somit an Vertical AI-Lösungen, die schrittweise manuelle Aufgaben eliminieren und gleichzeitig die hohen Standards an Genauigkeit und Zuverlässigkeit gewährleisten, die in der Energiebranche erforderlich sind.
Welche AI-Modelle verwendet epilot?
epilot trainiert seine KI-Modelle nicht selbst. Stattdessen verwenden wir vortrainierte Large-Language-Modelle (LLM), die kein zusätzliches Training mit Kundendaten erfordern, und spezialisieren diese auf die besonderen Erfordernisse der Energiebranche.
Wir nutzen bei epilot hauptsächlich die von Anthropic entwickelte Claude 3.5 Sonnet-Modellfamilie. Dabei greifen wir auf diese Modelle über Amazon Bedrock zu, einem von AWS verwalteten Service, der sicheren Zugang zu hochmodernen LLMs bietet.
Wir evaluieren und übernehmen kontinuierlich die neuesten LLM-Technologien, um sicherzustellen, dass unsere Kunden von den fortschrittlichsten verfügbaren AI-Funktionen profitieren.
Die Spezialisierung der Modelle erfolgt durch:
RAG (Retrieval-Augmented Generation): Wir verbinden diese Modelle mit unseren energiespezifischen Wissensdatenbanken und Datenquellen. Dadurch kann die KI bei der Generierung von Antworten auf genaue, branchenspezifische Informationen zurückgreifen.
Prompt Engineering: Wir entwickeln spezielle Prompts, die auf Anwendungsfälle in der Energiebranche zugeschnitten sind und die KI anleiten, relevantere und genauere Ergebnisse zu produzieren.
Mit diesem Ansatz können wir die allgemeinen KI-Modelle für allgemeine Zwecke für den Energiesektor „vertikalisieren“, ohne unsere eigenen Modelle auf Kundendaten trainieren zu müssen, was einen großen Vorteil hinsichtlich Datenschutz darstellt.
Datenschutz und Sicherheit
Amazon Bedrock verfolgt standardmäßig eine Null-Speicher-Politik. Das bedeutet, dass keine Gesprächsverläufe oder Aufforderungen (Prompts) gespeichert oder protokolliert werden, wenn die LLMs über diesen Service verwendet werden. Amazon Bedrock verwendet die Prompts und Vervollständigungen nicht zum Trainieren von AWS-Modellen und gibt sie nicht an Dritte weiter.
Die spezifischen Daten, die wir in Prompts einschließen können, sind:
- Daten zu Entitäten (Opportunities, Kontakte, Nachrichten)
- Benutzerdaten (bevorzugte Sprache, E-Mail-Adressen)
Zu Zwecken der Qualitätsverbesserung speichern wir einige Eingabe- und Ausgabeaufforderungen von LLMs, wobei stets strenge Datenschutzstandards und -protokolle beachtet werden.
Unser Sicherheitskonzept umfasst unter anderem:
- Strikte Trennung von Mandanten
- Ende-zu-Ende-Verschlüsselung
- Regelmäßige Sicherheitsprüfungen
- Strenge Zugangskontrollen
- Einhaltung von Industriestandards
Für die AI-generierten E-Mail-Antworten verwenden wir die Open-Source-Vektordatenbank Weaviate zur Nutzung einer Technologie namens Retrieval-Augmented Generation (RAG). Mit dieser RAG-Technologie können wir für unsere Kunden jeweils umfassende Wissensdatenbanken aufbauen, die viel präzisere und auf das jeweilige Kundenunternehmen zugeschnittene E-Mail-Antworten ermöglichen.
Vor dem Einsatz von Weaviate entfernen wir alle persönlich identifizierbaren Informationen (PII) aus der E-Mail-Konversation und anonymisieren den Inhalt. Dies gewährleistet den vollständigen Schutz personenbezogener Daten und erhält gleichzeitig den kontextuellen Wert der Kommunikation.
Beispiel: Der epilot AI Mail Agent
Die Kommunikation mit Kundinnen und Kunden macht bei Energieversorgern und Netzbetreibern einen zentralen Teil des Arbeitsaufwands in Vertrieb und Service aus.
Damit sie diese Aufgaben so effizient wie möglich erledigen können, steht ihnen der AI-basierte epilot Mail Agent als persönlicher Assistent bei der Bearbeitung von E-Mails zur Seite. So sparen die Mitarbeitenden Zeit, die sie für andere Aufgaben verwenden können, und die Kundenanliegen werden schneller beantwortet.
Der epilot Mail Agent analysiert und kategorisiert eingehende E-Mails, versteht deren Inhalt und formuliert auf Basis dessen zum einen eine passende, auf das Unternehmen zugeschnittene Antwort. Dank der unternehmensspezifischen Wissensdatenbank sind diese Antworten genau auf diesen Kunden zugeschnitten. Darüber lernt der Agent aus vorangegangenen Antworten des Mitarbeitenden. Stellt ein anderer Endkunde eine ähnliche Frage oder bittet um die gleichen Informationen, ist dies im Gedächtnis des epilot Mail Agents enthalten und wird in der neu vorgeschlagenen E-Mail-Antwort berücksichtigt.
Dieses konversationsübergreifende Gedächtnis läuft über die sichere Weaviate-Datenbank, in der die gesamte E-Mail-Kommunikation mit Endkundinnen und Endkunden anonymisiert und unter strikter Trennung der Mandanten gespeichert wird. Die Daten der epilot Kunden werden somit niemals miteinander vermischt.
Dieser Ansatz gewährleistet:
- Vollständige Datenisolierung zwischen verschiedenen Kunden
- Keine Datenverluste zwischen Organisationen
- Vollständige Übereinstimmung mit den Datenschutzbestimmungen
- Sichere, verschlüsselte Speicherung aller Vektordaten
Der epilot Mail Agent unterstützt jedoch nicht nur beim Lesen und Schreiben von E-Mails, sondern hilft unseren Kunden auch bei der Arbeit in der epilot Plattform selbst. Anhand der Daten in der eingehenden Endkunden-E-Mail schlägt er die Aktualisierung oder Neuerstellung von Business Objekten in epilot vor wie z. B. Opportunities, Kontakte, Zähler und mehr. Dadurch können die manuellen Aufwände auf ein Minimum reduziert werden.
Die Vision für Vertical AI von epilot und unser Weg dahin
Bei epilot verfolgen wir einen systematischen Ansatz zur Implementierung von Vertical AI, der auf einem stufenweisen Vorgehen basiert:
- Zunächst digitalisieren wir die geschäftskritischen Prozesse unserer Kunden, was die Grundlage für die strukturierte Erfassung von Prozessdaten bildet.
- Diese Daten werden anschließend intelligent klassifiziert, um ein tiefes Verständnis der Prozessabläufe zu gewinnen. Darauf aufbauend identifizieren wir die wichtigsten und häufigsten Aufgaben, die sich für eine AI-gestützte Automatisierung eignen.
- Diese Aufgaben werden dann in spezialisierte AI-Tools umgewandelt und in unser epilot Agent Framework integriert.
- Das Herzstück unserer Vision ist die intelligente Verknüpfung dieser AI-Agenten, die zusammenarbeiten, um komplexe Prozesse autonom auszuführen.
- Dadurch schaffen wir eine einzigartige Vertical AI für die Energiebranche, welche die Prozessabläufe von Energieversorgern und Netzbetreibern revolutioniert.
