So verwenden Sie LLMs nicht mit IDP

Große Sprachmodelle (LLMs), wie das Modell hinter ChatGPT, haben die Fähigkeiten von KI-Systemen erweitert und neue Maßstäbe gesetzt von Whartons MBA-Prüfung bestehen zu Ersatz eines Ernährungsberaters. Viele Anbieter intelligenter Dokumentenverarbeitung (IDP), darunter Infrrd, haben Integrationen zwischen ihren Wissensgraphen und LLMs angekündigt. Nun, da sich der anfängliche Hype gelegt hat, wollen wir uns mit den praktischen Aspekten dieser Technologie befassen.

Kann ich hier noch ein paar GPUs bekommen?

Zuallererst: KI-Modelle sind rechenintensiv, und wenn ich intensiv sage, meine ich, dass sie einen unersättlichen Appetit auf Rechenleistung haben. Das sollte nicht überraschen — die Milliarden Parameter, die für das Training dieser Modelle verwendet werden, müssen bis zu einem gewissen Grad bei der Vorhersage angewendet werden. Wenn Sie ein extern gehostetes LLM wie ChatGPT verwenden, ist Ihnen das vielleicht nicht bewusst, aber nach einigen Schätzungen OpenAI gibt 700.000$ pro Tag aus um alle eingegangenen Anfragen zu beantworten. Für Unternehmen wie uns, die unsere LLM-Infrastruktur verwalten, wissen wir, dass die Infrastrukturkosten für den Betrieb dieser Modelle unerschwinglich hoch sind.

Warum es für IDP wichtig ist:

Das primäre Ziel von IDP-Lösungen ist es, Kunden, die traditionell darauf angewiesen sind, dass Menschen Dokumente lesen, Skalierbarkeit und Kostensenkung bieten. Da KI-basierte IDP-Lösungen die manuelle Arbeit reduzieren, müssen auch Kosten in Betracht gezogen werden. Wenn Ihre Kosten für die Dokumentenverarbeitung die Personalkosten übersteigen oder ihnen nahe kommen, wirkt sich das erheblich auf einen der Hauptgründe für die Einführung von IDP aus — den ROI.

Offensichtlich halluzinierst du!

Haben Sie einem LLM jemals dieselbe Frage mehrmals gestellt und unterschiedliche Antworten erhalten? Es ist großartig, wenn Sie nach Ideen suchen, aber nicht so gut, wenn Sie konsistente Antworten aus Dokumenten benötigen. Diese Inkonsistenz kann die Genauigkeit und Vorhersagbarkeit der Dokumentenverarbeitung beeinträchtigen.

Warum es für IDP wichtig ist:

Einige IDP-Anbieter, die proprietäre Algorithmen verwenden, sind einer nahezu perfekten Genauigkeit nahe gekommen. Die Herausforderung für diese Modelle liegt in den Trainingsdaten, die benötigt werden, um diese Genauigkeit zu erreichen. Während LLMs einen guten Start bieten, bieten andere Modelle ein solides Finish. Ersteres ist während des Verkaufszyklus wichtig, und letzteres ist entscheidend, um zufriedene Kunden zu binden.

Bitte nimm ein Token!

Während diese Limits allmählich erweitert werden, haben die meisten LLMs ernsthafte Einschränkungen hinsichtlich der Anzahl der Token, die sie auf einmal verarbeiten können. Dies stellt die gleichzeitige Verarbeitung großer Dokumentenmengen vor Herausforderungen. Die Grenze ergibt sich aus der teuren Rechenleistung, die für den Betrieb von LLMs erforderlich ist.

Warum es für IDP wichtig ist:

Viele IDP-Kunden, wie Hypothekenunternehmen und Banken, benötigen zuverlässige Daten von IDP-Lösungen in Echtzeit, um Geschäftsprozesse ausführen zu können. Diese Prozesse können es sich nicht leisten, darauf zu warten, dass die Daten nach ein paar Minuten eintreffen. Token-Limits können die IDP-Verarbeitung in großem Maßstab potenziell behindern.

Es tut mir leid, kann ich bitte etwas mehr Kontext bekommen?

Aus der gleichen Herausforderung, dass teure Berechnungen zu Token-Limits führen, resultiert auch die Schwierigkeit, den Kontext aufrechtzuerhalten. Wenn eine IDP-Lösung ein 40-seitiges Dokument verarbeitet, findet sie die entsprechende Antwort möglicherweise auf der 13. Seite, aber ein LLM versucht, innerhalb jedes von ihm verarbeiteten Token-Limits eine Antwort zu finden. Dies kann zu weiteren Halluzinationen führen, bei denen versucht wird, eine Antwort zurückzugeben, die nicht innerhalb des angegebenen Tokensatzes liegt.

Warum es für IDP wichtig ist:

Wenn Sie einen Kunden nach dem wichtigsten Aspekt fragen, nach dem er bei einer IDP-Lösung sucht, lautet seine Antwort zweifellos: Genauigkeit. Höhere Genauigkeit bedeutet niedrigere Kosten, zufriedenere Kunden und bessere Geschäfte. Das Risiko einer Genauigkeit ist ziemlich hoch, insbesondere bei unterschiedlichen Dokumenten.

Das große Startproblem

Hunderte, wenn nicht Tausende von Büchern wurden über die Funktionsweise der menschlichen Psyche geschrieben. Daniel Kahneman hat in diesem Bereich einige erstaunliche, mit dem Nobelpreis ausgezeichnete Arbeiten geleistet. Sie können einiges davon in Aktion erleben, wenn Leute zum ersten Mal einen LLM ausprobieren. Sie probieren eine Variante des Dokuments aus, stellen eine bestimmte Frage, die nur für diese bestimmte Variante beantwortet werden kann, und kommen schnell zu dem Schluss, dass LLMs großartig sind. Wenn sie jedoch mehr Zeit damit verbringen, wird deutlich, dass viel mehr Arbeit erforderlich ist, um LLMs zu einer praktikablen, zuverlässigen und wirtschaftlichen Geschäftstechnologie zu machen.

Hier sind echte Testdaten zur Vorhersage von LLMs und IDP-Algorithmen für vier Werte anhand komplexer Dokumente mit vielen Variationen:

‍

‍

Sie können deutlich sehen, dass der LLM in drei von vier Tests Probleme hat. Das Muster wird bei komplexen Dokumenten deutlicher.

Warum es für IDP wichtig ist:

Vor KI-basierten IDP-Systemen, und in einigen Fällen gilt das auch heute noch für einige IDP-Systeme, arbeiteten die meisten Tools mit Vorlagen. Jeder Kunde, der mit diesen Systemen gearbeitet hat, wird Ihnen sagen, wie viel es kostet hat ihr Vertrauen in Technologie beschädigt. Der blinde Einsatz von LLMs führt IDP-Systeme und Kunden auf den gleichen Weg.

Aber du hast es mir versprochen!

Eines der wirklich coolen Dinge, die IDP-Systeme bieten, ist ihre Fähigkeit, ständig aus Korrekturen zu lernen, die auf Ihren Daten basieren. Selbst wenn Sie mit einer niedrigen Genauigkeit beginnen, verbessert sich die Genauigkeit mithilfe dieser ML-Feedback-Schleife, solange Sie das System weiter verwenden. Diese Schleife macht bei der Verwendung von LLMs einen großen Rückschritt. Es ist umständlich, LLMs für die Daten jedes Kunden fein abzustimmen. Sie müssen sich mehr auf grundlegende Verbesserungen der LLMs verlassen als auf kleine, schrittweise Schritte wie Umschulungen, die enorme Auswirkungen auf die Kunden haben.

Warum es für IDP wichtig ist:

Kunden ziehen mehr Wert aus einem Modell mit einer Genauigkeit von 70%, das in wenigen Wochen eine Genauigkeit von 99% erreichen kann, als ein Modell mit einer Genauigkeit von 85% für immer zu verwenden. Dies kann die ROI-Kurve für Kunden erheblich abflachen.

‍

‍

LLMs sind gekommen, um zu bleiben, und sie stellen einen bedeutenden Fortschritt für jedes KI-Unternehmen dar. Es gibt jedoch einen richtigen Weg, Technologie einzusetzen, und einen blinden Weg, dies während eines Hype-Zyklus zu tun. Aufgrund der Phase, in der wir uns befinden, sehen wir heutzutage viel von letzterem. Bei Infrrd arbeiten wir an mehreren internen LLMs für verschiedene Problembereiche, um unsere IDP-Plattform weiterzuentwickeln. Richtig gemacht, können sie das Leben unserer Kunden erheblich erleichtern.