OCR-Engine mit soliden Analyse- und ML-Funktionen

In meinem früheren Leben, als ich Unternehmen beriet, die mit Problemen bei der Softwareleistung zu kämpfen hatten, z. B. Apps, die abstürzten, hängten oder langsam wurden, sah ich ein konsistentes Muster in der Art von Anwendungen, bei denen Leistungsprobleme auftraten.

Die meisten von ihnen verwendeten eine starke Mischung von Frameworks — Codebasen, die nicht von ihrem Team entwickelt wurden und mehr oder weniger Blackboxen waren. Und fast jedes Team hatte den gleichen Grund für die Verwendung von Frameworks — sie verschafften dir einen Vorsprung und gaben dir einen grundlegenden Ansatz für die Entwicklung einer Lösung.

Sie gaben allen einen guten Start.

Aber meiner Erfahrung nach haben Frameworks fast immer versäumt, ein gutes Ergebnis zu erzielen, insbesondere wenn es um die Leistung ging. Die meisten Teams kamen sehr schnell zu 60-70% der Lösung, aber das Framework zwang sie in die Knie, weil sie die letzten 10% durch Anpassung oder Konfiguration noch verfeinern mussten.

„Nun, das ist in diesem Rahmen nicht möglich“ oder „Nein, so funktioniert das nicht“ haben mehrere Teams dazu veranlasst, Kompromisse beim Design einzugehen, die schließlich wieder als Leistungsherausforderungen angesehen wurden.

Nachdem ich einige Jahre damit verbracht habe, Unternehmen dabei zu helfen, Daten und Bilder zu verstehen, habe ich begonnen, den gleichen Trend bei Lösungen zu erkennen, die auf OCR-Motoren - Sie geben dir einen guten Start, aber kein gutes Ende.

Jeder kann eine Genauigkeit von 60-70% erreichen, wenn es um die Qualität der OCR-Extraktion geht - aber die Nuancen der letzten 25-30% der Datengenauigkeit lassen Sie in die Knie gehen.

Meiner Erfahrung nach ist die beste OCR-Lösung in der Regel nicht nur eine OCR-Lösung, sondern eine OCR-Lösung mit soliden Analyse- und maschinellen Lernfunktionen. Diese Ergänzungen helfen Ihnen dabei, die Mängel der Rohextraktion zu beheben. Dadurch können im Laufe der Zeit fast alle manuellen Eingriffe überflüssig werden und es werden ziemlich genaue Extraktionsergebnisse erzielt.

Maschinelles Lernen auf der Grundlage von OCR-Lösungen funktioniert mit einem der beiden Trainingsmodelle, die auf dem spezifischen Extraktionsfall basieren:

• ‍Domänenbasierte Extraktion - Dieser Ansatz hilft, wenn Sie im Voraus wissen, nach welcher Art von Datenextraktion Sie suchen. Nehmen wir an, Sie haben versucht, Merkmale von Weinen aus einer Reihe von Weinbewertungen und Notizen zu extrahieren, für die Sie eine OCR-Bearbeitung vorgenommen haben. Bevor Sie die Merkmalsextraktion durchführen können, sollten Sie in Betracht ziehen, Datenmodellierungsalgorithmen für eine große Sammlung vorhandener Weinnotizen auszuführen, um Trends und Themen zu ermitteln. Sobald Sie ein Lernmodell erstellt haben, können Sie es dann auf der Grundlage der mit OCR extrahierten Daten bereitstellen. Dies hilft Ihnen nicht nur beim Extrahieren von Funktionen, sondern hilft auch bei der automatischen Korrektur der OCR-Ausgabe — Text, der von der OCR-Engine falsch gelesen wird.
• ‍Datenbasierte Extraktion - Falls Ihr Extraktionsfall generisch ist und Sie wahrscheinlich nicht im Voraus wissen, welche Art von Daten Sie extrahieren müssen, funktioniert die domänenbasierte Extraktion nicht. Bei den Daten kann es sich um eine Rechnung oder eine gescannte Seite eines Buches handeln. In diesem Fall kann ein Algorithmus für unbeaufsichtigtes Lernen verwendet werden, um große Datenmengen zu verarbeiten. Das System müsste eine Reihe von Signalen verwenden, wie z. B. eine Datenquelle, Wörter in den OCR-Daten, Metatags auf der Datei, geografische Position usw., um zunächst die beste Vermutung zu treffen, die Daten in einem von vielen Buckets pro Domain zu kategorisieren. Auf jedem dieser Buckets können dann Extraktionsmodelle erstellt werden, um die Genauigkeit zu verbessern.
  
  

Egal, ob es sich um einen Marathonlauf oder den Aufbau komplexer Systeme wie die OCR-Extraktion handelt, ein guter Start ist einfach, aber ein gutes Ergebnis macht den Unterschied.