Jede Vorführung einer KI-Suche läuft gut. Die Daten sind vorbereitet, die Fragen auch, und die Antworten kommen flüssig. Das sagt wenig darüber, wie die Suche mit Ihren Unterlagen umgeht: mit dem schiefen Scan von 2019, dem Vertrag in drei Fassungen, dem Nachunternehmer, dessen Name in zwei Schreibweisen vorkommt. Prüfen lässt sich das nur mit eigenen Fragen. Fünf Arten davon braucht es, damit das Ergebnis etwas aussagt.
1. Nachschlagen: eine Angabe an einer Stelle
Die einfachste Art. Die Antwort steht an genau einer Stelle in genau einem Dokument. „Welche Vertragsstrafe gilt bei Lieferverzug im Auftrag Bramberger Linie 2?“ Die Suche muss das Dokument finden, die Stelle nennen und den Wert richtig wiedergeben. Das ist die Grundlage; wer hier scheitert, braucht die anderen vier nicht.
Nehmen Sie dafür auch Fragen, bei denen das Wort in der Frage nicht im Dokument steht. „Gerügt“ in der Frage, „Aufforderung zur Mängelbeseitigung“ im Schreiben. Das trennt eine Suche nach Bedeutung von einer Volltextsuche mit besserer Oberfläche.
2. Datum oder Frist: wann etwas war oder abläuft
Fristen sind die Fragen, bei denen eine ungefähre Antwort nichts wert ist. „Bis wann galt die Freistellungsbescheinigung von Estrich Renz?“ Eine gute Antwort nennt das Datum und das Dokument, aus dem es stammt. Eine schlechte nennt ein Datum aus einem anderen Dokument, zum Beispiel das Ausstellungsdatum statt des Ablaufdatums, oder die Bescheinigung eines anderen Jahres.
Beispiel. Die Antwort nennt beide Daten und das Dokument, in dem sie stehen.
3. Mehrere Stellen: eine Antwort aus zwei Dokumenten
Viele Fragen haben ihre Antwort nicht an einer Stelle. „Welche Sicherheiten halten wir noch von Kandelberger?“ Die Vereinbarung steht im Vertrag, ob sie noch gilt, in der Schlussrechnung. Eine gute Suche setzt beides zusammen und nennt zwei Fundstellen. Eine schlechte liefert nur den Vertrag und tut so, als wäre das die ganze Antwort.
Diese Fragen sind die, bei denen die Suche wirklich Zeit spart, weil sonst jemand beide Dokumente lesen und abgleichen muss. Nehmen Sie mindestens fünf davon.
4. Widerspruch: zwei Unterlagen sagen Verschiedenes
In jeder Ablage gibt es Dokumente, die sich widersprechen: der Entwurf und die unterschriebene Fassung, der Vertrag und der Nachtrag, der Plan und das Protokoll der Abnahme. „Wie viele Stellplätze sind beim Lindenhof vereinbart?“ Im Bauvertrag stehen 24, im Nachtrag vom Jahr darauf 22. Eine gute Suche nennt die gültige Fassung und sagt, dass es eine ältere mit einem anderen Wert gibt, mit beiden Stellen. Eine schlechte nimmt die erste Zahl, die sie findet.
Hier zeigt sich, ob das System Fassungen erkennt oder nur Textstellen einsammelt. Für die Prüfung brauchen Sie zwei oder drei Fälle, bei denen Sie die Lage kennen.
5. Nicht beantwortbar: die Antwort steht gar nicht in den Unterlagen
Die wichtigste Art, und die, die in Vorführungen nie vorkommt. Stellen Sie Fragen, deren Antwort nicht in den Unterlagen steht: nach einer Bürgschaft, die nie gestellt wurde, nach einem Protokoll, das es nicht gibt, nach einem Nachunternehmer, der an diesem Projekt nicht beteiligt war. Eine gute Suche sagt, dass sie dazu nichts findet. Eine schlechte formuliert eine plausible Antwort aus dem, was am nächsten liegt.
Beispiel. Die Antwort sagt, was fehlt, und belegt, was stattdessen vereinbart ist.
Eine Suche, die hier rät, ist gefährlicher als gar keine, weil sich jemand auf die erfundene Bürgschaft verlässt. Fünf bis sechs solcher Fragen gehören in jedes Prüfset.
Dazu die Fallen
Über die fünf Arten verteilt sollten die typischen Schwierigkeiten Ihrer Ablage vorkommen:
- Schlechte Scans: ein schiefer Scan, ein Fax, ein Durchschlag. Wenn die Texterkennung versagt, ist das Dokument für die Suche leer.
- Ähnliche Namen: Renz und Rentz, Lindenhof und Lindenweg. Verwechselt die Suche sie, sind die Fundstellen falsch.
- Veraltete Fassungen: ein Dokument, das in drei Versionen vorliegt, von denen nur eine gilt.
- Plan gegen Ist: was geplant war, steht im Angebot; was gebaut wurde, im Abnahmeprotokoll.
Wie Sie bewerten
Jede Antwort bekommt drei Noten, jeweils von 0 bis 2:
- Inhalt: Stimmt die Antwort?
- Fundstelle: Stimmen Dokument und Seite? Eine richtige Antwort mit falscher Fundstelle zählt nicht voll, weil man sie nicht vorzeigen kann.
- Ehrlichkeit: Sagt das System, wenn etwas fehlt, statt zu raten?
Zwanzig bis dreißig Fragen in dieser Mischung sind ein Vormittag Arbeit, wenn man die Antworten schon kennt. Das Ergebnis ist eine Zahl und eine Fehlerliste. Die Fehlerliste ist oft aufschlussreicher: Ein Fehler wegen eines schlechten Scans ist etwas anderes als ein Fehler, bei dem das System eine Bürgschaft erfunden hat. Der erste lässt sich beheben, der zweite ist ein Grund, den Anbieter zu wechseln.
Und fragen Sie den Anbieter, ob er mit Ihren Fragen misst, bevor Sie zahlen. Wer das ablehnt, hat einen Grund. Wie wir es machen, steht unter Leistungen.
Beispiele mit erfundenen Namen.