Chatbot überrascht mit gutem Ergebnis im Bar Exam

Seit das US-Unternehmen OpenAI Ende November ihren Chatbot Chat GPT veröffentlicht hat, ist der Hype um die Anwendung groß – auch unter Juristinnen und Juristen. Nun haben zwei Forscher ihn Teile des Bar Exam, der Prüfung zur Anwaltszulassung in den USA, ablegen lassen. Dabei hat die künstliche Intelligenz erstaunlich gute Ergebnisse erzielt.

Chat GPT ist ein ‚Large-Language-Modell‘, das heißt eine künstliche Intelligenz (KI), die mit einer sehr großen Menge Text trainiert wurde. Dank des KI-Algorithmus GPT-3.5 gibt sie auf eine Vielzahl von Fragen verblüffend gute Antworten und kommuniziert in mehreren Sprachen. Der Chatbot schreibt Programmiercode und denkt sich kreative Überschriften aus – doch besteht er auch das Bar Exam?

Der Frage gingen Daniel Katz, Juraprofessor am Illinois Institute of Technology, und Michael Bommarito, Wissenschaftler und Lehrbeauftragter an der Michigan State University, nach. Das Bar Exam ist für die meisten Prüflinge die größte Herausforderung ihrer akademischen Karriere und steht am Ende ihres mindestens siebenjährigen Studiums. Es besteht aus Multiple-Choice-Fragen, einem Essay sowie einem szenariobasierten Test. Katz und Bommarito führten mit dem Chatbot den Multiple-Choice-Test durch. Der Teil macht in der Regel etwa 50 Prozent der Examensnote aus und besteht aus rund 200 Fragen in sieben Kategorien wie Verfassungs- oder Zivilprozessrecht.

Erwartungen übertroffen

Das Ergebnis: Chat GPT besteht noch nicht die gesamte Multiple-Choice-Prüfung. Allerdings übertrifft der Chatbot mit circa 50 Prozent richtig beantworteter Fragen deutlich die durchschnittliche Rate zufällig richtiger Antworten. Diese liegt bei 25 Prozent. Die Kategorien Beweismittel und Deliktsrecht hat die KI sogar bestanden. „Insgesamt übertrifft GPT-3.5 unsere Erwartungen deutlich“, resümieren Katz und Bommarito.

Wenige Tage nach ihrer ersten Studie verglichen die beiden Forscher die Ergebnisse zudem mit vorherigen GPT-Versionen seit 2019. Diese schnitten signifikant schlechter ab. Wann wird Chat GPT also das komplette Bar Exam bestehen, wenn sich die Technologie so rasant entwickelt? „Niemand weiß das mit Sicherheit, aber es scheint, als ob es noch dieses Jahr so weit sein könnte“, schreibt Katz auf LinkedIn.

Prägend für die juristische Arbeit der Zukunft

Auch unter deutschen Juristinnen und Juristen wird Chat GPT heiß diskutiert, unter anderem in sozialen Medien. Dabei sind sich viele einig, dass Large-Language-Modelle ihre Arbeit in naher Zukunft zwar nicht ersetzen können, aber stark prägen werden. Bereits jetzt kann Chat GPT zum Beispiel Urteile und andere lange Texte zusammenfassen oder Vertragsklauseln vorab entwerfen.

Und auch im Jurastudium stellt Chat GPT Prüferinnen und Prüfer vor neue Herausforderungen: Anders als bisher ist es nahezu unmöglich, nachzuweisen, dass ein Text von der KI und nicht von den Studierenden selbst stammt.


Teilen:

azur Mail abonnieren