KI-gestützte Datenanalyse deckt Probleme in wissenschaftlichen Publikationen auf

KI-gestützte Datenanalysetools können künftig die Qualität wissenschaftlicher Veröffentlichungen deutlich verbessern. Eine neue Studie des Chemieprofessors der Freien Universität Berlin, Prof. Dr. Mathias Christmann, deckt auf diese Weise Schwachstellen in zahlreichen chemischen Publikationen auf. Der Wissenschaftler hatte mit einem Python-Skript über 3.000 wissenschaftliche Arbeiten analysiert, die in den letzten zwei Jahren in der renommierten Fachzeitschrift für organische Chemie Organic Letters erschienen waren.

Dabei zeigte sich, dass lediglich 40 Prozent der chemischen Forschungspublikationen fehlerfreie Massenmessungen aufwiesen. Das dafür genutzte KI-basierte Datenanalyse-Tool konnte ohne vorherige Programmierkenntnisse erstellt werden.

Die Ergebnisse machen deutlich, wie leistungsfähig KI-gestützte Werkzeuge im Forschungsalltag sein können. Sie machen nicht nur komplexe Analysen zugänglich, sondern verbessern auch die Zuverlässigkeit wissenschaftlicher Daten, so Mathias Christmann. Durch fortschrittliche Large Language Models wie ChatGPT (OpenAI), Gemini (Google) und Claude (Anthropic) sei es heute möglich, natürliche Sprache direkt in eine Computersprache wie Python zu übersetzen. Dadurch könnten auch Personen ohne Programmierkenntnisse Anwendungen erstellen, die beispielsweise in großen Datenmengen nach bestimmten Textbausteinen oder Messwerten suchen. Die auf diese Weise erhaltenen Daten lassen sich anschließend automatisiert weiterverarbeiten und auf Plausibilität überprüfen.

In Christmanns Studie What I learned from Analyzing Accurate Mass Data of 3000 Supporting Information Files konnten mit der KI-gestützten Datenanalyse bisher unbekannte systematische Fehler aufgedeckt werden. Zudem wurden Fälle identifiziert, in denen fehlerhaft berechnete Werte durch vermeintliche Messungen bestätigt schienen. Diese Beobachtungen werfen die Frage auf, ob einige Messwerte möglicherweise erfunden wurden, so der Wissenschaftler.

Diese Studie, die als Open-Access-Publikation erschien, verdeutlicht das Potenzial von KI-gestützten Analysetools, nicht nur die Qualitätskontrolle wissenschaftlicher Daten zu automatisieren, sondern auch systematische Schwachstellen aufzudecken und damit einen wichtigen Beitrag zur Verbesserung wissenschaftlicher Standards zu leisten.

Als Teil der Initiative KI in der Lehre am Fachbereich Biologie, Chemie, Pharmazie der Freien Universität Berlin sollen Studierende künftig verstärkt mit diesen und ähnlichen Werkzeugen arbeiten, kündigte Mathias Christmann an. Ziel sei es, datenanalytische Kompetenzen zu vermitteln und das kritische Denken der Studierenden zu fördern.

Originalpublikation: https://pubs.acs.org/doi/10.1021/acs.orglett.4c03458

http://www.fu-berlin.de