RPTU – Wie reproduzierbar sollten computergenerierte Daten sein? Was kann Wissenschaft leisten – und was nicht?

Wie reproduzierbar sollten computergenerierte Daten sein? Was kann Wissenschaft leisten – und was nicht?

Der Einsatz von Computern beeinflusst zunehmend die Natur- und Ingenieurwissenschaften. Doch entgegen einer weitverbreiteten Annahme garantiert deren Nutzung nicht unbedingt die Wiederholung gleicher Ergebnisse. Die Gründe dafür sind vielfältig – und eine Herausforderung, die vielen Forschenden erst jetzt so richtig bewusst wird. An der Rheinland-Pfälzischen Technischen Universität Kaiserslautern-Landau (RPTU) geht ein von der Volkswagenstiftung gefördertes Projekt der Frage nach, was dies für die Reproduzierbarkeit von Daten insgesamt bedeutet, inwieweit Standardisierung und Pluralität ermöglicht werden sollten oder dürfen – und wer die (politische) Macht hat, dies zu entscheiden.

Der Anspruch der Reproduzierbarkeit sei schon lange eng mit der Wissenschaft verbunden, sagt Professor Johannes Lenhard, der in Mathematik promoviert und in Philosophie habilitiert hat: „Wenn sich etwas nicht reproduzieren lässt, dann ist es nicht wissenschaftlich.“ Bekannte Ergebnisse sollen – so nun mal der Anspruch – bei korrektem Versuchsaufbau eindeutig wiederholbar sein. Doch seit einigen Jahren, mitunter Jahrzehnten, seit Computer in unterschiedlichen Fachdisziplinen vermehrt Einzug gehalten haben, gibt es dahingehend eine bislang wenig beachtete Herausforderung: „Entgegen einer weitverbreiteten Annahme garantiert der Einsatz von Computern nicht die Wiederholung gleicher Ergebnisse. Auf Knopfdruck erhält man nicht das exakt Gleiche.“ Woran das liegt? Lenhard verweist darauf, dass man mit komplexen Gebilden arbeitet: „Forschende arbeiten beispielsweise mit Software-Paketen, die sie gar nicht selbst geschrieben haben.“ Überhaupt sei die Basis für Forschung mittlerweile sehr arbeitsteilig. Und Arbeitsgruppen nutzen mitunter voneinander abweichende Algorithmen.

Philosophie trifft auf Ingenieurwissenschaften

An der RPTU hat Johannes Lenhard die Heisenberg-Professur „Philosophy in Science and Engineering” inne – arbeitet an der Schnittstelle von Philosophie, Natur- und Ingenieurwissenschaft. Im Rahmen seiner Forschung will er konkret wissen, ob ein computergeneriertes Ergebnis auch dann noch als reproduzierbar gelten sollte, wenn es Variationen in Hardware, Software, Parametern und Trainingsdaten zulässt. „Oder sollten umgekehrt bestimmte Variationen nicht erlaubt sein?“ Heißt Reproduzierbarkeit unbedingt genau das Gleiche tun? Was muss als wissenschaftliche Strenge eingehalten werden – und was kann und sollte als innovative Abweichung begrüßt werden? Wie also steht es um die Balance zwischen Standardisierung und Pluralität? Und wer überhaupt hat die Autorität, die Macht, dies festzulegen? „Das ist auch eine politische Frage“, betont Lenhard.

Johannes Lenhard zählt zu einem der wenigen Philosophie-Professoren in Deutschland, die eng verzahnt mit den Ingenieurwissenschaften zusammenarbeiten. Im Fokus seiner Forschung stehen aktuell die Felder der computerbasierten Chemie und Thermodynamik. Er nennt ein dort verortetes Beispiel für den computerbasierten Einsatz: Materialeigenschaften eines Stoffes sind wichtig für die Praxis, insbesondere auch, wie sich verändernde Parameter wie Temperatur und Druck darauf auswirken. Vereinfacht gesagt sollen Computermodelle, Computersimulationen, nun berechnen, wie sich zwei – oder mehrere – Stoffe verhalten, wenn sie zusammengebracht werden. Das Auffällige dabei: Verschiedene Forschungsgruppen kommen dabei auf verschiedene Ergebnisse. Unterschiede wohl gemerkt, die statistisch relevant sind. Johannes Lenhard: „Sind die Simulationen also schlecht gemacht? Sind sie fehlerhaft? Oder liegt es in der Natur der Sache, dass bei solch komplexen Vorgängen ein Ergebnis nicht eindeutig wiederholbar ist?“ Erst jetzt fange man an, diese Fragen genauer zu untersuchen.

Wer bestimmt, welche Codes genutzt werden?

Im Rahmen eines – von der Volkswagenstiftung – geförderten Projektes wollen Lenhard und sein Team diesen Fragen – aus zwei Richtungen kommend – auf den Grund gehen: Die erste Richtung sei die Analyse-Richtung. Genauer gesagt: Analysieren, beobachten und Zusammentragen: „Wir untersuchen, was tut sich aktuell in der wissenschaftlichen Community zu diesem Thema.“ Welche Handlungsempfehlungen sind im Gespräch? Welche möglichen Vorgehensweisen werden kontrovers diskutiert? „Wie werden beispielsweise Vorschläge aufgenommen, gleiche Codes zu nutzen. Und wer bestimmt, welche Codes das sind.“

Frühere Kontroversen – konnte man sich einigen?

In einem zweiten Schritt wollen die Forschenden Historisches dazu unter die Lupe nehmen: Archivierte Kontroversen, elektronischer Postverkehr beispielsweise, der in den 1970er oder 1980er-Jahren ausgetauscht wurde. Damals als Computer erstmals Einzug hielten in die wissenschaftliche Praxis, als die ersten Software-Pakete genutzt wurden. Lenhard erklärt: „Schon damals stellten sich grundlegende Fragen.“ Beispielsweise, ob alle Forschenden – mit ähnlichem Forschungsthema – zum gleichen Computerprogramm verpflichtet werden müssten. „Wir wollen herausfinden, auf was sich die damaligen Forschenden einigen konnten. Und vor allem konnten sie sich überhaupt einigen?“ Gemeinsam mit dem Kooperationspartner, einer Forschungsgruppe der Universität Lorraine, die zur Geschichte der computerbasierten Chemie forscht, werfen sie diesen Blick in die Wissenschaftsgeschichte.

Diskurs für die Praxis anstoßen

Das Projekt mit dem Titel: Reproducibility Has Politics („Reproduzierbarkeit hat Politik“) wird für vier Jahre mit rund 500.000 Euro gefördert. Aufbauend auf den so gewonnen Erkenntnissen sieht Lenhard seine Aufgabe vor allem darin, eine Diskussion unter Praktikerinnen und Praktikern anzustoßen. Er will – um im Bild der Chemie zu bleiben – eine Art Katalysator sein: „Es geht um Reflexion. Und die Frage, was Wissenschaft kann und was sie eben nicht kann. Letztendlich geht es darum, wie Wissenschaft idealerweise vorgehen sollte.“

Über die Förderung der Volkswagenstiftung

Im Rahmen von „Forschung über Wissenschaft“ fördert die Volkswagenstiftung interdisziplinäre, multimethodische und international ausgerichtete Forschungsvorhaben und möchte so die Expertise aus verschiedenen Bereichen der Wissenschaftsforschung zusammenbringen. Sie unterstützt nicht nur die Erschließung neuen Wissens, sondern auch eine Reflektion über die strategische Anwendung der generierten Erkenntnisse im Kontext von Wissenschafts- und Hochschulpolitik.

RPTU | Rheinland-Pfälzische Technische Universität Kaiserslautern Landau