"Publizieren und Zitieren sind die Währungen der Wissenschaft.
Aber lesen wir noch, was andere schreiben? Ja, verstehen wir uns
überhaupt noch?" fragt der Direktor am Max-Planck-Institut für Evolutionsbiologie Diethard Tautz in seinem Beitrag "Neuer Turm in Babel?" im Laborjournal.online.
Viel schreiben, wenig lesen. Und das erstere bedingt das das zweite, denn v.a. die Artikel-Massenware von Vielschreibern sorgt oft für enormen Lesewiderstand.
ReplyDeleteDie Konsequenz daraus ist, dass Wissenschaftler es immer schwerer haben, den allgemeinen Wissensstand und -fortschritt in ihrer Disziplin nachzuhalten. Und die Artikel sind ja oft nicht nur schlecht geschrieben, sondern viel öfter noch methodisch kaum noch nachvollziehbar. Der skandalöse Zustand, dass fast die Hälfte der Ergebnisse in medizinischen Artikeln nicht repliziert werden kann (wie kürzlich vom Economist berichtet), ist m.E. nur die Spitze jenes Eisbergs, in dem fast alle empirielastigen Wissenschaftsdisziplinen mit eingeschlossen sind.
Und besonders interessant ist, was Tautz zum Erwünschtsein von innerdisziplinärer Kritik schreibt. Das beobachte ich genauso, und es hat einfach damit zu tun, dass man durch die exzessiven gegenseitigen Begutachtungen beim Publizieren zu sehr auf die lieben Kollegen angewiesen ist, als dass man riskieren könnte, sie nachhaltig zu verärgern. Das konnten sich noch die alten Patriarchen leisten ... heute geht das nicht mehr.
Auch innerhalb der Klimawissenschaften scheinen die Debatten eher wachsweich zu sein, und das liegt womöglich gar nicht einmal primär daran, dass man nach außen geschlossen wirken will, sondern um es sich nicht untereinander zu verscherzen. Insofern würde ich diese Disziplin auch gar nicht aus andern hervorheben wollen. Aber das Problem ist, dass eine solche Atmosphäre Gruppen- und Konsensdenken fördert.
Das Wissenschaftssystem ist auf dem Weg die Anreize der Kapitalmärkte zu imitieren: wer viel und schnell publiziert hat einen Marktvorteil, der sich karrieregünstig auswirkt. Tiefes, langsames Denken wird nicht belohnt. Gewiss, es gibt nationale und disziplinäre Unterschiede. Hier ist ein kurzes paper (vier Seiten! soviel Zeit muss sein!)
ReplyDeleteEin anderes Problem ist die Auseinanderentwicklung der Fachsprachen. Das ist nicht neu und beruht auf der Ausdifferenzierung von (Teil-)Disziplinen, wobei es auch die entgegengesetzte Tendenz gibt (durch das Entstehen neuer Forschungsfelder, wobei auch hier eine neuer Jargon etabliert wird). Bei diesem Problem gibt keine Tendenz, dass man eine beschleunigte Differenzierung erwarten kann.
Dann ist da noch das Problem der verfügbaren Zeit, die an die Aufmerksamkeit gekoppelt ist. Es wurde noch nie alles gelesen, aber das Verhältnis gelesen/ungelesen wird kleiner. Durch die Ausdehnung des Wissensbetriebs weltweit gibt es zwangsläufig mehr Publikationen (gekoppelt mit dem oben erwähnten Anreiz für jeden einzelnen Forscher, möglichst viel und schnell zu publizieren). Knappe Aufmerksamkeit wird durch soziale Stratifikation gelenkt, die Prestige-Zeitschriften und Verlage werden überschwemmt mit Manuskripten. Forschungseinrichtungen belohnen solche Publikationen und die Spirale setzt sich fort.
Es ist eine offene Frage wie sich dies durch andere Formen des Publizierens verändern lässt, knappe Aufmerksamkeit muss gesteuert werden, was die bestehenden Hierarchien verstärkt.
Die Peer review Problematik (s. Karl Kuhn #1) allerdings kann durch online Begutachtung gelöst werden.
Dass das Peer-Review-System unter der Flut eingereichter Papiere zusammenbricht, wird zunehmend deutlich. Bis in die neunziger Jahre war es noch üblich, dass amerikanische Ökonomen eine PhD-Thesis als Monographie verfassten und daraus eine halbwegs gute Journal-Publikation machten.
ReplyDeleteHeute verlangen wir an unserem Institut von unseren Doktoranden zwar keine längliche Monographie mehr, aber stattdessen zwei bis drei eingereichte Journal-Artikel. Auch wird erwartet, dass aus guten Masterarbeiten schon ein Artikel gemacht wird. Für die Betreuer hat dies den Vorteil, dass sie sich als Koautoren mit draufsetzen und damit ihren eigenen 'Output' mal eben verdoppeln bis verdreifachen können.
Wunderbar ... aber wer soll dieses Fließbandzeugs dann alles lesen, und wer erwartet ernsthaft, dass da lauter neue und interessante Erkenntnisse drinstehen, die gesellschaftlichen Mehrwert schaffen könnten?
Und es liest auch kaum jemand. Anreize zum Schreiben 10; Anreize zum Lesen und evtl. gar kritisch kommentieren nahe Null! Das senkt auf Dauer unweigerlich die Qualität der veröffentlichten Forschung und reduziert damit auch ihren Informationswert für gesellschaftliche Entscheidungen.
@ Quencher
ReplyDeleteJa - man erregt mit einem guten Buch idR mehr Aufmerksamkeit als mit einem obskuren, nicht-lektorierten Journalartikel hinter einer Paywall.
Aber - wenn man nicht gut schreibt, dann hat man im besten Fall 'nur' Absatz und Aufmerksamkeit, aber durchlesen mag es sich keiner. Siehe Karl Marx und Piketty.
Da es mehr Forscher gibt ist der pool groesser, aus dem die Gutachter kommen. Insofern sehe ich kein "Zusammenbrechen" des peer review systems.
ReplyDeleteWas ist mit der "noblen Korruption"?
"Und besonders interessant ist, was Tautz zum Erwünschtsein von innerdisziplinärer Kritik schreibt. Das beobachte ich genauso, und es hat einfach damit zu tun, dass man durch die exzessiven gegenseitigen Begutachtungen beim Publizieren zu sehr auf die lieben Kollegen angewiesen ist, als dass man riskieren könnte, sie nachhaltig zu verärgern."
Das ich nicht nachvollziehen. In meinem Bereich gibt es so gut wie kein paper, das beim ersten Anlauf akzeptiert wird. Die Begutachtung sollte doppel blind erfolgen, noch besser: alles online, dann verbieten sich fadenscheinige Einwaende von selbst.
Aber Herr Grundmann,
ReplyDeletewelche Qualität des wissenschaftlichen Diskurses kann man wohl erwarten, wenn offene Kritik nicht mehr möglich und erwünscht ist und man Kritik deswegen nur noch als anonymer Reviewer an den nicht ganz so anonymen Autoren verüben kann? Vergessen Sie doppel-blind ... es ist sehr einfach, rauszufinden, von wem ein Manuskript stammt. Wenn dann auch noch die Reviewer die vom Autor vorgeschlagenen sind, ist doppel-blind sinnlos, und dann sollte man den Review-Prozess besser gleich öffentlich machen.
Zum Zusammenbruch: es werden nicht nur mehr Wissenschaftler, sondern eben pro Wissenschaftler immer mehr Publikationen. Wenn ich pro Jahr zwei Veröffentlichungen habe, dann sind dazu sechs Reviewer beschäftigt worden, die, sofern sie sich ernsthaft mit dem Manuskript beschäftigt haben, jeder pro Durchlauf etwa (schätze ich mal) 1 Tag dransitzen. Also beansprucht meine Publikationstätigkeit pro Jahr 12 Arbeitstage von Kollegen. Und das beinhaltet noch nicht die Zeit der Editoren, und es beinhaltet auch nur das Reviewen von Journal-Artikeln. Unbezahlte und auch in sonstiger jeglicher Hinsicht nicht belohnte Tätigkeit ... ist man selbst bereit, das zu leisten?
Schafft man, andererseits, an einem Tag eine komplexe Methodik zu durchdringen? Nie im Leben, es bleibt also, wie Tautz sagt, in den allermeisten Fällen bei Plausibilitäts-Checks! Und die macht man dann mit mieser Laune, weil man eigentlich was anderes zu tun hätte.
Die Thematik ist eigentlich jedem bekannt, der mal wissenschaftlich gearbeitet hat und auch nicht sonderlich neu. Ich frag mich an der Stelle nur, wird der Zustand "viele publizieren, wenige lesen" überdramatisiert oder hat das doch einen erheblichen Einfluss auf die Qualität der Wissenschaft. Ich vermag das nicht einzuschätzen. Mir fallen da zu viele Argumente auf beiden Seiten ein. Auf der einen Seite habe ich auch den Eindruck, dass beispielsweise die klassische schriftliche Doktorarbeit bei vielen Profs gar nicht mehr so hoch eingeschätzt wird, weil aus markttechnischen Gesichtspunkten mind. 2-3 mögliche Veröffentlichungen drin stecken, die mehr fürs persönliche Ranking bringen (für Doktorand und Prof). Dabei ist eine verfasste Doktorarbeit oft der Stolz des Doktoranden, der endlich mal all das an Wissen und Ergebnissen loswerden kann, dass er in etlichen Jahren angehäuft hat. In welcher Sprache man so eine Arbeit dann veröffentlicht, wäre dann noch mal ein Thema, Stichwort die deutsche Sprache verschwindet immer mehr in der Wissenschaft.
ReplyDeleteAuf der anderen Seite denke ich mir, wenn man die Ergebnisse von 6 oder 12 Monaten intensiver wissenschaftlicher Arbeit mal in 8 Seiten Kondensat zusammenfasst, kann das doch eigentlich nicht so viel verlangt sein. In der industriellen Entwicklung müssen Mitarbeiter wesentlich mehr an Dokumentation pro Jahr erzeugen und die Leserschaft ist noch wesentlich abgegrenzter als bei einem 0815-Journal. Da ist das Schreib-Lese-Verhältnis noch viel ungünstiger ausgeprägt, aber die Industrie kann sich das scheinbar leisten.
Schade finde ich, dass bei derartigen Diskussionen kaum Veränderungsvorschläge gemacht werden. Peer Review ist für einen Teil der Leute schlecht, die Botschaft ist angekommen. Aber was sind die Alternativen?
Herr Kuhn
ReplyDeleteIhrer Argumentation und Arithmetik kann ich nicht folgen.
“es ist sehr einfach, rauszufinden, von wem ein Manuskript stammt”
Das mag auf kleine, stabile Gemeinschaften zutreffen, nicht aber auf die Situation, in der immer mehr Autoren unterwegs sind.
Zum drohenden Zusammenbruch des peer-review Systems: Es gibt zwei Gründe, die dagegen sprechen. Erstens die simple Überlegung, dass jeder Autor eine Pflicht hat, am Gutacherprozess teilzunehmen, da er sonst keine Gutachter für seine Manuskripte finden würde. Als moralische Faustformel: wer drei papers pro Jahr einreicht, die im Schnitt drei Gutachter erfordern, der sollte neun Manuskripte begutachten.
Ich höre schon das Stöhnen über die Moralkeule. Die kommt auch nie zum Einsatz, weil jeder Autor ein starkes Eigeninteresse hat, als Gutachter aufzutreten. Da kann er/sie lernen, was an der Forschungsfront passiert, sicherstellen, dass man selbst zitiert wird, und notfalls unliebsame Manuskripte sabotieren.
Ich hoffe, ich habe keinen wunden Punkt getroffen!
Herr Grundmann,
ReplyDeleteZu meinen Zahlen: ich gehe von durchschnittlich zwei Review-Runde pro paper aus, für die der Reviewer dann jeweils einen Tag aufwendet. So müssten meine Zahlen nachvollziehbar sein.
Dass dem Peer-Review-System organisatorisch die Puste auszugehen scheint, merken wir deutlich an der immer längeren Zeit, die Manuskripte beim Editor und den Reviewern rumliegen, ehe mal eine Entscheidung fällt. Oft hört man mehr als ein halbes Jahr nichts, was früher sehr ungewöhnlich war. Aber dazu gibt es mittlerweile ja auch Zahlen von den Journals selbst.
Zur Anonymintät: auch in größeren Communities ist es meist eine Sache von 5 min Googeln, die Autoren eines Manuskripts zu identifizieren. Die zitieren sich nämlich in der Regel gerne selbst, denn auch Eigenzitate gehen in den Impactfaktor ein. Und wenn es sich gar um ein Papier handelt, das mit einem bestimmten Modellsystem erstellt wurde, ist eh klar, wer die Autoren sind.
In dem Moment ist der Reviewer in einer sehr komfortablen Machtposition. Sie schreiben selbst, welche Optionen nun offenstehen:
"Da kann er/sie lernen, was an der Forschungsfront passiert, sicherstellen, dass man selbst zitiert wird, und notfalls unliebsame Manuskripte sabotieren."
Gut, Reviews zwingen zum Lesen und Verstehen der Gedanken anderer Leute, wozu man aus eigenem Antrieb vielleicht zu faul wäre.
Aber die Versuchung ist groß, seine Macht als Reviewer zu missbrauchen. Sie nennen zwei Möglichkeiten:
a) der Reviewer fordert die Autoren auf, bestimmte ganz furchtbar wichtige Artikel noch zu ziteren. Die stammen dann zufällig von ihm selbst. Ganz miese Tour. Immerhin outet sich der Reviewer damit.
b) dem Reviewer passt nicht, was im Manuskript steht, weil es seine eigene Arbeit in Frage stellt (und das ist sogar ziemlich wahrscheinlich, denn Wissenschaft baut nicht immer nur harmonisch auf Vorarbeiten auf, sondern widerlegt diese ebenso oft). Und/Oder ihm passt die politische Richtung nicht, was in der Klimawissenschaft ein ziemlich akutes Problem ist. Dann kann er das Manuskript ablehnen, ohne sich dafür gegenüber irgendjemandem rechtfertigen zu müssen. Auch eine miese Tour.
Die Anreize, die Wissenschaftler haben, am Review-Prozess teilzunehmen, sind also hinsichtlich ihrer Wirkung auf den Publikationsbetrieb mitunter recht zweifelhaft.
Vielleicht noch ein paar Nachbemerkungen, denn es ist eigentlich nicht meine Absicht, das Ganze so negativ aussehen zu lassen:
ReplyDeleteAlle, die ich persönlich kenne, betreiben das Review-Geschäft in allererster Linie aus einer moralischen Verpflichtung. Also intrinsische Motivation, die keine weiteren positiven Incentives braucht. Kollegen, die wöchentlich mehrere Anfragen bekommen, müssen allerdings viel ablehnen. Sie versuchen, die Anzahl der Reviews, die sie ehrenamtlich durchführen, in ein vernünftiges Verhältnis zu ihrer eigenen Inanspruchnahme des Systems zu setzen. Das schafft allerdings die negativen Incentives, die ich weiter oben beschrieben habe, nicht aus der Welt.
Worum es Tautz ging, ist die von Forschungsförderern, universitären Selbstverwaltungen und den Karrierekriterien in der Wissenschaft allgemein massiv angeheizte Publikationsflut insgesamt, die es kaum noch möglich macht, einen Überblick zu behalten. Das hat auch negative Auswirkungen auf den Peer Review, aber das ist nicht der Hauptpunkt.
Außerdem gibt es in diesem Problembereich wahrscheinlich große Unterschiede zwischen Geistes- Sozial und Naturwissenschaften, die hier noch gar nicht diskutiert wurden.