Die Qualität des Reviews liegt nicht nur in den Händen des American Institute of Aeronautics and Astronautics. Normalerweise werden immer 1-2 externe Experten zu Rate gezogen die auf dem konkreten Themengebiet des Papers arbeiten. Wenn die sich keine Mühe geben dann kommt auch mal ein schlechtes Paper durch.
Und dann gibt es natürlich noch die Möglichkeit, dass externe Reviewer mit dem Autor unter einer Decke stecken um den Peer Review-Prozess auszutricksen.
Was auch immer wieder übersehen wird: Revisoren sammeln "nur" Findings, insbesondere geben sie nicht einmal eine Empfehlung ab ! Die Entscheidung, ob ein Paper angenommen wird, liegt also nicht bei einem oder mehreren Revisoren, sondern bei der Person, die bei dem Journal für die Veröffentlichung zuständig und verantwortlich ist.
Da diese verantwortliche Person typischerweise aber keine Fachperson auf dem Gebiet ist, wird sie natürlich bemüht sein, gute Revisoren einzuladen.
So habe ich beispielsweise einmal in einem Projekt einen Revisor aus dem Nachbarteam eingeladen; der meinte zwar, er könne doch gar nicht soviel beitragen, aber ich konnte ihn überzeugen, dass er unsere Systeme eigentlich auch sehr gut kennt und ich es einmal mit ihm als Revisor ausprobieren möchte. Er war ein sehr sorgfältiger und gewissenhafter Arbeitskollege und da er eben "von aussen" kam, war er es, der die meisten Findings gefunden hat, das war eine wirklich sehr überzeugende Erfahrung. Ein Quartal später habe ich deswegen zusätzlich zu ihm einen weiteren Revisor von einem anderen Team eingeladen, so dass ich 4 team-interne und 2 zwar abteilungs-interne, aber team-externe Revisoren hatte, doch war dieser nicht vorbereitet und hat in der Reviewsitzung im Wesentlichen nur geschlafen. Ein nicht vorbereiteter und desinteressierter Revisor bringt also gar nichts, aber ein gewissenhafter Revisor auch nur aus einem ähnlichen Bereich ist eine wesentliche Bereicherung, auf die man nicht verzichten sollte.
Allerdings muss man die Revisoren auch "bezahlen" (mit Zeit !) und das ist das Hauptproblem, warum Reviews in der Privatwirtschaft in letzter Zeit wieder weniger erfolgreich sind. Mir selber geht es ja leider auch so: man bekommt eine Review-Einladung, bekommt aber keine Zeit, d.h. kein einziger meiner Termine verschiebt sich deswegen. Am Ende des Jahres werde ich aber anhand der Erfüllung meiner Termine bewertet und nicht, ob ich an irgendwelchen Reviews teilgenommen und dort Zeit verbraten habe. Das hat dann zur Folge, dass sich keine Revisoren melden oder wenn, dass diese dann nach Rechtschreibefehlern suchen, damit wenigstens etwas im Review-Protokoll steht. Also letztlich nur eine Alibi-Übung. Dass sowas die Qualität nicht steigert dürfte selbstsprechend sein.
Ein gutes Review kostet Geld ! - Aber: es kostet
weniger Geld als dynamische Tests und es fördert Fehler in einer
frühen Projektphase, in der man sie noch preisgünstig korrigieren kann, zu Tage. Und deswegen lohnt es sich
immer, gute Reviews durchzuführen, auch wenn zahlreiche Manager vom Optimierungswahn getrieben genau hier ansetzen, um Geld zu sparen.
Und wenn das gute Review nicht "gut genug" ist, so muss man nicht gleich "feststellen", dass Reviews eben doch nicht soviel bringen wie erhofft, sondern dann muss man eben wirklich die besten Methoden einsetzen und für das Review die Kombination der beiden stärksten Review-Arten anwenden. Das kostet dann vielleicht dreimal mehr, erhöht aber die Fehlerfindungsrate von 85% auf 99.5%, d.h. es verbleibt nur 1/30.-tel der Fehler unerkannt. Und das
lohnt sich. Und wenn dann auch noch ein Auditor vorbeikommt und man zeigt ihm die Reviewprotokolle der Peer Reviews und der Inspektionen, dann wird das mit an Sicherheit grenzender Wahrscheinlichkeit (zurecht !) als "sehr hohe Professionalität" ausgelegt und das Audit bestanden.
Freundliche Grüsse, Ralf
bei mir stürzt er ab !?