Ausreißer bei Methodenvalidierung und Transfer

Geschrieben von Dr. Janet Thode Veröffentlicht in Methodenvalidierung

Zwei Beispiele

Beginnen wir mit einem Beispiel. Während der Validierung einer analytischen Methode soll die Linearität evaluiert werden. Dazu werden 5 Konzentrationen mit je 3 Replikaten untersucht (um neben der Linearität auch die Richtigkeit in einem Ansatz zu erschlagen). Bei der Konzentration, die 120% der Testkonzentration entspricht, ist ein Wert deutlich höher als die beiden anderen. Dennoch kann auch unter Berücksichtigung dieses Wertes das Akzeptanzkriterium eingehalten werden. Jetzt stellt sich die Frage, was man tun soll. Muss man die gesamte 120%-Konzentration mit allen 3 Replikaten wiederholen, kann man den auffälligen ausschließen und nur den Mittelwert aus den beiden anderen bilden oder muss man gar alle Experimente zur Linearität wiederholen?

Ein anderes Beispiel sei eine Komparabilitätsstudie eines Potency-Assays während eines Methodentransfers. Dafür bestimmen sowohl die Receiving Site als auch die Sending Site die Wirksamkeit eines Medikaments unter Verwendung von einer definierten Anzahl an Proben genau der gleichen Charge mit Hilfe eines Bioassays. Beim angewandten Bioassay wird die Probe in Triplikaten aufgetragen. Bei beiden Sites soll das Ergebnis natürlich innerhalb der Spezifikation liegen und die relative Standardabweichung (RSD) über alle gemessenen Proben beider Sites soll einen vordefinierten Wert nicht überschreiten. Leider weicht bei einer der Proben der Sending Site eines der drei Replikate einer Probe sehr stark von den beiden anderen ab und gemittelt wäre das finale Ergebnis OOS (out of specification). Wie ist hier das korrekte Vorgehen?

Zu beiden Beispielen gehen die Meinungen zur Lösung des Problems auseinander.

 

Die OOS-Guideline der FDA

Eine Orientierungshilfe kann die 2006 von der amerikanischen Gesundheitsbehörde FDA (Food and Drug Administration) herausgegebene Guidance for Industry „Investigating Out-of-Specification (OOS) Test Results for Pharmaceutical Production” sein, auch wenn diese sich auf Testergebnisse zur Chargenfreigabe bezieht und damit keine direkten Aussagen hinsichtlich einer Anwendbarkeit bei Methodenvalidierungen oder Methodentransfers macht.

So ist nach der Entdeckung die verdächtige Probe - wenn möglich - aufzubewahren und eine Laborfehleranalyse einzuleiten. Diese hat den Zweck, die Ursache zu identifizieren. Dafür setzen sich Laborleiter und durchführender Analyst zusammen und prüfen die eben durchgeführte Methode, am besten z.B. mit Hilfe einer Laborfehleranalysecheckliste, auf Herz und Nieren. Dies umfasst die Versuchsdurchführung:

  • wurden die richtigen Reagenzien und Standards eingesetzt
  • sind die Verdünnungen und Lösungen richtig angesetzt worden
  • ist etwas offensichtlich schiefgegangen (wurde z.B. etwas verschüttet),

aber auch die Rohdaten, alle Berechnungen, die Frage ob die verwendeten Geräte kalibriert und qualifiziert waren und ob der Systemeignungstest (system suitability test, SST) einwandfrei war, um nur einige Beispiele zu nennen.

Des Weiteren ist es sinnvoll, von der noch aufgehobenen Probe (sofern möglich) oder von einem weiteren Rückstellmuster der gleichen Charge so schnell wie möglich eine erneute Analyse durch einen zweiten ebenfalls in der Methode erfahrenen Analysten durchzuführen. Dies hat den Zweck zu prüfen, ob ein Handlingfehler des ersten Analysten oder ein Gerätefehler die Ursache gewesen sein könnte. Im Falle eines eindeutigen Laborfehlers kann das erste Ergebnis invalidiert und das Retest-Ergebnis als finales Ergebnis verwendet werden.

In der Guideline wird außerdem kurz auf die Anwendung von Ausreißer-Tests (Outlier tests) eingegangen. Vor jeglicher Anwendung sollte man sich kurz vergegenwärtigen wie ein Ausreißer gemäß dieser Richtlinie definiert ist: „On rare occasions, a value may be obtained that is markedly different from the others in a series obtained using a validated method. Such a value may qualify as a statistical outlier. An outlier may result from a deviation from prescribed test methods, or it may be the result of variability in the sample.”  Die Anwendung eines Ausreißer-Tests sollte im Vorfelde in der entsprechenden Arbeitsanweisung (standard operating procedure, SOP) festgelegt sein und kann bei Bioassays mit hoher Variabilität dazu geeignet sein, einen Wert von der Berechnung auszuschließen.

 

Zurück zu den Beispielen…

Dies klingt nach einer Anwendbarkeit für das zweite Beispiel, da es sich um einen Bioassay mit entsprechender Variabilität handelt, der bei der Sending Site natürlich bereits seit langem validiert worden ist. Da das Problem bei der Sending Site aufgetreten ist und die Methode zur Produktfreigabe verwendet wird, ist das auffällige Ergebnis als OOS anzusehen und die oben besprochene Laborfehleranalyse einzuleiten. Wenn nach eingehender Laborfehleranalyse die Ursache nicht identifiziert werden konnte und die Anwendung eines Ausreißer-Tests bei diesem Bioassay in einer SOP definiert ist, ist es in diesem Fall erlaubt, mit einem Ausreißer Test zu prüfen, ob dieses eine abweichende Ergebnis eines Replikates von der finalen Berechnung des Endergebnisses ausgeschlossen werden darf. Inwiefern ein Ausreißer-Test bei 3 Werten wirklich Sinn macht, sei mal dahingestellt… Es geht hier ja nur um ein Beispiel. Welcher Ausreißer-Test anzuwenden ist, sollte natürlich ebenfalls in der SOP vermerkt sein. Weitere Informationen zu Ausreißer-Tests finden sich in den USP Kapiteln <111> für Bioassays und <1010> zur allgemeinen Datenauswertung.

Beim ersten Bespiel kann nicht von einem OOS gesprochen werden, da wir ja gerade dabei sind, die Methode zu validieren und damit noch keine offizielle Spezifikation vorliegen haben können. In einer richtigen Spezifikation sind die in der Methodenvalidierung verifizierte analytische Variabilität sowie die in einigen klinischen Chargen evaluierte Prozessvariabilität berücksichtigt. Es ist dennoch empfehlenswert eine Laborfehleranalyse einzuleiten, um die Ursache zu analysieren. Auch wenn so für Methodenvalidierung - meines Wissens - nirgendwo direkt gefordert, sollte es bei jedem auffälligen Ergebnis einer Analyse eine Selbstverständlichkeit sein, der Ursache auf den Grund zu gehen und das Problem verstehen zu wollen. In unserem Beispiel wurde festgestellt, dass es am Ende ein Geräteproblem gab, dieses erst behoben werden musste und das letzte Replikat dadurch erst sehr viel später als die beiden anderen gemessen werden konnte. Aufgrund des sehr kleinen Probenvolumens mag Flüssigkeit verdunstet sein, so dass das Ergebnis deutlich konzentrierter ausfiel. Durch die eindeutig identifizierte Ursache ist es möglich, den einen Wert von der Berechnung mit entsprechender Begründung auszuschließen, ein deutlich konservativerer Ansatz wäre eine Wiederholung der gesamten Linearitätsuntersuchung.

Im Falle einer unklaren Ursache ist die Angelegenheit ein wenig schwieriger. Einfach und eindeutig ist die Tatsache, dass es keinen Grund gibt, den Ausreißer auszuschließen, da das Ergebnis selbst mit dem Ausreißer das Akzeptanzkriterium erfüllt. Es mag zwar nicht so schön sein, aber ein Ausschluss oder eine Wiederholung nur um des „Schönheitswillen“ ist aus regulatorischer Sicht einfach inakzeptabel und hat den üblen Beigeschmack eines „testing into compliance“ und wirkt entsprechend nicht gerade vertrauenserweckend. Eine nicht identifizierbare Ursache könnte auf ein Robustheitsproblem der Methodik an sich hindeuten. Daher sollte man sich fragen, welche Auswirkungen das auf die spätere Freigabenanalytik haben wird und ob das als Teil der normalen Methodenvariabilität tolerierbar sein kann. Falls nicht, so muss ein Schritt zurückgegangen und die Methode hinsichtlich ihrer Robustheit optimiert werden.

Dies führt zu dem Punkt, dass man eine Methodenvalidierung eigentlich zu einem Zeitpunkt durchführt, wo man sich schon ziemlich sicher sein sollte, dass die Methode auch wirklich gut funktioniert, da alles andere auf eine nicht unbedingt so tolle Methodenentwicklung hindeutet. Hilfreich sind in diesem Zusammenhang in der Methodenentwicklung durchgeführte sogenannte „pre-validation tests“ / „feasability studies“, um in der eigentlichen Validierung keine bösen Überraschungen mehr zu erleben. Dies schützt ebenfalls vor zu hoch gesteckten Zielen in Form von zu engen, unrealistischen Akzeptanzkriterien.

 

Dokumentation fehlerhafter Ergebnisse

Abschließend ein paar Worte zur Dokumentation. Aus Gründen der Transparenz ist es empfehlenswert, grundsätzlich immer alle Werte im Validierungsbericht aufzuführen, auch auszuschließende. Sie können ja in Klammern dargestellt und mit einer Fußnote zur Erklärung versehen werden. Allerdings kann auch argumentiert werden, dass nur die wiederholten Ergebnisse mit entsprechender Begründung dargestellt werden und die fehlerhaften Ergebnisse mit ihren Rohdaten z.B. bei den Trainingsunterlagen des Analysten verbleiben, der die fehlerhaften Ergebnisse generiert und eine Nachschulung erhalten hat. Aus diesem Grunde sollte bereits im Validierungsplan vermerkt sein, wie im Falle von auftretenden Problemen (untypische Ergebnisse oder Nicht-Einhalten der Akzeptanzkriterien) vorzugehen ist. Im Validierungsbericht ist dann in einem spezifischen Abweichungs-Abschnitt von den Problemen zu berichten. Die Ausführlichkeit bleibt jedem selbst überlassen. Ein paar erklärende Worte sowie ggf. ein Verweis auf die Nummer einer eröffneten Abweichung oder zumindest der Laborfehleranalyse sind sicherlich nicht schlecht. Das soll im Umkehrschluss aber nicht automatisch heißen, dass jedes Problem in absoluter Ausführlichkeit im Validierungsbericht dargestellt werden muss. Wenn bereits bei der Durchführung festgestellt wurde, dass z.B. eine Verdünnung falsch angesetzt wurde, so kann dies im Laborbuch vermerkt und das Experiment neu angesetzt werden, ohne darauf im Validierungsbericht einzugehen. Die Grenze zwischen einem reinen Vermerk im Laborbuch und der Eröffnung einer Abweichung kann gezogen werden, wenn das fehlerhafte Ergebnis mit der Durchführbarkeit der Methode (method performance) zusammenhängt. Für offensichtliche menschliche oder gerätebezogene Fehlerursachen kann ein reiner Vermerk im Laborbuch ausreichend sein.

 

OOS versus OOT

Zu guter Letzt seien noch ein paar Worte zu OOS versus OOT gesagt. Unter OOS verstehen wir alle Ergebnisse, die sich außerhalb der Spezifikation befinden, wobei wir dabei üblicherweise eigentlich an die Routine-Ergebnisse der Freigabe- und Stabilitäts-Analytik von Arzneimittelchargen denken.

Und was ist jetzt OOT? Unter OOT (= out of trend) sind solche Ergebnisse zu verstehen, die im Rahmen von Trending-Analysen nicht zu erwarten wären. Nehmen wir uns zur Erklärung ein Beispiel: Für die Ermittlung der Haltbarkeit eines Arzneimittels wurde vor dessen Zulassung eine Stabilitätsstudie durchgeführt, bei der der untersuchte Parameter (z.B. der Gehalt) einen charakteristisch abnehmenden Verlauf zeigt, bei dessen Ende aber noch alle Ergebnisse innerhalb der Spezifikation liegen (also kein OOS vorliegt). Wenn wir nach der Zulassung die Haltbarkeit im Zuge fortlaufender Stabilitätsstudien weiterhin überwachen und dabei jetzt einen deutlich stärkeren Abfall beobachten würden, sprechen wir von OOT-Ergebnissen, da von dem erwarteten Verlauf abgewichen wird. Dies könnte zur Folge haben, dass die Haltbarkeit deutlich verkürzt wäre, da der Gehalt weit vor der erwarteten Zeit die untere Spezifikationsgrenze unterschreiten würde. OOT-Ergebnisse treten also auf, bevor es zu einem OOS-Ergebnis kommen kann. Das frühzeitige Erkennen von OOT-Ergebnissen ermöglicht damit ein rechtzeitiges Ergreifen entsprechender Maßnahmen.

 

Update 01.06.2022

Die FDA hat die oben angesprochene OOS Guideline von 2006 inzwischen revisioniert. Das Dokument vom Mai 2022 findet sich hier. Ebenfalls hilfreich sind die Informationen zum Umgang mit OOS-Ergebnissen, die von der britischen Zulassungsbehörde MHRA (Medicines & Healthcare products Regulatory Agency) in Form einer Präsentation herausgegeben und 2017 aktualisiert wurden.

Wie wichtig gründliche und auch weiterführende Untersuchungen von OOS-Ergebnissen den Behörden sind, sollen exemplarisch diese zwei aktuellen Warning Letter / 483 der FDA zeigen.