Von Diala Kockazi, Prof. Dr. Juliane König-Birk, Hochschule Heilbronn, und Steffen Haberzettl, Cleaning Excellence Center (CEC), Leonberg
Die Prüfung der Sauberkeit nach VDA 19 stellt für zahlreiche Bauteile ein wichtiges Verfahren innerhalb der Prozesskette zur Herstellung von Produkten dar. Für den Beleg der Prozesssicherheit des Verfahrens werden regelmäßig Ringversuche der eingesetzten Messsysteme bei Prüf- und Betriebslaboratorien durchgeführt. Von den 23 geprüften Messsystemen erzielten 17 den zufriedenstellenden Bereich. Die detailliertere Betrachtung der Ergebnisse legt nahe, dass vor allem bei den Bedienern der Messsysteme Nachbesserungen erfolgversprechend sein sollten.
Laboratory Round-Robin Test for Particulate Measurement Systems in Practice
Cleanliness testing of countless individual components in line with VDA 19 is a key element in the overall production sequence. To confirm the integrity of the testing procedure, regular round-robin tests of the measurement equipment in question are carried out by Test Houses and manufacturer’s laboratories. Of the twenty-three measurement systems tested, seventeen yielded the most satisfactory results. Detailed examination of the results reveals that communication of corrections and modifications to staff operating the equipment are critical.
Mit der Durchführung von Sauberkeitsanalysen können Unternehmen die Qualität ihrer Produkte sichern. Entweder verfügen die Unternehmen über eigene Labore oder sie beauftragen hierfür Prüflaboratorien, die sich mit der Restschmutzanalyse befassen. Prüflaboratorien, die im Kundenauftrag Analysen durchführen, müssen einen Kompetenznachweis mittels einer Akkreditierung belegen [1]. Aufgrund der Akkreditierungsvoraussetzungen bietet das Cleaning Excellence Center (CEC) seit dem Jahr 2016 Labor-Ringversuche für partikuläre Messsysteme nach VDA 19 Teil 1 [2] an. Die Labor-Ringversuche finden zweimal jährlich statt; dabei werden die angemeldeten Messsysteme verschiedener Prüflaboratorien miteinander verglichen. Anhand des Ergebnisberichts können die Prüflaboratorien nachvollziehen, ob ihr jeweils untersuchtes Messsystem zufriedenstellend arbeitet. So können potenzielle Schwachstellen erkannt werden, um Maßnahmen zur Verbesserung einzuleiten. Bei der Durchführung und Veröffentlichung der Auswertungsergebnisse wird streng auf die Wahrung der Anonymität der Teilnehmer geachtet.
1 Beschreibung des Labor-Ringversuchs
Für den Erhalt einer Akkreditierung müssen Prüflaboratorien nach DIN EN ISO/IEC 17025 an einer Eignungsprüfung entweder in Form eines Labor-Ringversuchs oder an einer anderen entsprechenden Vergleichsprüfung teilnehmen. Akkreditierte Prüflaboratorien erhalten mit der Teilnahme an einem Labor-
Ringversuch ihre Akkreditierung aufrecht. Ebenso wie bei akkreditierten Prüflaboratorien ist es für Betriebslaboratorien empfehlenswert, regelmäßig an einem Labor-Ringversuch teilzunehmen. Im Rahmen des Qualitätsmanagements nach DIN EN ISO 9001 sollen die eingesetzten partikulären Messsysteme regelmäßig überprüft werden. Mit der Teilnahme an einem Labor-Ringversuch wird dieser Anforderung entsprochen und kann in das Qualitätsmanagementhandbuch mitaufgenommen werden [3].
2 Versuchsablauf für partikuläre Messsysteme
Um die Analyse von partikulären Messsystemen auszuführen, stellt das CEC jedem Teilnehmer Partikelfilter für die Auswertung sowie eine Verfahrensanweisung zur Verfügung. In Zusammenarbeit mit dem Fraunhofer IPA in Stuttgart werden dazu reale Partikelfilter hergestellt. In der Verfahrensanweisung ist die Vorgehensweise des Labor-Ringversuchs festgehalten. Diese muss von allen Teilnehmern strikt eingehalten werden, damit die Vergleichbarkeit der Messergebnisse nicht beeinträchtigt wird.
Die Durchführung der automatisierten Messung des Partikelfilters muss nach der Standardanalyse gemäß VDA 19 Teil 1 erfolgen; andere Verfahren sind nicht zugelassen. Für den Labor-Ringversuch können partikuläre Messsysteme wie Stereo-, Zoom- und Material-Mikroskope sowie Flachbettscanner eingesetzt werden.
Bei der Filteranalyse sollen alle Partikel ohne Fasern, metallisch glänzende Partikel, nicht metallisch glänzende Partikel sowie Fasern ausgewertet werden. Dabei müssen diese typisiert und der jeweiligen Partikelgrößenklasse zugeordnet werden. Für den Labor-Ringversuch werden die Partikelgrößenbereiche von 50 µm bis über 3000 µm untersucht. Diese lassen sich gemäß den Anforderungen der VDA 19 Teil 1 in die Partikelgrößenklassen E bis N untergliedern.
Nach erfolgter Übermittlung der Messergebnisse des jeweiligen Messsystems durch den Teilnehmer erfolgt die abschließende Ergebnisauswertung durch das CEC. Jeder Teilnehmer erhält einen anonymisierten Ergebnisbericht, in dem die Auswertungsergebnisse von allen teilnehmenden Messsystemen in Form von Wertetabellen und Schaubildern gegenübergestellt sind.
Als Nachweis für die Akkreditierung nach DIN EN ISO/IEC 17025 erhält jeder Teilnehmer eine Teilnahmebescheinigung sowie ein Prüfsiegel für die erfolgreiche Teilnahme am Labor-Ringversuch.
3 Statistische Auswertung der Messergebnisse
Nach der Durchführung der Messungen durch die Teilnehmer werden die Ergebnisse statistisch ausgewertet. Um eine aussagekräftige Bewertung der Messergebnisse zu erstellen, wird die Methode der robusten Statistik nach DIN 38402-A45:9/2003 mittels Hampel-Schätzer und Q-Methode verwendet. Dies wird für die Auswertung von Ringversuchen vorgeschlagen und von der deutschen Akkreditierungsgesellschaft anerkannt. Der Mittelwert nach Hampel-Schätzer gibt einen robusten Mittelwert wieder, welcher zur Auswertung von Ringversuchen, zur externen Qualitätskontrolle von Laboratorien [4] eingesetzt wird. Die Standardabweichung nach Q-Methode liefert einen robusten Schätzwert für die Streuung von Daten [5]. Anhand des robusten Mittelwerts und der Standardabweichung sowie den einzelnen Messwerten aus den Auswertungen der Prüfberichte wird der Z-Score für jeden Messwert bestimmt. Nachfolgend ist die Formel zur Berechnung des Z-Scores aufgeführt:
mit:
X = Messwert
X–H = Mittelwert nach Hampel-Schätzer
sQ = Standardabweichung n. Q-Methode
Der Z-Score dient zur statistischen Laborbewertung der Messergebnisse und zeigt, ob diese im zufriedenstellenden Bereich liegen oder nicht. In Abbildung 1 sind die Bestimmungen für die Bewertung des Z-Scores [6] aufgeführt.
Abb. 1: Auszug aus dem Ergebnisbericht für die statistische Laborbewertung der Messwerte
4 Erfahrungsbericht des ersten Labor-Ringversuchs
Die Durchführung des ersten Labor-Ringversuchs für partikuläre Messsysteme durch das CEC begann im Oktober 2016. Es haben insgesamt 23 Messsysteme teilgenommen.
4.1 Darstellung der Auswertung im Ergebnisbericht
Im Ergebnisbericht werden die Auswertungsergebnisse der einzelnen Messsysteme des Labor-Ringversuchs in Form von Wertetabellen und Schaubildern für jeden Partikeltyp und jede Partikelgrößenklasse gegenübergestellt. Diese sind in Tabelle 1 und Abbildung 2 dargestellt. In der Wertetabelle (Tab. 1) sind für jedes Messsystem der errechnete Mittelwert, der Messwert sowie der ermittelte Z-Score der jeweiligen Partikelgrößenklasse aufgeführt. Im Säulendiagramm werden die Messwerte der jeweiligen Messsysteme dargestellt und der errechnete Mittelwert als rote Linie abgebildet (Abb. 2).
Abb. 2: Auszug aus dem Ergebnisbericht für die grafische Darstellung der Auswertungsergebnisse für die Anzahl der Partikel in der Partikelgrößenklasse J
Für beide Darstellungsformen erfolgt die Identifizierung des eigenen Messsystems über einen Nummernschlüssel, der ausschließlich dem jeweiligen Teilnehmer mitgeteilt wird. Ebenso erfolgt eine bildliche Darstellung der größten und zweitgrößten Partikel des jeweiligen Typs, wie in Abbildung 3 aufgeführt.
Abb. 3: Auszug aus dem Ergebnisbericht zur Identifizierung der größten und zweitgrößten Partikel und Fasern
4.2 Ergebnisse des ersten Labor-Ringversuchs
Zur abschließenden Bewertung der einzelnen Messsysteme wurde je Messsystem der schlechteste Z-Score-Wert herangezogen. In Abbildung 4 ist das Gesamtergebnis aus dem ersten Labor-Ringversuch aufgeführt.
Sechs der 23 untersuchten Messsysteme lagen außerhalb des zufriedenstellenden Bereichs. Ein Messsystem erzielte einen Z-Score im fragwürdigen Bereich.. Das entspricht einem Prozentsatz von 4,4 Prozent. Fünf Messsysteme lagen sogar im nicht zufriedenstellenden Bereich. Dies waren 21,7 Prozent aller Messsysteme. Allerdings lag der Z-Score bei 17 der teilnehmenden Messsysteme im zufriedenstellenden Bereich. Dies entspricht einem Prozentsatz von 73,9 Prozent.
Abb. 4: Das Gesamtergebnis aus dem ersten Labor-Ringversuch für partikuläre Messsysteme
5 Fazit
Der beschriebene Labor-Ringversuch zeigt, dass nicht alle untersuchten Messsysteme einen zufriedenstellenden Z-Score aufweisen. Die Ursache dafür liegt zum einen darin, dass die Verfahrensanweisung nicht eingehalten wurde. Weiter nahm ein Mikroskop teil, das besonders in den Größenklassen unterhalb von 200 µm die Partikel mit metallischem Glanz durch das Deckglas des Archivierungsrahmens nur mit Schwierigkeiten analysieren konnte.
Des Weiteren hat der Bediener einen wesentlichen Einfluss auf die Analyseergebnisse. Der Ringversuch hat dabei deutlich gemacht, dass hierbei oftmals die Partikel nicht genau genug betrachtet werden oder falsche Interpretationen erfolgen. Dadurch kommt es gerade bei besonders relevanten Partikeln zu unterschiedlichen Ergebnissen.
Für die teilnehmenden Laboratorien bedeutet ein Z-Score-Wert im zufriedenstellenden Bereich eine Bestätigung ihrer Kompetenz bei der Durchführung von Partikelanalysen mit lichtoptischen Messinstrumenten. Aktuell führt das CEC einen weiteren Labor-Ringversuch für partikuläre Messsysteme durch. Auch in Zukunft werden regelmäßig Labor-Ringversuche angeboten.
Literatur
[1] R. Matissek, G. Steiner, M. Fischer: Lebensmittelanalytik; 5. Aufl., Berlin/Heidelberg: Springer Spektrum, (2014), S. 40
[2] Verband der Automobilindustrie e.V.: VDA 19 Teil 1: Prüfung der Technischen Sauberkeit - Partikelverunreinigung funktionsrelevanter Automobilteile, 2015
[3] D. Kockazi: Angewandte Studie: Praktische Durchführung eines Labor Ringversuchs für partikuläre Messsysteme, 2017
[4] AQS Baden-Württemberg; Ringversuchsauswertesoftware A45 (2015); verfügbar unter: http://www.iswa.uni-stuttgart.de/ch/aqs/download/a45.html
[5] QuoData GmbH; Q/Hampel-Methode; verfügbar unter: https://quodata.de/content/hampel-schaetzer
[6] Eurachem: Wie können Eignungsprüfungs-Ringversuche meinem Labor helfen? Verfügbar unter: https://www.eurachem.org/images/stories/leaflets/pt/
labhelp/how_can_PT_help_my_lab_2013_DE.pdf
