Unser Teammitglied Jan Lehr hat am 8. Juni 2022 unsere wissenschaftliche Arbeit mit dem Titel “ Image-based recognition of Surgical Instruments by means of Convolutional Neural Networks“ auf der renommierten Computer Assisted Radiology and Surgery (CARS) Conference 2022 in Tokyo vorgestellt.
Wir haben in dieser Arbeit erstmals die visuelle Erkennung von Medizinprodukten präsentiert. Im Gegensatz zum aktuellen Stand der Technik funktioniert der vorgestellte Ansatz ohne zusätzliche Markierungen. Die Erkennung ist der erste Schritt für die Implementierung von Tracking- und Tracing-Systemen für Instrumente, wo immer sie sichtbar sind und von Kamerasystemen erfasst werden können.
Für die Veröffentlichung haben wir zusammen mit der Charité ein bildbasierte Datensatz mit über 6.500 Bildern aus 156 verschiedenen Instrumenten erstellt. 42 Bilder wurden von jedem Instrument aufgenommen. Der größte Teil wird verwendet, um Convolutional Neural Networks (CNNs) zu trainieren. Der CNN wird als Klassifikator verwendet, wobei jeder Klasse eine Artikelnummer der verwendeten Instrumente entspricht. Im Datensatz existiert pro Artikelnummer nur ein chirurgisches Instrument. Mit einer geeigneten Menge an Validierungs- und Testdaten werden verschiedene CNN-Ansätze evaluiert. Die Ergebnisse zeigen eine Erkennungsgenauigkeit von bis zu 99,9% für die Testdaten. Um diese Genauigkeiten zu erreichen, wurde ein EfficientNet-B7 verwendet. Er wurde auch auf dem ImageNet-Datensatz vortrainiert und dann auf den gegebenen Daten ein Fine-Tunung angewandt. Dies bedeutet, dass während des Trainings keine Gewichte eingefroren wurden, sondern alle Schichten nachtrainiert wurden.
Mit Erkennungsgenauigkeiten von bis zu 99,9% auf einem sehr aussagekräftigen Testdatensatz ist die Erkennung von Instrumenten für viele Track- und Trace-Anwendungen im Krankenhaus geeignet. Das System hat jedoch Einschränkungen: Ein homogener Hintergrund und kontrollierte Beleuchtungsbedingungen sind erforderlich. Die Erkennung mehrerer Instrumente in einem Bild vor verschiedenen Hintergründen ist Teil zukünftiger Arbeiten.
