Multimodale Datenfusion und Analyse

Dieses Themenfeld soll Verfahren der künstlichen Intelligenz und des maschinellen Lernens für die Bilderzeugung sowie Bild- und Messdatenanalyse erforschen. Das Ziel ist eine Unterstützung der am MEOS entwickelten Sensorik bezüglich der Bildvorverarbeitung und Bilderzeugung, Bildanalyse, sowie Messdatenanalyse mittels maschinellen Lernens. Dadurch soll ein Mehrwert und eine Anpassung auf eine Anwendung über die reine Hardwareentwicklung hinaus geschaffen werden. Ein Themenschwerpunkt liegt auf Anwendungen in der Biomedizin. Über diese hinaus bestehen für die entwickelten Verfahren vielfältige Anwendungsmöglichkeiten in anderen Bereichen, z.B. in der Fertigungs- und Qualitätsüberwachung in der Produktion von Erzeugnissen mit Mikro- und Nanostrukturen, der Qualitätsprüfung optischer Oberflächen oder der Steuerung sehr schneller Sortiervorgänge mittels Event-basierter Kameras. Techniken zur Segmentierung und Klassifizierung von 2D Bilddaten ebenso wie der Bildverbesserung und dem Entrauschen finden generelle Anwendung in vielfältigen Bereichen über die Biomedizin hinaus. Das Themenfeld vereint alle Aktivitäten zur softwaregestützten Auswertung und Analyse von Sensor- und Bilddaten.

Denoising-Verfahren für Quanten-inspirierte Bildgebung und Mikroskopie

Quanten-Bildgebung in Form eines Happy Faces
© Fraunhofer IOF
Quanten-Bildgebung in Form eines Happy Faces

Quantenimaging ist ein innovatives Verfahren mit dem Potential, die biomedizinische Bildgebung entscheidend zu verbessern. Da sie jedoch durch ein extrem geringes Signal-Rausch-Verhältnis beeinträchtigt wird, ist eine nachfolgende Bildverbesserung unabdingbar.

Am MEOS werden deshalb Entrauschungsalgorithmen am Beispiel der biomedizinischen Bildgebung unter Verwendung von Vorwissen über die Probe entwickelt, die durch die Kombination von Q-Imaging mit KI-gestützter Entrauschung für medizintechnische Anwendungen ein Alleinstellungsmerkmal aufweisen. Das Denoising-Verfahren ist auch in der traditionellen Bildgebung, wie z.B. in der Mikroskopie, anwendbar. 

Ereignisbasierte Kameras für die Hochdurchsatz-Zellanalyse

Im Gegensatz zu herkömmlichen Kameras, in der alle Pixel gleichzeitig erfasst werden, reagieren in ereignisbasierten Kameras lediglich einzelne Pixel auf Helligkeitsänderungen. Somit werden nur Änderungen in der Umgebung, d. h. sich bewegende Objekte, sichtbar.

Das MEOS wird erstmalig event-basierte Kameras im Bereich der Biowissenschaften einsetzen, um die technischen Vorteile wie den hohen Dynamikbereich, keine Bewegungsunschärfe, Latenz im Mikrosekunden-Bereich und eine minimierten Datenmenge zu nutzen. Dazu werden Analyseprogramme und Algorithmen in Anwendungen wie der bildgestützten Durchflusszytometrie oder der “Real-time“ Überwachung biologischer Prozesse (z.B. Zellsekretionsprofile) in der automatisierten ATMP Herstellung und Lab-on-a-Chip-Anwendungen entwickelt.