Multimodale Datenfusion und Analyse

Dieses Themenfeld soll Verfahren der künstlichen Intelligenz und des maschinellen Lernens für die Bilderzeugung sowie Bild- und Messdatenanalyse erforschen. Das Ziel ist eine Unterstützung der am Fraunhofer-Zentrum MEOS entwickelten Sensorik bezüglich der Bildvorverarbeitung und Bilderzeugung, Bildanalyse sowie Messdatenanalyse mittels maschinellen Lernens. Dadurch soll ein Mehrwert und eine Anpassung auf eine Anwendung über die reine Hardwareentwicklung hinaus geschaffen werden. Ein Themenschwerpunkt liegt auf Anwendungen in der Biomedizin.

Über diese hinaus bestehen für die entwickelten Verfahren vielfältige Anwendungsmöglichkeiten in anderen Bereichen, z.B. in der Fertigungs- und Qualitätsüberwachung, in der Produktion von Erzeugnissen mit Mikro- und Nanostrukturen, der Qualitätsprüfung optischer Oberflächen oder der Steuerung sehr schneller Sortiervorgänge mittels ereignisbasierter Kameras. Techniken zur Segmentierung und Klassifizierung von 2D Bilddaten ebenso wie der Bildverbesserung und dem Entrauschen finden generelle Anwendung in vielfältigen Bereichen über die Biomedizin hinaus.

Das Themenfeld vereint alle Aktivitäten zur softwaregestützten Auswertung und Analyse von Sensor- und Bilddaten.

Quantenimaging ist ein innovatives Verfahren mit dem Potenzial, die biomedizinische Bildgebung entscheidend zu verbessern. Da sie jedoch durch ein extrem geringes Signal-Rausch-Verhältnis beeinträchtigt wird, ist eine nachfolgende Bildverbesserung unabdingbar.

Am Fraunhofer-Zentrum MEOS werden deshalb Entrauschungsalgorithmen am Beispiel der biomedizinischen Bildgebung unter Verwendung von Vorwissen über die Probe entwickelt, die durch die Kombination von Quanten-Imaging mit KI-gestützter Entrauschung für medizintechnische Anwendungen ein Alleinstellungsmerkmal aufweisen. Das Denoising-Verfahren ist auch in der traditionellen Bildgebung, wie z.B. in der Mikroskopie, anwendbar. 

Im Gegensatz zu herkömmlichen Kameras, in der alle Pixel gleichzeitig erfasst werden, reagieren in ereignisbasierten Kameras lediglich einzelne Pixel auf Helligkeitsänderungen. Somit werden nur Änderungen in der Umgebung, d. h. sich bewegende Objekte, sichtbar.

Das Fraunhofer-Zentrum MEOS wird erstmalig ereignisbasierte Kameras im Bereich der Biowissenschaften einsetzen, um die technischen Vorteile wie den hohen Dynamikbereich, keine Bewegungsunschärfe, Latenz im Mikrosekunden-Bereich und eine minimierte Datenmenge zu nutzen. Dazu werden Analyseprogramme und Algorithmen in Anwendungen wie der bildgestützten Durchflusszytometrie oder der »Real-time« Überwachung biologischer Prozesse (z.B. Zellsekretionsprofile) in der automatisierten ATMP Herstellung und Lab-on-a-Chip-Anwendungen entwickelt.