Fine-tuning AI Foundation Models to Quantify Spatially-Resolved Cell-Type Fractions from Breast Cancer Digital Pathology Images
Allgemeine Informationen
| Credits (SWS) | 12 (10 SWS) |
| Modulniveau | Master |
| Sprache | Deutsch/English |
| Gesamtstunden | 360 h |
| Wöchentlicher Zeitslot | 2–3 Tage pro Woche, davon dienstags in Präsenz in Weihenstephan |
| Blockteil in vorlesungsfreier Zeit | 03.08.-14.08 oder 21.09 - 02.10 |
Zeitablauf des Praktikums
| Feb - Mar 2026 | Kickoff Meeting und Zuordnung der Projekte und Teams |
| Apr - Aug 2026 | Aufteilung der Projektarbeit, Zwischenpräsentationen |
| Aug - Oct 2026 | Blockteil für den Abschluss der Projektarbeit, das Verfassen des Berichts und die Vorbereitung der Abschlusspräsentation |
Vorraussetzungen und Vorkenntnisse
Bachelor Bioinformatik. Kenntnisse in Python und/oder R. Vorkenntnisse in der KI-Modellierung (z. B. PyTorch) sowie im Model-Tuning sind von Vorteil.
Beschreibung
KI-Foundation-Modelle (z. B. Virchow, MUSK, OmniCLIP) bieten ein enormes Potenzial für die digitale Pathologie und die biomedizinische Forschung, da sie aus großen, heterogenen Datensätzen generalisierbare Repräsentationen erlernen. Diese Repräsentationen lassen sich effizient auf eine Vielzahl von Aufgaben anpassen und ermöglichen dadurch genauere, skalierbare und dateneffiziente Analysen über molekulare, zelluläre und klinische Anwendungsbereiche hinweg. Entscheidend ist, dass solche Modelle durch Fine-Tuning auf vergleichsweise kleinen, aufgabenspezifischen Datensätzen für konkrete biomedizinische Anwendungen spezialisiert werden können, die deutlich kleiner sind als die massiven Datensätze, die für das ursprüngliche Training erforderlich waren.
Ziel dieses Projekts ist es, KI-Foundation-Modelle so zu fine-tunen, dass sie aus standardmäßigen, kostengünstigen H&E-gefärbten histologischen Bildern direkt räumlich aufgelöste Zelltyp-Häufigkeiten in Brustkrebstumorgewebe quantifizieren können. Dadurch soll die Abhängigkeit von komplexen und kostenintensiven Spatial-Transcriptomics-Experimenten reduziert werden. Das Fine-Tuning basiert auf Tausenden von Brustkrebs-H&E-Bildern, die mit Schätzungen der Zelltyp-Häufigkeiten gekoppelt sind, welche aus der Dekonvolution von zugehörigen räumlichen und/oder Bulk-RNA-seq-Daten gewonnen werden. Dies ermöglicht es den Modellen, eine direkte Abbildung von histologischen Bildern auf die zugrunde liegende zelluläre Zusammensetzung des Tumormikromilieus zu erlernen.
Referenzen: