#73 Jan Raphael Schäfer: Foundation Models

00:00:07: Hallo und herzlich willkommen hier zu Signals for Life nach unserer, ja man könnte fast sagen kleinen Sommerpause wieder zurück.

00:00:18: Ich bin total gespannt.

00:00:19: ich kann so viel schon mal spoilern.

00:00:22: Foundation Models hat mir auf den ersten wie soll man sagen aufs erste Hören sozusagen nicht sofort was gesagt beim ersten Mal lesen weil ich erstmal sowas können wir uns denn darunter vorstellen?

00:00:34: vielleicht nochmal kurz zum Rekapitulieren.

00:00:37: Wir kommen ja aus der medizinischen Robotik und werden uns eben in den nächsten zwei Folgen wieder mit neuen Leitinnovationsthemen, der DGBMT beschäftigen.

00:00:48: Und ich darf heute Raphael begrüßen bzw.

00:00:52: Raphael darf sich natürlich gleich erstmal ein bisschen vorstellen und uns erzählen wer überhaupt ist und wozu er überhaupt promoviert und dann werden wir uns erst mal mit dem neuen Leidinnovationsthema beschäftigen.

00:01:05: Rafael, schön, dass du heute da bist und dir die Zeit nimmst hier uns ein wenig in deine Promotionszeit mitzunehmen.

00:01:11: Vielleicht magst du kurz etwas zu dir sagen?

00:01:14: Ja sehr gerne!

00:01:14: Vielen Dank!

00:01:15: Ich bin Rafael ich habe Informatik studiert und bin jetzt schon so seit über fünf Jahren am Promovieren zum Oberthema Foundation Models bei mir in der digitalen Medizin Und noch genauer zu Vision Foundation Models.

00:01:33: Das heißt, die beschäftigen sich immer nur mit Bildern.

00:01:36: Foundation-Models kennt man ja heutzutage hauptsächlich von den großen Sprachmodellen so was wie Chat Repetit und bei uns geht es dann darum sowas aber nur für medizinische Bilder zu machen.

00:01:50: Ich bin gespannt.

00:01:52: ich glaube da müssen wir gleich nochmal ein bisschen tiefer reingucken.

00:01:55: Aber zu Beginn finde ich immer ganz schön für alle die heute vielleicht neu eingeschaltet haben.

00:02:01: Wir haben dieses Jahr in dem Podcast den Schwerpunkt gelegt, dass wir uns mit Promotionen beschäftigen.

00:02:06: Das heißt wie kommt man überhaupt zu einer Promotionsstelle?

00:02:10: Wie unterschiedlich verlaufen vielleicht Promotionen?

00:02:14: wozu kann man promovieren?

00:02:16: was gibt es vielleicht für Herausforderungen oder ist das eigentlich immer super easy peasy?

00:02:21: Das halbe Jahr hat uns gezeigt, das ist es nicht.

00:02:23: Also Promotionen haben einfach Höhen und Tiefen.

00:02:26: aber ganz zu Beginn vielleicht magst du uns erzählen wie war das bei dir?

00:02:29: War der im Studium schon klar dass du auf jeden Fall weiter forschen möchtest und promovieren möchteste hast du dich auch eine ausgeschriebene stelle beworben?

00:02:37: oder sind Leute an dich herangekommen gesagt hey dein masterarbeits thema da könnte vielleicht das und das passen.

00:02:44: Wie ist das bei Dir?

00:02:46: Ja bei mir schon immer relativ klar, was ich so machen wollte.

00:02:52: Also in eine Richtung den Begriff Foundation Model gab es da noch nicht aber schon während des Studiums fand ich das total spannend Software Tools zu bauen die über eine ganz spezielle Aufgabe hinausgehen wie ein kleines Trainings Tool und dann hatte ich auch die ersten Hilfswissenschaftler Jobs.

00:03:13: Zum Beispiel, ich habe jetzt ein Archen studiert und dann war ich da an einem Lehrstuhl.

00:03:18: Und hab gesehen dass eigentlich die Promotions- Studenten, die wissenschaftlichen Mitarbeiter, die da gearbeitet haben... ...und also quasi die Vorgesetzten von den Hilfswissenschaftern, also mir dann da waren, die hatten einen ziemlich coolen Job!

00:03:31: Also die Arbeitsbedingungen sahen für mich von außen ganz cool aus, sie konnten sehr selbstbestimmt arbeiten.

00:03:38: An der Uni waren das jetzt Leute, die hatten also auch noch ein bisschen Lehre zu tun.

00:03:42: Das hat mich nicht so wirklich gereizt aber ansonsten sah es schon ganz angenehm aus und so als könnte man da sehr gut auf seine eigenen Ziele hinarbeiten.

00:03:52: Und dann habe ich das ausprobiert hab gesehen dass nach dem Studium hatte ich dann in der Masterarbeit genau in so einen Thema reingeguckt wo ich dann auch drin arbeiten wollte was so in die Richtung von so generellen Modellen geht für Bilder und hab dann gesehen, dass Frauenhofer da ein passendes Institut hat.

00:04:16: Und auch in Aachen eine Stelle wo man ... Da hatte ich mich beworben.

00:04:24: Das wirkte direkt sehr passend.

00:04:27: So hat's angefangen.

00:04:28: D.h.,

00:04:29: du bist quasi nicht wie alle bisherigen Doktorandinnen klassisch an der Hochschule zu verorten sondern Du hast dich auf eine Stelle beworben, die über ein Fraunhofer-Institut ausgeschrieben worden ist.

00:04:43: Und wenn ich das richtig in Erinnerung habe, dann ist es aber immer so eine Art Kooperationsstelle?

00:04:48: Wie ist das bei dir organisiert?

00:04:51: Genau!

00:04:51: Das ist richtig.

00:04:53: Man hat dann quasi eine normale Stelle als wissenschaftlicher Mitarbeiter beim Fraunhofer-Institute und eine Promotionsstelle an der Uni – das verschwimmt dann in der Realität immer.

00:05:06: die Professoren und... Die haben dann häufig auch so eine Double Affiliation.

00:05:12: Und sind gleichzeitig Frauenhofer-und Uni Mitarbeiter, kümmern sich natürlich primär um ihren eigenen Lehrstuhl und ihre eigenen Themen da.

00:05:20: aber so ist das dann auf Zustande gekommen.

00:05:23: deswegen war es relativ reibungslos.

00:05:24: Es gibt dann auch Leute, die dann erstmal nur beim Frauenhof arbeiten irgendwann merken okay sie wollen jetzt doch promovieren und dann noch eine unabhängigen Promotionsbetreuer quasi suchen, dass aber eher selten.

00:05:39: am meisten sind das dann Leute die schon so ne Double Affiliation haben.

00:05:45: Und dann ist es relativ

00:05:46: einfach.".

00:05:47: Das heißt ja auch, das ist für dich perfekt weil ich gehe davon aus, dass du keine Lehre dadurch hast?

00:05:54: Vielleicht bevor wir uns dein Promotionsthema genauer angucken... Wie können wir uns so deine Aufgaben rund um die Promotion vorstellen?

00:06:02: Also vielleicht hast du das auch gar nicht.

00:06:04: Wir haben dieses Jahr die unterschiedlichsten Möglichkeiten schon gehört von... quasi klassischer Hochschulanstellung und dann sowohl Lehraufgaben, Institutsaufgabe eigene Promotionen aber gleichzeitig auch noch forschen in anderen Projekten

00:06:20: zu.

00:06:21: Ich weiß die eine Doktorin aus Hannover beispielsweise ist schon komplett in den klinischen Alltag als Zahnärztin mit eingebunden hatte auch keinen Lehrauftrag mehr.

00:06:31: also super unterschiedlich.

00:06:33: was sind so deine Aufgaben?

00:06:35: Nur ein Doktorant bis jetzt hat uns erzählt dass er wirklich nur promoviert, was ich Outstanding finde.

00:06:41: Weil das wirklich ungewöhnlich ist für eine Promotionszeit.

00:06:44: aber wie ist es bei dir?

00:06:46: Tatsächlich habe ich auch Leute kennengelernt die im Wesentlichen sich auf ihre Promotion konzentrieren können.

00:06:53: Bei mir konkret ist es so Ich hab nicht so viel dedizierte Zeit nur zum promovieren Sondern eigentlich ist dann auch so gedacht gerade in den ersten Jahren bin ich denn gar nicht so sehr damit vorwärts gekommen Aber trotzdem sehr viel Spaß an der Arbeit, weil ich auch einfach gerne Softwareentwicklung mache und dann hat man da erstmal so ein paar Projekten mitgearbeitet.

00:07:16: Mit Leuten die schon richtig gut können, sehr erfahren sind und das hat mir einfach auch total viel Spaß gemacht.

00:07:24: Jetzt muss man aber für die Promotion ja irgendwann seine Veröffentlichungen und wissenschaftliche Ergebnisse sammeln.

00:07:30: Das ist dann erst mal je nach Betreuer den man da so findet, dann auch eine Doppelaufgabe Und während sich die Leute, die vielleicht direkt an der Uni arbeiten häufig darüber dann auch beschweren.

00:07:45: Je nachdem was die Leute so gerne machen dass sie noch Lehre machen müssen es ist bei mir dann so gewesen das ich ja sehr viel Spaß an der Projektarbeit hatte mit Leuten die tatsächlich dann irgendwas bauen wollten das in die Praxis bringen.

00:08:01: Das hat dann so ein bisschen dominiert und habe mich nicht sonderlich viel vorwärts gekommen mit meiner Promotion.

00:08:06: Ja, okay.

00:08:07: Aber das ist so ein bisschen der Unterschied zu Frauenhofer, ne?

00:08:10: Dass ihr deutlich praxisbezogener schon seid und eher auch Dinge... Ich weiß gar nicht ob gar nicht!

00:08:17: ...aber deutlich weniger Grundlagenforschung sondern ja auch nahe an der Industrie teilweise mit Kooperationen ja auch dahingehend.

00:08:25: also das ist schon so gedacht dass das woran ihr arbeitet woran Ihr forscht auch möglichst dann in irgendwie Anwendungsbereiche direkt gehen kann.

00:08:34: Richtig?!

00:08:35: oder nicht?

00:08:36: Genau, das ist genau richtig.

00:08:38: In meiner Wahrnehmung bisher gab es auch relativ wenig Leute die wirklich nur an Grundlagenforschung dann interessiert waren sondern haben häufig auch so gedacht okay wie bringen wir das denn jetzt am Beispiel der digitalen Medizin wo ich dann arbeite?

00:08:55: Wie bringen wir dass denn jetzt irgendwie in die Klinik und wie kann man da die neue Technologie XY besonders gewinnbringend weiterentwickeln dass sie jetzt auch wirklich in der Praxis ankommt.

00:09:07: Das war nicht schon immer ein sehr sympathisches Ziel, das aber auch das allgemeine Oberziel von Frauenhofer.

00:09:13: Da sehe ich aber auch, dass es tatsächlich so gelebt

00:09:16: wird.".

00:09:17: Und jetzt hast du gesagt, dass du an einigen Projekten quasi vorab gearbeitet hast?

00:09:22: Jetzt würde mich natürlich noch interessieren einfach so um den Unterschied vielleicht greifen zu können oder die Gemeinsamkeiten... Häufig ist es so, wenn ich mit Dr.

00:09:30: Rand in entspreche dass wenn sie noch zusätzlich zu ihrem Promotionsthema in anderen Projekten trotzdem in irgendeiner Form Verbindungen zu ihrem Promotionsthema bestehen bzw.

00:09:41: sie einfach know-how sammeln können oder Erkenntnisse sammelt, die dann mit ins eigene Promotionthema fließen können beziehungsweise dann auch an die Paper veröffentlicht werden müssen.

00:09:52: Das hast du ja jetzt schon angesprochen.

00:09:54: wie ist es bei dir?

00:09:55: Ist das unabhängig davon?

00:09:57: Ist es eher durch das Anstellungsverhältnis so dass man gesagt hat Sammelst erst mal praktische Erfahrung mit dem, was du aus dem Studium auch mitbringst.

00:10:06: Und dann wird man sich nach und nach den Promotionthema.

00:10:10: oder ist es ähnlich zu dem, das ich quasi schon ein paar Mal gehört habe?

00:10:14: Du schnupperst in Themen, in Projekte rein wo es aber Minimum ein paar Schnittstellen zum eigenen Promotionthema gibt.

00:10:22: Genau!

00:10:22: Das ist eine gute Frage weil das Promotionsthema nicht zwingend in Stein gemeißelt.

00:10:27: Es kommt aber sehr viel darauf an welchen Betreuer oder Doktor, Vater- oder Doktormutter man dann nimmt.

00:10:37: Da hat man dann ja auch da man nicht direkt an der Uni angestellt ist erst mal mehrere Optionen und die unterscheiden sich meiner Beobachtung nach im Wesentlichen dadurch wie sehr sie das Thema vorgeben wollen.

00:10:52: Und bei mir war es dann so ich hatte Ja schon so ungefähr überlegt was ich machen wollte.

00:10:59: meine erste Zeit in den Projekten, wie ich eben erwähnt hatte wo man im wesentlichen Softwareentwicklung macht.

00:11:08: Hat da gar nicht so direkt drauf hingearbeitet.

00:11:13: und das wäre das erste Konzept wie die Leute erfolgreiche Promotionen zu Ende dann bringen wenn sie in diesen Projekte die Sie sowieso machen dazu was forschen dazu etwas veröffentlichen.

00:11:26: Das ist ein echtes Erfolgskonzept.

00:11:27: das kriegen viele von meinen Kollegen gut hin.

00:11:30: das zweite Erfolgskonzept, was ich dann da sehe und auch nicht geschafft habe.

00:11:34: Das

00:11:35: klingt aber deprimierend!

00:11:37: Es war überhaupt nicht deprimerend.

00:11:39: Auch die Zeit, die nicht direkt zur Promotion hingearbeitet hat... Da hab' ich trotzdem viel wichtiges gelernt, was sie danach wieder gebraucht hatte.

00:11:52: Man hat auch ein besseres Gefühl dafür bekommen, dass man in eine praktische Richtung Arbeitet, wenn man so selbst bestimmt arbeiten arbeitet wie ich mir das auch so gewünscht und vorgestellt habe.

00:12:04: Dann kann es ja auch gerne passieren dass man mal eine längere Zeit was baut und was an etwas forscht Was wirklich keim hilft?

00:12:15: Das hab ich denke ich auch nur zeitlang gemacht.

00:12:18: Das ist auch absolut akzeptiert und normal denke ich dass die ersten leute ein Jahr prob durchschnitt.

00:12:25: große variants aber erst mal ein bisschen nicht so auf einer geraden Linie fahren.

00:12:32: Das war bei mir definitiv auch so, auch wenn die Zeit, die ich dann aktiv versucht habe in die Promotion zu investieren das war bei mehr immer so ein Nebenthema.

00:12:39: Ich wollte eigentlich nur meine Foundation Models umsetzen und die eigentliche Promotionen weil wir immer das Nebenthema haben.

00:12:46: aber die Zeit die ich da investiert habe Da hab' ich denke ich ja so richtig praktisch auch mit dem Thema mit dem jetzt fertig geworden bin erst nach einem Jahr angefangen.

00:12:58: Ja, also ich finde es total spannend insofern als dass nun die zweite Person bis dieses Jahr, die sozusagen nach dem Master in den Anstellungsverhältnis gehen kann und erstmal wie so ein bisschen reinschnuppern durfte... Also Ich kenne ganz oft sozusagen den klassischen Weg.

00:13:20: Thema XY ist ausgeschrieben, Leute bewerben sich darauf und haben relativ klar gestecktes Promotionsthema.

00:13:26: Vielleicht kann man auch noch mal gucken, wohin geht die Reise?

00:13:29: Aber das Überthema steht.

00:13:30: Und da geht man quasi von Anfang an rein.

00:13:32: Und jetzt auch schon zuletzt.

00:13:33: unsere letzte Folge war recht ähnlich.

00:13:36: Die Doktorandin kann sozusagen auch erst einmal schauen darf ... anderen Projekten mitarbeiten und daraus kristallisiert sich dann irgendwann ihr Kernthema sozusagen, auch klar zu einem Überthema aber heraus.

00:13:50: Und ich höre das sozusagen dieses Jahr das allererste Mal so in der Form und bin eigentlich begeistert davon.

00:13:59: also ganz ehrlich finde ich es richtig cool dass man sagt Klar, auch im Studium gerade im Master ist man schon deutlich praktisch unterwegs oder praxisnahe unterwegs.

00:14:08: Aber wir geben den Leuten erstmal die Möglichkeit richtig im Forschungsalltag anzukommen und auch gewisse Erfahrungen erst mal machen zu können so wie du es beschreibst.

00:14:18: ich habe mir vielleicht das und das Ziel gesetzt okay ist nicht aufgegangen Aber ich bin nicht unbedingt in dem Druck, dass ich jetzt irgendwie schon was veröffentlichen muss oder das es jetzt schon der Erkenntnisgewinnung dienen muss und kann erst mal mit diesen Emotionen so meinen Frieden finden.

00:14:37: Weil das ist ja eine recht gängige Erfahrung die man während der Promotion oder allgemein wenn man forscht unabhängig von der Promotion immer mal wieder erleben wird, dass Dinge einfach so wie man sich das vorgestellt hat nicht direkt funktionieren und vielleicht auch gar nicht funktionieren weil es nicht der richtige Weg war.

00:14:52: Und insofern habt ihr irgendwie die Möglichkeit schon tick mehr den ganzen Forschungsalltag, Forschungsbegebenheiten, vielleicht auch die Gruppen in denen ihr zusammen dann forscht das Team sozusagen kennenzulernen und dann irgendwo euch als Forscher in Persönlichkeit weiterzuentwickeln und dann zu starten.

00:15:12: Also ich find's cool, dass ihr da beide sozusagen die Möglichkeit hattet.

00:15:17: Jetzt ist natürlich die Frage was es ist an bei dir geworden?

00:15:21: Du hast so circa ein Jahr Minimum wenn ich das jetzt richtig rausgehört habe erst mal geschaut an anderen Themen gearbeitet und dann kam irgendwann der Moment wo du dich festgelegt hast worauf denn dann?

00:15:36: Was war es für dir?

00:15:37: Was hat dich dann gereizt.

00:15:39: Genau, ich wollte ja schon immer so Tools bauen mit denen man schnell oder schneller als das bisher möglich war neue KI-Modelle bauen kann.

00:15:51: KI Modelle zum Beispiel ein neuronales Netz da wo man einen Bild als Eingabe nehmen kann und eine Analyse irgendeine automatische Entscheidung als Ausgabe rausbekommt.

00:16:02: Und zu der Zeit wo ich angefangen habe Gab es das im Wesentlichen?

00:16:07: Schon da hat sich dieses Feld schon relativ weit entwickelt.

00:16:12: Eine große Gemeinsamkeit für alle Systeme war, dass man solche Bilder erst mal auf Bildmerkmale reduziert.

00:16:20: wenn ich mir zum Beispiel so ein System vorstelle Ich will das jetzt bauen und das soll Katzen von Hunde unterscheiden dann würde der erste Schritt in diesem system sein etwas bessere bild Merkmale zu extrahieren so ganz.

00:16:35: Intuitiv könnte das sein, sind Schnurhaare im Bild zu sehen oder ist da ein langes Fell im Bild zusehen?

00:16:43: Und dann nimmt man ganz viele von diesen Bildmerkmalen.

00:16:46: und dass eigentlich Maschinenleinigmodell kann dann auf Basis von diesem Bild merkmalen die eigentlich Entscheidungen treffen zum Beispiel als definitiv eine Katze, die auf diesem Bild zusehen ist.

00:16:57: Und der erste Schritt den man hatte war, dass sich da so ein Mensch hinsetzt und diese Bildmerkmale per Hand programmiert.

00:17:03: Er musste dort richtig können und dann wird da on top noch ein kleines Machine Learning Modell drauf gesetzt, das war der erste step bevor ich angefangen habe.

00:17:13: Und als ich angefange habe kamen die große erste revolution vom deep learning.

00:17:18: Da konnten denn nämlich diese dieser erste schritt das extrahieren von diesen bildmerkmalen wie sind da jetzt schnur haare im bild?

00:17:28: einem katze hund System, da wurde dann ersetzt durch ein großes System was nur von Daten lernt.

00:17:36: Das Problem war aber das brauchte richtig viele Daten.

00:17:39: der Vorteil war aber man konnte da eigentlich eine beliebige Datenmenge reinstecken.

00:17:44: Das System konnte wirklich beliebig schlau werden und das hatte man dann so um zwei tausend zwölf zum ersten mal gesehen dass dieses Thema jetzt unfassbar stark werden können mit der ImageNet Challenge.

00:18:01: Also Challenge, das ist immer ein Wettkampf zwischen unterschiedlichen Teams und da haben die Ersteller dieses Wettkämpfes, die Organisatoren einen riesengroßes Datenset gebaut mit mehr als eine Million von Bildern, die in tausend von solchen Klassen eingeteilt werden sollten.

00:18:20: Eben hatten wir ein Beispiel mit zwei Klassen, Hund und Katze erweitert, dass da tausend Klassen aufgeteilt werden mussten.

00:18:29: Das konnte man mit so diesen einfachen Modellen die es dann gab, so könnte man so ein Problem noch nicht lösen.

00:18:35: und der erste Deep Learning Ansatz hat dann wirklich dieses Problem gelöst.

00:18:38: das heißt ist ein großes Modell gebaut worden und ohne dass sich einen mensch hinsetzen musste um diese Weltmerkmale zu extrahieren hat das modell nur Beispiele bekommen Und diese eine Million Beispiele bekommen und konnte diese tausend Bildklassen relativ gut auseinanderhalten.

00:18:59: Und das war dann so die Deep Learning-Revolution bei der Bildanalyse, und... Das hat sich dann auf die Medizin ein bisschen generalisiert und war das erste Foundation Model.

00:19:15: Den Begriff gab es damals zwar noch nicht aber das Foundation Model sagt dann heutzutage so als Begriff, dass es ein System ist was nicht nur eine bestimmte Aufgabe löst sondern ganz viele gleichzeitig.

00:19:29: Es ist also ein generelles Modell das nicht nur Hund und Katze auseinander hält sondern auch noch die noch mehr Aufgaben.

00:19:38: Und bezogen auf unser Problem wäre das dann ein Modell was nicht einfach nur zum Beispiel einen CT-Bild bekommt zum Beispiel Lungenknötchen oder ähnliches erkennt alle möglichen Krankheiten, aber nur eine bestimmte Pro-Modell.

00:19:57: Das wäre dann noch ein Aufgabenspezifisches Modell.

00:20:01: der Unterschied zum Foundation Model ist Einmodell löst dann mehrere von solchen Aufgaben.

00:20:06: das heißt ein CT also Computertomographie Modell könnte es dann geben was mehrere Krankheitsbilder löst.

00:20:13: Dann hätte man einen foundation model für CT.

00:20:17: dann gibt es aber ja noch ganz viele andere Bildgebungen.

00:20:21: Das heißt, man könnte dieses Foundation-Model... Noch Foundation-modellerie gar machen und zum Beispiel auch das gleiche Modell Röntgenbilder lösen lassen.

00:20:30: Dann kann er es auch noch ein Röentgenbild bekommen von Oberkörper und sagen da ist eine Lugenentzündung oder andere Krankheitsbilder auch noch.

00:20:41: Das war dann so die erste große Schwierigkeit, die ich total spannend fand weil während zum Beispiel bei der ImageNet Challenge mit ganz vielen Bildern von Hunden berassend und so was, das waren immer zwei D-Bilder.

00:20:54: Die kann man sich so vorstellen die kann ich mit meinem Handy aufnehmen und dann ist es ein zweidimensionales Bild.

00:20:59: Das kann ich gut auf meinen Bildschirm darstellen.

00:21:01: Die haben alle ungefähr die gleiche Formen.

00:21:03: Das sind bei medizinischen Bilder aber nicht mehr der Fall.

00:21:05: schon beim kleinen Beispiel nur mit Röntgenbildern und zum Beispiel Computer Tomografie,

00:21:12: d.h.,

00:21:12: das ist ein räumliches Bild kann ich die eigentlich nicht mehr gut mit einem gleichen System verarbeiten.

00:21:17: Und da gibt es dann ja natürlich auch noch mehr Datantümen, Ultraschall ist ein Video das wieder etwas was eigentlich ein neues spezialisiertes System braucht.

00:21:27: und dann gibt es noch Mikroskopie so riesige Bilder das wird braucht auch wieder ein spezialisiertes System und Ich wollte dass alles in einem Modell verbinden und damit den Vorteil ausnutzen diese Deep Learning Algorithmen eigentlich immer besser werden, so mehr Daten man da reinsteckt.

00:21:47: Umso größer der Datenhaufen ist, den ich da sammle auf dem ich es an Trainieren umso stärker wird dieses Modell.

00:21:53: und das CT Foundation Model als Computertomographie Foundation Model Das kann nicht nur auf Computertormografie vortrainieren das Röntgenmodell vielleicht nur auf den Röentgenbildern und voneinander können die dann nicht mehr lernen.

00:22:07: Und das ist mein Promotionsthema geworden einen Modell zu bauen was viele von diesen Aufgaben gleichzeitig löst und über die bis dorthin bestehende Disziplin hinausgeht.

00:22:22: Klingt unheimlich komplex!

00:22:24: Erste Frage, die ich dazu habe – weil du es jetzt vermehrt angesprochen hast?

00:22:28: Du brauchtest unheimliche Daten... Wie habt ihr das gelöst?

00:22:34: Ich weiß manchmal hat man ja irgendwie den Vorteil, dass man eben über die Hochschule an Datensätze

00:22:40: kommen

00:22:40: kann.

00:22:41: Weil sie durch irgendwelche Studien in irgendeiner Form vorliegen.

00:22:45: Aber ich weiß häufig ist es mit einer der größten Herausforderungen wie groß ist der Datensatz überhaupt, mit dem ich arbeiten kann.

00:22:52: Wie war das bei dir?

00:22:53: War das eine Herausforderung?

00:22:54: oder ist es an sich über Frauenhöfe auch gelöst, wie ist das?

00:22:59: Genau!

00:22:59: Das sind wirklich große Herausforderungen bei der ganzen Sache gewesen.

00:23:05: Und wir haben dann auch die Technik um die Daten rumgebaut, die man bekommen konnte und bei uns war die Sondersituation dass wir beim Fraunhofer dann keine direkte Uniklinik im gleichen Haus hatten das heißt wir hatten jetzt keine eigenen Daten.

00:23:25: Das ist für diesen Ansatz den wir uns überlegt haben kein Großproblem gewesen weil es viele tolle Gruppen gibt, die solche Wettkämpfe wie das auch bei ImageNet damals für natürliche Bilder passiert ist.

00:23:42: Solche Wettkämpfe gibt es in relativ großer Zahl auch für bestimmte medizinische Aufgaben und die veröffentlichen ihre Daten Und mit diesen öffentlichen Daten kann man extrem viel machen.

00:23:54: Die haben da richtig viele Zeit reingesteckt, die sind gut kuratiert und wahnsinnig nützlich zusätzlich dazu, dass man dann ja auch schon weiß wie gut die spezialisierten Systeme ungefähr auf diesem veröffentlichten Datensatz dann arbeiten weil dazu gab es ja mal ein Wettkampf.

00:24:14: Es ist total praktisch und deswegen gerade am Anfang haben wir gar nicht so viele Daten dadurch erzeugt das wir mit Klinikern geredet haben, die uns Daten zur Verfügung gestellt haben sondern im Wesentlichen haben wir ganz viel runtergeladen.

00:24:31: Was es einfach öffentlich zu runterzuladen gab?

00:24:35: Ja, du sagst zu Beginn das heißt dass ist im Laufe des Projekts anders gewesen oder hat sich jetzt verändert.

00:24:42: also habt ihr inzwischen da auch mit Kliniker in Zusammenarbeit gestartet.

00:24:48: genau das zeigt dann auch immer wie groß die Herausforderung ist.

00:24:51: so eigene Daten zu sammeln gibt es ja durchaus einige Hürden.

00:24:56: aber genau das ist passiert.

00:24:58: Am Anfang haben wir erstmal so bisschen diese Technik auf den öffentlichen Daten gebaut und dann sind immer mal Projekte dazugekommen.

00:25:05: Dieser gesamten Ansatz wird ja auch, den bauen wir dann in einem größeren Team und Dann Sind die Daten aus den Projekten, die auf eine bestimmte Aufgabe bezogen waren Immer wieder das dann auch in dieses große Modell mit reingeflossen.

00:25:23: Zum Beispiel hatten wir ein Projekt wo wir zwei Unikliniken, einen großen Datensatz zu prostater Mikroskopie-Schnitten gesammelt haben und gleichzeitig zu den eigentlichen Fragen für die dieser Datensats gebaut war konnten wir dann diese Daten auch wieder in das Modell dazu stellen.

00:25:46: Und so ist der Datenhaufen dann noch weitergewachsen?

00:25:48: Das ist auf jeden Fall eine Frage, die ich mir gerade gestellt habe weil so wie du es beschreibst reden wir über Bildgebung.

00:25:56: Du hast ja schon gesagt, Bildgebungen kann nicht nur zu dem Beispiel was du genannt hast Lungenknötchen weitere Lungen Erkrankungen sein sondern gibt eben ganz viele Möglichkeiten.

00:26:07: das sind ja unheimlich viele verschiedene Bilder und dann Anwendungsbereiche

00:26:15: die

00:26:15: dein System erlernen muss.

00:26:18: Habt ihr euch in irgendeiner Form Ja, wie soll ich sagen limitiert?

00:26:23: Oder habt ihr gesagt das machen wir ganz davon abhängig welche Daten uns überhaupt zur Verfügung stehen und dann werden wir uns erstmal darauf fokussieren?

00:26:30: oder ist es von Anfang an so gedacht gewesen dass alles erlernt was ihr nach und nach quasi einspeist an Daten.

00:26:38: Und dann mehr oder weniger generell jedes Bildgebungs Ja, was soll ich sagen?

00:26:43: Szenario bedienen kann.

00:26:45: Das wäre ja generell sowieso immer das Allerallerbeste, dass man etwas entwickelt, was dann auch quasi für möglichst viele Anwendungsbereiche einen Einsatz finden kann.

00:26:54: Wie war das bei euch?

00:26:56: Ja also wir haben uns schon auf Daten limitiert oder auf Anwendungsszenarien limitiert die uns besonders interessiert haben dadurch, dass die gerade in irgendeiner Formen bei unserem Institut auch gebraucht wurden.

00:27:10: Die haben wir fokussiert.

00:27:12: und der zweite Punkt war dann, wie interessant ist es jetzt aus wissenschaftlicher Perspektive?

00:27:18: Und den konnte man dann häufig auch dadurch beantworten.

00:27:22: Der korreliert sehr stark mit den Daten die da sind weil wenn ein Problem interessant sind dann gab Es dazu auch mehr Leute die was Die dazu schon Daten veröffentlicht haben die man direkt benutzen konnte.

00:27:33: deswegen Haben wir uns am Ende so Wir wollten erstmal eigentlich einen von der schen model nur für mikroskopie bauen und dann kam aber die sehr überraschende Erkenntnis dass wenn man einfach mehr daten aus anderen fachdisziplin dazu steckt Dass das überhaupt kein problem ist.

00:27:54: also man kann mit diesem deep learning ansatz Dann Einfach neue Daten dazustecken und Da sieht man sogar dann eher noch positive transfer Ergebnisse zwischen so Disziplinen, wo man sagen würde die sind erstmal sehr unabhängig voneinander.

00:28:16: Die können nicht voneinah lernen und wir haben noch nie beobachtet dass sie sich in irgendeiner Form schaden würden wenn man gleichzeitig sehr unterschiedliche Aufgaben an das gleiche Modell stellt.

00:28:27: Wenn ich es richtig interpretiere, dann höre ich auf jeden Fall heraus dass er euch am Ende das ganze gelungen ist.

00:28:32: An welchem Schritt habt ihr denn beschlossen?

00:28:34: Okay wir haben uns jetzt erstmal das Ziel gesetzt ein Foundation Model zur Mikroskopie hier zu starten.

00:28:41: du hast ja gesagt endziel war mehrere Bildgebungsverfahren am ende in einem foundation model sozusagen einzubeziehen.

00:28:51: Wo ist jetzt der Stand deiner Forschung?

00:28:53: Ich weiß, das wissen unsere Zuhörer nicht.

00:28:56: Dass du recht fortgeschritten in deiner Promotion bist, also am Ende deiner Promozion und inzwischen quasi uns all deine Erkenntnisse mehr oder weniger präsentieren kannst.

00:29:06: Manchmal ist es natürlich noch abhängig davon welche Paper sind schon veröffentlicht und was kann man jetzt schon wie rausgeben.

00:29:10: aber ist euch das gelungen?

00:29:14: Und ja...in welcher Form?

00:29:16: Also ich würde sagen am besten kann man, ob es gelungen ist dann auch daran messen wie gut man die Problemstellungen, die die Leute die Daten veröffentlichen und dann auch Methoden vergleichen.

00:29:29: Wie gut schneidet die eigene Methode da ab?

00:29:34: Und das wurde zum Beispiel gerade auch für genau solche Vision Foundation Modelle gemacht und da hatte unser Ansatz dann auch der Disziplin zusammenschmeißt gegen Ansätze sich durchgesetzt, die für jede Disziplin ein spezielles Foundation Model gebaut haben und das war denke ich so der größte Erfolg für diesen Ansatz.

00:30:02: Das ist jetzt aber sehr kürzlich so passiert und ist so die Basis für meine zweite Veröffentlichung, die ich so für meine Promotion brauche.

00:30:13: bei der ersten ging es im Wesentlichen dann darum zu gucken, ob man diese sehr generellen nicht medizinischen Bildmodelle also tatsächlich genau das Modell was auch von den Teams die bei der ImageNet beim ImageNet-Wettkampf mitgemacht haben.

00:30:32: Ob es das schlagen kann auf medizinische Daten?

00:30:36: Das war so sehr lange der Standardweg dass man so mit einem ImageNet Foundation Modell gestartet ist und da den dann seine spezialisierte medizinische Aufgabe beigebracht hat.

00:30:53: Wie gut das funktioniert, hat man üblicherweise damit gemessen wie schnell es diese spezialisiert medizinischer Aufgabe lernt.

00:31:00: Das heißt wie viele Trainingsbeispiele muss ich dem geben?

00:31:03: Und wenn ich jetzt dieses ImageNet-Hunde Katzenmodell habe und dem muss ich fünf Tumore zeigen um meine medizinischen Aufgabe beizubringen Und unserem Foundation-Model muss man vielleicht nur vier von diesen Beispielen zeigen und dann kann es das genauso gut.

00:31:20: Daran haben wir den Erfolg gemessen, dass war so ein bisschen die erste Sache.

00:31:24: Das waren mit weniger speziellen Daten Mit Hilfe dieses generellen Modells was wir gebaut haben Kann man jetzt mit weniger Speziellen Daten eine neue spezielle Aufgabe lösen.

00:31:38: Also es ist ganz lustig, du beantwortest immer die Fragen, die mir dann quasi gerade in den Kopf kommen.

00:31:41: Weil ich dachte auch wie kann man das vorstellen mit dem das System schlagen?

00:31:45: oder woran bemisst man was quasi?

00:31:47: Wie besser funktioniert?

00:31:49: und Schnelligkeit ist jetzt ein Punkt und da natürlich Präzision in der Analyse wird der andere Punkt sein.

00:31:57: Das ist ja jetzt wenn wir in die Anwendung gehen und sagen wir mal ein paar Jahre weiter denken Ja, unser Szenario.

00:32:04: Wir haben dann in irgendeiner Form ein Modell was unsere Kliniker in sofern unterstützen kann als das dort quasi eine Voranalyse zu den Bildgebungen getroffen wird mit Hilfe dieses Systems.

00:32:18: also ich sage jetzt mal diesen Systems wir gehen natürlich davon aus dass es euer System sein wird aber Jetzt sind ja so Zukunftsängste, Zukunftsszenarien.

00:32:29: Wie präzise und wie präzi- sehr ist denn dann so ein System im Vergleich zu einer menschlichen Diagnose?

00:32:37: Und ich weiß eine Angst kann man schon mal vorweg nehmen für alle Zuhörerinnen es wird natürlich nie so sein dass das System eine Art Diagnosepinalediagnose stellt ohne das nochmal Mediziner innen final darüber schauen.

00:32:50: Das wird es so nicht geben.

00:32:51: aber es ist natürlich ne Alltagserleichterung in jedem Fall.

00:32:55: Und wenn ich mich jetzt an die Folge auch mit Tolga beispielsweise erinnere, in der medizinischen Robotik, klang dort auch schon mit rein das man gesagt hat, man hat hier schon Systeme, die in der Entwicklung sind, die eigentlich das Potenzial haben sogar deutlich präzisere Diagnosen stellen zu können als der Mensch selbst?

00:33:15: Ja solche Ergebnisse gibt es glaube ich auch häufiger wo dann erst mal so eine Präzisionsmetrik, wie die Accuracy höher ist als wenn ein Mensch das gemacht hat.

00:33:31: Was man dann aber auch beobachtet und was viel in Veröffentlichungen und auch KI-Wettkämpfen drauf geachtet wird sind noch andere Faktoren, die dazu kommen.

00:33:41: So besonders hohe Metriken werden häufig erreicht auf Daten, die aus einer ganz bestimmten Klinik kommen, Und dann ein spezielles, ein spezialisiertes Modell auf Ihren Daten trainiert haben und auf anderen Daten aus der gleichen Klinik wieder ausgewertet haben.

00:34:05: Dann funktioniert es bisher sehr gut!

00:34:09: Das ist das eine Szenario.

00:34:10: und das zweite Szenario wo ich häufig Erfolge noch gesehen habe, wo wirklich Impact erzeugt wird.

00:34:17: von den KI-Modellen etwas unerfahrenere Ärzte zusammen oder Kliniker, insgesamt medizinsches Fachpersonal ist ja jetzt relativ allgemein.

00:34:31: Zusammen mit der KI häufig ähnliche Metriken dann früher erzeugen können die normalerweise viel Erfahrung gebraucht hätten.

00:34:42: wenn man jetzt ein konkretes Beispiel haben möchte dann könnte man sich so einen Ultraschall eine Ultrascheibefundung vorstellen.

00:34:51: Die ist einfach schwierig.

00:34:53: Da muss man sowohl den Umgang mit dieser Sonne lernen, als auch die eigentliche Interpretation der Bilder ist relativ schwierig und dann sieht man das bunderfahrene Leute schneller zu einem guten Ergebnis kommen wenn sie KI-Unterstützung haben.

00:35:13: Noch mal zum ersten Punkt da das besonders hohe Metriken häufig nur geschafft werden können, wenn man auch sich auf einen Zentrum also einen Datenlieferanten quasi beschränkt.

00:35:33: Das kommt häufig auch davon dass wenn man jetzt bei der Mikroskopie bleibt dann sehen die Bilder aus unterschiedlichen Kliniken tatsächlich ein bisschen unterschiedlich aus.

00:35:44: und dann denkt man ja da wenn das Modell extrem gut ist in Klinik A dann wird es ja wahrscheinlich auch sehr gut sein im klinik b, weil der mensch der in klinika gelernt hat.

00:35:56: Der kann das dann auch in klynik b. was man aber beobachtet hat ist dass diese deep learning Methoden und das ist die Methode die eigentlich in allen kaimodellen Die so aktuell benutzt werden irgendwie dahinter steht Dass sie einfach so viel schlechter lernen als Menschen dass selbst wenn Sie diesen riesen daten hoffen haben solange die aus einem Einzelnen Klinikum können die echt verrückt dumme Fehler auf der zweiten machen.

00:36:25: Die sehen zum Beispiel, die eine Klinik hat ein bisschen hellere Bilder als die andere und dann funktioniert es auf einmal nicht mehr.

00:36:32: Da haben wir recht, rechnet man überhaupt nicht!

00:36:35: Und deswegen ist die Gefahr auch immer groß dass man noch etwas overhype was dieses Thema können.

00:36:47: Verstehe.

00:36:47: das heißt die Fehlerquote ist einfach noch Also noch oder vielleicht auch immer höher, weil es so viele Variablen gibt die die Systeme lernen müssen.

00:36:59: Oder die auf sie zukommen müssen und das kann ja auch ganz neue Sachen sein.

00:37:05: Und wenn sobald quasi das System das erste Mal damit konfrontiert wird dann kann es schon sein dass es nicht mehr funktioniert und keine zuverlässige Diagnose- oder Analyse herauskommt.

00:37:19: So verstehst du

00:37:20: dich.

00:37:20: Genau, genau und bei einem Menschen... Also der gibt dann ja auch lieber mal gar keine Antwort.

00:37:26: das kommt noch dazu.

00:37:28: wenn da jetzt ein Bild ist das hat er noch nie gesehen.

00:37:31: Wenn ich jetzt einen naives System bau mit einer extrem hohen Accuracy zum Beispiel in der Frage ob der ein böseistiger Krebs zu sehen ist Und ich gebe dem ein Bild was gar nicht passt wir geben ihm wieder ein Bild von meiner Katze macht er trotzdem noch eine Antwort.

00:37:50: Die ist dann einfach nur Zufall, das heißt ... ja, da kommen dann auch andere Probleme dazu, wenn man tatsächlich die klinische Entscheidungsunterstützung in den Alltag bringen möchte.

00:38:03: Mhm, verstehe!

00:38:04: Jetzt sind wir an sich schon weiter fortgeschritten und mich interessiert natürlich was du dir grundsätzlich zukünftig so für dich vorstellst.

00:38:12: aber nochmal zurück zu deinem Promotionsthema.

00:38:15: Mich würde interessieren.

00:38:17: Du hast quasi gestartet damit, dass ihr euch überlegt habt das man am Ende ein System entwickelt, entwirft was eben im Idealfall Ultraschall, Mikroskopie Röntgenbilder, CT-Bilder also ganz verschiedene Bilder sozusagen.

00:38:40: eine Schleust, wie sagt man das gefüttert bekommt?

00:38:43: Du wirst mir gleich sagen welcher der allerbeste Fachbegriff dafür ist.

00:38:46: Also diese Bilder stehen zur Verfügung und dann gibt es eine Analyse.

00:38:51: Jetzt hast du ja danach erzählt dass ihr erst mal mit der Mikroskopie gestartet habt.

00:38:56: Was war am Ende möglich?

00:38:58: Habt ihr es geschafft die von dir vier benannten Bildgebungsverfahren Und vielleicht sogar noch mehr in ein System sozusagen zu verankern?

00:39:07: oder was war am Ende jetzt, oder was ist der aktuelle Stand?

00:39:11: Also meistens ist es ja nicht das Ende.

00:39:13: Selbst wenn die Promotion beendet ist dann geht die Forschung natürlich noch weiter.

00:39:16: Aber was ist den aktuellen Stand

00:39:18: da?".

00:39:19: Ja, das ist eine gute Frage!

00:39:21: Die Bildgebung alle zusammen in das Modell reinzufüttern – als würde ich sagen ein guter Fachbegriff – ist gar kein Problem.

00:39:33: gar nicht so richtig.

00:39:34: das Problem der aktuelle Stand ist, dass wir es versuchen jetzt in möglichst nützliche Werkzeuge einzubauen.

00:39:41: Zum Beispiel also ein Beispiel was vielleicht besonders greifbar wäre, wäre wenn so einen Chatbot wie zum Beispiel chatGVT etwas... Wenn man dem besser vorgeben könnte was er tut die können.

00:39:59: eine große Revolution die da vielleicht passiert ist, dass die auch auf Werkzeuge zugreifen können.

00:40:04: Und so unser Modell was dann bestimmte aber sehr viele medizinische Aufgaben mit einer großen Präzision lösen kann könnte dann ja ein so ein Werkzeug für einen Chatbot werden der vielleicht in Zukunft auch unterstützen kann.

00:40:24: Konkret bauen wir natürlich nicht direkt an einem System wo man nur eine Textbox sieht sondern wo man auch richtig mit den Bildern interagieren kann.

00:40:34: Also das ist im Wesentlichen der aktuelle Stand, wir sind... Wir erweitern das Modell aktuell noch.

00:40:41: die Probleme dabei sind aber weitgehend technisch gelöst und jetzt geht es im wesentlich darum in der Zukunft das ganze richtig gut benutzbar zu machen dass man in der Praxis ankommt.

00:40:55: Jetzt hast du von KI-Wettbewerben gesprochen.

00:40:57: Da bin ich ein bisschen hellhörig geworden, das hören wir so das allererste Mal.

00:41:01: also nicht nur von KI Wettbewärmen.

00:41:04: aber wie kann ich mir diese Challenges vorstellen?

00:41:07: Findet es im Hochschulkontext statt sind es allgemein... Es können nicht allgemeinen begeisterte Leute sein wenn sie mit solchen sensiblen Datensätzen arbeiten.

00:41:15: Also wie kann Ich mehr die Umsetzung dessen vorstellen?

00:41:20: Das ist ein Thema, was mich wirklich begeistert.

00:41:23: Das finde ich eine richtig tolle Sache.

00:41:25: also diese Wettkämpfe.

00:41:28: Es gibt nämlich einen so.

00:41:31: Ich denke man kann sich es sehr schwierig Über die zeit hinweg zu messen ob man an einem system baut was wirklich auch immer noch vorwärts kommt oder Ob man langsam aber sicher einfach auf die auf der art wie man das system testet overfittet sagen wir dann.

00:41:51: Also das heißt, dass man eigentlich gar nicht mehr wirklich generelle Dinge dazu lernt sondern einfach nur überspezifisch darauf wird wie man testet.

00:42:03: und deswegen sind so Wettkämpfe ein Standardding geworden bei allen Leuten die medizinische KI machen und auch nicht medizinischer KI.

00:42:12: Die machen das auch.

00:42:14: Das heißt eine Gruppe überlegt sich wie man am besten testen kann Und die andere Gruppe oder die anderen Gruppen, die sich so besonders dafür interessieren für das Thema und häufig noch so Studenten, die einfach bei dem Wettkampf dann mitmachen wollen.

00:42:29: Die überlegen sich dann die besten Lösungen.

00:42:31: Normalerweise macht man dann nur mit wenn man sowieso schon an dem Thema arbeitet wie zum Beispiel bei den Wettkämpf zu Foundation Models wo wir da natürlich auch und die anderen Groupen die halt solche foundation Models bauen mitgemacht haben werden.

00:42:45: diese, dann überlegen sich die Organisatoren.

00:42:48: Wie kann man das möglichst breit auswerten?

00:42:50: Und die müssen dann private Daten sammeln.

00:42:53: Die kann kann man nicht sehen, damit man auf keinen Fall in irgendeiner Form irgendwie aus versehen oder absichtlich irgendwer schieten kann.

00:43:00: Wir wollen ja wirklich wissen wie gut das Modell ist und Dann schicken die Teilnehmer alle ihrem Modell ihre Lösung dahin.

00:43:09: Dann wird der Internetzugriff gekappt.

00:43:12: Die Modelle müssen alle selbstständig die Aufgaben lösen, zum Beispiel bei dem Foundation-Modellwettkampf.

00:43:18: Da haben sie die Organisatoren dann elf neue Aufgaben gesammelt.

00:43:23: Da immer achtundvierzig Trainingsbeispiele hat so ein Modell gesehen und musste aus diesen achtund vierzig Trainings Beispielen eine komplett neue Aufgabe lösen.

00:43:33: Die haben das versucht möglichst divers zu machen also auch genau wie mein Thema über Mikroskopie zu tomografischen Bildern, diese räumlichen Bildern hinweg, und dann kann man so eine Momentaufnahme machen.

00:43:48: Welche Methoden funktionieren aktuell wirklich am besten?

00:43:52: Und was besonders spannend war für uns dann... wir sind ja eigentlich eher ein kleiner Player.

00:43:58: So Foundation Models im Allgemeinen Das machen auch Leute mit ganz anderen Ressourcen, also zum Beispiel die großen amerikanischen Unis oder die Firmen.

00:44:08: Die auch den nicht medizinische KI bauen.

00:44:11: Die machen auch gerne veröffentlichen Modelle zu Genau meinem Thema eigentlich direkte Konkurrenz und das sind natürlich einfach brilliente leute.

00:44:21: Und da hat man dann gesehen dass so eine Standard Methode wie man es eigentlich macht Bezieht sich darauf, wie man den Modellen vorgibt.

00:44:32: Wie genau sie lernen?

00:44:34: Der Fachbegriff dazu ist dann an Superweist gegen Superweiß-Learning bei uns.

00:44:40: Wir machen dann super Weiß Learning womöglich für unsere Foundation Models.

00:44:45: Das heißt wir beziehen das was irgendein Mensch mal über die Bilder gesagt hat mit in den Trainingsprozess mit ein.

00:44:51: zum Beispiel wenn ein menschmal gesagt hat dass es jetzt einen tumor grad drei.

00:44:56: Dann lernt unser modell direkt daraus Und die meisten versuchen eigentlich, dass diese Modelle nur aus den Bildern lernen.

00:45:04: Weil es relativ schwierig ist, die Anotationen von den Menschen wie zum Beispiel dieser Tumorgrad denen auch mit einzubeziehen.

00:45:10: Die stecken dann nur die Bilder in das Modell und verwenden solche Methoden.

00:45:14: Dann hat dieser Wettkampf gezeigt... ...die Standardmethode ist etwas schwächer als so die Zenitian Methode wo man dann die Trainingsignale mit reinbringt.

00:45:27: Wenn wir das jetzt in unserer eigenen Veröffentlichung ohne so ein Wettkampf gemacht hätten, dann würden die Leute sagen ja wahrscheinlich haben sie es irgendwie falsch ausgewertet.

00:45:36: Aber dadurch dass das so ein wettkampf ist kann man definitiv sagen das ist der Stand der Dinge.

00:45:42: deswegen finde ich diese Wettkämpfe so toll.

00:45:44: also ich habe auch schon mal mehrere mitgemacht.

00:45:47: bei den meisten ist es natürlich so.

00:45:49: das ist die Natur der Sache da läuft das nicht so gut.

00:45:52: Also gerade bevor ich mit diesem Thema angefangen habe hab' ich auch als Studenter schon gerne mitgemagt Und irgendwer muss ja auch verlieren, deswegen habe ich da meinen Beitrag geleistet.

00:46:01: Aber es ist einfach vom Konzept eine tolle Sache.

00:46:05: Da kann man seine Forschungsergebnisse... Auch wenn man keinen großen Namen hat direkt die Kredibilität.

00:46:17: der Wettkampf hat quasi verleihen.

00:46:19: Ja voll!

00:46:20: Es ist auf jeden Fall ne schöne Möglichkeit Wie du ja meintest, einmal Aktualität auch irgendwie zu verifizieren, Konkurrenz und Anschlussfähigkeit.

00:46:32: Gleichzeitig aber eben auch irgendwo ein Unterstrich unter die eigenen Erkenntnisse.

00:46:38: also einfach in dem Fall bei euch klar irgendwie Outstanding.

00:46:44: Ich würde jetzt nochmal interessieren, inwieweit das komplizierter ist Aussagen von Mediziner in das System mit einfließen zu lassen, zusätzlich zu den Bildern.

00:46:55: Weil ich hätte jetzt erst mal gedacht, rein logisch von dem was du uns bisher erklärt hast Es ist halt noch eine Information mehr und noch eine information mehr bedeutet automatisch auch Das system kann davon besser lernen weil der datensatz größer ist.

00:47:11: aber inwieweit unterscheidet sich dass in der komplexität?

00:47:15: Genau?

00:47:15: also der punkt den du Wiederholt hast der, den muss man immer wieder rausstellen.

00:47:20: Wenn der Datensatz größer ist dann ist das Thema im Generellen so eine Guide Line.

00:47:26: an die kann man sich halten.

00:47:26: Dann wird das System besser und bei uns wird der Datansatz groß indem wir viele mittelgroße Datensätze mit Anotationen in diesen Haufen reinwerfen.

00:47:37: daraus ergibt sich dann die Schwierigkeit dass diese Anotations nicht immer die gleiche Form haben.

00:47:42: häufig Zum Beispiel werden bestimmte Strukturen in den Bildern angemalt.

00:47:47: Das heißt, da geht wirklich jemand hin mit dem Pinsel und malt zum Beispiel die Leber im tomografischen Bild an.

00:47:56: Das ist eine superinteressante Frage das System dann auch so lösen zu lassen.

00:48:01: aber wenn wir jetzt das gleichzeitig verbinden wollen mit Annotationen wo jemand einen Tumorgrad anotiert hat in einem Namen einem Mikroskopiebild, dann ist das technisch gar nicht so leicht zu kombinieren.

00:48:16: Während wenn wir diese Annotation einfach alle wegschmeißen und uns eine Aufgabe ausdecken die relativ schwierig sein soll, möglichst schwierig sein wie zum Beispiel.

00:48:25: Wir nehmen keine menschliche Annotration sondern irgendwas was sich aus den Daten ergibt.

00:48:29: Wir zwingen das System Bilder zu generieren oder Wir machen die Bilder so ein bisschen kaputt und das System soll die reparieren.

00:48:39: Dann ist das eine Aufgabe, da braucht man diese Annotation nicht, hat nicht das Problem dass man manchmal Pinselstriche hat und manchmal nur so eine Entscheidung für den ganzen Patienten wie zum Beispiel so einen Krebsgrad.

00:48:50: Das Problem hat man einfach nicht!

00:48:51: Man lässt das System immer die Bilder reparieren, die man absichtlich vorher kaputt gemacht hat.

00:48:57: dann hat man klares Trainingssignal und daraus ergeben sich dann deutlich weniger technische Schwierigkeiten.

00:49:04: Und wahrscheinlich, also in eurem Fall hätte ich jetzt gedacht die Fehlerquote ist dadurch natürlich erstmal eine größere.

00:49:12: Weil es ja ganz viele eventuell, also weil so wie wir's vorher besprochen haben und du ja jetzt auch beschrieben hast.

00:49:17: Dann habe ich vielleicht das eine mal irgendwie ne Markierung, das andere mal eine Notiz.

00:49:21: dann hat aber vielleicht jemand was dazu geschrieben oder Es wurde gemalt im Bild.

00:49:26: wie auch immer Das sind ja erstmal ganz verschiedene Viele Variablen die das System erlernen muss richtig zu erkennen und dann irgendwie auch zu Interpretieren.

00:49:36: Und dementsprechend ist die Fehlerquote wahrscheinlich in euren eigenen Testläufen nochmal ne ganz andere wenn sie Ergebnis bedeutet, dass ihr deutlich präzisere Analysen habt.

00:49:45: Natürlich umso schöner wenn das das Ergebnis dann ist.

00:49:49: Ja der Vorteil ist vermutlich, dass man, wenn man direkt auch diese Annotation mit rein nimmt, dann ist das System, das fokussiert sich dann im Training schon auf Bildmerkmale die auch wirklich relevant sind Während so ein System, was die Aufgabe ohne Anmentation löst.

00:50:17: Gar nicht gezwungen wird sich auf klinisch relevante Dinge zu konzentrieren.

00:50:23: Deswegen könnte ich mir vorstellen dass das auch ganz gut funktioniert.

00:50:28: Jetzt habe ich zum Schluss gefühlt zehn weitere Fragen.

00:50:30: aber weißt du was?

00:50:32: Wir müssen ja ein Ende finden.

00:50:34: Wie geht's bei dir weiter?

00:50:35: Also das hab ich ja schon gesagt, du stehst am Ende deiner Promotion.

00:50:38: Du hast uns erzählt, du hast auf jeden Fall schon zwei Paper geschrieben.

00:50:43: Ich weiß es ist immer noch so'n Ding.

00:50:44: Wahrscheinlich hast du irgendwie Minimum drei Paper die du schreiben musst.

00:50:48: Manche haben die Option noch einen Viertes zu machen.

00:50:51: Das ist aber meist nicht verpflichtend Und das kann ja auch sogar nach offiziell im Ende der Promotion noch geschehen.

00:50:58: Ich hatte jetzt erst neulich eine Doktorin, die erzählt hat dass sie irgendwie ein Jahr warten muss bis sie potenzielle Reviews überhaupt bekommt weil das nämlich In Ihren Amt ist das überhaupt zu machen.

00:51:09: Das waren wir bis dato auch gar nicht bekannt, aber wie ist so dein Zukunftsplan?

00:51:14: Sagst du Forschung ... Das ist voll Mainz!

00:51:17: Das möchte ich nicht aufgeben.

00:51:19: Ich strebe irgendwie eine Postdoc-Stelle an oder nee.

00:51:24: Erst mal ist es.

00:51:24: jetzt habe ich da genug Aber Forschung schon.

00:51:27: Ich würde gerne irgendwie in die Industrie gehen.

00:51:30: Oder hast Du da schon Vorstellungen?

00:51:33: oder sagst du ich lass auf mich zukommen.

00:51:35: Wirst bei dir

00:51:37: Ja, so ganz konkrete Vorstellungen habe ich da noch nicht.

00:51:40: Ich denke dass die Arbeit... So der Arbeitsalltag wie er jetzt ist den kann ich mir auch vorstellen noch weiter zu machen.

00:51:49: das heißt in der Forschung bleiben und im Wesentlichen sich darauf konzentrieren die Sachen jetzt nochmal noch nützlicher zu machen noch verwendbarer.

00:52:01: Und das wäre denke ich In all diese Konzepten auch möglich Dass man entweder gibt es die Option, genau so ein Industrie-Lab zu gehen.

00:52:14: Da hätte man dann vermutlich den Vorteil dass die auch noch größere Ressourcen haben gerade was Computer angeht einfach größere Computer.

00:52:23: Dann gibt es sicherlich die Option So weiterzumachen wie bisher.

00:52:28: das ist sehr vielversprechend und was auch Viel und gerne gesehen wird Ist natürlich sich irgendwie selbstständig zu machen mit der Sache die man da gebaut hat.

00:52:37: Das wäre natürlich echt eine sehr, sehr coole Sache!

00:52:41: Dann muss man aber auch mit einem klaren Konzept dran gehen und da kommen dann ja noch ganz andere Schwierigkeiten dazu.

00:52:52: Ja, absolut.

00:52:53: Aber das ist an sich schön!

00:52:55: Wir hatten im Jahr – lass mich kurz überlegen – zwei, vierundzwanzig nämlich den Schwerpunkt hier im Podcast auch mit Startups und Ausgründungen aus der Forschung selbst heraus.

00:53:06: Das wagen viele.

00:53:08: Manche haben es glaube ich sogar ... Ich glaube die einen haben das direkt nach ihrem Studium gestartet Aber in Kooperation mit einer Hochschule, die dann quasi auch Promotionsstudentinnen da sozusagen mit forschen lassen haben.

00:53:22: Also super, super spannend!

00:53:24: Und ich glaube grundsätzlich gerade in dem Bereich den du beschreibst von unserem Land durchaus gerne gesehen und gerne unterstützt.

00:53:33: Von daher voll spannend.

00:53:35: also egal was es für dich wird Ich drück dir auf jeden Fall die Daumen.

00:53:38: vielleicht dazu noch?

00:53:39: Ich weiß bei Hochschulpromotionen wenn der Vertrag sozusagen ausläuft, dann läuft er aus und im Idealfall kann man noch irgendwie ein halbes Jahr weiter da bleiben um nach einer neuen Stelle zu suchen.

00:53:52: Wie ist es bei Frauenhofer?

00:53:53: Ist das ähnlich dass der Vertrag quasi eine Deadline hat und dann ist es definitiv vorbei?

00:53:59: oder ist es eher so dass du als Forscher erstmal sozusagen da bleiben kannst und dann weiter guckst?

00:54:07: Genau die Regeln sind so im Standard erst mal die gleichen.

00:54:12: Das heißt, man hat so seine sechs Jahre und da muss man auch fertig sein.

00:54:15: Es gibt aber schon Sondermöglichkeiten!

00:54:17: Ich schätze mal die gibt es an den Unis auch.

00:54:20: also wenn man jetzt ein bisschen länger braucht dann kann man zum Beispiel durch bestimmte Projekte die auch sowieso noch fertig gemacht werden müssen noch Verlängerungen bekommen und wenn man vorher fertig promoviert dann ist das auch kein Problem.

00:54:36: Da kann man auch weitermachen.

00:54:38: bisher in meiner Perspektive habe ich nie gesehen, dass das besonders ein großes Problem ist beim frauenhofer bei der uni.

00:54:49: Es ist glaube ich schon deutlich schwieriger auch meiner beobachtung nach wie du schon sagst Das es auch doch mal Schwieriger ist den vertrag auch zu gleichen konditionen zu verlängern Und das auch einfach nur dann gegeben durch die menge von drittmitteln oder die Menge von fördergeldern die man aktuell bekommt was da natürlich sehr schade ist.

00:55:10: Das sehe ich glücklicherweise bisher noch nicht.

00:55:14: Aber das kann sich natürlich auch, je nachdem wie entsprechende Fördergelder ausfallen, kann sich das natürlich auch noch ändern.

00:55:24: Hoffen wir mal nicht!

00:55:25: Also ich gehe davon aus dass es nicht.

00:55:27: Ja dann bleibt mir nur zu sagen nochmal vielen Dank dir Raphael, dass du heute hier zu Gast warst und uns einen kleinen Einblick gegeben hast.

00:55:35: Ich weiß nicht kann man diese Challenges kann man das irgendwie verfolgen.

00:55:40: Kann man theoretisch als Beobachter in daran teilnehmen, wenn so was stattfindet?

00:55:47: Vielleicht kannst du mir ja noch mal einen Link oder sowas geben, den ich in die Show Notes packen kann, wenn Leute Lust haben, so etwas zu erleben auch als Nicht-Teilnehmerin.

00:55:56: Ist sowas generell möglich?

00:55:58: Ja aber gerade bei den Größeren, die nicht medizinisch sind ist es denke ich sehr gut möglich.

00:56:03: da gibt es dann Plattformen wo man sich so einen Überblick verschaffen kann, einfach um zu gucken wie die Informatik davor anschreitet.

00:56:11: Bei den medizinischen Wettkämpfen sind deutlich kleiner und häufig von großen Konferenzen organisiert.

00:56:19: Deswegen kann man da auch das ganz gut verfolgen was da aktuell so Neues passiert welche Methoden vielleicht besonders gut abschneiden.

00:56:33: Aber im Wesentlichen, wenn man da als Konferenzteil dem auch ist.

00:56:36: Dann kriegt man das so richtig mit und danach kann man dann... Also es ist noch nicht da, dass man mit einem coolen Livestream oder sowas da mal was verfolgen kann.

00:56:48: Da fehlt denen vielleicht ein bisschen die Showexpertise.

00:56:52: Naja ja aber ich kann mir vorstellen, dass es vielleicht noch kommt.

00:56:57: Wir gucken mal, was wir in die Show Notes packen.

00:56:58: Falls irgendwer da draußen jetzt denkt ich habe noch ein paar Fragen.

00:57:02: oder es klingt voll cool oder ich könnte mir vorstellen Raphael bei seiner Gründung das Start-ups zu unterstützen?

00:57:09: Ich bringe dir und die Expertise mit.

00:57:12: vielleicht können wir irgendwas Cooles umsetzen.

00:57:15: dann dürft ihr euch sehr gerne bei ihm melden.

00:57:17: auch dafür findet ihr die Kontaktdaten an den Show Notes.

00:57:19: und ansonsten freue ich mich natürlich total Auch auf unsere nächste Folge und dann auch auf Augsburg, da teaser ich jetzt mal nur Augsburger an.

00:57:31: Und löse das dann in der nächsten folgen Mal auf!

00:57:35: Danke dir Raphael für heute.

00:57:37: Ja viel Dank, dass sie da sein durfte.

00:57:38: Viel Glück dir weiterhin.

00:57:39: bis dann

00:57:40: Tschüss.