Weniger Bias, besserer Transfer?

Der Test in einfachen Worten: der Künstler und die Medizinstudentin

Man stelle sich die KI als Künstler mit einem außergewöhnlichen Auge vor, der Millionen Bilder studiert hat — Katzen, Autos, Landschaften. Wir bitten ihn nicht um eine Diagnose. Wir geben ihm einen Hirnscan und eine einzige Anweisung: „Schreib in deiner eigenen Kurzschrift auf, was dir auffällt — jede Kante, Textur, jeden hellen Fleck, jede Asymmetrie." Er weiß nicht, was eine Blutung ist; er beschreibt nur, was da ist, jedes Mal auf dieselbe sorgfältige Weise. Diese Notizen sind seine Lesart des Scans.

Dann kommt eine Medizinstudentin im ersten Jahr dazu, die den Scan nie sieht — sie liest nur die Notizen des Künstlers. Aus einem Stapel alter Fälle (die Notizen plus die bekannte Antwort) lernt sie, welche Kritzeleien typischerweise mit „Blutung" einhergehen. Das ist das Einzige, was wir trainieren, und es dauert Minuten. Der eigentliche Test lautet also: Wie gut sind die Notizen des Künstlers? Und weil wir den Künstler nie umlernen (er bleibt eingefroren), ist der Vergleich zwischen den Künstlern fair, und die Studentin braucht nur eine Handvoll Beispiele.

Was ein „Fenster" wirklich ist — selbst ausprobieren

Ein CT speichert keine Helligkeit, sondern Dichte in Hounsfield-Einheiten (HU), von Luft (−1000) bis dichtem Knochen (+2000 und mehr). Ein Bildschirm kann nicht 4.000 Abstufungen auf einmal zeigen, also wählt man ein Fenster — einen Ausschnitt der HU-Skala, gedehnt auf vollen Schwarz-Weiß-Kontrast. Der Haken: graue Substanz, weiße Substanz und frisches Blut — die ganze Frage in einem Kopf-CT — liegen in einem nur ~70 HU schmalen Streifen dieser 4.000-HU-Skala. Verschieb das Fenster unten und beobachte, was auftaucht und verschwindet:

Drei Arten, einer KI das Sehen beizubringen (plus ein Außenseiter)

Jeder Lernstil hinterlässt einen anderen Fingerabdruck menschlicher Annahmen im Modell — wie viel jemand vorab festgelegt hat, was zählt. Dieser Fingerabdruck, der Inductive Bias, ist die Achse, um die sich das ganze Experiment dreht.

1 · Supervised (denk „ResNet"): Zeig dem Netz Millionen Bilder, jedes von einem Menschen mit einer von 1000 Kategorien beschriftet, und trainiere es, die Kategorie zu erraten. Menschlicher Fingerabdruck: schwer — die Liste der Kategorien entscheidet, was das Modell für „wichtig" hält. Ein Katze-gegen-Hund-Detektor lernt, was Katzen von Hunden trennt — nicht, wie eine Hirnblutung aussieht.

2 · Self-Distillation (die „DINO"-Familie — DINOv2, DINOv3): keine Etiketten. Zeig dem Modell zwei verzerrte Varianten desselben Bildes — anders zugeschnitten, in der Farbe verschoben — und trainiere es, für beide dieselbe innere Beschreibung zu erzeugen. Menschlicher Fingerabdruck: mittel — die Annahmen stecken in den Verzerrungen. „Farbe ist egal" ist eine gute Regel für Fotos, aber im CT ist die Helligkeit das medizinische Signal. Dieses eingebaute „Farbe ist egal" nennen wir später den Farb-Bias.

3 · I-JEPA — der vorhersagebasierte Stil. Keine Etiketten, keine Farb-Tricks. Es verdeckt einen Teil des Bildes und lässt das Modell die innere Beschreibung des verdeckten Teils aus dem Sichtbaren vorhersagen — im „Kopf", nicht als Pixel. Menschlicher Fingerabdruck: leicht. Weil es am wenigsten einbaut, ist es der natürliche Kandidat für die Wette, auf die wir am Ende kommen.

4 · Language-Supervised (ein multimodales Modell wie Qwen): ein großes Sprachmodell mit angebautem Vision-Encoder, trainiert auf Bild-Text-Paaren, bis es zwischen Bild und beschreibenden Worten wechseln kann. Menschlicher Fingerabdruck: schwer — aber aus Sprache. Fachfremd für rohe CT-Textur, trägt aber etwas, das keiner der anderen hat: es verbindet Bilder mit Text. Für die Bias-Frage kein direkter Gegner — es taucht in Kapitel 2 als bewusster Außenseiter auf.

Eine Anmerkung für technisch Neugierige: I-JEPA ist eine Joint-Embedding Predictive Architecture — nicht autoregressiv und ohne Pixel-Rekonstruktion; es sagt Repräsentationen verdeckter Regionen voraus. DINO ist eine Invarianz- bzw. Self-Distillation-Methode, keine generative.

Es funktioniert, und das ist der überraschende Teil. Mit dem Aufbau aus den Grundlagen — ein eingefrorener Encoder plus ein winziger Klassifikator pro Fenster — erreichen die besten Modelle ab Werk rund 0,94 AUC bei der schlichten Frage „liegt eine Blutung vor?". Kein Fine-Tuning, kein medizinisches Vortraining; das große Modell lernt nicht einmal, was eine Blutung ist. Es beschreibt nur den Schnitt, und eine logistische Regression auf diesen Beschreibungen erledigt den Rest.

Bemerkenswert ist, wie wenig dafür nötig ist. Die großen Modelle bleiben eingefroren, es gibt also kein teures Umtrainieren; nur der kleine Klassifikator lernt, in Minuten. Eine brauchbare Ausgangsbasis steht in Stunden, nicht Monaten. Die naheliegende nächste Frage — und der Rest dieses Artikels — ist, was diesen Wert eigentlich antreibt.

Wenn es auf die Notizen ankommt, dann sollte zählen, was der Künstler vorher studiert hat — mehr als der genaue Stil, in dem er studiert hat. Um das zu prüfen, zwei bewusste Außenseiter, Encoder für etwas ganz anderes, auf einem Ausschnitt von 40.000 Schnitten: Qwen, ein Vision-Language-Modell, und Donut, ein Encoder zum Lesen gescannter Dokumente.

Der Dokumentleser ist klar der schwächste — seine Welt (Text auf Papier) liegt einfach zu weit vom CT weg. Bemerkenswerter: das Vision-Language-Modell kommt bis auf ~0,010 an das beste foto-trainierte Modell heran, obwohl es nie als reines Bildmodell gebaut wurde.

Qwen und Donut unterscheiden sich auch in Größe und Architektur, es ist also kein sauberer Schnitt. DINOv3 erlaubt den sauberen: dieselbe Architektur, dieselbe Größe, auf zwei verschiedenen Welten vortrainiert. Die Satelliten-Version gewinnt um +0,013 — und das über jeden Ausschnitt. Warum sollte ein Modell, das die Erde aus dem Orbit studiert hat, einen Hirnscan besser lesen als eines, das Katzen und Autos studiert hat? Eine plausible Lesart, eine Hypothese: Satellitenbilder liegen näher an einem CT-Schnitt als ein Foto — weitgehend Graustufen, textur- und kantendominiert, flache Querschnitte, keine Farb-und-Objekt-Semantik von Alltagsfotos.

Größer lohnt sich nicht immer (bei diesem Budget)

Ein Vorbehalt: Diese Skyline ist eine Momentaufnahme bei festem Rechenbudget, keine Aussage über Skalierung. Wir trainieren nur eine kleine Probe auf eingefrorenen Features, also überanpassen die höherdimensionalen Notizen eines größeren Modells diese Probe stärker — umso mehr, je weniger Daten man nutzt. Der allergrößte Encoder (7B Parameter) lief aus Budgetgründen nur auf einem kleinen Teil der Schnitte. Lies die Position der großen Modelle als unser Budget, nicht als ihre Obergrenze.

Alles zusammenzuwerfen ist der falsche Reflex. Das beste Ensemble ist eine kuratierte, vielfältige Handvoll von sechs — alle ~20 Modelle hineinzuwerfen ist leicht schlechter (0,934): die schwächeren Supervised-CNNs verwässern nur den gleichgewichteten Mittelwert. Dasselbe gilt eine Ebene höher: alle ~240 Kandidaten zusammenzuwerfen (jedes Modell, beide Auflösungen, jedes Fenster, mit und ohne Nachbar-Kontext) landet bei 0,946 — nicht besser als die Handvoll. Was funktioniert, ist zu wählen: eine greedy Auswahl, auf einem Validierungs-Split zusammengestellt und einmal auf einem unberührten Test-Split gemessen, erreicht 0,955 AUC (+0,009 gegenüber dem Zusammenwerfen, 95%-KI klar über null). Sie behält 63 von ~240 Kandidaten und entdeckt jeden Hebel dieses Artikels auf einmal wieder.

Zwei weitere Hebel brauchten gar kein Nachtrainieren. Zwei schmale Fenster hinzuzufügen — eines auf dem feinen Grau-Weiß-Band, eines auf dem Frischblut-Band — bringt einen kleinen, aber statistisch bedeutsamen Zuwachs (+0,004 Held-out). 3D-Kontext — jeder Schnitt borgt sich die gemittelten Notizen seiner Nachbarn, da eine Blutung meist über mehrere benachbarte Schnitte reicht — bringt deutlich mehr (+0,012, ebenfalls signifikant).

Und etwas fast Poetisches fällt aus der Zerlegung. Sortiert man das Gewicht jedes Modells nach Fenster, spaltet sich das Ensemble entlang der Inductive-Bias-Achse aus den Grundlagen. Die Supervised-CNNs tragen nur über die breiten klinischen Fenster bei (0% aus den schmalen). Das bias-arme I-JEPA ist das Spiegelbild: ~95% seines Beitrags fließen durch die schmalen Blut- und Schlaganfall-Fenster (79% allein aus Blut). DINO liegt dazwischen. In einem Satz: je leichter die eingebauten Annahmen eines Modells, desto mehr liegt sein einzigartiger Wert in der scharfen, lokalen „ist hier ein heller Fleck?"-Sicht. Merk dir das — es ist der erste Hinweis, dass „bias-arm" etwas Spezifisches bringt, auch wenn es nicht allein gewinnt.

Methodik-Notiz. Jeder Gewinn hier wird auf Validierung gewählt und einmal auf einem Held-out-Test berichtet, mit patientenweisen Bootstrap-Konfidenzintervallen. Das sind Out-of-Sample-Gewinne, keine auf dem Testset getunten Zahlen — und diese Disziplin zu benennen ist der Punkt: sie macht kleine, echte Unterschiede vertrauenswürdig.

Deshalb unterscheidet sich unser Viertel des Datensatzes kaum von der Nutzung aller Daten — und deshalb ist ein brandneuer Befund mit nur ein paar hundert Annotationen mit eingefrorenen Features nicht hoffnungslos.

Warum der Typ zählt — nicht nur, dass Blut da ist

Die fünf Typen verzweigen sich in verschiedene Behandlungspfade: ein anderer Arzt anzurufen, eine andere Untersuchung als Nächstes, ein anderer Raum vorzubereiten.

Der Typ, nicht nur das Vorhandensein von Blut, entscheidet also, was als Nächstes passiert — ihn innerhalb von Sekunden nach dem Scan zu kennen, lässt den richtigen Pfad früh statt erst nach der Befundung beginnen.

Der Realitätscheck: wie weit von den Experten?

Der Wettbewerb 2019 wurde mit einem schwer engineerten System gewonnen: drei feinabgestimmte CNN-Architekturen, über Kreuzvalidierungs-Folds gemischt, zwei Sequenzmodelle, die Kontext über Schnitte lesen, plus Test-Time-Augmentation. Unser schneller, eingefrorener Ansatz landet bei rund dem 2,6-Fachen des Fehlers des Gewinners — weit von der Spitze, erreicht mit einem Bruchteil des Aufwands. Dieser Abstand ist im Log-Loss; beim reinen Ranking (sortiert es Blutungen über Nicht-Blutungen?) ist unser Ensemble bereits stark (~0,95 AUC). Der Rückstand ist vor allem Fähigkeit (Fine-Tuning), nicht Kalibrierung: die Konfidenz im Nachhinein anzupassen verschiebt den Wert nur um ~0,001.

Wir haben gerade gesehen, wie I-JEPA im Ensemble seinen Beitrag leistet, besonders im schmalen Blutfenster. Aber die Wette aus den Grundlagen war stärker als das: das annahmen-ärmste Modell sollte klar gewinnen. Tat es nicht.

Es ist eine vernünftige Wette, kein Handwedeln. Vorarbeiten deuten in dieselbe Richtung: Farb-Jitter kann gelernte Features aktiv beschädigen (Planckian Jitter, 2022); JEPA-artige Methoden funktionieren ohne schwere Augmentierung (You Don't Need Data Augmentation in SSL, 2024); Invarianz- vs. vorhersagebasierte Methoden passen zu verschiedenen Signalen (Pretext Matters, 2026).

Ein sauberer, kontrollierter Sieg für Self-Supervision

Die Wette auf den Bias fiel, aber ein einfacherer Vergleich hielt. Hält man alles konstant außer dem Lernstil — dasselbe ResNet-50, dieselben Daten, nur supervised vs. selbstüberwacht — gewinnt Self-Supervision klar: 0,900 vs. 0,925 AUC (+0,025). Für die neueren Transformer-Modelle war der Unterschied klein und mit anderen Faktoren verwoben — ein Indiz, kein Beweis.

Wo ein günstiger Detektor sich wirklich lohnt

Nicht in einem voll besetzten Stroke-Center um die Mittagszeit. Er lohnt sich, wo Expertise oder Geografie der Engpass ist — und die harten Zahlen hier stammen aus ausgerollten Systemen, nicht von uns:

• Die Verlegungsentscheidung — ein kleines Krankenhaus mit Scanner, aber ohne Neurochirurgie. Die Uhr, die zählt, ist die Door-in-Door-out-Zeit, routinemäßig über zwei Stunden. In einem Hub-and-Spoke-Netz senkte automatische Erkennung sie von 202 → 113 Minuten und die Team-Benachrichtigung von 45 → 7 Minuten (Viz.ai, 2024).
• Das Wochenende, wenn kein Experte im Haus ist. Klinisch relevante Diskrepanzen zwischen vorläufigem und finalem Befund liegen im Bereitschaftsdienst bei ≈2–6%, und die am häufigsten übersehenen Blutungen sind die subtilen — subdural (39%) und subarachnoidal (33%) (AJNR). Das sind genau die zwei Typen, die unser Modell am schwersten findet — aber ein Modell ermüdet nicht um 3 Uhr nachts. Der Wert ist nicht „besser als ein Neuroradiologe"; es ist eine konstante Zweitmeinung, wo keine vor Ort ist.

Warum eine einzelne Klinik das selbst bauen könnte

• Es braucht sehr wenige Annotationen. Die Few-Shot-Kurve erreichte brauchbare Genauigkeit von Zehnern bis wenigen hundert annotierten Fällen — nicht den Zehntausenden, die ein Modell von Grund auf verlangt. Ein klinikeigenes Archiv, vom eigenen Personal leicht annotiert, genügt zum Start.
• Es verbessert sich in Schritten. Beginne mit einem eingefrorenen Modell und einer winzigen Probe — Stunden Arbeit. Wenn ein Befund wichtiger wird, füge Annotationen hinzu; wenn er sehr wichtig ist, mache Fine-Tuning; an der Grenze fahre label-freies Vortraining auf den eigenen unannotierten Scans des Hauses. Jeder Schritt ist optional und baut aufeinander auf.

Grenzen — das war ein schneller Blick, nicht das letzte Wort

• Eingefroren, nicht feinabgestimmt. Die Modelle an CT anzupassen würde deutlich mehr herausholen — umso mehr, je weiter der Input von Alltagsfotos entfernt liegt.
• Nur leichter 3D-Kontext. Schnitt-plus-gemittelte-Nachbarn schlug sowohl volle Konkatenation (überanpasst seltene Subtypen) als auch naives Mitteln (verwischt den Schnitt, schadete). Ein voll gelerntes Sequenzmodell über Schnitte hinweg — wie beim Gewinner — ist der verbleibende Weg zu mehr.
• Keine Eins-zu-eins-Leaderboard-Zahl. Alle Werte sind auf unserem eigenen patientenweise getrennten Split, nicht auf dem privaten Testset von 2019. Das „2,6-Fache" ist ein Plausibilitätscheck zur Größenordnung, kein direkter Vergleich.

Die Workflow-Zahlen oben stammen aus ausgerollten, validierten Systemen — nicht aus dieser Arbeit. Wir haben die Fähigkeit auf öffentlichen, unvollkommenen Daten demonstriert, ohne klinischen Einsatz und ohne klinische Studie. Daraus einen sicheren Zweitleser oder Verlegungs-Auslöser zu machen ist eine separate, ordentlich regulierte Anstrengung; es wird kein MDR/CE-Anspruch erhoben.

Falls Sie daran arbeiten: Die Bausteine sind heute da — sie einzusetzen braucht Engineering, keinen Durchbruch. Falls Sie klinische Bildgebungs-Workflows mit KI verbessern, mit den Domänendaten und der klinischen Reichweite, um es richtig zu tun, freue ich mich auf das Gespräch.