Kann man Sprachmodelle wie Video-KI trainieren?

Die zwei Klassiker: das nächste Wort vorhersagen, oder das versteckte

Next-Token-Prediction (das GPT-Rezept, „CLM"): von links nach rechts lesen, immer das nächste Wort raten. Masked Prediction (das BERT-Rezept, „MLM"): 15 % der Wörter schwärzen und aus beiden Richtungen erraten. Beides sind Token-Level-Objectives — jedes Lernsignal betrifft ein Wort an einer Position. Sie haben die gesamte LLM-Ära gebaut.

Der Neuling: sich auf den Kern einigen

LeJEPA (LeCun & Balestriero, Ende 2025) ist ein Sequenz-Level-Objective mit zwei Zutaten. Einem Invarianz-Loss: Zwei zufällig geschredderte Ansichten desselben Inputs müssen auf dieselbe Ein-Vektor-Zusammenfassung abbilden. Und SIGReg, einem statistischen Regularisierer, der beweisbar verhindert, dass diese Zusammenfassungen auf einen Punkt kollabieren — der klassische Fehlermodus dieser Familie. Ein Netz, kein Teacher-Modell, ein zusätzlicher Hyperparameter. Die Video-Version LeVJEPA — wenige Wochen vor diesem Experiment erschienen — erreichte oder schlug Metas V-JEPA 2 mit bis zu einem Zwanzigstel des Compute — vor allem, weil die weggeschredderten Teile nie gelesen werden. Binnen Monaten gab es LeJEPA-Arbeiten für Video, Bilder, Audio, EEG, Moleküle und Zeitreihen. Text — die Modalität, in der selbstüberwachtes Lernen geboren wurde — fehlte. Den Text-Port nenne ich LeTJEPA, um ihn klar von LeJEPA (dem Framework) und LeVJEPA (dem Video-Rezept) zu trennen.

Wie alles gemessen wird

Alle Modelle werden from scratch trainiert — gleiche Daten in gleicher Reihenfolge, derselbe 63M-Parameter-Transformer, derselbe Optimizer, dieselben Seeds — der einzige Unterschied ist das Objective. Danach wird jedes Netz eingefroren, und winzige lineare Proben lernen auf seinen Ausgaben: Themen-Klassifikation (AG-News), Satz-Ähnlichkeit (STS-B) und Grammatik über Minimalpaare (BLiMP: bevorzugt das Modell „the cats sleep" gegenüber „the cats sleeps"?). Nichts aus dem Training überlappt mit den Tests (auf 13-Gramm-Ebene geprüft: null Kollisionen). Eine bewusst ernüchternde Referenz läuft mit: TF-IDF, das Wortzähl-Verfahren aus den 1970ern.

Woher die Idee kommt — 13 Jahre in fünf Schritten

Dieses Experiment schließt den Kreis: Das destillierte Rezept kehrt in die Modalität zurück, in der selbstüberwachtes Lernen geboren wurde. Und es gibt eine historische Resonanz, die sich erst am Ende des Logs zeigt — das Objective, das am Ende vorn liegt (einen Nachbarn aus spärlichem Kontext vorhersagen), ist im Geist dem word2vec-Ausgangspunkt von 2013 näher als alles dazwischen.

Der Einsatz gilt in beide Richtungen. Überträgt sich das Rezept, wird Satz-Semantik 40 % billiger — relevant für jedes Embedding-Training. Scheitert es, ist der Fehlermodus selbst eine Antwort: darauf, was Video als Substrat für Bedeutungsraum-Lernen von Text unterscheidet. In jedem Fall entsteht als Nebenprodukt etwas Seltenes — ein kontrollierter Vergleich von Trainingszielen bei identischen Daten, identischer Architektur und festem Compute. (Vorschau aus dem Überblick: Das Objective, das am Ende vorn liegt, gehört zur vierten Familie — in einer Variante, die es so noch nicht gab.)

Aufbau. Ein 63M-Parameter-Transformer (12 Schichten, d=512), from scratch auf wikitext-103 trainiert (118 Mio. Tokens), 20.000 Schritte bei Batch 512 × 256 Tokens. LeTJEPA: zwei unabhängig zu 70 % gedroppte Ansichten pro Sequenz, MSE-Invarianz zwischen ihren Zusammenfassungs-Vektoren plus SIGReg (λ=5,6 nach dem Audit unten); überlebende Tokens behalten ihre Originalpositionen. Baselines: CLM und MLM unter identischen Bedingungen auf vollen Sequenzen nachtrainiert. Der Drop-Raten-Sweep (30–95 %) läuft als separate 5.000-Schritt-Diagnosen. Auswertung: eingefrorene lineare Proben auf AG-News und STS-B, gemittelt über 3 Probe-Seeds.

Was hält

• Aggressives Schreddern ist gratis. Die Themen-Genauigkeit bleibt flach, während die Drop-Rate von 30 % auf 95 % steigt — eine 14×-Spanne im Compute. Der zentrale Video-Befund repliziert auf Sprache.
• Kausalität ist gratis. Ein kausaler Encoder hält mit einem bidirektionalen mit — Streaming-taugliche Embeddings ohne Genauigkeitspreis, spiegelbildlich zum Block-Causal-Ergebnis des Video-Papers.
• Sequenz-Level schlägt Token-Level auf dessen eigenem Terrain. Bei der Themen-Klassifikation — einer Aufgabe über den Kern eines Texts — führt pures LeTJEPA jetzt vor den klassischen Objectives, obwohl es nie mehr als 30 % einer Sequenz liest.

Das λ-Normierungs-Detail

Ein Konfigurations-Detail wiegt schwerer als alle anderen: Der Video-Code mittelt seinen Invarianz-Loss über die 256 Zusammenfassungs-Dimensionen, mein Port summierte. Bei gleichem λ heißt das ~280× schwächere Regularisierung — und das Training kollabiert. Mit dem entsprechend höheren λ≈5,6 (dem Paper-äquivalenten Wert, aus dem Abgleich mit der Referenz-Implementierung) trainiert alles stabil, und pures LeTJEPA gewinnt fast zwei Punkte. Das Mitteln des Originals ist vermutlich auch die bessere Konvention, weil das Gewicht dann nicht an der Dimensionszahl hängt.

Aufbau. Ein 63M-Modell, ein einziger Durchlauf über 9,91 Mrd. Tokens FineWeb-Edu — jede Sequenz genau einmal gesehen, keine Kurve durch wiederholte Daten verzerrt. Ein Checkpoint alle ~0,5 Mrd. Tokens; an jedem Checkpoint drei Messungen: BLiMP-Minimalpaar-Likelihoods für Grammatik (ohne Probe), STS-B-Kosinus-Korrelation für Satz-Bedeutung und eine eingefrorene AG-News-Probe fürs Thema.

Eine Nebenlektion für Praktiker: Der übliche Embedding-Probe-Test für Grammatik (CoLA) hat hier nichts gemessen — für jedes Modell auf dem Niveau der Majority-Baseline —, während Minimalpaar-Likelihoods (BLiMP) die Modelle sauber trennten. Das Instrument zählt.

Aufbau. Das kombinierte Objective ergänzt LeTJEPAs zwei gedroppte Ansichten um einen Token-Loss: Jedes überlebende Token sagt das nächste Token der Originalsequenz voraus (meist ein gelöschtes; Positionen mit überlebendem Nachbarn sind ausgeschlossen, um Kopieren zu verhindern). GradNorm balanciert die beiden Losses über gleiche Gradienten-Normen an der letzten Schicht. Alles andere wie in Befund 01: 63M, wikitext-103, 20.000 Schritte, epoch-matched gegen CLM/MLM auf vollen Sequenzen, 3 Probe-Seeds, kausale und bidirektionale Variante.

Beide Hälften schienen genau das zu tun, was das Lerndynamik-Kapitel vorhersagte: Der Invarianz-Term liefert das billige Semantik-Signal, der Token-Term hält das Modell nah an den einzelnen Wörtern. Die Kombination schlug Masked Language Modelling, Next-Token-Prediction, eine kontrastive Kontrolle und pures LeTJEPA — jedes pure Objective — und verarbeitete dabei 40 % weniger Text. Es replizierte mit kausalem und bidirektionalem Encoder.

Aufbau. Die Ablation behält den Token-Arm der Kombination exakt bei — zwei zu 70 % gedroppte Ansichten, bidirektionale Attention, Nachbar-Ziele mit Kopier-Ausschluss — und löscht Invarianz-Loss, SIGReg und Projector. Die Maskierungsraten-Kontrollen trainieren Standard-MLM mit 40 % bzw. 80 % Masken auf vollen Sequenzen. Alle Arme: dieselbe 63M-Architektur, dieselben wikitext-103-Daten in derselben Reihenfolge, 20.000 Schritte, 3 Probe-Seeds; BLiMP wird bei kausalen Modellen autoregressiv gescored, bei bidirektionalen per Pseudo-Likelihood (Sternchen-Werte — nur innerhalb einer Familie vergleichen).

Frozen-Probe-Ergebnisse, 63M-Modelle, identische Daten & Architektur, epoch-matched; Thema ist AG-News (Mittel ± Std über 3 Probe-Seeds), Bedeutung STS-B-Spearman, Grammatik BLiMP (*kausale und bidirektionale Modelle nutzen unterschiedliches Scoring — nur innerhalb einer Scoring-Familie vergleichen).

Das Objective im Ganzen: Text schreddern, zufällige 30 % der Tokens an ihren Originalpositionen behalten, keine Mask-Tokens, kein Decoder — und jedes überlebende Token sagt seinen rechten Nachbarn im Originaltext voraus, der meist geschwärzt ist. Zwei unabhängige Shreds pro Sequenz, bidirektionale Attention, Positionen mit überlebendem Nachbarn ausgeschlossen (kein Kopieren). Das ist das ganze Rezept.

Ist das nur „mehr maskieren"? Die Forschung zu Maskierungsraten (Wettig et al., 2023) zeigte, dass 40 % Maskierung BERTs 15 % schlägt und 80 % noch überraschend gut funktioniert — die schärfste Null-Hypothese ist also, dass jede aggressive Korruption hierher führt. Die zwei Maskierungsraten-Baselines in der Tabelle testen genau das, bei sonst identischem Setup. Die Antwort: teilweise. Eine höhere Maskierungsrate hilft tatsächlich — bei 40 % Maskierung erreicht reines MLM Parität bei der Bedeutung (0,48 vs. 0,47) und gewinnt +0,7 beim Thema. Aber der Themen-Abstand zum echten Wegwerfen bleibt deutlich (86,3 vs. 87,8, weit jenseits des Seed-Rauschens) — und das maskierte Modell bezahlt dafür das 1,67-Fache an Compute, weil jeder [MASK]-Platzhalter weiter durchs Netz läuft. Bei 80 % Maskierung degradiert wieder alles. Tokens wirklich zu löschen bleibt die bessere und zugleich billigere Variante.

Einordnung in die Literatur: Jede Zutat existiert irgendwo — MAE-LM (ICLR 2024) entfernt Mask-Tokens aus dem Encoder, braucht aber einen Decoder; Googles Token-Dropping wirft Tokens mitten im Netz ab (Effizienz); Forgetful Causal Masking dünnt den Kontext im GPT-Training aus. Die spezifische Kombination hier — encoder-only, kein Decoder, keine Mask-Tokens, echtes Input-Level-Dropping, Nachbar-Ziele, evaluiert als eingefrorener Satz-Encoder — konnte ich nicht publiziert finden. Ich würde sie als decoder-freie Vereinfachung dieser Linie positionieren, nicht als neue Idee. In diesen Vergleichen liegt sie über allen Objectives, die ich ursprünglich testen wollte.

Aufbau. Zwei Sorten Experiment. Analyse trainierter Modelle: paarweiser Kosinus zwischen allen Token-Repräsentationen einer Sequenz (32 zurückgehaltene Sequenzen), effektiver Rang und eine Wortarten-Probe auf eingefrorenen Tokens. Auswege: separate 5.000-Schritt-Trainingsläufe pro Design — Drop-Raten 0,3–0,95, zusammenhängende 16-Token-Blöcke als Drop-Einheit, 4.096-Token-Kontexte und LeVJEPA-artige Ansichten (eine globale + vier lokale Span-Ansichten), jeweils gleich vermessen; ein 9M-Parameter-Screening-Tier reproduzierte zuerst die bekannten Signaturen, sodass jede Variante Minuten statt Stunden kostet.

Unten ist jedes Wort danach eingefärbt, wie ähnlich seine interne Repräsentation dem Wort „inflation" ist (dunkler = ähnlicher). Ein Modell mit brauchbarer Token-Struktur sollte das zweite Vorkommen von „inflation" aufleuchten lassen und wenig sonst:

Pures LeTJEPA ist fast gleichmäßig dunkel — seine Token-Repräsentationen sind auf einen globalen Kern kollabiert. Eine Wortarten-Probe auf den eingefrorenen Tokens bestätigt es: 41 % für pures LeTJEPA vs. 63–70 %, sobald irgendein Token-Level-Loss dabei ist.

Warum SIGReg das nicht verhindern kann — und der Invarianz-Loss es belohnt

SIGReg bewacht eine Sache: dass verschiedene Texte gut verteilte Zusammenfassungen bekommen. Auf die Tokens innerhalb eines Texts schaut es nie. Und der Invarianz-Loss belohnt den Kollaps aktiv: Die Zusammenfassung ist nahe an einem gewichteten Mittel der Token-Repräsentationen, und der quadrierte Abstand zweier Shred-Zusammenfassungen ist proportional zur Token-Varianz innerhalb der Sequenz. Alle Tokens identisch zu machen ist kein Fehlermodus dieses Objectives — es ist sein Optimum. Beide Bedingungen, „Texte gut verteilt" und „Tokens alle gleich", sind gleichzeitig perfekt erfüllbar; das Training findet schlicht diesen Punkt.

Jeder Ausweg, getestet — keiner funktionierte

• Drop-Rate: Die Homogenisierung wächst monoton von Drop 0,3 bis 0,95 (Kosinus 0,93 → 0,997) — exakt wie die Varianz-Formel es vorhersagt, denn der Strafkoeffizient skaliert mit eins durch die Zahl der behaltenen Tokens.
• Zusammenhängende Blöcke (16 Tokens wie ein Bild-Patch behandeln): lexikalisch nicht von zufälligem Droppen bei gleicher Rate zu unterscheiden — kein Effekt.
• Längere Kontexte (4096 Tokens): Verstreute Shreds werden nur repräsentativer für den Text — die Invarianz-Aufgabe wird leichter, nicht schwerer.
• Video-artige lokale Crops (eine globale Ansicht, vier lokale Span-Ansichten — das Design, das im Video die Emergenz erzeugt): Bei kurzen Kontexten sind die Spans so redundant wie Shreds; bei langen entsteht endlich echter Vorhersagedruck (der Loss bleibt hoch) — und fließt in Teil-Kollaps oder bloße Kern-Glättung statt in Token-Struktur. Auch mit dem korrigierten, stärkeren SIGReg entsteht keine Token-Identität.

Aufbau. Identisch zur Kombination, mit einer Änderung: Der Token-Loss wandert von den geschredderten Ansichten auf einen dichten, zusammenhängenden 64-Token-Span pro Sequenz, an zufälliger Position gezogen, an Originalpositionen belassen, ohne Kontext davor. GradNorm balanciert Span-Loss und Invarianz-Loss. 20.000 Schritte, epoch-matched, kausaler Encoder, 3 Probe-Seeds; Grammatik autoregressiv gescored (innerhalb dieser Tabelle vergleichbar).

Die Span-Variante bestätigt den Mechanismus aus Kapitel 2 auf einem zweiten Weg: Grammatik reagiert auf ein dichtes, lokales Signal — 64 zusammenhängende Tokens pro Sequenz holen +3,2 BLiMP-Punkte gegenüber der geschredderten Kombination zurück, während die Semantik-Werte halten. An die Decke des dichten Voll-Sequenz-Modells kommt sie nicht heran, und sie gibt einen Teil der Compute-Ersparnis zurück. Die offene Synthese — geschredderte Token-Vorhersage (das beste Objective aus Kapitel 4) plus dichter Span für Grammatik — ist der offensichtliche nächste Lauf.

• Die 1970er-Referenz gewinnt bei Rohwerten weiter. TF-IDF schlägt hier jedes neuronale Modell bei Thema und Ähnlichkeit — auf lexikalischen Benchmarks, bei dieser Größenordnung, mit diesen Daten. Mehr Daten halfen den Modellen deutlich (Thema 84→88,3 bei 10 Mrd. Tokens); Parameter allein nicht, und spät im Single-Epoch-Training driften die Ähnlichkeits-Werte aller Objectives nach unten — ein offener, Objective-unabhängiger Effekt. Belastbar sind Aussagen darüber, welches Objective mehr pro Compute lernt, nicht absolute Überlegenheit.
• Das beste Objective ist bisher nur auf wikitext bestätigt. Die 10-Mrd.-Token-Bestätigung auf FineWeb für die geschredderte Token-Vorhersage ist der wichtigste fehlende Lauf.
• Scoring-Vorbehalt. BLiMP-Zahlen sind nur innerhalb einer Scoring-Familie vergleichbar (kausale Modelle scoren autoregressiv, bidirektionale per Pseudo-Likelihood).
• Seeds. Probe-Seeds sind gemittelt (3); die Replikation über Pretraining-Seeds ist eingereiht.
• Verwandte Arbeiten, geprüft. JEPA-Objectives für Sprache existieren: LLM-JEPA ergänzt den Standard-LM-Loss um einen JEPA-Term, braucht aber natürlich gepaarte Ansichten (Text↔Code), und BERT-JEPA aligniert Übersetzungspaare auf einem nachtrainierten mehrsprachigen Encoder — und nennt SIGReg ausdrücklich als Future Work. Was ich zum Zeitpunkt des Schreibens nicht finden konnte: eine LeJEPA/SIGReg-Anwendung auf Rohtext, oder eine publizierte Version der siegenden Shred-Vorhersage-Variante. Beim Tempo des Felds hat diese Aussage eine kurze Haltbarkeit.

Alles — Code, 25 Einzelbefunde mit Commit-Hashes und die negativen Ergebnisse — liegt als reproduzierbares Forschungslog vor. Wer an effizientem Pretraining oder selbstüberwachten Objectives arbeitet und sich austauschen will: mein Postfach ist offen.