AI Builders Digest · 2026-07-22

Einleitung / Editor's Note

Matan Grinberg (Factory) prognostiziert, dass 90 % der Code-Token bald in einer „dunklen Fabrik“ asynchron entstehen. Xaira Therapeutics belegt, dass ohne 30-mal mehr informationsreiche Daten Genexpressionsmodelle ab 1,5 Mrd. Parametern nicht skalieren. Together AI und YC geben Startups sofort GPU-Zugang, während ein Evaluierungsvorfall bei OpenAI und Hugging Face die Sicherheit in den Fokus rückt. Diese Beispiele unterstreichen: KI-Fortschritt hängt zunehmend von Infrastruktur und Datenqualität ab.

Theme 01

Die dunkle Fabrik: Software, die sich selbst baut / The Dark Factory: Software That Builds Itself

Matan Grinberg beschreibt Factorys Weg zu autonomen Coding-Agenten und sagt voraus, dass 90 % der Code-Token asynchron von Software generiert werden.

Training Data Sequoia Podcast

@SequoiaCap

Matan Grinberg (Factory) prognostiziert, dass 90 % der Code-Token asynchron ablaufen – die ‚dunkle Fabrik‘, in der Software sich selbst erstellt.

Er argumentiert, dass modell-agnostische Harnesse besser sind, da sie Überanpassung an ein einzelnes Modell vermeiden, und Open-Weight-Modelle wie GLM den Token-Markt zu einem Bruchteil der Kosten dominieren.

Matan Grinberg (Factory) predicts 90% of coding tokens will run asynchronously – the ‘dark factory’ where software builds itself.

He argues model-agnostic harnesses outperform co-designed setups by avoiding overfitting to a single model, and open-weight models like GLM will dominate the token market at lower cost.

Quelle / Source →

Training Data Sequoia Podcast

@SequoiaCap

Der modell-agnostische Harness von Factory vermeidet Überanpassung, indem er auf verschiedenen Modellen trainiert – im Gegensatz zum Co-Design-Ansatz von OpenAI & Anthropic.

Gründer Matan Grinberg glaubt, dass Open-Weight-Modelle wie GLM den Großteil der Token einnehmen werden, da sie eine Generation hinter der Spitze bleiben, aber nur einen Bruchteil kosten.

Factory's model-agnostic harness avoids overfitting by training on diverse models, contrasting with the co-design approach favored by labs like OpenAI and Anthropic.

Founder Matan Grinberg believes open-weight models like GLM will capture the majority of tokens by staying one generation behind the frontier at a fraction of the cost.

Quelle / Source →

Theme 02

Drug Discovery: Die Informationsskalierungsgrenze / Drug Discovery: The Information Scaling Limit

Xaira Therapeutics zeigt, dass mehr Parameter allein nicht reichen – informationsreiche Daten sind der Schlüssel, um Modelle in der Genexpressionsvorhersage skalieren zu lassen.

Latent Space Podcast

@LatentSpacePod

Ci Chu und Bo Wang (Xaira Therapeutics) zeigten, dass die Vorhersage von Genexpression ab 1,5 Mrd. Parametern stagniert, sofern man nicht ~30x mehr informationsreiche Daten hat.

Ihr Ansatz behandelt die Datenerhebung in der Wirkstoffforschung wie ein RL-Rollout-Budget: zig Millionen für Experimente und wenige Millionen für Rechenleistung, was ein skalierendes Modell ergibt.

Ci Chu and Bo Wang (Xaira Therapeutics) found that for gene expression prediction, scaling a model past 1.5B parameters fails unless you have ~30x more information-rich data.

Their approach treats drug discovery data collection like an RL rollout budget: tens of millions for experiments plus a few million for compute, yielding a model that scales with compute.

Quelle / Source →

Latent Space Podcast

@LatentSpacePod

Die Erkenntnis: Wenn der Testverlust mit zunehmender Modellgröße stagniert, während der Trainingsverlust weiter sinkt, ist nicht die Rechenleistung, sondern die Dateninformation der Engpass.

Das Xaira-Team belegte dies mit seinem 3,1-Mrd.-Parameter-Modell, das aus dem Skalierungstrend fiel, weil die CELLxGENE-Daten nicht genug Information enthielten.

A general insight emerges: when test loss plateaus while training loss keeps dropping with model scale, the model is information-limited, not compute-limited.

The Xaira team demonstrated this with their 3.1B model, which fell off the scaling trend because the underlying CELLxGENE data lacked sufficient information.

Quelle / Source →

Theme 03

Infrastruktur für Startups und Sicherheitsvorfälle / Infrastructure for Startups and Security Incidents

Together AI und YC bieten GPU-Cluster ohne Langzeitverträge, während OpenAI und Hugging Face einen Evaluierungsvorfall melden.

Together AI und Y Combinator starteten den ersten dedizierten GPU-Cluster für YC-Startups – ohne mehrjährige Rechenverträge.

YC-Gründer erhalten sofort GPU-Zugriff und können schneller vom Prototyp zur Skalierung gelangen.

Together AI and Y Combinator launched the first dedicated GPU cluster for YC startups, eliminating the need for multi-year compute contracts.

The partnership gives YC founders immediate access to GPU resources, accelerating the path from prototype to scale.

Quelle / Source →

OpenAI und Hugging Face meldeten einen Sicherheitsvorfall bei der Modellbewertung, der fortgeschrittene Cyber-Fähigkeiten offenbarte.

Frühe Erkenntnisse zeigen neue Angriffsvektoren, liefern aber auch wichtige Lektionen, um Evaluierungspipelines zu härten.

OpenAI and Hugging Face disclosed a security incident during AI model evaluation that showed advanced cyber capabilities.

Early findings highlight new attack vectors but also provide critical lessons for defenders to harden evaluation pipelines.

Quelle / Source →