DiffusionGemma: schnelle lokale KI-Inferenz

Google hat mit DiffusionGemma ein experimentelles offenes Modell vorgestellt, das Text anders erzeugt als klassische autoregressive LLMs. Statt Token nacheinander auszugeben, arbeitet das Modell laut Google mit Text-Diffusion und erzeugt ganze Blöcke parallel.

Für Unternehmen ist daran weniger der Modellname interessant als die Betriebsfrage: Was passiert, wenn lokale KI nicht mehr primär an Latenz scheitert?

Was technisch neu ist

DiffusionGemma ist laut Google ein offenes 26B-Mixture-of-Experts-Modell unter Apache-2.0-Lizenz. Während der Inferenz werden nur 3,8 Milliarden Parameter aktiviert. Google nennt bis zu viermal schnellere Textgenerierung auf dedizierten GPUs, unter anderem mehr als 1.000 Tokens pro Sekunde auf einer NVIDIA H100 und mehr als 700 Tokens pro Sekunde auf einer GeForce RTX 5090.

Der wichtige Unterschied liegt im Decoding. DiffusionGemma verarbeitet laut Google bis zu 256 Tokens parallel pro Schritt. NVIDIA beschreibt denselben Effekt aus Hardware-Sicht: Der Engpass verschiebt sich stärker von Speicherbandbreite zu Rechenleistung, was GPU-Architekturen besser ausnutzen kann.

Warum das relevant ist

Viele Unternehmensanwendungen brauchen nicht das größte Modell, sondern kurze Antwortzeiten: Assistenzsysteme in Fachapplikationen, Code- und Text-Vervollständigung, lokale Agent-Loops oder interaktive Dokumentbearbeitung. Wenn ein Modell auf lokaler Hardware spürbar schneller reagiert, verändert das die Kosten- und Architekturentscheidung.

Gleichzeitig bleibt DiffusionGemma ausdrücklich experimentell. Google schreibt selbst, dass Standard-Gemma-4-Modelle weiterhin die Empfehlung für maximale Ausgabequalität sind. Für produktive Workloads heißt das: nicht ersetzen, sondern testen.

Was DACH-Unternehmen prüfen sollten

Für DACH-Organisationen ist der lokale Betrieb besonders interessant, wenn Datenschutz, Latenz oder Kosten planbar bleiben müssen. Sie sollten DiffusionGemma vor allem für abgegrenzte, interne Workflows prüfen: schnelle Vorschläge, Entwürfe, Korrekturen, technische Assistenzen.

Die Leitfrage lautet nicht: „Ist das beste Modell jetzt lokal?“ Sondern: Welche Aufgaben brauchen Qualität, welche brauchen Geschwindigkeit — und welche Daten sollten gar nicht erst Ihre eigene Umgebung verlassen?

Wer heute KI-Plattformen plant, sollte lokale Inferenz wieder ernsthaft in die Zielarchitektur aufnehmen. Nicht als Dogma. Als zusätzliche Betriebsoption.