Ein neuer Mitbewerber in der Open LLM Arena
Das in San Francisco ansässige Unternehmen Deep Cogito hat sich mit seiner neu veröffentlichten Familie offener großer Sprachmodelle (LLMs), die Berichten zufolge etablierte Wettbewerber in mehreren Benchmarks übertreffen, als bahnbrechende Kraft im Bereich der künstlichen Intelligenz erwiesen. Das Unternehmen, dessen erklärtes Ziel der „Aufbau allgemeiner Superintelligenz“ ist, hat Vorabversionen von Modellen mit 3 Milliarden bis 70 Milliarden Parametern vorgestellt, die jeweils eine Überlegenheit gegenüber den gleich großen Gegenstücken von Meta’s Llama, DeepSeek und Alibaba‘s Qwen-Serie behaupten.
Am beeindruckendsten ist vielleicht, dass das 70B-Modell von Deep Cogito eine Leistung zeigt, die das kürzlich veröffentlichte Llama 4 109B Mixture-of-Experts (MoE)-Modell von Meta übertrifft, obwohl es deutlich kleiner ist. Diese Leistung deutet eher auf einen grundlegenden Fortschritt in der Trainingsmethodik hin als auf eine einfache Skalierung der Parameter.
Die IDA-Revolution: LLM-Ausbildung neu denken
Das Herzstück des Durchbruchs von Deep Cogito ist Iterated Distillation and Amplification (IDA), ein neuartiger Trainingsrahmen, der einen Paradigmenwechsel gegenüber aktuellen Ansätzen wie Reinforcement Learning from Human Feedback (RLHF) darstellt. Der IDA-Prozess schafft eine sich selbst verbessernde Schleife durch zwei iterative Phasen:
- Verstärkungsphase: Das Modell führt erweiterte Berechnungen durch, um verbesserte Lösungen zu entwickeln, die über seine Standardfähigkeiten hinausgehen, ähnlich wie AlphaGo die Monte-Carlo-Baumsuche nutzte, um das menschliche Spiel zu übertreffen.
- Destillationsphase: Diese erweiterten Fähigkeiten werden dann wieder in die Basisparameter des Modells komprimiert, wodurch dem kleineren Modell effektiv beigebracht wird, die Leistung seines erweiterten Selbst zu replizieren.
Dies führt zu einer positiven Rückkopplungsschleife, bei der die Intelligenz direkter mit den Computerressourcen skaliert und nicht durch die menschliche Überwachungskapazität eingeschränkt wird. Das Forschungspapier von Deep Cogito zieht explizit Parallelen zum Erfolg von AlphaGo und stellt fest, dass “fortschrittliches logisches Denken in Kombination mit iterativer Selbstverbesserung” die übermenschliche Leistung ermöglicht hat.
Benchmark-Dominanz über Modellgrößen hinweg
Deep Cogito hat umfassende Benchmark-Ergebnisse veröffentlicht, in denen seine Modelle mit den derzeit modernsten offenen LLMs verglichen werden:
| Modell Größe | Benchmark | Cogito Score | Mitbewerber-Punktzahl | Verbesserung |
| 3B | MMLU | 68.2% | Llama 3.1: 62.1% | +6.1% |
| 8B | GSM8K | 72.5% | Qwen 2.5: 66.8% | +5.7% |
| 14B | LiveBench | 84.3 | DeepSeek 14B: 79 | +5.3 |
| 70B | MMLU-Pro | 91.73% | Llama 3.3: 85.3% | +6.43% |
Bemerkenswert ist, dass die Leistung des 70B-Modells an die von viel größeren Modellen wie Googles Gemini 1.5 Pro (94,1 % bei MMLU) heranreicht, während deutlich weniger Rechenressourcen für die Inferenz benötigt werden.
Dual-Mode-Architektur: Geschwindigkeit vs. Tiefe
Ein einzigartiges Merkmal der Architektur von Deep Cogito ist der Dual-Mode-Betrieb:
Standard-Modus: Bietet sofortige Antworten ähnlich wie herkömmliche LLMs, optimiert für latenzempfindliche Anwendungen.
Reasoning-Modus: Führt vor der Antwort eine durchdachte Gedankenkettenverarbeitung durch und erreicht Benchmark-Ergebnisse, die mit doppelt so großen Modellen vergleichbar sind.
Dank dieser Flexibilität eignen sich die Modelle besonders für agentenbasierte Anwendungen, bei denen in verschiedenen Kontexten sowohl schnelle Reaktionen als auch tiefgreifende Überlegungen erforderlich sein können.
Der Weg zur Superintelligenz?
Deep Cogito positioniert IDA als mehr als nur eine Verbesserung der Trainingseffizienz – es wird als ein skalierbarer Weg zu künstlicher allgemeiner Intelligenz (AGI) vorgestellt. Im Whitepaper des Unternehmens wird argumentiert, dass herkömmliche RLHF-Ansätze die Modellintelligenz von Natur aus auf die Kontrolle auf menschlicher Ebene beschränken, während IDA eine potenziell unbegrenzte Verbesserung durch rechnerische Verstärkung ermöglicht.
Diese Sichtweise deckt sich mit den jüngsten theoretischen Arbeiten von Forschern bei Anthropic und DeepMind, die darauf hindeuten, dass eine iterative Selbstverbesserung für das Erreichen von Superintelligenz entscheidend sein kann. Einige KI-Sicherheitsexperten haben jedoch Bedenken hinsichtlich der potenziellen Risiken selbstverbessernder Systeme geäußert, die das menschliche Verständnis schnell übersteigen könnten.
Auswirkungen auf die Industrie und zukünftige Richtungen
Die Veröffentlichung hat bereits Wellen im gesamten KI-Ökosystem geschlagen:
- Open-Source-Vorteil: Alle Deep Cogito-Modelle werden unter freizügigen Lizenzen veröffentlicht, im Gegensatz zu den zunehmend eingeschränkten Modellen der großen Technologieunternehmen.
- Berechnungseffizienz: Das Unternehmen behauptet, dass sein 70B-Modell eine bessere Leistung erzielt als das 109B-MoE-Modell von Meta und dabei 35 % weniger VRAM während der Inferenz verbraucht.
- Kommende Veröffentlichungen: Deep Cogito hat Pläne für MoE-Architekturen mit 109B-, 400B- und 671B-Parametern in den kommenden Monaten angekündigt.
Expertenreaktionen und Analysen
Erste Anwender berichten von vielversprechenden Ergebnissen:
„Das 14B-Modell übertrifft unser fein abgestimmtes Llama 3 30B bei der Codegenerierung und ist dabei doppelt so schnell“, so ein Ingenieur bei einem großen Cloud-Anbieter.
Die KI-Forscherin Dr. Elena Petrov kommentierte: “Die Verbesserungen in den Benchmarks sind beeindruckend, aber der wirkliche Test wird in komplexen, realen Anwendungen stattfinden. Der Dual-Mode-Betrieb ist besonders für Unternehmensanwendungen interessant.”
Einige bleiben jedoch zurückhaltend:
„Wir brauchen mehr unabhängige Überprüfungen dieser Behauptungen“, sagte der ML-Ingenieur Mark Chen.
Auf dem Gebiet der KI hat es viele “Durchbrüche” gegeben, die sich bei strengen Tests nicht immer bewährt haben.
Schlussfolgerung: Eine neue Ära für offene KI?
Deep Cogito’s combination of open models, novel training methodology, and benchmark-leading performance could significantly alter the competitive landscape of foundation models. If IDA proves as scalable as claimed, it may enable smaller organizations to compete with tech giants in developing advanced AI systems.
Da sich das Unternehmen auf die Veröffentlichung noch größerer Modelle vorbereitet, wird die KI-Gemeinschaft genau beobachten, ob dies einen grundlegenden Fortschritt bei der Modellschulung oder einfach eine weitere schrittweise Verbesserung darstellt. In jedem Fall hat sich Deep Cogito als ernstzunehmender Akteur im Rennen um leistungsfähigere und effizientere Sprachmodelle positioniert.
