Claude 3.7 Sonett: Funktionen, Zugang, Benchmarks & mehr

Was ist Claude 3.7 Sonnet?

Claude 3.7 Sonnet ist Anthropics neuestes KI-Modell, das einen großen Schritt vorwärts in Sachen Denken, Programmieren und Lösen von Problemen in der realen Welt darstellt. Die größte Änderung ist, dass Claude 3.7 Sonnet jetzt den Denkmodus unterstützt, der es uns ermöglicht, den Schritt-für-Schritt-Überlegungsprozess des Modells zu sehen. Schauen wir mal, wie das funktioniert:

Reasoning-Modelle werden immer wichtiger und verbreiteter, und wir können sehen, warum. Wenn du dir die Grafik unten ansiehst, wirst du feststellen, dass 37,2 % der Nutzerinnen und Nutzer Claude für Programmier- und Mathefragen nutzen, wie der Anthropischen Wirtschaftsindex. Das sagt mir eines: Starke Argumentationsmodelle können einen echten geschäftlichen Nutzen bringen, vor allem, da KI in Unternehmen noch wenig verbreitet ist.

Quelle: Antrophic Economic Index

Gleichzeitig ist der Claude 3.7 nicht nur ein Argumentationsmodell, sondern ein Hybrid. Wir können zwischen dem Denkmodus (für strukturierte Denkaufgaben) und einem Standard-Chatmodus für allgemeine Konversation, Schreiben und Zusammenfassungen wechseln.

Claude 3.7 Sonett vs. Claude 3.5 Sonett

Claude 3.7 Sonnet ist ein viel größeres Upgrade, als die Versionsnummer vermuten lässt. Die Benchmark-Daten bestätigen, dass es Claude 3.5 Sonnet beim Denken, Codieren und bei der Ausführung von Aufgaben in der realen Welt übertrifft.

Leistung in der Softwareentwicklung

Claude 3.7 Sonnet zeigt einen klaren Vorteil in der Softwareentwicklung, mit einer Genauigkeit von 62,3 % im SWE-Bench Verified, ein deutlicher Sprung gegenüber den 49,0 % von Claude 3.5 Sonnet. Bei Verwendung eines benutzerdefinierten Gerüsts (eine strukturierte Aufforderung oder ein zusätzlicher Kontext, der die Antwort des Modells auf eine genauere Lösung lenkt) erhöht sich die Genauigkeit auf 70,3 %, womit es das beste Modell in dieser Kategorie ist.

Quelle: Anthropisch

Eine Verbesserung der Genauigkeit um fast 13% zwischen den Modellversionen ist nicht nur eine kleine Verbesserung. Das deutet darauf hin, dass Claude 3.7 Sonnet für ein besseres Verständnis und eine bessere Ausführung von programmierbezogenen Aufgaben optimiert wurde. Für Benutzer, die Claude für die Softwareentwicklung, das Debugging oder die Automatisierung nutzen, macht das Upgrade einen spürbaren Unterschied.

Einsatz von Agententools

Die Leistung bei der Verwendung von Agententools ist ein weiterer Bereich, in dem Claude 3.7 Sonnet seinen Vorgänger übertrifft. Bei einzelhandelsbezogenen Aufgaben erreicht er eine Genauigkeit von 81,2 %, gegenüber 71,5 % bei Claude 3.5 Sonnet. Bei den flugzeugbezogenen Aufgaben erreicht sie 58,4 %, was eine Verbesserung von fast zehn Punkten gegenüber der Vorgängerversion bedeutet.

Quelle: Anthropisch

Allgemeine Benchmarks

Bei allen Benchmarks sind die größten Zuwächse im erweiterten Denkmodus zu verzeichnen, mit dem Claude 3.7 bei komplexen Denkaufgaben ein viel höheres Niveau erreicht. Nutzer, die sich bei strukturierten Arbeitsabläufen, beim Codieren oder bei der Problemlösung auf KI verlassen, werden einen deutlichen Unterschied zwischen Claude 3.5 und Claude 3.7 feststellen, vor allem wenn es um erweitertes Denken geht.

Quelle: Anthropisch

Der größte Teil dieses Fortschritts kommt von Claudes erweitertem Denken, also lass uns mehr darüber herausfinden.

Claude's Extended Thinking

Wenn er aktiviert ist, erhöht der erweiterte Denkmodus die Anzahl der Denkschritte, die Claude benötigt, um eine Antwort zu finden. Die Entwickler/innen können diesen Prozess feinabstimmen, indem sie ein Denkbudget festlegen, das bestimmt, wie viele Token das Modell bei der Bearbeitung eines Problems verwenden kann. Wie in der AIME 2024-Leistungsgrafik unten zu sehen ist, verbessert sich die Genauigkeit, je mehr Token zugewiesen werden, und folgt einem logarithmischen Trend.

Quelle: Anthropisch

Dieser Ansatz spiegelt die kognitive Anstrengung des Menschen wider: Bei einfachen Aufgaben reichen schnelle Antworten aus, aber bei komplexen Aufgaben führt eine tiefere Analyse zu besseren Ergebnissen. Claude kann jetzt entscheiden, wann er innehalten, neu bewerten und seine Überlegungen verfeinern muss, anstatt sofort zu reagieren.

Einer der interessantesten Aspekte des erweiterten Denkmodus ist, dass der Denkprozess von Claude für den Benutzer sichtbar ist. Diese Funktion bringt jedoch einige Herausforderungen mit sich. Obwohl es einen Einblick in die Denkweise der KI gibt, stimmt der dargestellte Denkprozess nicht immer perfekt mit der tatsächlichen Entscheidungsfindung des Modells überein. Das "Treueproblem" - ob die selbstberichteten Gedanken einer KI ihre internen Mechanismen richtig wiedergeben - ist immer noch eine offene Forschungsfrage.

Claude 3.7 Sonnets Fähigkeit zu langfristigem, iterativem Denken wird in Bewertungen wie OSWorld und Pokémon Red Gameplay getestet. In Pokémon Rot zum Beispiel erreicht Claude 3.7 Sonnet einen viel größeren Spielfortschritt als frühere Versionen und schafft es durch mehrere Meilensteine, während frühere Modelle früh im Spiel stecken bleiben.

Quelle: Anthropisch

Claude 3.7 Sonett-Benchmarks

Wir haben gesehen, wie Claude 3.7 Sonnet im Vergleich zu seiner Vorgängerversion abschneidet. Aber wie schneidet es im Vergleich zu OpenAIs o3-mini, DeepSeek-R1 oder Grok 3 ab?

In den aktualisierten Benchmarks hat sich Claude 3.7 Sonnet als eines der leistungsstärksten Modelle positioniert, vor allem bei schlussfolgernden Aufgaben, beim Codieren und bei der Nutzung von Agententools.

Logisches Denken und Mathe

Beim logischen Denken auf Graduiertenebene (GPQA Diamond) erreicht Claude 3.7 Sonnet 68,0 % im Standardmodus und 84,8 % im erweiterten Denkmodus und ist damit eines der stärksten Modelle in dieser Kategorie. Es übertrifft OpenAIs o1 (78,0 %) und DeepSeek-R1 (71,5 %) um einiges und Grok 3 Beta (84,6 %) nur um einen kleinen Abstand.

Der AIME 2024 Benchmark, der Mathematik-Wettbewerbsaufgaben der Oberstufe testet, zeigt einen ähnlichen Trend. Claude 3.7 Sonnet macht einen riesigen Sprung im Vergleich zu früheren Versionen und erreicht 80,0 %, wenn das erweiterte Denken aktiviert ist. Er übertrifft DeepSeek-R1 (79,8 %) zwar knapp, liegt aber immer noch hinter OpenAIs o3-mini (87,3 %) und Grok 3 Beta (93,3 %) zurück.

Beim Lösen von Mathematikaufgaben (MATH 500) erreicht Claude 3.7 Sonnet 96,2 % und liegt damit dicht hinter OpenAIs o3-mini (97,9 %) und DeepSeek R1 (97,3 %).

Codierung und Einsatz von Agententools

Claude 3.7 Sonnet macht seine größten Fortschritte bei den Coding-Benchmarks. Im SWE-Bench Verified (der KI-Modelle für Software-Engineering-Aufgaben bewertet) erreicht Claude 3.7 Sonnet 62,3 % und steigt mit einem benutzerdefinierten Gerüst auf 70,3 %. Damit liegt er weit vor dem o1 (48,9 %) und dem o3-mini (49,3 %) von OpenAI sowie dem DeepSeek R1 (49,2 %), der speziell für das Codieren entwickelt wurde. Das bestätigt, dass Claude 3.7 jetzt eines der besten KI-Modelle für programmierbezogene Aufgaben ist.

Neben der Programmierung ist Claude 3.7 Sonnet führend bei der Nutzung von Agententools, was es zu einer guten Wahl für die Automatisierung und Ausführung von Arbeitsabläufen macht. Im TAU-Bench (der die Fähigkeit der KI testet, mit externen Tools in strukturierten Umgebungen zu interagieren) erreicht Claude 3.7 81,2 % bei Aufgaben im Einzelhandel und übertrifft damit OpenAI o1 (73,5 %). Bei flugzeugbezogenen Aufgaben erreicht Claude 3.7 58,4 % und übertrifft damit erneut OpenAI o1 (54,2 %).

Das deutet darauf hin, dass Claude 3.7 gut für Geschäftsanwendungen und strukturierte Arbeitsabläufe geeignet ist, was es zu einer guten Wahl für Unternehmensanwender macht, die KI in ihre Entscheidungs- und Betriebsprozesse integrieren wollen.

Wie man auf Claude 3.7 Sonnet zugreift

Claude 3.7 Sonnet ist über verschiedene Kanäle verfügbar, darunter das Webinterface von Anthropic, die Integration von Claude in verschiedene Apps und der API-Zugang für Entwickler. Das Modell ist zwar ein bedeutendes Upgrade, aber seine Verfügbarkeit ist mit einigen Einschränkungen verbunden - vor allem, wenn du den Thinking Mode nutzen willst, der derzeit noch hinter einer kostenpflichtigen Stufe versteckt ist.

Web- und App-Zugang

Für allgemeine Benutzer ist Claude 3.7 Sonnet über die offizielle Website von Anthropic zugänglich (claude.ai) und die Claude-App. Sie ist in der kostenlosen Version verfügbar, allerdings mit Einschränkungen:

• Kostenlose Nutzer können Claude 3.7 Sonnet für grundlegende Aufgaben wie Schreiben, Zusammenfassen und allgemeine Fragen nutzen, aber der Denkmodus ist deaktiviert.
• Claude Pro-Benutzer (der kostenpflichtige Plan für $20/Monat) erhalten vollen Zugang zum Thinking Mode, zusammen mit höheren Nachrichtenlimits und vorrangigem Zugang während der Hauptnutzungszeiten.

Um den Thinking Mode zu aktivieren, musst du auf Erweitert aus dem Dropdown-Menü des Modells klicken:

Claude 3.7 Zugang zur Sonnet API

Entwickler können Claude 3.7 Sonnet in ihre Anwendungen integrieren, indem sie die API von Anthropic nutzen, die über das Anthropic's Entwicklerportal. Die API unterstützt ein Pay-as-you-go-Preismodell, das auf der Nutzung von Token basiert.

Hier findest du einen Überblick über die API-Angebote von Anthropic:

Quelle: Anthropisch

Achte darauf, immer die neuesten API-Preise zu prüfen.

Fazit

Anthropic hat gerade mit Claude 3.7 Sonnet seinen größten Schritt seit langem gemacht, ein Modell, das es endlich in den Bereich der KI bringt. Anhand der Benchmarks können wir sehen, dass er ein legitimer Konkurrent von OpenAIs o3-mini, DeepSeek-R1 und Grok 3 ist, mit einer starken Leistung bei der Programmierung, dem strukturierten Lösen von Problemen und der Nutzung von Agententools.

Die Möglichkeit, zwischen dem Generalisten- und dem Denkmodus zu wechseln, macht ihn vielseitiger, aber den Denkmodus hinter eine Bezahlschranke zu sperren, ist ein Fehler, vor allem weil es kostenlose Alternativen gibt. Trotzdem ist Claude 3.7 ein großer Schritt nach vorne.