With the release of Qwen 3.6, we are there: for 80% of what you do, there is no need for a premium cloud model. A quantized model running on a decent consumer GPU is more than enough. Beyond the obvious privacy concerns, the real question is not quality. It is freedom.

What is better: firing off iteration after iteration without thinking about token costs, or weighing every single question because one miss could cost real money? I like testing things, throwing out a bad idea, and rewriting it three times just to see what happens. That is not how you work when every generation costs cents that quickly add up to euros.

That does not mean premium cloud models no longer have a place. But with the intelligence of current open-source models, you can often compensate for model size with a good agent, the right tooling, and web access.

With a 27B model for coding and a 35B-A3B model for conversation, I easily get 150+ tokens per second through Hermes, and I have not even bothered with MTP yet.

Once everything is set up, you can tune, adapt, and improve your own system with the help of a harness. That is what makes it fun.

 

Mit dem Release von Qwen 3.6 haben wir einen Wendepunkt erreicht: Für etwa 80 % der gängigen Enterprise-Workflows ist die Abhängigkeit von proprietären Cloud-Modellen hinfällig. Ein präzise quantisiertes Modell, betrieben auf einer leistungsfähigen Consumer-GPU, bietet heute eine ausreichende Performance. Abgesehen von den kritischen Aspekten des Datenschutzes und der Privatsphäre ist die eigentliche Kernfrage nicht mehr die reine Modellqualität, sondern technologische Souveränität.

Es gibt einen fundamentalen Unterschied in der Arbeitsweise: Auf der einen Seite steht das ständige Token-Budgeting, bei dem jede Iteration und jeder Prompt gegen reale Kosten abgewogen wird. Auf der anderen Seite steht die Freiheit, Hypothesen ohne finanzielle Reibungsverluste zu testen. Echte Innovation entsteht oft durch Scheitern und mehrfaches Iterieren – ein Prozess, der durch die variablen Kosten von Cloud-APIs unnötig gehemmt wird.

Dies bedeutet nicht, dass Frontier-Modelle in der Cloud an Relevanz verlieren. Doch durch die Intelligenz aktueller Open-Source-Architekturen lässt sich die Differenz in der Modellgröße heute effektiv durch ein optimiertes agentisches Framework, präzises Tooling und Webzugriff kompensieren.

In meiner aktuellen Konfiguration erreiche ich mit einem 27B-Modell für Codegenerierung und einem 35B-A3B für Dialoge über Hermes eine Durchsatzrate von über 150 Token pro Sekunde – und das noch ohne die Implementierung von Multi-Token Prediction (MTP).

Der eigentliche Hebel liegt jedoch in der Post-Setup-Phase: Die Möglichkeit, die gesamte Inference-Pipeline mit einem eigenen Harness zu tunen, zu adaptieren und zu optimieren, transformiert den Nutzer vom reinen Konsumenten zum Operator seines eigenen KI-Ökosystems. Genau hier beginnt der reizvolle Teil dieses Ansatzes: Sobald das Setup stabil läuft, wird das System selbst zum Werkzeug, mit dem sich die eigene Inference-Umgebung iterativ weiter verfeinern lässt.