TinyFish: Web-Native-Modell für Web-Agenten

TinyFish entwickelt Infrastruktur für Unternehmen, deren Agenten im Live-Web arbeiten. Die Search-, Fetch-, Browser- und Agent-APIs unterstützen authentifizierte Web-Workflows über mehrere Schritte, etwa das Navigieren auf dynamischen Websites, den Abruf von Informationen und die Interaktion mit Anwendungen.

Für diese Aufgaben entwickelt TinyFish ein eigenes spezialisiertes Web-Native-Modell. Der Entwicklungszyklus umfasst Post-Training, Evaluierung, Produktionsbereitstellung sowie die Erfassung von Nutzungs-, Qualitäts- und Kostendaten. Neben dem eigenen Modell spielen allgemeine Foundation-Modelle weiterhin eine Rolle in der Agentenarchitektur.

TinyFish baut den Modellentwicklungs-Lebenszyklus auf Databricks auf. AI Runtime stellt verwaltete GPU-Infrastruktur für Training und Fine-Tuning bereit. MLflow unterstützt die Evaluierung, und Databricks Model Serving dient als Produktionsschicht. Das Team hostet und stellt dort auch sein Web-Native-Modell bereit; zu den bereits in Produktion bereitgestellten Modellen gehören außerdem ein Search-Reranker und ein Query-Rewriter.

Das Post-Training begann mit Supervised Fine-Tuning und bewegt sich in Richtung Direct Preference Optimization (DPO). Die Trainings-Workloads laufen auf von Databricks verwalteten GPUs. Dadurch nutzt TinyFish GPU-Infrastruktur, ohne eine separate Trainingsplattform betreiben zu müssen.

TinyFish bewertet nicht nur einzelne Modellantworten. Weil das Web-Native-Modell Bestandteil eines größeren Web-Agenten ist, prüft das Unternehmen, ob der gesamte Agent eine angeforderte Aufgabe erfolgreich abschließt. Im internen Go/No-Go-Benchmark überprüft ein separater LLM-Judge die ursprüngliche Anfrage, den Aktionsverlauf des Agenten und das Endergebnis.

Eine Aufgabe gilt nur dann als bestanden, wenn die angeforderte Aktion abgeschlossen oder die korrekte Antwort unter Erfüllung aller Anforderungen zurückgegeben wurde. Teilabschlüsse, falsche Antworten und ungültige Ergebnisse gelten als Fehler. Die Ergebnisse zeigen, wie sich Änderungen am Modell auf die Leistung des vollständigen Agenten auswirken, und fließen in das weitere Post-Training ein.

Für die laufende Nutzung erfasst TinyFish Evaluierungsergebnisse, Nutzungsdaten und Serving-Kosten in Databricks. Den Zugriff auf externe Foundation-Modelle konsolidiert das Unternehmen über Unity Gateway für zentrales Kosten-Tracking, Schlüsselverwaltung und Governance.

Im internen Benchmark schloss das Web-Native-Modell 1.691 von 2.178 Web-Agenten-Aufgaben erfolgreich ab. Das entspricht einer Task-Success-Rate von 77,6 %.

In einem Zeitraum von 15 Tagen verzeichnete TinyFish 294.781 Agentenläufe mit dem Web-Native-Modell über 6,4 Millionen Tool-Schritte hinweg. Die geschätzten Serving-Kosten für dieses Modell lagen in diesem Zeitraum bei 0,088 US-Dollar pro Lauf beziehungsweise 0,0040 US-Dollar pro Tool-Schritt. Die Angaben beziehen sich ausschließlich auf das Serving des Web-Native-Modells, nicht auf den vollständigen Agenten-Stack.

Der beschriebene Einsatz verbindet Post-Training, Evaluierung und Produktionsbereitstellung in einer gemeinsamen Umgebung. TinyFish bewertet Modelländerungen anhand vollständiger Web-Agenten-Aufgaben und kann erfolgreiche Iterationen anschließend über Model Serving bereitstellen. Die dokumentierten Kennzahlen beziehen sich auf den internen Aufgabenbenchmark sowie auf die Nutzung und Serving-Kosten des Web-Native-Modells.