So... My AI App Has Been Lying to Users (And How I Fixed It)

Chris Raroque hat Probleme mit der Genauigkeit seiner KI-basierten Kalorienzähler-App, Amy, die zu Abonnenten-Stornierungen führen. Die Genauigkeit der KI ist entscheidend, da sie Daten aus Ernährungsdatenbanken abruft, aber oft Fehler macht, insbesondere bei internationalen Produkten. Raroque zeigt seinen Ansatz zur Verbesserung der KI-Genauigkeit mithilfe von realen Produktionsdaten und iterativem Testen, bekannt als "evals." Er beschreibt, wie er die Werkzeuge von Brain Trust benutzt hat, um Tests durchzuführen und objektive Genauigkeitswerte zu erhalten. Durch mehrere Versuche zur Verbesserung der KI, wie die Trennung von Such- und Denkaufgaben, führt Raroque Vergleiche zwischen verschiedenen Modellen und Suchanbietern durch. Seine Versuche zeigen, dass obwohl einige Innovationen, wie die Verwendung von Gemini 3 für das Denken, die Leistung der App anfangs verschlechtern, andere wie der Wechsel von Suchanbietern von Perplexity zu Exa die Genauigkeit der App verbessern können. Trotz einiger Misserfolge zeigt sich Exa als effektiverer Suchpartner. Raroque reflektiert über die Herausforderungen und Erfolge bei der Optimierung seiner KI und betont die Notwendigkeit kontinuierlicher Tests und Anpassungen an Veränderungen in Daten oder Leistung im Laufe der Zeit. Dieser fortlaufende Prozess hat die Genauigkeit der App erhöht, während die Kosten-Effizienz und Geschwindigkeit erhalten blieben. Er unterstreicht weiter die Bedeutung der Einrichtung eines robusten eval-Systems, das die sorgfältige Auswahl von Testfällen und die Sicherstellung zuverlässiger Urteile beinhaltet. Schließlich ermutigt er die Zuschauer, ihre eigenen eval-Systeme zu implementieren und teilt seine Werkzeuge und Erkenntnisse für ein besseres Management der KI-Leistungsfähigkeit.