So... My AI App Has Been Lying to Users (And How I Fixed It)

Chris Raroque enfrenta problemas de precisión en su app de seguimiento de calorías basada en IA, Amy, lo que lleva a cancelaciones de suscriptores. La precisión de la IA es crucial ya que obtiene datos de bases de datos nutricionales, pero a menudo comete errores, especialmente con productos internacionales. Raroque demuestra su enfoque para mejorar la precisión de la IA utilizando datos de producción reales y pruebas iterativas, conocidas como "evals." Describe cómo utilizó las herramientas de Brain Trust para realizar pruebas y obtener puntuaciones de precisión objetivas. A través de múltiples intentos por mejorar la IA, como separar tareas de búsqueda y razonamiento, Raroque realiza comparaciones entre diferentes modelos y proveedores de búsqueda. Sus ensayos muestran que aunque algunas innovaciones, como usar Gemini 3 para razonamiento, inicialmente empeoran el rendimiento de la app, otras, como cambiar el proveedor de búsqueda de Perplexity a Exa, pueden aumentar la precisión de la app. A pesar de algunos fracasos, Exa emerge como un socio de búsqueda más efectivo. Raroque reflexiona sobre los desafíos y éxitos en la optimización de su IA, enfatizando la necesidad de pruebas continuas y adaptación a cambios en los datos o el rendimiento a lo largo del tiempo. Este proceso continuo ha incrementado la precisión de la app mientras mantiene la eficiencia de costos y la velocidad. Además, subraya la importancia de establecer un sistema de eval robusto, que implique elegir judiciosamente los casos de prueba y asegurar que los juicios sean confiables. Finalmente, anima a los espectadores a implementar sus propios sistemas de eval, compartiendo sus herramientas e ideas para una mejor gestión del rendimiento de la IA.