So... My AI App Has Been Lying to Users (And How I Fixed It)

Крис Рароque сталкивается с проблемами точности своего приложения для отслеживания калорий на базе ИИ, Эми, что приводит к отменам подписок. Точность ИИ имеет решающее значение, поскольку данные извлекаются из баз данных питания, но часто бывают ошибки, особенно с международными продуктами. Рароque демонстрирует свой подход к улучшению точности ИИ с использованием реальных производственных данных и итеративного тестирования, известного как "evals." Он описывает, как использовал инструменты Brain Trust для проведения тестов и получения объективных оценок точности. В ходе многократных попыток улучшить ИИ, таких как разделение задач поиска и рассуждения, Рароque сравнивает различные модели и провайдеров поиска. Его испытания показывают, что хотя некоторые новшества, такие как использование Gemini 3 для рассуждений, изначально ухудшают производительность приложения, другие, такие как переход от Perplexity к Exa, могут повысить точность приложения. Несмотря на некоторые неудачи, Exa оказывается более эффективным партнером по поиску. Рароque размышляет о проблемах и успехах в оптимизации своего ИИ, подчеркивая необходимость постоянного тестирования и адаптации к изменениям в данных или производительности с течением времени. Этот непрекращающийся процесс повысил точность приложения, сохранив при этом эффективность затрат и скорость. Он дополнительно подчеркивает важность создания надежной системы eval, включая разумный выбор тестовых случаев и обеспечение надежности суждений. Наконец, он призывает зрителей внедрять свои собственные системы eval, делясь своими инструментами и идеями для лучшего управления производительностью ИИ.