Расследование The Guardian показало, что ИИ-сводки Google предоставляли пользователям неточную и потенциально вредную информацию. Одним из ключевых примеров стал запрос о «нормальном диапазоне для анализов крови на печень». В ответ система выдавала лишь сухие числовые значения, без какого-либо контекста. Она не учитывала, что нормы могут кардинально меняться в зависимости от возраста, пола, этнической принадлежности, лабораторных методов и состояния здоровья пациента. Такой «универсальный» ответ мог ввести человека в заблуждение и привести к неверным выводам о собственном здоровье.
В ответ на публикацию Google отключил функцию AI Overviews для целого ряда медицинских запросов, включая темы, связанные с здоровьем печени, онкологией и психическим здоровьем. Однако, как отмечает издание, проблема решена не полностью. При вводе запросов-синонимов (например, «референтный диапазон теста ЛФТ» вместо «анализы крови на печень») сводки могут появляться вновь, что создает лазейку для получения недостоверных данных.
В официальном комментарии Google отказалась комментировать конкретные случаи, заявив, что работает над «широкими улучшениями» для добавления необходимого контекста и принимает меры в соответствии со своей политикой.
Этот инцидент — не первая проблема с AI Overviews, но одна из самых критичных. Он наглядно демонстрирует ключевую слабость современных языковых моделей в поиске: они оптимизированы для генерации связного текста, а не для обеспечения точности и безопасности информации, особенно в специализированных областях. Система может корректно перефразировать найденные в сети данные, но не способна оценить их клиническую достоверность или применимость к конкретному случаю.
Случай с Google стал тревожным сигналом для всей индустрии, указывающим на необходимость разработки более строгих протоколов проверки и фильтрации ИИ-контента, особенно когда речь идет о вопросах жизни и здоровья. Пока такие меры не будут внедрены повсеместно, пользователям стоит с крайней осторожностью относиться к медицинским советам от поисковых ИИ-ассистентов и всегда консультироваться с квалифицированными специалистами.
