Несколько месяцев назад мой врач продемонстрировал инструмент для трансформации речи в текст с использованием искусственного интеллекта, который он применял для записи и резюмирования встреч с пациентами. В моем случае обобщение было корректным, однако исследователи, на которых ссылается ABC News, обнаружили, что это не всегда так с Whisper от OpenAI. Этот инструмент, который используется во многих больницах, иногда полностью выдумывает информацию.
Whisper используется компанией Nabla для создания медицинского инструмента транскрипции, который, по оценкам, обработал 7 миллионов медицинских бесед, как сообщается в ABC News. Более 30,000 врачей и 40 медицинских систем используют это средство. В компании Nabla знают о способности Whisper к «галлюцинациям» и работают над решением этой проблемы.
Группа исследователей из Корнельского университета, Университета Вашингтона и других учреждений обнаружила в ходе исследования, что Whisper «галлюцинировал» примерно в 1% транскрипций, добавляя целые предложения с иногда насильственными настроениями или бессмысленными фразами в паузах записей. Исследователи, собравшие аудиопримеры из AphasiaBank TalkBank для этого исследования, отмечают, что паузы особенно часты, когда говорит человек с речевым расстройством под названием афазия. Одна из исследователей, Эллисон Кёнецке из Корнельского университета, опубликовала примеры в теме, посвященной исследованию.
Исследователи также обнаружили, что «галлюцинации» включали в себя придуманные медицинские состояния или фразы, которые можно ожидать от видео на YouTube, например, «Спасибо за просмотр!» (Как сообщается, OpenAI использовала более миллиона часов видео с YouTube для обучения GPT-4.) Исследование было представлено в июне на конференции FAccT Ассоциации вычислительной техники в Бразилии. Неясно, было ли оно подвергнуто рецензированию.
Представитель OpenAI, Тая Кристиансон, в электронном письме для The Verge заявила:
Мы воспринимаем эту проблему серьёзно и постоянно работаем над улучшениями, включая снижение количества «галлюцинаций». Для использования Whisper на нашей платформе API наши правила использования запрещают применение в контекстах принятия решений с высокими ставками, а в нашем описании модели для открытого использования включены рекомендации против использования в высокорисковых областях. Мы благодарим исследователей за их представленные данные.
Источник: TheVerge
Добавить комментарий
Ваш адрес email не будет опубликован.