Четыре крупных чат-бота искусственного интеллекта (ИИ) неправильно резюмируют новостные истории, согласно исследованию, проведенному BBC.
BBC предоставил OpenAI’s ChatGPT, Microsoft’s Copilot, Google’s Gemini и Perplexity AI контент с веб-сайта BBC, а затем спросил их вопросы о новостях.
Оно заявило, что полученные ответы содержали «существенные неточности» и искажения.
В блоге, Дебора Тернесс, генеральный директор BBC News and Current Affairs, сказала, что ИИ приносит «бесконечные возможности», но компании, разрабатывающие эти инструменты, «играют с огнем».
«Мы живем в тревожные времена, и как долго пройдет, прежде чем заголовок, искаженный ИИ, вызовет значительный реальный вред?», — спросила она.
Представитель OpenAI сказал: «Мы поддерживаем издателей и создателей, помогая 300 миллионам еженедельных пользователей ChatGPT обнаруживать качественный контент через резюме, цитаты, ясные ссылки и атрибуцию.»
Другие технологические компании, владеющие чат-ботами, были approached for comment.
В исследовании, BBC попросил ChatGPT, Copilot, Gemini и Perplexity резюмировать 100 новостных историй и оценил каждый ответ.
Оно получило журналистов, которые были соответствующими экспертами в предмете статьи, чтобы оценить качество ответов от ассистентов ИИ.
Оно обнаружило, что 51% всех ответов ИИ на вопросы о новостях были признаны иметь значительные проблемы какой-либо формы.
Кроме того, 19% ответов ИИ, которые цитировали контент BBC, ввели фактические ошибки, такие как неправильные фактические заявления, числа и даты.
В ее блоге, г-жа Тернесс сказала, что BBC ищет «открыть новый разговор с провайдерами ИИ-технологий», чтобы мы могли «работать вместе в партнерстве, чтобы найти решения».
Она призвала технологические компании «отступить» свои резюме новостей ИИ, как Apple сделала после жалоб от BBC, что Apple Intelligence неправильно представляла новостные истории.
Некоторые примеры неточностей, найденные BBC, включали:
В целом, Microsoft’s Copilot и Google’s Gemini имели более значительные проблемы, чем OpenAI’s ChatGPT и Perplexity, который является одним из инвесторов Jeff Bezos.
Обычно BBC блокирует свой контент от чат-ботов ИИ, но он открыл свой веб-сайт для продолжительности тестов в декабре 2024 года.
Отчет сказал, что, помимо содержания фактических неточностей, чат-боты «страдали от трудностей в отличии между мнением и фактом, редактировали и часто не включали важный контекст».
Программный директор BBC для генеративного ИИ, Пит Арчер, сказал, что издатели «должны иметь контроль над тем, как и когда их контент используется, и компании ИИ должны показать, как ассистенты обрабатывают новости, а также масштаб и объем ошибок и неточностей, которые они производят».
Представитель OpenAI сказал BBC News: «Мы сотрудничали с партнерами, чтобы улучшить точность цитирования и уважать предпочтения издателей, включая управление OAI-SearchBot в их robots.txt. Мы будем продолжать улучшать результаты поиска.»
Robots.txt — это инструкция в коде веб-страницы, которая просит бота не использовать эту страницу в результатах поиска.