💻 Dataverse | Канал о Data Science, LLM, иностранных языках и lifeops🏆

Мучает вопрос, как проверить качество RAG? Google разработал набор данных FRAMES (F actuality , R etrieval, And reasoning ME asurement Set ) , включающий 824 сложных вопроса, требующих использования нескольких источников информации, в данном случае речь про разные страницы Википедии. Аннотаторы добавили дополнительный контекст для устранения неоднозначности ответов, которые могут меняться со временем. Например, вопрос типа «Какая страна была обладателем Кубка мира ФИФА в последний раз, когда Лигу чемпионов УЕФА выиграл клуб из Лондона?» был изменен на «По состоянию на 1 августа 2024 года, какая страна была обладателем Кубка мира ФИФА в последний раз, когда Лигу чемпионов УЕФА выиграл клуб из Лондона?» датасет источник #AI #LLM #RAG