Вернуться к списку задач

Characters

Способность модели
Russian language proficiency
Persona consistency understanding
Factual correctness validation
Метрика
Exact match
LLM judge score
Top score
Датасет Персонажность является набором данных для оценки способности языковых моделей определять соответствие реплик и вопросов одному из заданных персонажей на основе их характера, интересов, речевых особенностей и ограничений.

Описание задачи

Датасет Персонажность является набором данных для оценки способности языковых моделей определять соответствие реплик и вопросов одному из заданных персонажей на основе их характера, интересов, речевых особенностей и ограничений. Бенчмарк проверяет умение модели анализировать консистентность ответов, а также определять адресата вопроса для получения наиболее точного ответа и проверять фактологическую корректность, соответствующую области знаний персонажа.

Проверяемые навыки: Persona consistency understanding, Russian language proficiency, Factual correctness validation

Авторы: Денис Шевелев, Александр Астафуров, Александр Харитонов

Мотивация

При разработке генеративных чат-ботов и игровых персонажей критически важной задачей является поддержание консистентности реплик заданной личности. Модели должны не только генерировать грамматически правильные ответы, но и учитывать совокупность характеристик персонажа: его знания, возрастные особенности, речевые паттерны и границы компетенции. Данный датасет позволяет оценить, насколько хорошо языковая модель понимает и может оперировать подобными персонажными ограничениями, что необходимо для создания правдоподобных диалоговых агентов.

Ограничения

Тест не предназначен для проверки экспертного уровня знаний по какому-либо из индустриальных или специализированных направлений (зоологии, ветеринарии, микологии, ботанике, истории кинематографии или зитологии) и предназначен для идентификации и контроля того, насколько модель способна осмысленно держаться качеств и функций персонажа, назначенных инструкцией и условиями задачи.

Описание датасета

Персонажи

В датасете представлены четыре персонажа с фиксированными характеристиками:

Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения.

Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений.

Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений.

Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения.

Все персонажи говорят на современном грамотном русском языке. Речевые особенности используются как вторичный признак, основное различие — по тематике знаний и возрастным ограничениям.

Типы заданий

Датасет содержит 640 заданий, разделённых на 4 типа:

Тип Содержание Количество
1 С обращением к персонажу: "какой ответ дал бы этот персонаж" 128
2 С обращением к персонажу: "какой ответ ни за что бы не дал этот персонаж" 128
3 Без обращения: "кто из персонажей дал бы наиболее чёткий ответ на этот вопрос" 192
4 Без обращения: "кому точно бессмысленно задавать этот вопрос" 192

Поля данных

Каждый пример в датасете содержит следующие поля:

  • instruction [str] — строка с формулировкой задания для языковой модели, включающая описание персонажей и вопрос
  • inputs — входные данные, формирующие задание:
    • character [str] — описание всех четырёх персонажей
    • question [str] — вопрос или реплика
    • option_a [str] — первый вариант ответа
    • option_b [str] — второй вариант ответа
    • option_c [str] — третий вариант ответа
    • option_d [str] — четвёртый вариант ответа
    • option_e [str] — пятый вариант ответа
    • option_f [str] — шестой вариант ответа
  • outputs [str] — строка, содержащая букву верного ответа (А, Б, В, Г, Д, Е)

В каждом примере используются шесть полей вариантов ответа (option_aoption_f). Неиспользуемые варианты хранятся как пустые строки. В поле instruction содержатся плейсхолдеры только для непустых вариантов: блок «Варианты ответа» включает ровно столько строк, сколько непустых полей option_* есть в конкретном примере (от 4 до 6). В блоке «Формат ответа» явно указано, что буквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е); в каждом примере в этом списке перечислены ровно те буквы, которые соответствуют непустым вариантам.

  • meta — метаданные:
    • id [int] — номер примера
    • type [int] — тип задания (1, 2, 3 или 4)

Пример данных

Тип 1 (с обращением, "какой ответ дал бы этот персонаж")

{
    "instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос или запрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос или запрос будет содержать обращение к одному из персонажей по имени.\n\nЗадание:\nОпредели, какой из предложенных ответов дал бы выбранный персонаж.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
    "inputs": {
        "character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
        "question": "Аля, какой фильм Лантимоса ты любишь больше всего?",
        "option_a": "Так сложно выделить что-то одно... \"Виды доброты\" посмотрела уже трижды, пусть будет он.",
        "option_b": "Мне очень понравился его последний фильм \"Сентиментальная ценность\" – такой светлый, медитативный...",
        "option_c": "Очень люблю \"Лобстера\", всё остальное просто невозможно смотреть.",
        "option_d": "Лантимос? Это псевдоним?",
        "option_e": "Что ты снова заладил про свои фильмы? Может лучше по пивку?",
        "option_f": "Сложно ответить на этот вопрос без предварительного анализа. Мне нужно пересмотреть все фильмы Лантимоса, выделить основные критерии для сравнения и принять решение."
    },
    "outputs": "А",
    "meta": {
        "id": 641,
        "type": 1
    }
}

Тип 2 (с обращением, "какой ответ ни за что бы не дал этот персонаж")

{
    "instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос или запрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос или запрос будет содержать обращение к одному из персонажей по имени.\n\nЗадание:\nОпредели, какой из предложенных ответов выбранный персонаж ни за что бы не дал, учитывая его ограничения и интересы.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву неверного (невозможного) варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
    "inputs": {
        "character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
        "question": "Профессор, как обезопасить сына-подростка от попадания в плохую компанию?",
        "option_a": "Ваше поведение в такой ситуации очень важно: повышайте самооценку подростка похвалой в случае побед и поддержкой в случае неудач. Безусловная любовь родителя снизит потребность в поисках признания в дурной компании. Не запрещайте общение с кем-либо напрямую, вместо этого разговаривайте, слушайте, делитесь мыслями. Это поможет сохранить доверие и понимание происходящего в жизни сына, а значит, возможность реагировать на угрозы вовремя.",
        "option_b": "Так называемая «плохая компания» привлекает подростка девиантной субкультурой, которая предлагает статус и идентичность, разительно отличающиеся от тех, что сформированы в семье. Родителям следует проактивно интегрировать ребёнка в позитивные социальные структуры, такие как клубы по интересам или волонтёрские организации, тем самым реструктуризировав его социальный граф.",
        "option_c": "Безусловно, я могу поделиться с Вами теориями о девиантном поведении, референтных группах, социальной дезадаптации, и с большим удовольствием. Но, полагаю, Вы ищете практических советов, а за ними лучше всего обратиться к подростковому психологу или социальному педагогу.",
        "option_d": "Для того, чтобы обезопасить подростка от дурной компании, необходимо перестроить его социальный капитал. Благоприятно влияет интеграция в социальные институты, где одобряемое обществом поведение даёт статус, умеряя тем самым тягу к девиантным субкультурам. Крайне рекомендую обратить своё внимание на труды Эдвина Сазерленда, в них эта тема обстоятельно раскрыта. Также рекомендую изучить описание исследований конформизма, проделанных Соломоном Ашем – это поможет лучше понять механизмы, воздействующие не только на сына, но и на каждого из нас.",
        "option_e": "Лучшая защита - это нападение. Отведи его к самым мутным типам, которых знаешь и пусть денек с ними потусуется. Желание отпадет в момент, я тебе гарантирую.",
        "option_f": "Посмотрите с ним кино, где показывается, куда может привести плохая компания. Очень советую Дневник баскетболиста на эту тему."
    },
    "outputs": "А",
    "meta": {
        "id": 643,
        "type": 2
    }
}

Тип 3 (без обращения, "кто из персонажей дал бы наиболее чёткий ответ на этот вопрос")

{
    "instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос не содержит обращения ни к одному из персонажей по имени.\n\nЗадание:\nОпредели, можно ли направить этот вопрос кому-то из персонажей, либо вопрос можно направить любому из них, либо же никому.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
    "inputs": {
        "character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
        "question": "Сколько премий «Оскар» получил Марлон Брандо?",
        "option_a": "Аля",
        "option_b": "Павел",
        "option_c": "Профессор",
        "option_d": "Хмырь",
        "option_e": "Можно отправлять любому персонажу",
        "option_f": "Не следует отправлять никому из персонажей"
    },
    "outputs": "А",
    "meta": {
        "id": 645,
        "type": 3
    }
}

Тип 4 (без обращения, "кому точно бессмысленно задавать этот вопрос")

{
    "instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос не содержит обращения ни к одному из персонажей по имени.\n\nЗадание:\nОпредели, кому из персонажей точно не следует направлять этот вопрос, либо же не стоит направлять этот вопрос никому из персонажей, либо же его можно направить любому из персонажей.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
    "inputs": {
        "character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
        "question": "Какой тип мужских брюк и джинсов чаще всего осуждают девушки в современных соцсетях?",
        "option_a": "Аля",
        "option_b": "Павел",
        "option_c": "Профессор",
        "option_d": "Хмырь",
        "option_e": "Можно отправлять любому персонажу",
        "option_f": "Не следует отправлять никому из персонажей"
    },
    "outputs": "В",
    "meta": {
        "id": 647,
        "type": 4
    }
}

Создание промптов

Для задачи подготовлено 20 промптов, по 5 промптов на каждый из 4 типов заданий. Они распределены равномерно по примерам по принципу «один пример — один промпт» внутри каждого типа. Для каждого примера промпт адаптируется под число непустых вариантов ответа: в блоке «Варианты ответа» остаются только соответствующие строки, а в блоке «Формат ответа» перечисляется сокращённый список допустимых букв. Плейсхолдеры в фигурных скобках заполняются из полей внутри inputs для каждого вопроса. В каждом шаблоне промпта обращение к модели согласовано по стилю (на «ты» или на «вы»).

Создание датасета

Изначально были подготовлены описания четырех персонажей, таким образом, чтобы среди них были представители разных возрастных и гендерных групп, имеющие характерные поведенческие черты, но в чем-то и сходные друг с другом. На основе этих описаний эксперты-разметчики составили вопросы и ответы к ним. Общее число заданий — 640: 128 заданий типа 1, 128 заданий типа 2, 192 задания типа 3 и 192 задания типа 4. Один и тот же вопрос может повторяться не более 6 раз (по 1 разу на каждого персонажа для типов 1-2 и по 1 разу для типов 3-4). Все задания сформулированы как выбор правильного ответа из числа заданных опций.

Метрики

Для агрегированной оценки ответов моделей используются следующие метрики:

  • Exact match (EM): доля ответов модели, которые точно совпадают с эталонной буквой после извлечения строки после маркера 
  • LLM judge score: LLM-судья сравнивает ответ модели с эталонным ответом и оценивает его правильность и полноту. Полностью правильный и полный ответ получает