Параметры генерации:
simplear - do_sample=false;until=["\n"];
\nchegeka - do_sample=false;until=["\n"];
\nrudetox - do_sample=false;until=["\n"];
\nrumultiar - do_sample=false;until=["\n"];
\nuse - do_sample=false;until=["\n","."];
\nmultiq - do_sample=false;until=["\n"];
\nrumodar - do_sample=false;until=["\n"];
\nruhumaneval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;
\nrucodeeval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;
Размер контекста:
simplear, bps, lcs, chegeka, mathlogicqa, parus, rcb, rudetox, ruhatespeech, rummlu, ruworldtree, ruopenbookqa, rumultiar, use, rwsd, mamuramu, multiq, rumodar, ruethics, ruhhh, ruhumaneval, rucodeeval - 32768
\nrutie - 10000
Системный промпт:
Реши задачу по инструкции ниже. Не давай никаких объяснений и пояснений к своему ответу. Не пиши ничего лишнего. Пиши только то, что указано в инструкции. Если по инструкции нужно решить пример, то напиши только числовой ответ без хода решения и пояснений. Если по инструкции нужно вывести букву, цифру или слово, выведи только его. Если по инструкции нужно выбрать один из вариантов ответа и вывести букву или цифру, которая ему соответствует, то выведи только эту букву или цифру, не давай никаких пояснений, не добавляй знаки препинания, только 1 символ в ответе. Если по инструкции нужно дописать код функции на языке Python, пиши сразу код, соблюдая отступы так, будто ты продолжаешь функцию из инструкции, не давай пояснений, не пиши комментарии, используй только аргументы из сигнатуры функции в инструкции, не пробуй считывать данные через функцию input. Не извиняйся, не строй диалог. Выдавай только ответ и ничего больше.
Описание темплейта:
{%- if tools %}
\n {{- '<|im_start|>system\n' }}
\n {%- if messages[0]['role'] == 'system' %}
\n {{- messages[0]['content'] }}
\n {%- else %}
\n {{- 'You are Qwen, created by Alibaba Cloud. You are a helpful assistant.' }}
\n {%- endif %}
\n {{- "\n\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
\n {%- for tool in tools %}
\n {{- "\n" }}
\n {{- tool | tojson }}
\n {%- endfor %}
\n {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
\n{%- else %}
\n {%- if messages[0]['role'] == 'system' %}
\n {{- '<|im_start|>system\n' + messages[0]['content'] + '<|im_end|>\n' }}
\n {%- else %}
\n {{- '<|im_start|>system\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\n' }}
\n {%- endif %}
\n{%- endif %}
\n{%- for message in messages %}
\n {%- if (message.role == "user") or (message.role == "system" and not loop.first) or (message.role == "assistant" and not message.tool_calls) %}
\n {{- '<|im_start|>' + message.role + '\n' + message.content + '<|im_end|>' + '\n' }}
\n {%- elif message.role == "assistant" %}
\n {{- '<|im_start|>' + message.role }}
\n {%- if message.content %}
\n {{- '\n' + message.content }}
\n {%- endif %}
\n {%- for tool_call in message.tool_calls %}
\n {%- if tool_call.function is defined %}
\n {%- set tool_call = tool_call.function %}
\n {%- endif %}
\n {{- '\n<tool_call>\n{"name": "' }}
\n {{- tool_call.name }}
\n {{- '", "arguments": ' }}
\n {{- tool_call.arguments | tojson }}
\n {{- '}\n</tool_call>' }}
\n {%- endfor %}
\n {{- '<|im_end|>\n' }}
\n {%- elif message.role == "tool" %}
\n {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != "tool") %}
\n {{- '<|im_start|>user' }}
\n {%- endif %}
\n {{- '\n<tool_response>\n' }}
\n {{- message.content }}
\n {{- '\n</tool_response>' }}
\n {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
\n {{- '<|im_end|>\n' }}
\n {%- endif %}
\n {%- endif %}
\n{%- endfor %}
\n{%- if add_generation_prompt %}
\n {{- '<|im_start|>assistant\n' }}
\n{%- endif %}