Придумать 5 качественных промптов для нейросети
Задача: Придумать 5 качественных промптов, которые выведут ChatGPT-4 на ошибку, и написать 5-10 чётких, конкретных критериев оценки ответа
Цель:
Проверить, как ChatGPT-4 справляется с нестандартными, тонко сформулированными задачами, в которых легко допустить промах в логике, стилистике, понимании контекста или восприятии юмора. Мы ищем такие промпты, где ChatGPT будет вынужден ошибиться — при этом не по технической причине, а по сути задания. Это нужно, чтобы улучшить систему оценки качества генераций и точнее понимать слабые места модели.
Что требуется от фрилансера:
Часть 1: Придумать 5 оригинальных промптов, которые:
На первый взгляд выглядят простыми и чёткими.
Но на деле требуют очень тонкого исполнения и высокой контекстной чувствительности.
Примеры тем: юмор на грани, противоречивые эмоции, культурные особенности, многозначные фразы, игра с контекстом.
Каждый промпт должен быть реалистичным — таким, который мог бы задать реальный человек.
Примеры могут быть в любой области: поздравления, письма, стихи, рекламные слоганы, диалоги и пр.
Часть 2: Написать 5-10 конкретных критериев оценки ответа модели к каждому промпту:
Критерии должны быть максимально конкретными и измеримыми, а не обобщёнными вроде "естественный стиль".
Пример хорошего критерия: "Ответ упоминает конкретную эмоцию, адресованную сестре, связанную с раздражением и привязанностью (например, 'ты меня бесишь, но я тебя люблю')."
P.S: Нейросеть для выполнения задания использовать нельзя.
Тексты и наполнение сайта
