09:24 Ноябрь 2017 24
Навигация
· Главная
· Статьи
· Форум
· Новости
· Вопросы
· Ссылки
· Обратная связь
· Фотогалерея
· Файлы
· Поиск

· Календарь Google

· Майский жук-2009
· Майский жук-2010
· Майский жук-2011
· Майский жук-2012
· Майский жук-2013
· Майский жук-2015

· Контакты
· Совет клуба
· Event Calendar
· Facebook Connect
Кто был
yuritch yuritch
13 weeks
Shcheps Shcheps
15 weeks
levchenkolya levchenkolya
23 weeks
ForeverYoung ForeverYoung
32 weeks
sirin sirin
33 weeks
sas sas
36 weeks
IrinaKomanda IrinaKomanda
37 weeks
Dame van der Jahr Dame van der Jahr
46 weeks
Kat
47 weeks
Fornit Fornit
52 weeks
asd
58 weeks
aleks aleks
79 weeks
kaunin
80 weeks
_
95 weeks
Ironic Ironic
97 weeks
$$$
Темы форума
Новые темы
· С Новым годом 2012!
· Кинопостеры 2.0
· Кинопостеры
· Регламент Чемпионата...
· Даугавпилс
Обсуждаемые темы
Нет тем
Последние статьи
· Благодарность тренеру
· Правила подсчёта СИ ...
· Вопросы - собственно...
· Б. Шойхет - Командны...
· Евгений Поникаров "О...
Комментарии...
Новости-
Fornit: Обновленная информация по п...
asd: эх) не успели)
kaunin: В любом случае, отчет о про...
Fornit: Учитывая, массу желающих, о...
asd: А как же отборы?)

Статьи-
asd: Во народ зажигает ... Велик...
scarlet cherry: Здорово! Столько эмоций отв...
maxxx: Ого, какая эпичная дискусси...

Картинки-
Kirill: аквариум дюна
Kirill: чай вдвоем(чайник и две чашки)
asd: Ногу свело Ночные снайперы

Страницы-
sas: Зачем я в твоем КАМИНтарии?
python KAA: СКОРИКтируйте личный состав...
AD: Список участников, проверяй...
DJ DRF: До 50 лет также можно добра...
Dame van der Jahr: фото надо добавитьSmile ники н...

Голосование
Когда вам комфортнее приходить на тренировки в парк Щорса?

Пятница, 18-00
Пятница, 18-00
26% [5 Голосов]

Суббота, 15-00
Суббота, 15-00
42% [8 Голосов]

Ну его, этот свояк
Ну его, этот свояк
32% [6 Голосов]

Голосов: 19
Вы должны авторизироваться, чтобы голосовать.
Начат: 14:46 30 Май 2014
Закончен: 01:07 30 Июнь 2014

Архив опросов
Наша кнопка

Друзья
ИГРА-УКРАИНА
$$$
Иерархия Статей
Раздел статей » Теория игр » Илья Ратнер "К вопросу об оценке сложности вопросов"
Илья Ратнер "К вопросу об оценке сложности вопросов"
Примем как аксиому, что мы пишем вопросы не для того, чтобы самоутвердиться и показать командам, какие мы умные (это и так всем ясно и в доказательствах не нуждается), а для того, чтобы вопросы брались. Причем, для того, чтобы пакет выполнил свою спортивную задачу, необходимо, чтобы вопросы брались не всеми командами, участвующими в турнире. Чтобы выполнить это условие, необходимо априори оценить сложность вопросов в пакете. Тестирование на командах, безусловно, является достаточно сильным и действенным инструментом, но и оно не лишенно недостатков – другие условия игры, недостаток квалифицированных тестеров, несоответствие уровня игры тестеров уровню команд и т.д. Поэтому необходимы дополнительные инструменты для оценки сложности вопроса.

Прежде всего, я бы хотел разделить понятие «сложность вопроса» на три подпонятия:

1. Фактическая сложность вопроса
2. Сложность генерации правильной версии
3. Сложность выбора правильной версии

1. Фактическая сложность вопроса

Для оценки фактической сложности я обычно проверяю вопрос на Минимальное Необходимое Знание (МНЗ) для взятия вопроса и Минимальное Достаточное Знание (МДЗ) для взятия вопроса. Под МНЗ понимается знание, без которого взять вопрос можно, только попав пальцем в небо, под МДЗ – знание, обладание которым позволяет взять вопрос чистым знанием, без раскрутки. Вот, к примеру, вопрос с Кубка Кармиеля:

Вопрос:

"Да подождите, подождите, вы еще ничего не слышали!" – говорит герой этого фильма и начинает петь. Назовите этот фильм.

Ответ: "Певец джаза".

В данном вопросе минимально необходимое знание - это название первого звукового фильма, а минимально достаточное – знание источника цитаты.

Чем меньше минимальное достаточное знание, тем больше шанс, что произойдет «закорот» и вопрос возьмут без раскрутки. Чем больше минимальное необходимое знание, тем больше шанс, что команды не смогут ответить на вопрос, даже если раскрутят всю логическую цепочку. Для хорошего вопроса, на мой взгляд, МНЗ должно присутствовать, а МДЗ – отсутствовать у подавляющего большинства команд (в идеале – у всех, но всегда есть шанс, что кто-то прочел ту же самую редкую книгу).

Естественно, что наша оценка должна обязательно базироваться на уровне играющих команд – что хорошо для Московской Вышки, плохо для Второй Хайской Лиги, и наоборот. Кстати, объективности нашей оценке фактической сложности может добавить не только тестирование, но и тривиальный поиск факта в интернете – чем чаще он упоминается, тем больше людей на него могут просто случайно натолкнуться. В любом случае, полагаясь на знание игроками какого либо факта, следует подумать – хотим ли мы, чтобы знающие факт на этом вопросе получили преимущество перед теми, кто факта не знает. Если хотим – смело полагаемся на знание факта, если не хотим – правим вопрос.

2. Сложность генерации правильной версии

Сложность генерации правильной версии оценить намного труднее. Тут, кроме как тестирование, на мой взгляд, мало что может помочь. Один из немногих, наверное, полу-формальных способов – это подсчитать количество наводок на правильную версию. Если их нет совсем – вопрос, скорее всего, будет гробом, если их слишком много – кнопкой. К сожалению, многие авторы грешат и тем и другим, и наша задача, как редакторов, исправлять их ошибки, добавляя и усиливая и убирая и ослабляя наводки.

Кроме того, очень часто для того, чтобы игроку как-то использовать наводку, ему необходим перебор нескольких вариантов. Размер поля перебора как раз вполне можно поверить алгеброй, и сократить/расширить его для приведения вопроса к играбельному виду – одна из наших непосредственных задач.

Например,

Вопрос:
ИКС входил в известный "треугольник" и жил в России. А теперь Россия входит в ИКС. Как звали жену ИКСа?

Ответ: Лиля (Юрьевна Брик).

В этом вопросе три поля перебора – треугольников, организаций (и не только организаций) в которые входит Россия и женатых людей. На мой взгляд, размеры всех трех полей близки к бесконечности.

Кстати, то, что нам может показаться наводкой на правильную версию, кого-то может увести совсем в другую сторону, что плавно приводит нас к третьему аспекту сложности вопроса – сложность выбора правильной версии.

3. Сложность выбора правильной версии

К моему глубокому сожалению в последнее время сложилась тенденция максимально облегчать жизнь капитанам и сводить сложность выбора к минимуму. На вопросы навешиваются дополнительные ходы, вставляются фактические отсечки и т.д. Все это, конечно, необходимо, но ведь можно же постараться сделать выбор чуть менее очевидным, так, чтобы не лишать капитанов работы. Да, в вопросе необходимо дать основание для выбора, но основание это необязательно должно быть чисто фактическим.

При этом обязательно следует помнить, что игроки могут найти отсечку там, где вы и не предполагали, поэтому, во-первых, тестирование таких вопросов трижды обязательно, а во-вторых, в таких вопросах абсолютно не должно быть лишней инфорнмации – иначе эта лишняя информация может послужить кому-либо основание для неправильного выбора. Кстати, становится возможным изящный ход – в вопрос вводится якобы лишняя информация, которая, на самом деле, является основанием для выбора.

Не могу отказать себе в удовольствии и, напоследок, процитирую лучший, наверное, вопрос на тонкий выбор, который я играл в этом году:

Вопрос:

Чтобы при разработке системы проверить удобство ее предполагаемого пользовательского интерфейса, иногда применяют такой придуманный на Западе способ. Пользователя сажают перед муляжом интерфейса, за которым скрывается разработчик, симулирующий реакцию готовой системы. Назовите страну, которая упоминается в названии этого способа.

Ответ: Страна Оз.

Отсечкой от Турции для меня послужил вроде бы ни к селу ни к городу упомянутый Запад.
--------------------------------
Дальнейшее обсуждение - Link
Комментарии
Нет комментариев.
Добавить комментарий
Пожалуйста, залогиньтесь для добавления комментария.
Авторизация
Логин

Пароль



Забыли пароль?
Запросите новый здесь.
Events
<< November 2017 >>
Mo Tu We Th Fr Sa Su
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30      
Today:
$$$
$$$
Счетчики

$$$
Время загрузки: 0.03 секунд 14,837,784 уникальных посетителей