EN
Entrance Internal forum Games Search
Внутри сети городских игр Encounter / Техническая разработка и поддержка

Судейство ФО (относ. оценивания работ)

Фри: Поиграв немного в ФО заметил, что при судействе значимость одного судьи довольна высока (относительно его оценок), т.е. бывали ситуации когда отсудило 4 судьи, сформировались места (ТОП10) по оценкам 4х судей. Когда отсудил 5-ый судья ТОП10 практически полностью изменилась. Я не говорю о сдвиге в 1-3 места, прыжки были мест на 10-20. Вот и сложилось впечатление, что в таком судействе что-то не так (не в судьях а в алгоритме оценивания). Считаю, что значимость одного судьи и влияние его на конечный результат должно быть меньшим. Относительно вопроса как это реализовать и как избежать такое есть немного идей. 
Каждый судья использует свои критерии оценок, свой разбег в баллах (в пределах от 0 до 10) относительно текущей ФО (т.е. один судья считает, что худшее фото из представленных на данной ФО будет оценено 0 баллов а лучшее в 8, другой судья считает, что худшее (по его мнению) - 3 балла, а лучшее - 7 ну и .т.д.). Думаю в таких ситуациях средний балл не совсем верно, возможно необходимо учитывать при расчете общего балла максимальную и минимальную оценку судьи в текущем задании (это только мысли, расчетов не делал и не проверял как такое будет работать). Так же можно учитывать места сформировавшиеся после оценивания (оценивание оставить как есть на текущий момент) относительно каждого судьи и в расчет брать не средние, а место.

Так сказать мысли вслух :( , но что-то в существующей системе не так.
27 November at 08:29
Joker: Интересная мысль, а как насчёт команд, которые сделали снимки не в тему и им ставится одна и та же оценка, например 5(много раз уже судили и обсуждали это), какое тогда им место ставить?
При 40 участниках нормальные оценки были у первых 3-5 команд, остальные получили по 5 баллов. Значит места 5-40?

PS мысль интересная, заслуживает внимания, но надо додумывать и дорабатывать.
27 November at 12:22
Кот Вжух:
Joker: Интересная мысль, а как насчёт команд, которые сделали снимки не в тему и им ставится одна и та же оценка, например 5(много раз уже судили и обсуждали это), какое тогда им место ставить?

Их место - кнопочка ДИСКВАЛИФИЦИРОВАТЬ КОМАНДУ. 


27 November at 12:43
Joker:
porych:

Их место - кнопочка ДИСКВАЛИФИЦИРОВАТЬ КОМАНДУ. 

Приведу пример: на ФО, которую судил, 3 фотоиз n - были в тему, остальные n-3 вроде и красивые, но не о том, точнее не совпадало с моим пониманием темы никак. Поэтому и оставил им по 5 баллов, просто за старания, за то, что сделали снимок, пусть и красивый, но не понятый мной, как судьёй.


Я о том, что движок судейства имеет шаг деления оценки судейства в 0,1 балла. Соответственно, при количестве участников от 20 и выше, возможно будут совпадения в этих самых десятых балла у двоих и более игроков. Нужно решение для этих случаев.

27 November at 12:50
Фри:
Joker:
porych:

Их место - кнопочка ДИСКВАЛИФИЦИРОВАТЬ КОМАНДУ. 

Приведу пример: на ФО, которую судил, 3 фотоиз n - были в тему, остальные n-3 вроде и красивые, но не о том, точнее не совпадало с моим пониманием темы никак. Поэтому и оставил им по 5 баллов, просто за старания, за то, что сделали снимок, пусть и красивый, но не понятый мной, как судьёй.


Я о том, что движок судейства имеет шаг деления оценки судейства в 0,1 балла. Соответственно, при количестве участников от 20 и выше, возможно будут совпадения в этих самых десятых балла у двоих и более игроков. Нужно решение для этих случаев.
по идее система оценивания и распределение мест (для отдельного судьи)  должны остаться такими как есть,  но в конечно распределении учитывать места занятые командами по каждому судьи  в отдельности 



справедливую систему придумать сложно, вот поэтому и создал тему, возможно общими усилиями получится придумать  


27 November at 13:20
Ветер:
Joker:

Приведу пример: на ФО, которую судил, 3 фотоиз n - были в тему, остальные n-3 вроде и красивые, но не о том, точнее не совпадало с моим пониманием темы никак. Поэтому и оставил им по 5 баллов, просто за старания, за то, что сделали снимок, пусть и красивый, но не понятый мной, как судьёй.

Может это заглушки были? :)
Наблюдается тенденция игр у некоторых команд/участников. Сделать пару работ типо-чтото-так себе качества, залить их в игру, а на форуме написать. Ой, простите, не успели! И как не странно в игре до 10 команд принимают участие, автор новичек. Итог - команда в топ-10.
27 November at 13:29