Логин:   Пароль:    
Забыли пароль? | Регистрация временно недоступна

Форум

Шлифовка рейтинга

На страницу Пред.  1, 2, 3, 4, 5  След. [Сообщений: 98]
Сообщение
07 июн 2010, 20:08
Администратор
Аватар пользователя
Не в сети
Последнее время есть немного непоняток с рейтингом. Возможно, потому что пора кого-то переместить, возможно, просто потому что кому-то всегда "что-то не нравится". В связи с этим хочу рассказать немного о текущей системе рейтинга и моем видении ее. А уж о том правильное ли оно (видение) или нет судить вам.

Итак, что такое рейтинг? Рейтинг - это всего-навсего цифра. Цифра, которой характеризуют ваш уровень игры. Пронумеровать каждого игрока - это, конечно, круто и весело, но собственно на кой оно вообще сдалось? Идей у системы рейтинга две: одна из них - для того, чтобы более-менее ровно делиться в играх (фраза "более-менее", надеюсь, всем понятна). И вы можете сколько угодно говорить, что это не так, что дележки по рейтингу кривые, НО в то время, когда рейтинг был только-только составлен, я лично делил чуть ли не каждую игру по этому самому рейтингу, и тимы практически всегда получались равные. Почему же сейчас это не так? Видимо, потому что с того времени некоторые игроки сменили свою позицию в этом рейтинге. И поэтому нужно их "поставить на место", но об этом чуть дальше.

Сперва хочу упомянуть про еще 1 цель рейтинговой системы - стремление аокеров повышать свой уровень. Да, стимул далеко "не для всех". Однако постоянное обсуждение своих и чужих рейтингов в чате - явный показатель, что кого-то что-то все-таки цепляет. Это же чистый спорт! Это у всех в крови, как не крути. Стремление быть лучшим вполне естественно для человека. Явный тому пример - Грейфрост, который не смотря ни на что, сыграл аж 6 дуэлей, чтобы подняться на ступеньку выше. Теперь можно с нее плеваться на мелких :D шутка). Как бы то ни было, а в рейтинговой системе я вижу 2 эти цели, которые нужно развивать и поддерживать.

Вернемся к оценке участников. Как это собственно, делать? Можно пойти по пути вубли, и считать победы/поражения каждого игрока с учетом уровня противников. Такая идея, не буду скрывать, есть в разработке, но к сожалению с текущими средствами ее реализация не возможна. По крайней мере пока. Рассчитывать игры в ручную – была такая практика, ей заведовал если помните Нюклеар, но дело это затратное и муторное. Не думаю, что кто-нибудь возьмется считать все игры в ручную. Кроме того, мне не совсем нравится вублевская система. По крайней мере игроки уровня 1500-1600 очень сильно отличаются друг от друга в плане игры, причем совершенно непредсказуемо (1500 может сыграть как 1600 и наоборот). Возможно это проблема только моей «ниши», точно не скажу. В любом случае, как только появится техническая возможность – такая система будет запущена, а там уж посмотрим как она будет работать.

Другой способ оценивания рейтинга – выбрать человека/группу людей, которые этот самый рейтинг всем и выставят. Так оно у нас и есть. Теперь разберемся, как этот рейтинг, может выставляться. Возможных систем, на самом деле, великое множество. К примеру, можно выделить критерии игры (типа командная игра, экономика, и т.д.) и оценивать игрока по этим критериям, а потом по какой-нибудь формуле высчитывать итоговые значение (за этот метод ратует всем известный Lapi). Чем он мне не нравится: скажите, как вы сможете оценить критерий каждого игрока? Вот насколько хорошо Бугоркин, к примеру, ставит экономику? А если его в это время атачат? А если идут на полный снос? А если он войска параллельно строит? А если не строит? А если... перечислять можно до бесконечности. Я клоню к тому, что для нормальной оценки рейтинга, таких критериев должно быть очень много. И оценить каждого, особенно в условиях, что у нас куча игроков играют нестабильно, - очень трудно, если вообще возможно. Есть, конечно, вариант упростить всю эту систему, и выделить лишь несколько ключевых моментов. Ну так если мне предоставят такую систему –я с удовольствием ее рассмотрю. Но вот вопрос – рационально ли так делать? И будет ли итоговый рейтинг соответствовать реальному уровню игры?

Тут пожалуй, нужно уточнить, что я понимаю под «реальным уровнем игры». Если вспомним 1 цель рейтинговой системы – дележка в играх, то возникает вопрос – как уместить в 10 балах всех игроков? Тут, как я считаю, нужно минимизировать отличие игроков одной ступени. Надо стремиться к тому, что если осталось, к примеру, два игрока уровня 5, то было бы не важно, как они распределяться по тимам. Т.к. и один может выиграть другого и наоборот. Конечно, в 10 балах 200 игроков трудно разместить, и из-за этого часто возникают недопонимания вроде «тот-то лучше этого». Да, возможно лучше, но намного ли? Вот если намного – то этот игрок стоит не там где надо. И такие недочеты нужно исправлять.

Теперь вернемся к нашему Лапи-рейтингу (который, как я понял, он составлял может и не полностью, но идейно полагаясь на эти самые критерии). Рейтинг -5 баллов. Стоят бугоркин и пантера. Я сейчас ни в коей мере не хочу обидеть Бугорина, имхо очень хороший игрок, который может и помочь во время, и точку подержать, и вообще имеет хорошие перспективы дальнейшего развития, НО кто предпочтет его Пантере? Сие не айс. По этому пункту можно много еще говорить, но я тут уже лист А4 напечатал, хотелось бы в объем «Войны и мир» хотя бы уложиться, так что пойдем дальше.

Для тех, кто уже забыл – мы обсуждаем вопросы оценивания рейтинга «в ручную» =) Второй, и действующий, вариант – оценка по игре. Это такой довольно субъективный фактор, однако он позволяет довольно быстро дать всем оценку. Насколько точно? Конечно, далеко от идеала. Но если помните, рейтинг изначально вводился «приблизительный», а точный должен был появиться после серии дуэлей. Сейчас уже можно говорить о том, что дуэли – не самый популярный вид игры в нашей сети =) В связи с этим, появляется необходимость делать из приблизительного рейтинга точный каким-то другим способом. Вопрос – каким? Здесь можно также полагаться на наши субъективные мнения и править определенные позиции. Так и происходит, но видимо не очень эффективно.

Другой способ, который я хотел реализовать при создании этой темы – комплексный анализ демок. Т.е. просмотр игры за каждого (или почти каждого) участника, выставление коэффициента полезности, а также приблизительного рейтинга для конкретной игры. Вот пример игры на арабии:

Первая цифра после ника – коэффициент полезности. Чем больше – тем лучше. В скобках – примерный рейтинг по игре, причем я допускал себе вольности, позволяя оценивать в рамках 2 баллов. По идее потом эти рейтинги бы суммировались и выводилось бы среднее значение. Это на самом деле очень хорошая система, которая бы как раз показывала текущий уровень игры, но в ней есть одна очень большая проблема. Заключается она в том что, чтобы просмотреть игру с разных ракурсов (а эту я смотрел раза 4), требуется около 1,5 часов времени. Вот и представьте сколько займет проанализировать 60-80 ежемесячных игр только с моим участием. Система хорошая, но ресурсоемкая, и нереализуемая. Почему нельзя смотреть игру 1 раз? Есть еще пример одной игры на ЛН. Там я при беглом просмотре оценил Ярмана выше Максимуса. Потому что Ярман в ранних замках наделал орлов и пошел рейдить Медведя. А Максимус сидел на базе и ничего не делал, потом он, правда, снес Ярмана. При дальнейшем просмотре, оказалось, что кроме этой одной пачки орлов, Ярман по сути ничего и не сделал, да и орлов не прокачал, из-за чего убил всего 1-2 креста Медведя, не более того. Ну и еще проблема такой системы – что нужно регулярно демки сверять, если заметили, Варриор оценен как 1. Демке около 1-1,5 месяцев...

Итак, что же сейчас нужно делать с рейтингом? Я склоняюсь к тому, что нужна некая «реструктуризация». Ее собственно и провел Лапи, сместив по сути рейтинг на 1 бал вверх. А вот это я считаю неправильным. Куда важнее разница между игроками 5-10 чем 1-4. Так что нужно делать реструктуризацию исходя из этих соображений. Есть также вариант ввести 0 балов.

Далее, правка рейтинга. Тут нужны люди, которые будут открыто высказывать свои позиции, относительно «неправильно стоящих игроков». Т.е. допустим я говорю, что Дракон не 7, а 8 и выкладываю в доказательство некоторое количество демок текущего месяца (не старше 30 дней), где по моему мнению Дракон сыграл на 8. Эти демки должен кто-то просматривать. Делать это могу я (ну есс-но кроме тех, которые сам вынес на рассмотрение), но судя по всему, понадобятся еще желающие, для более точной оценки. Причем можно сделать доступ для всех, т.е. выкладывается 3 демки на лн 4*4, где есть Дракон, Нюк, Фар и Агн. Рассматриваем рейтинг дракона. Я утверждаю, что Дракон сыграл лучше Фара (7), хуже Агна (9) и также как и Нюк (8). Т.е. Дракона надо в 8. Это, безусловно, идеальный вариант (тут учтено, что Нюк сыграл не хуже 8), но тем не менее при масс оценивании вполне возможно. Что жду от просматривающих: во-первых, позицию «согласен - не согласен», во-вторых, обоснование, почему «не согласен». Ну и контр-демки привествуются. Допустим, Агн говорит, что Пельмени играет не на 5, а на 4, выкладывает 3 его не самые лучшие игры. Я не соглашаюсь, и выкладываю другую демку, где Пельмени отлично сыграл в паре с Дерптом. И при оценке «согласен – не согласен» эта игра также будет оцениваться.

3-ий лист А4 поехал, омг. В общем, сказал далеко не все, что хотел, но тем не менее основную идею, надеюсь, донес. Наработок есть еще много, вроде попарного сравнения, но хотелось бы этот вариант опробовать.
dfs - connecting people
Сообщение
07 июн 2010, 20:58
Аватар пользователя
Не в сети
Цитата:
Вернемся к оценке участников. Как это собственно, делать? Можно пойти по пути вубли, и считать победы/поражения каждого игрока с учетом уровня противников. Такая идея, не буду скрывать, есть в разработке, но к сожалению с текущими средствами ее реализация не возможна. По крайней мере пока.


Почему не возможно? На вубле можно создать закрытую комнату с паролем и все. Но игроки туда врятли перейдут.
Сообщение
07 июн 2010, 22:42
Аватар пользователя
Не в сети
дфс, респект, хорошо объясняешь, логично :)

Пока вижу только 2 реальных выхода для более точной шлифовки рейтинга:
1. Дуэли (как и прежде в силе)
2. Кроме меня и дфс'а подрядить еще 2-3 человека, чтобы образовалась оценивающая комиссия. Все должны играть и подмечать кто и насколько баллов сыграл.

НО
Во втором пункте есть сложности, т.к. не совсем ясны критерии оценок.
Лично я стараюсь учитывать:
1. время переходов, экономику
2. агрессивность
3. умение воевать/атаковать/защищаться (в т.ч. микро, знание юнитов и их выбор)
4. умение восстанавливаться/выживать
5. умение играть в команде

и опять же.. как оценивать по этим критериям? сколько баллов давать за тот или иной пункт? где точки отсчета (мин. - макс.)?
а хз :)
вот и получаются оценки на глаз, примерно
Сообщение
07 июн 2010, 23:38
Администратор
Аватар пользователя
Не в сети
Ну это опять критериальное оценивание.
В принципе, если подойти серьезно к нему, то можно вывести определенные закономерности... У меня на этом курсе была "Теория управления", так что могу даже формулы предоставить, но имхо хорошим это не кончится.

На счет второго пункта: почему 2-3? И как определить, чей рейтинг менять? Анализировать каждую игру очень трудно и ресурсоемко (время). Моя концепция предусматривает некий разражитель, который и должен обрабатываться. Таким образом объем всей работы (постоянно следить за рейтингом каждого) уменьшится до обработки всех раздражителей. Под этим интересным словом я понимаю некое сообщение от некого игрока, несогласного с чьим-то рейтингом (примеры см. выше).
Так вот обработку предлагаю не тебе, мне и еше 2-3 поручить, а выставлять на решение нашего сообщества. Ввиду особеностей видения игры лучше брать мнения только 5+ (а то и больше)*.
Вопрос заключается только в том, кто реально готов смотреть daily-games, и анализировать игру конкреного игрока?

*новички не всегда могут грамотно оценить те или иные ходы игрока. То, что по их мнению будет "неважным", на самом деле сыграет большую роль. В этом убедился активно с ними общаясь =) Ну и часто встречающиеся фразы, типа "я снес максипала" от игрока уровня 2, тому подтверждение.
dfs - connecting people
Сообщение
08 июн 2010, 00:21
Аватара пользователя
Не в сети
Дфс,Дракон
Вы тут уже залезли в сложные дерби, в которые никто почти не полезет, а если и полезет, то быстро вылезет :)
Насчет того что рейтинг просто цифра - согласен, насчет того что дележки получаются кривыми из за того что рейтинг морально устарел - тоже согласен. А вот про стимул повышения - тут, увы не согласен :) Желание играть сильнее - естественное желание, но ведь и раньше игроки как то совершенствовались, повышали свой уровень, и т.д. У людей желание хорошо играть, и имхо пара тройка горьких и досадных поражений от сильных соперников гораздно более действенна, нежели повышение рейтинга через обыгрыш более слабого игрока :)
Почему сейчас стали популярны игры 5++? Ведь не потому, что неохота играть с более слабыми, а потому что эти более слабые стоят на месте, почти не совершенствуются(или делают это ну оочень медленно)
По поводу оценок участников - тут и есть те самые дерби, в которые никто не полезет. Ну слишком это утопично все :) Скорее всего даж если будет собрана такая комиссия, то на первом же спорном моменте мы все не придем к общему выводу и забросим это дело :) Тоже самое можно сказать и про комплексный анализ.
Теперь по моему рейтингу - я не смещал рейтинг на 1 балл вверх :) Можно разделить всех игроков на 2 категории 5+ и 5-. Насчет 5- я почти ничего не делал, тут я сам не особо то знаю как кого оценить :)
Теперь насчет 5+. У вас была такая ситуация что на верхних трех позициях по одному-два игрока, на седьмой - еще несколько, а на 5 и 6 раскиданы остальные. Но ситуация когда фар(7) по уровню игры много ближе к сторму(10), нежели к Ермаку(6) имхо - бред :)
Я создал массовость на верхних строчках, ибо не такой уж между ними и большой разрыв, подтянув лучших из 6, 5, 4 на уровень вверх, т.к они играют много сильнее чем их соседи по листу. Естественно тут тоже есть вопросы, я не могу быть абсолютно точным, в частности позиции Мэнди и Бугоркина наибольшим сомнениям подвергаются :)
Насчет правки рейтинга - тут имхо над собираться каждые 2 недели и обновлять рейтинг(с учетом игр за этот период). Но при этом нужно избегать каким то образом массового завала демками.
Дракон дуэли - для шлифовки рейтинга не получится, и не будет. И это не показатель совсем. Насчет комиссии - написал выше :)
Сообщение
08 июн 2010, 01:25
Администратор
Аватар пользователя
Не в сети
По пунктам:
Цитата:
А вот про стимул повышения - тут, увы не согласен
я же написал, что не для всех.
Цитата:
Ведь не потому, что неохота играть с более слабыми, а потому что эти более слабые стоят на месте, почти не совершенствуются(или делают это ну оочень медленно)
эээ правда? А я думаю, что такие игры создаются в первую очередь по тому, что людям не хочется играть с теми, кто будет сидеть на своей базе всю игру. Зачем такие нужны в игре совершенного другого уровня?
Цитата:
По поводу оценок участников - тут и есть те самые дерби, в которые никто не полезет.
думаешь будет так много "заявок" на рассмотрение смены рейтинга? :) Посмотреть демо и оценить играет человек на n балов или нет - не так уж и сложно. А споры легко голосованием решить. Если ты здесь имел ввиду критериальную оценку, то я против нее.
Цитата:
Теперь по моему рейтингу - я не смещал рейтинг на 1 балл вверх
может ты и не хотел, но оно так получилось =) Ты уплотнил верхушку, и это правильно, но некоторые позиции надо все-таки разрядить. Лучше объединить 1-2 и создать еще 1 ячейку в верхушках.
Цитата:
Но ситуация когда фар(7) по уровню игры много ближе к сторму(10), нежели к Ермаку(6) имхо - бред
а если Фар как раз тот игрок, который стоит "не там"?) Поправить его и еще пару человек. Также как и у тебя (см. 8-7-6).
Цитата:
Насчет правки рейтинга - тут имхо над собираться каждые 2 недели и обновлять рейтинг(с учетом игр за этот период). Но при этом нужно избегать каким то образом массового завала демками.
собираться? кому? как править? да еще без демок?
Цитата:
Дракон дуэли - для шлифовки рейтинга не получится, и не будет. И это не показатель совсем.
не показатель на ЛН. А вот на арабии достаточно хорошо показывает уровень игры.
dfs - connecting people
Сообщение
08 июн 2010, 01:38
Администратор
Аватар пользователя
Не в сети
Есть еще вариант управления рейтингом - добавить так называемую "обратную связь".
Т.е. выкладываются демки, где команда с меньшей суммой балов выиграла (разница балов от 2 и больше). Что по сути означает, что кто-то сыграл не на своем уровне. Выяснять кто, и при 2 и более совпадениях - править рейт.
dfs - connecting people
Сообщение
08 июн 2010, 11:31
Аватара пользователя
Не в сети
1)1 на 1 самый лучший показатель, если уж на рабии 1 на 1 сыграл хорошо, то на лн то точно сыграет не хуже.
2)Рейтинг действительно должен выставляться комиссией, и чем больше будет человек, тем лучше. И здесь уж если все выставляют рейтинг на глаз, и даже, если глаз у всех разный, всеравно рейтинг будет наиболее точный.
3)Чтобы не было завала демками рейтинг надо оценивать не постоянно или ежеденевно, а, к примеру, раз в месяц. Например, с 1 по 5 число каждого месяца, идут рейтинговые игры которые будут учитываться для расчета рейтинга. "И ты уже подсознательно понимаешь что должен сыграть максимально хорошо". Я думаю за 5 дней все успеют наиграть какое то количество игр. А потом заходишь на форум и смотришь прибавили тебя или убавили. А для тех кто хочет узнать свой рейтинг вне очереди - за отдельную плату. К примеру, выкладываешь демки ,платишь на реквизиты "русаока" 500руб и к вечеру получаешь свой рейтинг :D
Сообщение
09 июн 2010, 00:09
Аватар пользователя
Не в сети
есть еще способ.. с судейской комиссией

Можно написать скрипт для голосования, в нем должен быть список всех игроков, из которого можно выбрать любого игрока и поставить ему оценку от 1 до 10 баллов.
Среднее арифметическое ~текущий рейтинг выбранного игрока.

Массив оценок от каждого "судьи" сначала будет иметь одинаковые оценки для каждого игрока(текущий рейтинг)

После каждого голосования, средняя арифметическая оценка от "судей" будет менять соответствующее значение в таблице рейтинга.

Нужно только написать код, кстати, довольно простой :)
Форма отправки с 10-ю радиокнопками и одним списком.
+ проверка на голосующего
+ немного арифметики
+ еще один dat-файл
Сообщение
09 июн 2010, 00:17
Аватара пользователя
Не в сети
RF_Dragon писал(а):
Можно написать скрипт для голосования
это интересно
Нормально всё.
Сообщение
09 июн 2010, 00:30
Администратор
Аватар пользователя
Не в сети
судьи - все игроки сети?
я правильно понял, что Ярман будет оценивать, кто лучше Дракон или Нюклеар? :haha:

А если найдутся приколисты, которые поставят Шторму 1, а СД 10?

Тут уж надо все равно ограничение делать по доступу... И даже если так - мне интересно, кто реально сможет анализировать игру оппонентов и ставить им адекватные (хоть и субъективные, но чем-то обоснованные) оценки?
dfs - connecting people
Сообщение
09 июн 2010, 00:47
Аватар пользователя
Не в сети
RF_dfs писал(а):
судьи - все игроки сети?
я правильно понял, что Ярман будет оценивать, кто лучше Дракон или Нюклеар? :haha:

А если найдутся приколисты, которые поставят Шторму 1, а СД 10?

если бы судили все кому не лень, я бы не выбрал термин "судьи" и "судейская комиссия"

RF_dfs писал(а):
Тут уж надо все равно ограничение делать по доступу... И даже если так - мне интересно, кто реально сможет анализировать игру оппонентов и ставить им адекватные (хоть и субъективные, но чем-то обоснованные) оценки?

надо)
.
И правда.. кто сможет оценивать? Вот ты или я каким-то образом можем.. ты думаешь мы единственные в своем роде? :)
Сообщение
09 июн 2010, 01:11
Администратор
Аватар пользователя
Не в сети
ну хз.. я вчера общался с одной троечкой, ника разглашать не буду, но у него весьма странные представления :)

ну и не думаю, что много кто захочет пересматривать демки.. а судить чисто по игре, когда в основном видишь только свои фланги - это неправильно. Может чела снесли в феодах, а он потом героически всю игру отстраивался, и даже небольшое войско сколотил к 40-ой минуте. А есть те, которые думаю, что чел бумил как и ты, и нифига не сделал.
dfs - connecting people
Сообщение
09 июн 2010, 01:15
Администратор
Аватар пользователя
Не в сети
Довольно много игроков кстати недооценивают такие понятия как "задержал противника", "помешал бумить" и так далее. Причем просматривается это среди лн-щиков... Сие не айс имхо.
dfs - connecting people
Сообщение
09 июн 2010, 01:22
Аватар пользователя
Не в сети
дфс, все это понятно.. ты говоришь о критериях оценок :)
о своих критериях я выше сказал, у тебя свои будут, у остальных рейт-судей будут другие критерии, ну а среднее арифметическое и должно дать наиболее точную оценку рейтинга для каждого

Все спорные моменты могут так же обсуждаться, демки могут пересматриваться, а дуэли играться :)
Нужно просто написать пару-тройку десятков строчек кода... и я знаю кто из нас это может сделать :)
Сообщение
09 июн 2010, 01:24
Аватар пользователя
Не в сети
emir писал(а):
вечерком сыграйте кто-нить со мной плс и проставьте мне рейтинг
чтоб я знал что народу отвечать :)

поставил тебе 6 баллов пока :)
Сообщение
09 июн 2010, 03:33
Аватара пользователя
Не в сети
Цитата:
И правда.. кто сможет оценивать? Вот ты или я каким-то образом можем.. ты думаешь мы единственные в своем роде? :)

Я могу еще
Сообщение
09 июн 2010, 03:38
Администратор
Аватар пользователя
Не в сети
ну могу написать... но чисто ради теста..
когда сес закончится будет неделька до отъезда..
dfs - connecting people
Сообщение
10 июн 2010, 20:55
Администратор
Аватар пользователя
Не в сети
В такой системе нужно "закрепить" ступеньки. У нас в 1 рейтинге на "8" только Нюк стоит, если кто-то решит изменить его рейтинг до "7" или "9", тогда степень станет пустой, в связи с чем произойдет смещение рейтинга вверх, и разбиение одной ступени. После таких манимуляций, складывать средние значение будет бессмысленно, т.к. рейтинги будут разной структуру.
Под "закреплением" понимаю установить на каждой ступени какогого-то среднего на своем уровне аокера (не граничного). Т.е. допустим, лапи играет на твердую 6 на ЛН. Мы закрепляем этого игрока и вносим запрет на изменение его рейтинга.
Нужны списки явных представителей своего уровня...
dfs - connecting people
Сообщение
11 июн 2010, 14:07
Аватар пользователя
Не в сети
RF_dfs писал(а):
Под "закреплением" понимаю установить на каждой ступени какогого-то среднего на своем уровне аокера (не граничного). Т.е. допустим, лапи играет на твердую 6 на ЛН. Мы закрепляем этого игрока и вносим запрет на изменение его рейтинга.
Нужны списки явных представителей своего уровня...

м... а если он станет лучше играть? лапи может, вполне)
нельзя ничего фиксить, дфс, это плохая идея

просто напиши скриптик :) он сделает рейт более точным
главное чтобы судейская комиссия была беспристрастной и баллы проставлялись уверенно
На страницу Пред.  1, 2, 3, 4, 5  След. [Сообщений: 98]

Перейти:  

Сейчас посетителей на форуме: 8, из них зарегистрированных: 0, 0 скрытых и гостей: 8 | Больше всего посетителей (885) на форуме было 19 янв 2020, 10:18
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 8
cron
Яндекс.Метрика