bikeportal.org.ua


Добро пожаловать, посетитель!
Пожалуйста, войдите или зарегистрируйтесь.    Забыли пароль?

Эффективность. Описание, обсуждение и развитие
(1 чел.) (1) Гость
ВнизСтраница: 12345
Сообщения темы: Эффективность. Описание, обсуждение и развитие
#17560
Re:Эффективность. Описание, обсуждение и развитие 11/08/2013 08:33 Репутация: 9
Все клева, навскидку нашел 2 довольно серьезные на "непрограмный" взгляд погрешности - Петренко оказывается слабее кучи людей, которых вряд ли слабее (Сандер, Хлопов, Конвисарова с Малинкой???) - но может я отстал от жизни, если че, поправьте

Второй случай ТОЧНО не отстал от жизни - Дубиков сильнее всех, кто выше его в рейтинге. Причем значительно.

Да и ниже - Довбий и Мартынюк примерно равны. Хм. Че-то вряд ли в заезде Рома обгонит Локи 50 на 50

Как прокомментируешь?

Еще вопрос - хорошо "мерять" первую 10 элиты, потому что они все время встречаются. А 90% любителей из своих городов не выезжают. Как их-то сравнивать?
TheSpy
TheSpy
Еліта
Постов: 156
graphgraph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Харьков Возраст :40
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
#17561
Re:Эффективность. Описание, обсуждение и развитие 11/08/2013 12:31 Репутация: 14
TheSpy писал(а):
Все клева, навскидку нашел 2 довольно серьезные на "непрограмный" взгляд погрешности - Петренко оказывается слабее кучи людей, которых вряд ли слабее (Сандер, Хлопов, Конвисарова с Малинкой???) - но может я отстал от жизни, если че, поправьте
Петренко — Сандер 6:2, интересно. Вероятно, так получается, что Петренко не попадает в заезды с особенно сильными участниками, поэтому программа и придает его победам чуть меньший вес, чем в случае, к примеру, Сандера. Петренко участвует в категориях 30+, когда они есть — может, поэтому?

Конвисарова с Малинкой, как я уже сказал, получили рейтинги вместе со всеми, потому что поля «пол» мне не предоставили, а вручную я результаты не корректировал :−)

Второй случай ТОЧНО не отстал от жизни - Дубиков сильнее всех, кто выше его в рейтинге. Причем значительно.
Да и ниже - Довбий и Мартынюк примерно равны. Хм. Че-то вряд ли в заезде Рома обгонит Локи 50 на 50

Это же по любительским категориям, где граждане на букву Д участвовали только по два раза в 2013-м. Там и Пустовит есть намного ниже по списку.

Еще вопрос - хорошо "мерять" первую 10 элиты, потому что они все время встречаются. А 90% любителей из своих городов не выезжают. Как их-то сравнивать?
Зато к ним приезжают активные любители из других городов. Я думаю, этого хватит для калибровки, чтобы рейтинги людей, никогда не встречавшихся друг с другом, были сопоставимы. Тем более, что если продвигать каждую новую рейтинговую систему под девизом «ну теперь-то точно медалхантерству будет положен конец», то рейтинги тех, кто не выезжает, не имеют такой уж большой важности.
rdaysky
rdaysky
Еліта
Постов: 141
graphgraph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Запорожье Возраст :36
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
#17572
Re:Эффективность. Описание, обсуждение и развитие 12/08/2013 06:53 Репутация: 146
rdaysky писал(а):
Конвисарова с Малинкой, как я уже сказал, получили рейтинги вместе со всеми, потому что поля «пол» мне не предоставили, а вручную я результаты не корректировал :−)
странный ты какой-то...
ну забыл я это поле из базы выбрать. сложно было мне об этом написать, чтоб я его добавил, вместо того чтобы ехидничать?..
vak
vak
Administrator
Постов: 2426
graph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Дніпро Возраст :47
Последнее редактирование: 12.08.2013 07:35 Редактировал vak.
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
#17580
Re:Эффективность. Описание, обсуждение и развитие 12/08/2013 12:54 Репутация: 14
Да не проблема, спрятать всех участников, кроме Мужчин в Расцвете Сил, совсем несложно. Я даже специально не стал прятать девушек, потому что как же без них, и еще для того, чтобы было видно, что если категории не соревнуются между собой, то рейтинги получаются несравнимые (несравненные ;−).

Вот топ-30 без девчонок и Петровичей:

3102 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 1. Capusceac (Marco Velo)
3079 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 2. Симоненко (simaha)
3006 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 3. Пустовит (TONY)
2812 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 4. Жданович (LoxmatyiSadovnik)
2774 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 5. Петров (Focus)
2767 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 6. Зубченко (Chaban)
2691 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 7. Ширяев (Italianec)
2673 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 8. Пожиганов (vadimka)
2658 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 9. Гутлебет (Ferents)
2646 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 10. Закора (Alberto Zakerroni)
2637 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 11. Трофименко (SLIM)
2631 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 12. Шевелёв (Nikalaich)
2602 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 13. Гапоненко (sander)
2544 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 14. Хлопов (Khlopov)
2535 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 15. Зубенко (Zubik)
2527 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 16. Турок (Slava)
2520 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 17. Петренко (Сергей 1979)
2510 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 18. Шевченко (Sheva)
2461 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 19. Усольцев (ded)
2440 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 20. Гриценко (evan)
2432 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 21. Кузяшин (xorg)
2424 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 22. Погребной (Andron)
2381 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 23. Токарь (fasser)
2366 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 24. Тимошевский (kona)
2350 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 25. Роганов (sevastopolec)
2343 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 26. Мухидинов (muxa)
2333 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 27. Пясецкий (Serik)
2331 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 28. Козловський (Ужгородец)
2327 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 29. Носков (Vadim Bus)
2315 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 30. Еременко (Erema)
rdaysky
rdaysky
Еліта
Постов: 141
graphgraph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Запорожье Возраст :36
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
#26143
Re:Эффективность. Описание, обсуждение и развитие 27/12/2014 00:01 Репутация: 14
Посчитал еще. Немного переменил свою точку зрения.

Рейтинг нужен, чтобы 1) расставлять участников на старте и 2) чтобы было чем померяться. Соответственно, к нему выдвигаются следующие требования:
— расстановка участников на старте должна минимизировать количество обгонов;
— должен восприниматься как справедливый (а не «выиграл мелкую местную гонку, получил 98%»);
— должен мотивировать в правильном направлении (а не «лучше я туда не поеду, вдруг эффективность просядет»).

Математически посчитать, конечно, можно только первое. :−) Количество обгонов, которое необходимо совершить, чтобы из стартового протокола получить финишный, называется тау-метрикой Кендалла (далее — KT). Я нормализовал ее от 0 до 100% по количеству обгонов от максимального: 0% означает, что как стартовали, так и приехали, 100% — что пришлось совершить 100% от максимального количества обгонов, т. е. приехали в порядке, противоположном стартовому. Если расставлять всех в случайном порядке, будет около 50%.

Я сравнил эффективность и свой самодельный рейтинг, который учитывает также и рейтинг остальных участников гонки. Оба показателя рассчитывались по гонкам 2013 года, а затем проверялось, насколько точно они предсказывали итоги гонок в 2014-м (вычислялся средний KT). Учитывались все гонки 2013-го и предшествующие гонки 2014-го; эффективность считалась по всем предшествующим гонкам, без сброса в начале года. Малочисленные категории исключались из подсчета.

Получилось:
— Рейтинг: KT = 20%;
— Эффективность: KT = 23%.

Отсюда вывод, что вряд ли получится сделать что-то намного лучшее, чем эффективность. Думаю, у нас слишком непредсказуемые спортсмены, чтобы можно было бы расставить их по какому бы то ни было рейтингу и надеяться, что они так и приедут. :−) Рейтинг-то работает хорошо. Для любых двух участников он дает вероятность того, что первый обгонит второго; если взять пару участников примерно одинаковой силы (таких, что каждый обгонял другого хотя бы раз) и сказать, сколько раз они участвовали в гонках, с вероятностью около 50% оценка, сколько раз победил первый и сколько второй, окажется точной (а если брать участников неравной силы, то рейтингу будет только проще :−). Но когда на старт выходит 50–100 человек, складывается слишком много случайных величин, чтобы можно было давать сколько-нибудь точные предсказания.

Поэтому я решил, что такой рейтинг, со всеми его сложными формулами (взятыми с Топкодера, вдруг кому интересно) не нужен. Лучше придумать что-то простое, но лишенное недостатков нынешнего показателя эффективности.

У эффективности две проблемы: она может взлететь до небес после первого старта в году, и может просесть при неудаче на гонке. Вряд ли многие принимают решение не ехать на гонку только потому, что участники там сильные и эффективность наверняка упадет, но всё равно это неприятная особенность.

Я поэкспериментировал с разными простыми рейтингами и предлагаю вот такой:
— за каждую гонку первая половина участников получает очки от максимума до 0 (линейно), вторая не получает ничего;
— рейтинг участника — сумма очков за последние 365 дней.

Преимущества:
— мотивирует ехать на гонки, потому что от этого рейтинг только растет;
— не мотивирует не ехать на гонки, потому что никакими своими действиями рейтинг не обрушить;
— максимум очков можно менять в зависимости от категории, что будет иметь намного больше смысла, чем в случае эффективности;
— легко считать;
— KT = 22%.

Очки раздаются только первой половине финишировавших, потому что она намного более предсказуемая, чем вторая, и потому, что два 40-х места не стоят 1-го (я предполагал, что должна быть выпуклая функция, но нет, линейная дает лучший KT). Можно немного раздавать и второй половине, чтобы не уходили с нулями: например, первой половине от 1000 очков до 50, а второй — от 50 до 1. Можно всем линейно, тогда KT ухудшается до 25%.

Из фиксированного количества очков первой десятке ничего хорошего не получается. Это работает для крупных юсиайных гонок, потому что у них большое и предсказуемое количество участников, но не для нашего любительского разнообразия.

Сюда хорошо вписываются категории не только участников, но и гонок. Размышления о них в следующем сообщении.
rdaysky
rdaysky
Еліта
Постов: 141
graphgraph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Запорожье Возраст :36
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
#26144
Re:Эффективность. Описание, обсуждение и развитие 27/12/2014 00:22 Репутация: 14
Рейтинг гонок, может, даже важнее, чем рейтинг участников. Эти показатели связаны тем, что в предложенной схеме можно начислять больше очков за гонки более высокой категории, например, за гонки ЛКУ.

Сейчас для оценки уровня гонки есть голосование. Оно, честно говоря, не работает. Уж лучше вместо него бинарную шкалу: получилось — не получилось. Гонка стартовала по расписанию? Сколько кругов, сказали своевременно? Наградили именно тех, кто победил? Все галочки проставлены — категория гонки выше, участники получают больше очков, организаторы гордятся. Гонка-тренировка без организации? Такие тоже нужны и важны, но коэффициент у них поменьше.

Нужен список общепринятых требований к гонке. Что может служить причиной задержки гонки, а что не может? За какое время до начала гонки должны быть выложены треки трасс и схемы проезда, когда трасса должна быть полностью готова для тренировок? Если все будут знать, чего ждать от гонки какой категории, и культура организации повысится, и рейтинг можно считать точнее, и участвовать интереснее, все счастливы.
rdaysky
rdaysky
Еліта
Постов: 141
graphgraph
Пользователь вне форума Кликните здесь, чтобы посмотреть профиль этого пользователя
Город: Запорожье Возраст :36
Для добавления сообщений Вы должны зарегистрироваться или авторизоваться
ВверхСтраница: 12345
Модераторы: vak, run
Банер  
  
наверх
time: 1.060693025589