Сроки
Этап первый: настройка алгоритмов распознавания
- 22.07.2011 — старт конкурса.
- 15.08.2011 — предоставление участникам доступа к системе "Полигон" для тестирования.
- 09.09.2011 — окончание приема алгоритмов участников.
- 14.11.2014 — проверка работы алгоритмов на контрольной выборке В.
- 16.09.2014 — объявление победителей.
В течение первого этапа участники могут настраивать свои алгоритмы на обучающей части данных конкурсной задачи («выборка А»). Для проверки своего алгоритма и сравнения с алгоритмами других участников конкурса можно воспользоваться системой «Полигон», в которой уже загружены исходные данные, имеется несколько стандартных алгоритмов, реализовано вычисление AUC и сравнение алгоритмов по методике скользящего контроля. Методика тестирования в «Полигоне» заключается в следующем: исходная выборка 50 раз разбивается на две подвыборки, обучающую и контрольную, по методике 10-кратного случайного разбиения на 5 блоков (10 x 5-fold cross-validation) со стратификацией классов (т. е. сохраняя равные пропорции классов в обеих подвыборках). В отчетах «Полигона» указывается оценка AUC, усредненная по всем 50 разбиениям, строятся доверительные интервал и графики. Предварительный рейтинг алгоритмов строится по убыванию среднего AUC.
Для подключения своего алгоритма к системе «Полигон» необходимо реализовать модуль обмена данными. Техническая документация и необходимые шаблоны предоставлены на странице Полигон алгоритмов классификации. Участники конкурса могут регистрировать неограниченное количество алгоритмов в системе «Полигон» и тестировать их в рамках конкурсной задачи.
Этап второй: сравнение результатов и объявление победителя