Александр Ширнин занял второе место в соревновании SemEval 2024

Александр Ширнин, стажер научно-учебной лаборатории моделей и методов вычислительной прагматики, в составе команды «aipom» занял второе место в международном соревновании по обработке естественного языка SemEval 2024 (The 18th International Workshop on Semantic Evaluation).

В этом году одним из треков SemEval было детектирование текстов, сгенерированных ИИ, — на сегодняшний день, это одна из самых важных задач в области обработки текстов. В рамках задания C восьмого трека организаторы сформулировали новую, более сложную постановку задачи: в тексте, написанном частично человеком и частично ИИ, нужно было определить границу, по которой происходит изменение. Александр предложил решение этой задачи, получившее второе место в рейтинге.

Мы с командой изучили все задачи на этом соревновании. Первые две представляли собой задачу классификации, а вот в задаче C нужно было найти слово, с которого начинается сгенерированный текст. Это более нестандартная задача, и в этом есть, конечно, свои плюсы. 

Во-первых, можно придумать более необычные решения. Во-вторых, такие задачи сложнее, потому что нельзя просто воспользоваться стандартными подходами. Из-за этого становится меньше конкурентов, а, значит, меньше и вероятность, что кто-то из толпы случайно переобучится на тестовой выборке и обгонит вас. Также в таком случае научно обоснованное творческое решение будет более заметным. 

Конкретно в этом соревновании было несколько этапов. Вначале была оценка результатов на dev датасете — он меньше в размере, все ответы на него изначально даны. Примерно до 15 января были видны текущие результаты на лидерборде и можно было проверить, работает ли наша посылка, а также приблизительно оценить свою позицию в рейтинге. После этого началась оценка на тестовом датасете, на который ответы не выдаются. При этом на лидерборде не виден счет для тестовой части, чтобы участники не могли подгонять свои решения для лучшего результата.

Я осознавал, что почти все будут отправлять решения в день дедлайна, так уж устроен этот мир. Как вы понимаете, выходит игра вслепую. Конечно, эта неопределенность порой создавала сильное напряжение. Помню, что сижу холодной ночью, в наушниках играет саундтрек из фильма «Драйв», я пытаюсь побить метрику на dev датасете, полная концентрация. Внезапно удалось сильно побить счет лидерборда, идея сработала, ура! Смешанные чувства, куча волнения, в пять утра пишу в чат команды об успехе. 

Одновременно с этим много неуверенности. Я прекрасно понимаю, что после dev этапа предыдущие участники могли доработать решения, могут прийти новые команды. Сколько их будет: десять, пятьдесят, сто? Насколько у них сильные решения? 

Но вдруг я осознаю, что это все неважно. Вся эта гонка — это я против себя самого. Нужно спокойно и хладнокровно доделать решение, выжать максимум качества и еще раз проверить, чтобы не было никаких ошибок. Скажу честно, после дедлайна я волновался. У меня три ночи были сны только про рейтинг. Думаю, что это нормально. 

В душе я, конечно же, спортсмен. До этого я много раз участвовал в Kaggle-соревнованиях. Поэтому у меня есть некий опыт: примерное представление, каких ситуаций ожидать, как улучшать решения, знание небольших трюков для этого. Все это помогает морально настроиться. 

Например, часто бывают ситуации, когда продолжительное время многие гипотезы не срабатывают. Из-за этого может наступить отчаяние и желание уйти, но я был готов к этому. В этот раз тоже не все сразу было удачно. Я понимал, что такое происходит не впервые, что нужно как-то менять стратегию. В итоге baseline удалось побить примерно за две недели до дедлайна, а в последнюю неделю сработала интересная идея.

Отдельно хочется рассказать о придумывании идей в соревнованиях. Я немного одержим теорией озарения. Узнал о ней, когда изучал основы когнитивных наук. Она про то, что порой решения задач приходят спонтанно, а не когда человек намеренно пытается что-то сделать. Как я понимаю, это связано с тем, что при более расслабленном мышлении снимаются некие ограничения, что позволяет придумать нестандартное решение. Склоняюсь к тому, что именно необычный путь помогает дойти до такого. Поэтому я стараюсь себе создавать такие условия, обращаю внимание на какие-то образы и сходства между сферами в жизни. 

Когда я придумал выигрышную гипотезу для нашего решения, я был вообще полусонным, спускался в подземный переход, где чуть не упал на лестнице, слушал Drab Majesty и летал мысленно вокруг разных идей. В других соревнованиях были похожие ситуации: обычно все лучшее придумывалось, когда мысли были фоновым процессом в голове. Однако только на это полагаться не рекомендую, стоит иметь какие-то наработки. А в целом хочу пожелать всем невероятных идей и счастья!

______________________________________________________________

Поздравляем Александра и желаем новых успехов!

Информацию о мероприятии и его результаты можно найти по ссылке.