Разбор задачи про быстрый CPU-инференс на 39 млн строк биржевых данных (Alfa Connectome)

📊 Разбор задачи про быстрый CPU-инференс на 39 млн строк биржевых данных (Alfa Connectome) Для тех, кто ищет сложную задачу по временным рядам (Time Series / Sequence Modeling) в портфолио или рассматривает переход в финтех и HFT, сейчас идет финальный месяц соревнования Alfa Connectome от Wunder Fund. На текущий момент в лидерборде уже около 15 000 сабмишенов, а плотность результатов в топе наглядно показывает специфику работы квантов. Что интересного с точки зрения ML-инжиниринга: 1) Кросс-инструментальная динамика без ручного тюнинга фичей Данные (train.parquet и valid.parquet) представляют собой нарезку по 20 000 последовательных состояний ордербуков и сделок. Признаки (N ~200) намеренно анонимизированы, чтобы убрать преимущество финансового домена и сфокусировать задачу исключительно на моделировании зашумленных нестационарных рядов. Нужно предсказывать два таргета (t0, t1), оцениваемых по взвешенной корреляции Пирсона (с клиппингом в [-2.0, 2.0]). 2 ) Жесткие требования к оптимизации кода: Задача приближена к реальному продакшену в трейдинге. На этапе проверки код прогоняется на скрытом тесте из 39400000 строк. При этом контейнеру выделяется только 1 ядро CPU и 16 ГБ оперативной памяти (GPU нет), а уложиться нужно в 60 минут. При сбросе состояния модели на каждой новой последовательности (seq_ix) код должен отрабатывать доли миллисекунды на шаг. Организационные моменты и профит: • Участвовать можно индивидуально или в команде до 5 человек (объединение команд открыто до 1 ноября). • Прием решений закрывается 15 ноября, после чего до 1 декабря пройдет валидация на приватном пуле данных. • Первые 8 мест делят призовой фонд в $13,600 (от $5,000 за первое место до $600 за восьмое). Кроме того, авторы сильных технических решений получают инвайт на собеседование в сам фонд. Спецификация данных, правила и текущий лидерборд доступны на платформе: https://wundernn.io/