Соревнования и экспериментыKaggle проекты
Решения с упором на ансамбли, надежную (honest) обработку и валидацию, feature engineering и практическое использование GPU.
3-е место
Predicting Irrigation Need
01Решение, занявшее 3-е место в Predicting Irrigation Need, построено на объединении более 200 моделей. В ансамбль вошли XGBoost, LightGBM, CatBoost, TabM, PyTabKit/RealMLP, Trompt, HistGradientBoosting, RandomForest и Logistic Regression. Центральная идея - использовать различия в ошибках моделей: разнообразие подходов приносит пользу, когда они дополняют друг друга.
Объединение выполнялось через стекинг по OOF-предсказаниям. Такая схема позволяет обучать следующий уровень ансамбля на прогнозах для объектов, которые базовые модели не видели при обучении. На финальном этапе применялись голосование и ограниченная корректировка предсказаний (guarded override). В writeup разобраны устройство ансамбля и логика финального решения.
Ноутбук
Predicting Heart Disease
02Ансамблевое решение табличной задачи классификации сердечно-сосудистого риска. Ноутбук объединяет обучение нескольких моделей с использованием GPU и последующее объединение их предсказаний. Акцент сделан на совместном использовании моделей, каждая из которых по-своему описывает зависимости между признаками и целевой переменной.
Проект иллюстрирует построение ансамбля для бинарной классификации. Его методическая ценность - в переходе от отдельного алгоритма к совместному прогнозу и в организации вычислений при сравнении нескольких моделей. Подробности подготовки решения представлены в авторском ноутбуке.
Ноутбук
Predicting Smartphone Addiction
03Эксперимент с ранговым смешиванием предсказаний в задаче Predicting Smartphone Addiction. В решении используются Rank-Gauss и logit-rank преобразования: они меняют представление выходов моделей перед объединением в итоговый прогноз.
Ранговое представление помогает работать с предсказаниями, у которых различаются распределения и масштабы. Здесь внимание сосредоточено на этапе ансамблирования: важен не только выбор базовых моделей, но и способ согласования их выходов. В ноутбуке показан переход от отдельных предсказаний к файлу для отправки на соревнование.
Computer Vision
DualityAI - YOLO + Detectron2
04Проект по обнаружению объектов на геопространственных изображениях. В ноутбуке рассматриваются YOLO и Detectron2 - инструменты для построения систем компьютерного зрения. Работа переносит фокус с табличных признаков на пространственную структуру изображения и локализацию объектов.
Сравнение подходов к детекции полезно для понимания того, как устроены обработка изображений и представление предсказаний. Проект связан с задачами анализа геоданных, где результатом служит не только наличие объекта, но и его положение на изображении. Реализация приведена в авторском ноутбуке.
Tabular ML
Solana Boosting + Meta Model
05Решение для Solana Skill Sprint - Memcoin Graduation на основе градиентного бустинга и метамодели. Базовые алгоритмы формируют предсказания, которые затем используются на следующем уровне ансамбля.
Такое построение разделяет работу с исходными признаками и объединение прогнозов: метамодель оценивает, как совместно использовать ответы базовых алгоритмов. В центре проекта - последовательное сравнение моделей и построение общего решения для соревновательной задачи. Ноутбук содержит реализацию этого подхода.
CV / эксперимент
Computer Vision: цветы
06Эксперимент по многоклассовой классификации изображений с пятью категориями: ромашки, одуванчики, розы, подсолнечники и тюльпаны. Для работы подготовлен отдельный датасет; внимание уделено организации входного потока данных и сравнению генераторов изображений.
В задачах компьютерного зрения подготовка входных данных определяет, в каком виде изображения и метки поступают в модель. Этот проект посвящен именно этой части процесса и работе с несколькими визуально различающимися классами. По ссылке доступны авторский датасет и связанные материалы.
Профиль Kaggle
В профиле опубликованы различные соревнования, в которых я принимал участие, ноутбуки, датасеты, обсуждения и writeups.