~ Основные термины машинного обучения. Задача классификации, регрессии.
~ Функция потерь. Оптимизация. Перебор по сетке.
~ Производная, частные производные, градиент. Методы оценки градиента.
~ Градиентный спуск, проблема выбора шага.
~ Стохастический градиентный спуск. Использование момента.
~ Метод отжига.
~ Adagrad, Adadelta, Adam.
~ RMSProp*.

~ Постановка задачи линейной регрессии. Вероятностная интерпретация.
~ Метод наименьших квадратов. Алгебраическое и оптимизационное решения.
~ Ковариация, корреляция.
~ Критерий R2.
~ Анализ остатков. Гомоскедастичность. Квартет Анскомба.
~ Решение для неквадратных и плохо обусловненных матриц.
~ Регуляризация Ridge, LASSO, Elastic*.
~ Обобщённые линейные модели (generalized linear models)*.
~ Обобщённые аддитивные модели (generalized additive models)*.

~ Многопараметрическая оптимизация.
~ Доминация и оптимальность по Парето.
~ Функция качества (fitness). Аппроксимация качества.
~ Общая идея генетического алгоритма.
~ Представление генома.
~ Методы селекции: пропорционально качеству, универсальная выборка (stochastic universal sampling), с наследием (reward-based), турнир. Стратегия элитизма.
~ Методы кроссовера. Двух и много-точечный, равномерный (по подмножествам), для перестановок.
~ Мутация. Влияние на скорость обучения.
~ Управление популяцией. Сегрегация, старение, распараллеливание.
~ Генетическое программирование*.

~ Базовый алгоритм классификации методом 1-NN и k-NN. Преимущества и недостатки.
~ Кросс-валидация методом "без одного" (leave one out).
~ Определение границ, показатель пограничности.
~ Сжатие по данным. Понятия выброса, прототипа, усвоенной точки. Алгоритм Харта (Hart).
~ Регрессия методом k-NN.
~ Взвешенные соседи.
~ Связь с градиентным спуском. Стохастическая формулировка, softmax.
~ Метод соседних компонент (neighbour component analysis)*.
~ Связь с выпуклой оптимизацией. Метод большого запаса (Large margin NN)*.
~ Оптимизация классификатора, k-d деревья, Hierarchical Navigable Small World*.
~ Хеши чувствительные к локальности, хеши сохраняющие локальность*.

~ Условная вероятность. Байесово решающее правило. Обновление вероятностей.
~ Наивный классификатор, предположение о независимости признаков.
~ Оценка плотности распределения для числовых признаков.
~ Эффективные алгоритмы наивного классификатора.
~ Байесова оптимизация*.
~ Алгоритм EM*.

~ Понятие дерева решений.
~ Понятие энтропии, определение информации по Шеннону.
~ Метрики: примеси Джини (Gini impurity), добавленная информация (information gain).
~ Алгоритмы ID3, CART.
~ Борьба с оверфиттингом: bagging, выборки признаков (random subspace method).
~ Ансамбли, случайный лес (Random Forest).
~ Деревья регрессии. Метрика вариации.
~ Непрерывные признаки. Использование главных компонент вместо признаков.
~ Сокращение дерева (pruning).
~ Другие алгоритмы вывода правил: 1-rule, RIPPER, bayesian rule lists*.
~ Комбинация с линейной регрессией (RuleFit)*.

~ Понятие и свойства метрики. Ослабление требования к неравенству треугольника.
~ Метрики L1, L2, Хемминга, Левенштейна, косинусное расстояние.
~ Потеря точности нормы в высоких размерностях.
~ Нормализация координат. Предварительная трансформация пространства признаков.
~ Метрика Махаланобиса.
~ Понятие центроида и представителя класса.
~ Центроидные алгоритмы: k-means, k-medoid.

~ Задача обучения без учителя, применения при эксплораторном анализе.
~ Неметрическая кластеризация: функция схожести, компоненты связности и остовные деревья, иерархическая кластеризация снизу вверх.
~ Алгоритмы основанные на плотности: DBSCAN, OPTICS.
~ Алгоритмы основанные на распределении: сумма гауссиан.
~ Нечёткая кластеризация, алгоритм c-means.
~ Метрики качества: leave-one-out, силуэт, индекс Дэвиса-Болдина (Davies-Bouldin), индекс Данна (Dunn).

~ Постановка задачи, причины и цели снижения размерности.
~ Выбор и извлечение признаков.
~ Подходы к выбору признаков: filtering, wrapping, embedding.
~ Расстояние между распределениями. Расстояние Кульбака-Лейблера. Взаимная информация.
~ Алгоритмы выбора признаков: на основе корреляции (CFS), взаимной информации, Relief.
~ Метод главных компонент (PCA).
~ Стохастическое вложение соседей с t-распределением (t-SNE).
~ Нелинейные обобщения метода главных компонент. Kernel PCA.*
~ Неотрицательное матричное разложение (NMF).*
~ Анализ независимых компонент (ICA).*

~ Задачи обработки текста: извлечение (extraction), поиск, классификация (тематическая, эмоциональная), перевод.
~ Разбиение на слова, пунктуация, лексический и морфологический анализ.
~ Определение частей речи, имён, основ слов.
~ Частотный анализ, представление bag-of-words, TF-IDF и его варианты.
~ N-грамы, byte-pair encoding.
~ Векторные представления, семантическая интерпретация алгебраических операций.
~ Унитарный код (One-hot encoding).
~ Алгоритмы Word2Vec и FastText.
~ Алгоритм GloVe.
~ Вероятностный латентно-семантический анализ (pLSA)*.
~ Латентное размещение Дирихле (Latent Dirichlet allocation)*.

~ Понятие бустинга. Бустинг для бинарной классификации, регрессии.
~ Градиентный бустинг.
~ AdaBoost. Алгоритм Виолы-Джонса.
~ Извлечение признаков. Признаки Хаара (Haar).
~ Бустинг деревьев решений. XGBoost.
~ LPBoost, BrownBoost, ComBoost, CatBoost*.

~ Дискретизация аналогового сигнала, теорема Котельникова.
~ Понятие спектра.
~ Преобразование Фурье. Дискретное косинусное преобразование (DCT).*
~ Сверточные фильтры, непрерывное и дискретное определение свёртки.
~ Сглаживающие фильтры. Фильтр Гаусса.
~ Дифференцирующие фильтры: Roberts cross, Sobel, Prewitt, Scharr.
~ Поиск границ. Алгоритм Кенни (Canny). Адаптивное сглаживание. Определение порога методом Отцу (Otsu).
~ Преобразование Хафа (Hough). Оптимизация с учётом направления градиента. Обобщения на многопараметрический и многомерный случай.

~ Визуализация вклада признаков: partial dependency plot, individual conditional expectation, accumulated local effects.