Machine Learning Engineer (Профессиональный уровень)

Теоретическая часть:

1. Что такое CI/CD в контексте MLOps? Какие особенности отличают его от классического DevOps CI/CD?
2. Охарактеризуйте основные стратегии обработки missing values в production-данных.

Ответы на теоретическую часть:

1. CI/CD в MLOps — это автоматизация процессов обучения, тестирования и деплоя ML-моделей. В отличие от классического DevOps, здесь тестируются не только код и инфраструктура, но и данные, метрики качества, корректность моделирования. Также проверяется соответствие новой версии модели baseline-результатам и её готовность к production.

2. Основные стратегии:

   • Imputation : заполнение пропусков средним, медианой, модой.
   • Использование флаг-признака , указывающего на наличие NaN.
   • Обучение модели с учётом пропусков , например, XGBoost или LightGBM.
   • Предобработка перед inference , чтобы избежать ошибок при наличии пустых значений.

Практическая часть:

3. Напишите скрипт на Python, который использует библиотеку MLflow для логирования параметров, метрик и обученной модели (например, RandomForestRegressor) на датасете boston.

import mlflow
import mlflow.sklearn
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# Загрузка данных
boston = load_boston()
X, y = boston.data, boston.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Настройки MLflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.set_experiment("Boston Housing")

# Обучение модели
with mlflow.start_run():
    params = {"n_estimators": 100, "max_depth": 5, "random_state": 42}
    model = RandomForestRegressor(**params)
    model.fit(X_train, y_train)

    # Предикт и оценка
    predictions = model.predict(X_test)
    rmse = mean_squared_error(y_test, predictions, squared=False)

    # Логирование
    mlflow.log_params(params)
    mlflow.log_metric("rmse", rmse)
    mlflow.sklearn.log_model(model, "model")

Экзаменационный билет №7

Теоретическая часть:

1. Что такое feature leakage и как он влияет на качество модели? Как его можно обнаружить и предотвратить?
2. Охарактеризуйте понятие bias-variance tradeoff и его влияние на выбор модели.

Ответы на теоретическую часть:

1. Feature leakage — это использование информации, недоступной во время inference, что приводит к переобучению. Например, использование future data или целевой переменной в признаках. Обнаруживается через корреляционный анализ, валидацию pipeline и unit-тестирование. Предотвращается через правильное разделение выборок и аудит кода feature engineering.

2. Bias-variance tradeoff — это баланс между недообучением (высокий bias) и переобучением (высокая variance). Высокий bias приводит к систематическим ошибкам, high variance — к нестабильным предсказаниям. При выборе модели важно учитывать сложность задачи и объем данных, применяя регуляризацию и подбор гиперпараметров.

Практическая часть:

3. Напишите скрипт, который реализует простую систему мониторинга дрейфа данных с использованием библиотеки evidently

   import pandas as pd
   from evidently.test_suite import TestSuite
   from evidently.tests import TestColumnDrift
   
   # Загрузка данных
   reference_data = pd.read_csv('train.csv')
   current_data = pd.read_csv('test.csv')
   
   # Тест на дрейфт по числовому столбцу 'age'
   test_age_drift = TestColumnDrift(column_name='age', stattest='ks')
   
   # Создание набора тестов
   data_drift_suite = TestSuite(tests=[test_age_drift])
   data_drift_suite.run(reference_data=reference_data, current_data=current_data)
   
   # Сохранение результата в HTML
   data_drift_suite.save_html("data_drift_report.html")

Экзаменационный билет №8

Теоретическая часть:

1. Что такое distributed training и какие типы параллелизма используются при его реализации?
2. Охарактеризуйте best practices по управлению зависимостями в ML-проектах.

Ответы на теоретическую часть:

1. Distributed training — это обучение модели на нескольких GPU/TPU/узлах. Используются два типа параллелизма:

   • Data parallelism — разные части датасета обрабатываются разными устройствами.
   • Model parallelism — разные части модели распределены по устройствам. Фреймворки: PyTorch Distributed, TensorFlow MirroredStrategy, Horovod.

2. Best practices:

   • Использование virtual environments (venv, conda).
   • Lock-файлы (requirements.txt, Pipfile.lock, poetry.lock).
   • Контейнеризация (Docker).
   • Автоматическое тестирование совместимости в CI/CD.
   • Четкое разделение dev/prod зависимостей.

Практическая часть:

3. Напишите скрипт на Python, который реализует online learning с помощью River, обрабатывая поток данных.

from river import linear_model, preprocessing
from river import metrics
from river.datasets import synth

# Синтетический поток данных
dataset = synth.ConceptDriftStream(stream=synth.STAGGER(), drift_stream=synth.Agrawal(), position=500, width=10)

# Модель и метрика
model = preprocessing.StandardScaler() | linear_model.LogisticRegression()
metric = metrics.Accuracy()

# Обработка потока
for x, y in dataset:
    y_pred = model.predict_one(x)
    model = model.learn_one(x, y)
    if y_pred is not None:
        metric = metric.update(y, y_pred)

print(f'Final accuracy: {metric.get():.4f}')

Экзаменационный билет №9

Теоретическая часть:

1. Что такое explainable AI и зачем она нужна? Приведите примеры библиотек и методов.
2. Охарактеризуйте основные проблемы при работе с категориальными признаками в больших датасетах.

Ответы на теоретическую часть:

1. Explainable AI (XAI) — это подходы к интерпретации решений ML-моделей. Необходима для соблюдения регуляторных требований, повышения доверия к модели и выявления потенциальных проблем.
   Примеры методов:

   • SHAP
   • LIME
   • Partial Dependence Plots
   • Attention visualization Примеры библиотек:
   • SHAP
   • Captum
   • Alibi
   • ELI5

2. Проблемы:

   • Высокая размерность после one-hot encoding → использование embedding-слоёв или target encoding.
   • Редкие категории → объединение в группу "other" или использование CatBoost/LightGBM.
   • Нестабильность признаков → статистическое тестирование на стабильность.
   • Сложность обработки в scale → применение Spark/Polars для параллельной обработки.

Практическая часть:

3. Напишите скрипт, который реализует feature store на базе Feast с одной offline и одной online feature.

from feast import FeatureStore, Entity, FeatureView, Feature, FileSource
from datetime import timedelta
import pandas as pd

# Создание entity
user = Entity(name="user_id", description="User identifier")

# Определение источника данных
source = FileSource(
    path="data/user_features.parquet",
    event_timestamp_column="event_timestamp"
)

# Feature View
user_fv = FeatureView(
    name="user_features",
    entities=["user_id"],
    ttl=timedelta(days=1),
    features=[
        Feature(name="age", dtype=ValueType.INT32),
        Feature(name="income", dtype=ValueType.FLOAT)
    ],
    online=True,
    source=source,
    description="User static features"
)

# Инициализация store
store = FeatureStore(repo_path=".")
store.apply([user, user_fv])

# Загрузка данных в offline store
df = pd.DataFrame({
    "user_id": [1, 2, 3],
    "age": [25, 30, 35],
    "income": [50000, 70000, 90000],
    "event_timestamp": pd.to_datetime(["2023-01-01", "2023-01-02", "2023-01-03"])
})
store.write_to_offline_store(user_fv, df)

# Получение онлайн-признаков
online_features = store.get_online_features(
    features=["user_features.age", "user_features.income"],
    entity_rows=[{"user_id": 1}]
).to_dict()
print(online_features)

Экзаменационный билет №10

Теоретическая часть:

1. Что такое feature store и какие компоненты он включает? Какие библиотеки используются для его реализации?
2. Охарактеризуйте основные факторы, влияющие на latency модели в production.

Ответы на теоретическую часть:

1. Feature store — это централизованное хранилище признаков, позволяющее повторно использовать фичи, ускорить разработку и обеспечить согласованность между training и inference.
   Компоненты:

   • Offline store (Parquet, Delta Lake)
   • Online store (Redis, Cassandra)
   • Feature registry
   • Compute engine (Spark, Flink)
     Библиотеки: Feast, Hopsworks, Ludwig Feature Store.

2. Факторы, влияющие на latency:

   • Сложность модели (глубина нейросети, количество деревьев).
   • Размер входного запроса.
   • Использование CPU vs GPU.
   • Сеть (API latency, serialization overhead).
   • Параллелизм и оптимизация I/O.

Практическая часть:

3. Напишите скрипт, который использует PyTorch Lightning для обучения модели и сохраняет её в формате ONNX.

import torch
from torch import nn
from torch.nn import functional as F
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision import transforms
import pytorch_lightning as pl

class LitModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.layer_1 = nn.Linear(28 * 28, 128)
        self.layer_2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(x.size(0), -1)
        x = self.layer_1(x)
        x = F.relu(x)
        return self.layer_2(x)

    def training_step(self, batch, batch_idx):
        x, y = batch
        y_hat = self(x)
        loss = F.cross_entropy(y_hat, y)
        self.log("train_loss", loss)
        return loss

    def configure_optimizers(self):
        return torch.optim.Adam(self.parameters(), lr=1e-3)

# Подготовка данных
transform = transforms.ToTensor()
dataset = MNIST(".", download=True, transform=transform)
loader = DataLoader(dataset, batch_size=32)

# Обучение
model = LitModel()
trainer = pl.Trainer(max_epochs=3, accelerator="cpu")
trainer.fit(model, loader)

# Экспорт в ONNX
dummy_input = torch.randn(1, 1, 28, 28)
torch.onnx.export(model, dummy_input, "mnist_model.onnx", export_params=True)

Экзаменационный билет №11

Теоретическая часть:

1. Что такое feature drift и как он влияет на качество ML-модели? Какие метрики и инструменты используются для его обнаружения?
2. Охарактеризуйте основные аспекты проектирования ML-систем в условиях GDPR.

Ответы на теоретическую часть:

1. Feature drift — это изменение статистических характеристик входных данных со временем, что может привести к ухудшению качества модели. Он особенно критичен в production-средах, где данные динамичны.
   Для обнаружения применяются:

   • Статистические тесты: K-S тест, PSI (Population Stability Index), KL-дивергенция.
   • Библиотеки: Evidently AI, WhyLogs, Alibi Detect, Scikit-learn.
   • Мониторинг корреляций и распределений фичей.

2. При проектировании ML-систем под GDPR необходимо учитывать:

   • Право на объяснение решений модели (Explainable AI).
   • Шифрование и анонимизация персональных данных.
   • Возможность удаления данных пользователя («право на забвение»).
   • Локализация хранения данных.
   • Документирование сбора и использования данных.
   • Учет согласия пользователя на использование его данных.

Практическая часть:

3. Напишите скрипт на Python, который реализует мониторинг дрейфа признаков с помощью библиотеки evidently и сохраняет отчёт в формате HTML.

import pandas as pd
from evidently.test_suite import TestSuite
from evidently.tests import TestColumnDrift

# Загрузка данных
reference_data = pd.read_csv('train.csv')
current_data = pd.read_csv('test.csv')

# Тест на дрейфт по числовому столбцу 'age'
test_age_drift = TestColumnDrift(column_name='age', stattest='ks')

# Создание набора тестов
data_drift_suite = TestSuite(tests=[test_age_drift])
data_drift_suite.run(reference_data=reference_data, current_data=current_data)

# Сохранение результата в HTML
data_drift_suite.save_html("data_drift_report.html")

Экзаменационный билет №12

Теоретическая часть:

1. Что такое online learning и в каких задачах он применим? Какие библиотеки поддерживают этот подход?
2. Охарактеризуйте основные проблемы при работе с категориальными признаками в больших датасетах и методы их решения.

Ответы на теоретическую часть:

1. Online learning — это обучение модели на потоке данных по одному примеру или маленькому батчу. Применяется в системах рекомендаций, детектировании мошенничества, финансовых прогнозах.
   Поддерживающие библиотеки:

   • River
   • Vowpal Wabbit
   • Scikit-learn (partial_fit)
   • TensorFlow Dataset Streaming API

2. Проблемы при работе с категориальными признаками:

   • Высокая размерность после one-hot encoding → использование embedding-слоёв или target encoding.
   • Редкие категории → группировка в "other" или применение CatBoost/LightGBM.
   • Нестабильность признаков → статистическое тестирование на стабильность.
   • Обработка в scale → Spark/Polars для параллельной обработки.

Практическая часть:

3. Напишите скрипт на Python, который реализует online learning с помощью River, обрабатывая поток данных.

from river import linear_model, preprocessing
from river import metrics
from river.datasets import synth

# Синтетический поток данных
dataset = synth.ConceptDriftStream(stream=synth.STAGGER(), drift_stream=synth.Agrawal(), position=500, width=10)

# Модель и метрика
model = preprocessing.StandardScaler() | linear_model.LogisticRegression()
metric = metrics.Accuracy()

# Обработка потока
for x, y in dataset:
    y_pred = model.predict_one(x)
    model = model.learn_one(x, y)
    if y_pred is not None:
        metric = metric.update(y, y_pred)

print(f'Final accuracy: {metric.get():.4f}')

Экзаменационный билет №13

Теоретическая часть:

1. Что такое explainable AI и зачем она нужна? Приведите примеры библиотек и методов.
2. Охарактеризуйте best practices по управлению зависимостями в ML-проектах.

Ответы на теоретическую часть:

1. Explainable AI (XAI) — это подходы к интерпретации решений ML-моделей. Необходима для соблюдения регуляторных требований, повышения доверия к модели и выявления потенциальных проблем.
   Примеры методов:

   • SHAP
   • LIME
   • Partial Dependence Plots
   • Integrated Gradients
   • Attention visualization Примеры библиотек:
   • SHAP
   • Captum
   • Alibi
   • ELI5

2. Best practices:

   • Использование virtual environments (venv, conda).
   • Lock-файлы (requirements.txt, Pipfile.lock, poetry.lock).
   • Контейнеризация (Docker).
   • Автоматическое тестирование совместимости в CI/CD.
   • Четкое разделение dev/prod зависимостей.

Практическая часть:

3. Напишите Dockerfile для запуска Flask API, предоставляющего эндпоинт /predict для модели, сохранённой в формате .pkl. Предположите, что модель принимает JSON с числовыми значениями.

FROM python:3.9-slim

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 5000

CMD ["gunicorn", "--bind", "0.0.0.0:5000", "app:app"]

# app.py
from flask import Flask, request, jsonify
import joblib
import numpy as np

app = Flask(__name__)
model = joblib.load('model.pkl')

@app.route('/predict', methods=['POST'])
def predict():
    data = request.get_json(force=True)
    prediction = model.predict(np.array(data['features']).reshape(1, -1))
    return jsonify({'prediction': int(prediction[0])})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

# requirements.txt
flask
gunicorn
scikit-learn
numpy

Экзаменационный билет №14

Теоретическая часть:

1. Что такое distributed training и какие типы параллелизма используются при его реализации?
2. Охарактеризуйте основные факторы, влияющие на latency модели в production.

Ответы на теоретическую часть:

1. Distributed training — это обучение модели на нескольких GPU/TPU/узлах. Используются два типа параллелизма:

   • Data parallelism — разные части датасета обрабатываются разными устройствами.
   • Model parallelism — разные части модели распределены по устройствам. Фреймворки: PyTorch Distributed, TensorFlow MirroredStrategy, Horovod.

2. Факторы, влияющие на latency:

   • Сложность модели (глубина нейросети, количество деревьев).
   • Размер входного запроса.
   • Использование CPU vs GPU.
   • Сеть (API latency, serialization overhead).
   • Параллелизм и оптимизация I/O.

Практическая часть:

3. Напишите скрипт на PyTorch, который создаёт простую полносвязную нейросеть, обучает её на датасете MNIST и сохраняет модель в формате TorchScript.

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader

# Гиперпараметры
batch_size = 64
lr = 0.001
epochs = 3

# Подготовка данных
transform = transforms.ToTensor()
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)

# Модель
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Sequential(
            nn.Linear(28 * 28, 128),
            nn.ReLU(),
            nn.Linear(128, 10)
        )

    def forward(self, x):
        return self.fc(x.view(-1, 28*28))

model = Net()

# Обучение
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=lr)

for epoch in range(epochs):
    for images, labels in train_loader:
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f'Epoch {epoch+1}, Loss: {loss.item():.4f}')

# Сохранение в TorchScript
script_model = torch.jit.script(model)
torch.jit.save(script_model, "mnist_model.pt")

Экзаменационный билет №15

Теоретическая часть:

1. Что такое feature store и какие компоненты он включает? Какие библиотеки используются для его реализации?
2. Охарактеризуйте основные стратегии деплоя новых версий моделей в production.

Ответы на теоретическую часть:

1. Feature store — это централизованное хранилище признаков, позволяющее повторно использовать фичи, ускорить разработку и обеспечить согласованность между training и inference.
   Компоненты:

   • Offline store (Parquet, Delta Lake)
   • Online store (Redis, Cassandra)
   • Feature registry
   • Compute engine (Spark, Flink)
     Библиотеки: Feast, Hopsworks, Ludwig Feature Store.

2. Основные стратегии деплоя новых версий моделей:

   • Blue-Green deployment : параллельный запуск старой и новой версий, переключение трафика после проверки.
   • Canary release : постепенный перевод части пользователей на новую модель.
   • Shadow deployment : одновременная обработка запроса обеими версиями без влияния на пользователя.
   • A/B testing : разделение трафика между моделями для сравнения метрик.
   • Rolling update : поэтапное обновление без полного downtime.

Практическая часть:

3. Напишите скрипт, который реализует feature store на базе Feast с одной offline и одной online feature.

from feast import FeatureStore, Entity, FeatureView, Feature, FileSource
from datetime import timedelta
import pandas as pd

# Создание entity
user = Entity(name="user_id", description="User identifier")

# Определение источника данных
source = FileSource(
    path="data/user_features.parquet",
    event_timestamp_column="event_timestamp"
)

# Feature View
user_fv = FeatureView(
    name="user_features",
    entities=["user_id"],
    ttl=timedelta(days=1),
    features=[
        Feature(name="age", dtype=ValueType.INT32),
        Feature(name="income", dtype=ValueType.FLOAT)
    ],
    online=True,
    source=source,
    description="User static features"
)

# Инициализация store
store = FeatureStore(repo_path=".")
store.apply([user, user_fv])

# Загрузка данных в offline store
df = pd.DataFrame({
    "user_id": [1, 2, 3],
    "age": [25, 30, 35],
    "income": [50000, 70000, 90000],
    "event_timestamp": pd.to_datetime(["2023-01-01", "2023-01-02", "2023-01-03"])
})
store.write_to_offline_store(user_fv, df)

# Получение онлайн-признаков
online_features = store.get_online_features(
    features=["user_features.age", "user_features.income"],
    entity_rows=[{"user_id": 1}]
).to_dict()
print(online_features)