Data Scientist (Профессиональный уровень)

Экзаменационный билет №2

Теория:

1. Что такое feature drift и как его можно обнаружить?
2. Охарактеризуйте метод Random Forest и его преимущества.

Ответы на теорию:

1. Feature drift — это изменение распределения входных признаков со временем. Его можно обнаружить с помощью статистических тестов (например, KS-тест) или визуализации распределений.
2. Random Forest — это ансамблевый метод, состоящий из множества деревьев решений. Преимущества: устойчивость к переобучению, возможность работы с категориальными данными, высокая точность без тонкой настройки.

Практика:

С использованием библиотеки Scikit-learn реализуйте классификацию данных из датасета iris, построив модель случайного леса и выведя матрицу ошибок.

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix

# Загрузка данных
data = load_iris()
X, y = data.data, data.target

# Разделение выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Обучение модели
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# Предсказания
y_pred = model.predict(X_test)

# Матрица ошибок
print(confusion_matrix(y_test, y_pred))

Экзаменационный билет №3

Теория:

1. Что такое градиентный бустинг и какие его реализации вы знаете?
2. Что такое SHAP и зачем он используется в Data Science?

Ответы на теорию:

1. Градиентный бустинг — это ансамблевый метод, при котором модели строятся последовательно, исправляя ошибки предыдущих. Реализации: XGBoost, LightGBM, CatBoost.
2. SHAP (SHapley Additive exPlanations) — это метод интерпретации модели, основанный на кооперативной теории игр. Позволяет понять, какой вклад вносит каждый признак в финальное предсказание.

Практика:

Загрузите датасет breast_cancer из Scikit-learn, обучите модель градиентного бустинга и выведите значения важности фичей.

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier
import pandas as pd

# Загрузка данных
data = load_breast_cancer()
X, y = data.data, data.target

# Обучение модели
model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
model.fit(X, y)

# Важность фичей
feature_importance = pd.DataFrame({
    'Feature': data.feature_names,
    'Importance': model.feature_importances_
}).sort_values(by='Importance', ascending=False)

print(feature_importance)

Экзаменационный билет №4

Теория:

1. Что такое A/B-тестирование и как оно проводится?
2. Какие метрики используются в задачах кластеризации?

Ответы на теорию:

1. A/B-тестирование — это метод сравнения двух версий продукта. Пользователи случайным образом распределяются по группам, собираются метрики, и проводится статистический анализ различий.
2. Для кластеризации используются метрики: Silhouette Score, Adjusted Rand Index (ARI), Davies–Bouldin Index, Calinski-Harabasz Index.

Практика:

Используя датасет make_blobs, примените алгоритм KMeans, визуализируйте кластеры и рассчитайте Silhouette Score.

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

# Создание данных
X, y = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=42)

# Кластеризация
kmeans = KMeans(n_clusters=4, random_state=42)
labels = kmeans.fit_predict(X)

# Silhouette Score
score = silhouette_score(X, labels)
print(f"Silhouette Score: {score:.2f}")

# Визуализация
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], s=200, c='red', label='Центры')
plt.title('KMeans кластеризация')
plt.legend()
plt.show()

Экзаменационный билет №5

Теория:

1. Что такое CI/CD и как он применяется в MLOps?
2. Что такое concept drift и как с ним работать?

Ответы на теорию:

1. CI/CD — это подход к автоматизации сборки, тестирования и развертывания кода. В MLOps он используется для автоматического запуска обучения модели при изменении данных или кода и последующего деплоя.
2. Concept drift — это изменение зависимости между входными данными и целевой переменной. С этим борются через периодическое переобучение модели или использование адаптивных алгоритмов.

Практика:

Напишите функцию, которая принимает датафрейм, проверяет наличие пропусков, заменяет их медианой и масштабирует данные с помощью StandardScaler.

import pandas as pd
from sklearn.preprocessing import StandardScaler

def preprocess_data(df):
    # Заполнение пропусков медианой
    df.fillna(df.median(), inplace=True)

    # Масштабирование
    scaler = StandardScaler()
    scaled_data = scaler.fit_transform(df)

    return scaled_data

# Пример использования:
# processed_data = preprocess_data(df)
# print(processed_data)

Экзаменационный билет №6

Теория:

1. Что такое модельный долг (model debt) и как его избежать?
2. Какие метрики используются для оценки качества рекомендательных систем?

Ответы на теорию:

1. Модельный долг — это совокупность технических сложностей, возникающих при использовании ML-моделей в production. Избегают его через чистый код, документирование, регулярную ретрейнировку и тестирование.
2. В рекомендательных системах применяются такие метрики, как MAP@K (Mean Average Precision at K), NDCG (Normalized Discounted Cumulative Gain), Recall@K.

Практика:

Создайте функцию, которая принимает датасет с категориальными переменными и выполняет Target Encoding для указанного столбца.

import pandas as pd
from sklearn.model_selection import StratifiedKFold

def target_encode(df, cat_col, target_col, n_splits=5, smoothing=1):
    kf = StratifiedKFolds(n_splits=n_splits, shuffle=True, random_state=42)
    df_encoded = df.copy()
    mean_target = df[target_col].mean()
    skf = StratifiedKFold(n_splits=n_splits)

    for train_idx, val_idx in skf.split(df, df[target_col]):
        X_tr, X_val = df.iloc[train_idx], df.iloc[val_idx]
        target_mean = X_tr.groupby(cat_col)[target_col].mean()
        count = X_tr.groupby(cat_col)[target_col].size()
        smooth = (count * target_mean + smoothing * mean_target) / (count + smoothing)
        df_encoded.loc[X_val.index, cat_col] = X_val[cat_col].map(smooth).fillna(mean_target)
    
    return df_encoded

Экзаменационный билет №7

Теория:

1. Что такое ETL и как он связан с Data Science?
2. Какие инструменты используются для реализации ETL?

Ответы на теорию:

1. ETL (Extract, Transform, Load) — процесс извлечения, преобразования и загрузки данных. В Data Science он используется для подготовки данных перед обучением или инференсом.
2. Для реализации ETL используются: Apache Airflow, Luigi, Prefect, Pandas, Spark, SQL, AWS Glue.

Практика:

Напишите скрипт, который загружает данные из CSV, фильтрует строки с пропущенными значениями в колонке 'price', заполняет их медианой и сохраняет очищенный датафрейм в новый файл.

import pandas as pd

# Загрузка данных
df = pd.read_csv('products.csv')

# Фильтрация пропусков
missing_mask = df['price'].isnull()

# Заполнение медианой
median_price = df['price'].median()
df['price'].fillna(median_price, inplace=True)

# Сохранение результата
df.to_csv('products_cleaned.csv', index=False)

Экзаменационный билет №8

Теория:

1. Что такое feature store и зачем он нужен?
2. Какие основные компоненты архитектуры MLOps?

Ответы на теорию:

1. Feature store — это централизованное хранилище для признаков, которое позволяет повторно использовать вычисленные фичи, синхронизировать их между тренировкой и инференсом и ускорить процесс подготовки данных.
2. Основные компоненты MLOps: pipeline обработки данных, pipeline обучения модели, система оценки качества, деплой модели, мониторинг производительности, управление версиями.

Практика:

Используя библиотеку mlflow, запустите эксперимент, где обучается модель линейной регрессии и логируются параметры и метрики.

import mlflow
import mlflow.sklearn
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_regression

# Генерация данных
X, y = make_regression(n_features=10, n_informative=5, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Настройка эксперимента
mlflow.set_experiment("LinearRegression_Experiment")

with mlflow.start_run():
    model = LinearRegression()
    model.fit(X_train, y_train)
    predictions = model.predict(X_test)

    # Логирование параметров и метрик
    mlflow.log_params(model.get_params())
    mlflow.log_metric("mse", mean_squared_error(y_test, predictions))
    mlflow.log_metric("r2", r2_score(y_test, predictions))

    # Логирование модели
    mlflow.sklearn.log_model(model, "model")

Экзаменационный билет №9

Теория:

1. Что такое data drift и какие типы drift вы знаете?
2. Какие способы сериализации моделей вы знаете?

Ответы на теорию:

1. Data drift — изменение распределения входных данных со временем. Типы: covariate shift, concept drift, label drift.
2. Сериализация моделей: Pickle, Joblib, ONNX, PMML, TorchScript (PyTorch), SavedModel (TensorFlow).

Практика:

Напишите код, который обучает модель градиентного бустинга, сохраняет её в формате .pkl и загружает обратно.

import pickle
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_breast_cancer

# Загрузка данных
data = load_breast_cancer()
X, y = data.data, data.target

# Обучение
model = GradientBoostingClassifier(random_state=42)
model.fit(X, y)

# Сохранение модели
with open('gb_model.pkl', 'wb') as f:
    pickle.dump(model, f)

# Загрузка модели
with open('gb_model.pkl', 'rb') as f:
    loaded_model = pickle.load(f)

print("Модель успешно загружена.")

Экзаменационный билет №10

Теория:

1. Что такое DAG и как он используется в Airflow?
2. Какие подходы к подбору гиперпараметров вы знаете?

Ответы на теорию:

1. DAG (Directed Acyclic Graph) — направленный ациклический граф, описывающий порядок выполнения задач. В Airflow он используется для планирования и отслеживания зависимостей между этапами pipeline.
2. Подходы к подбору гиперпараметров: GridSearchCV, RandomizedSearchCV, Bayesian Optimization, Optuna, Hyperopt.

Практика:

Реализуйте GridSearchCV для поиска оптимальных гиперпараметров модели случайного леса на датасете iris.

from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

# Загрузка данных
data = load_iris()
X, y = data.data, data.target

# Параметры для поиска
param_grid = {
    'n_estimators': [50, 100],
    'max_depth': [None, 10, 20],
    'min_samples_split': [2, 5]
}

# Поиск
grid_search = GridSearchCV(RandomForestClassifier(random_state=42), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X, y)

# Лучшие параметры
print("Лучшие параметры:", grid_search.best_params_)
print("Лучшая точность:", grid_search.best_score_)

Экзаменационный билет №11

Теория:

1. Что такое feature engineering и какие методы вы знаете?
2. Какие инструменты используются для деплоя моделей машинного обучения?

Ответы на теорию:

1. Feature engineering — это процесс создания новых признаков или преобразования существующих для улучшения качества модели. Методы: создание полиномиальных фич, биннинг, кодирование категорий, масштабирование, взаимодействия между признаками.
2. Для деплоя моделей используются: Flask, FastAPI, Streamlit, Docker, Kubernetes, AWS SageMaker, Google AI Platform, ONNX Runtime.

Практика:

Напишите функцию, которая принимает датафрейм и список числовых колонок, нормализует их с помощью MinMaxScaler и возвращает обновлённый датафрейм.

import pandas as pd
from sklearn.preprocessing import MinMaxScaler

def normalize_features(df, numeric_cols):
    scaler = MinMaxScaler()
    df[numeric_cols] = scaler.fit_transform(df[numeric_cols])
    return df

# Пример использования:
# normalized_df = normalize_features(df, ['age', 'salary'])

Экзаменационный билет №12

Теория:

1. Что такое ROC-AUC и как интерпретировать его значение?
2. Что такое bias-variance trade-off?

Ответы на теорию:

1. ROC-AUC — это площадь под ROC-кривой, показывающая, насколько хорошо модель различает классы. Значение от 0 до 1, где 1 — идеальная модель, 0.5 — случайная.
2. Это компромисс между смещением (ошибка упрощённой модели) и дисперсией (чувствительность к данным). Баланс между ними улучшает качество модели.

Практика:

Создайте функцию, которая строит ROC-кривую и рассчитывает AUC для бинарной классификации.

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

def plot_roc_curve(y_true, y_scores):
    fpr, tpr, _ = roc_curve(y_true, y_scores)
    roc_auc = auc(fpr, tpr)

    plt.figure()
    plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (AUC = {roc_auc:.2f})')
    plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('ROC Curve')
    plt.legend(loc="lower right")
    plt.show()

# Пример вызова:
# plot_roc_curve(y_test, model.predict_proba(X_test)[:, 1])

Экзаменационный билет №13

Теория:

1. Что такое SHAP и зачем он используется в Data Science?
2. Что такое пайплайн в Scikit-learn и почему он важен?

Ответы на теорию:

1. SHAP (SHapley Additive exPlanations) — метод интерпретации модели, основанный на теории кооперативных игр. Он позволяет понять, какой вклад вносит каждый признак в предсказание.
2. Пайплайн в Scikit-learn объединяет этапы предобработки и моделирования в один объект. Он важен для чистоты кода, повторного использования и предотвращения утечки данных.

Практика:

Создайте пайплайн, который выполняет StandardScaler, PCA и обучает модель LogisticRegression на датасете breast_cancer.

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

# Загрузка данных
data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Создание пайплайна
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('pca', PCA(n_components=10)),
    ('classifier', LogisticRegression())
])

# Обучение
pipeline.fit(X_train, y_train)

# Оценка
score = pipeline.score(X_test, y_test)
print(f"Accuracy: {score:.2f}")

Экзаменационный билет №14

Теория:

1. Что такое TF-IDF и где он применяется?
2. Какие типы рекомендательных систем вы знаете?

Ответы на теорию:

1. TF-IDF (Term Frequency-Inverse Document Frequency) — мера важности слова в документе относительно коллекции. Применяется в NLP для преобразования текста в числовые векторы.
2. Типы рекомендательных систем: content-based, collaborative filtering, гибридные, knowledge-based, demographic.

Практика:

Преобразуйте набор текстовых документов в числовые векторы с использованием TF-IDF и обучите простую модель классификации.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split

# Исходные данные
texts = ["I love programming", "Machine learning is fun", "Python is great", "Deep learning is powerful"]
labels = [1, 1, 0, 1]  # 1 - технические, 0 - не технические

# Разделение выборки
X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.25, random_state=42)

# Пайплайн
model = make_pipeline(TfidfVectorizer(), LogisticRegression())
model.fit(X_train, y_train)

# Оценка
score = model.score(X_test, y_test)
print(f"Accuracy: {score:.2f}")

Экзаменационный билет №15

Теория:

1. Что такое dropout и зачем он используется в нейронных сетях?
2. Что такое модельный пайплайн и из чего он состоит?

Ответы на теорию:

1. Dropout — это метод регуляризации, при котором случайные нейроны отключаются во время обучения, чтобы предотвратить переобучение.
2. Модельный пайплайн — это полный цикл работы модели: сбор данных, предобработка, обучение, оценка, деплой, мониторинг, переобучение.

Практика:

Обучите простую нейросеть с dropout на датасете digits и протестируйте её точность.

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout
from tensorflow.keras.utils import to_categorical

# Загрузка данных
digits = load_digits()
X, y = digits.data, digits.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Подготовка целевой переменной
y_train_cat = to_categorical(y_train)
y_test_cat = to_categorical(y_test)

# Архитектура сети
model = Sequential([
    Dense(128, activation='relu', input_shape=(64,)),
    Dropout(0.5),
    Dense(64, activation='relu'),
    Dropout(0.5),
    Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# Обучение
model.fit(X_train, y_train_cat, epochs=10, batch_size=32, validation_split=0.2, verbose=0)

# Оценка
loss, accuracy = model.evaluate(X_test, y_test_cat, verbose=0)
print(f"Test Accuracy: {accuracy:.2f}")