Data Scientist (Начальный уровень)

Экзаменационный билет №1

Теория:

1. Что такое Data Science и какие задачи он решает?
2. Какие библиотеки Python чаще всего используются для анализа данных и визуализации?

Ответы на теорию:

1. Data Science — это междисциплинарная область, которая использует статистические и алгоритмические методы для извлечения знаний из структурированных и неструктурированных данных. Она решает такие задачи, как прогнозирование, классификация, кластеризация, выявление аномалий и анализ временных рядов.
2. Для анализа данных чаще всего применяются Pandas и NumPy, для визуализации — Matplotlib, Seaborn и Plotly.

Практика:

Напишите код на Python, который загружает CSV-файл data.csv, выводит первые 5 строк, проверяет наличие пропущенных значений и строит гистограмму для столбца 'age'.

import pandas as pd

# Загрузка данных
df = pd.read_csv('data.csv')

# Вывод первых 5 строк
print(df.head())

# Проверка пропущенных значений
print(df.isnull().sum())

# Построение гистограммы по столбцу 'age'
df['age'].hist()

Экзаменационный билет №2

Теория:

1. Что означают термины «медиана», «среднее значение» и «мода»?
2. Какие типы графиков вы знаете и для чего они используются?

Ответы на теорию:

1. Медиана — среднее значение в отсортированном наборе данных. Среднее значение — сумма всех чисел, делённая на их количество. Мода — наиболее часто встречающееся значение.
2. Гистограмма (распределение), диаграмма рассеяния (взаимосвязь), столбчатая диаграмма (сравнение категорий), линейный график (временные ряды), boxplot (выбросы и диапазон).

Практика:

Дан DataFrame с колонками 'name' и 'score'. Напишите код, который фильтрует строки, где 'score' больше 75, и сохраняет результат в новый CSV-файл 'high_scores.csv'.

import pandas as pd

# Загрузка данных
df = pd.read_csv('scores.csv')

# Фильтрация данных
filtered_df = df[df['score'] > 75]

# Сохранение результата в новый файл
filtered_df.to_csv('high_scores.csv', index=False)

Экзаменационный билет №3

Теория:

1. Что такое переобучение и как его можно избежать?
2. Охарактеризуйте метрики точности и полноты в задачах классификации.

Ответы на теорию:

1. Переобучение — это когда модель идеально подстраивается под тренировочные данные, но плохо обобщает на новых. Его можно избежать через регуляризацию, использование валидационной выборки, упрощение модели или увеличение количества данных.
2. Точность (precision) — доля правильно предсказанных положительных объектов среди всех предсказанных положительных. Полнота (recall) — доля правильно предсказанных положительных объектов среди всех реальных положительных.

Практика:

Используя библиотеку Matplotlib, постройте линейный график зависимости продаж от времени. Данные находятся в файле 'sales.csv' с колонками 'date' и 'revenue'.

import pandas as pd
import matplotlib.pyplot as plt

# Загрузка данных
df = pd.read_csv('sales.csv')

# Преобразование даты в формат datetime
df['date'] = pd.to_datetime(df['date'])

# Построение линейного графика
plt.plot(df['date'], df['revenue'])
plt.xlabel('Дата')
plt.ylabel('Выручка')
plt.title('Зависимость выручки от времени')
plt.show()

Экзаменационный билет №4

Теория:

1. Что представляет собой процесс очистки данных?
2. Что означает параметр random_state при разделении данных на обучающую и тестовую выборки?

Ответы на теорию:

1. Очистка данных — это этап подготовки, включающий удаление дубликатов, заполнение или удаление пропусков, коррекцию ошибок и преобразование типов данных.
2. Параметр random_state контролирует случайное разбиение данных, обеспечивая воспроизводимость результатов при повторных запусках.

Практика:

Напишите функцию на Python, которая принимает список чисел и возвращает среднее значение и медиану.

def mean_and_median(numbers):
    mean = sum(numbers) / len(numbers)
    sorted_numbers = sorted(numbers)
    n = len(sorted_numbers)
    if n % 2 == 0:
        median = (sorted_numbers[n//2 - 1] + sorted_numbers[n//2]) / 2
    else:
        median = sorted_numbers[n//2]
    return mean, median

# Пример использования
nums = [10, 20, 30, 40, 50]
mean, median = mean_and_median(nums)
print(f"Среднее: {mean}, Медиана: {median}")

Экзаменационный билет №5

Теория:

1. Что такое кросс-валидация и зачем она нужна?
2. Что такое One-Hot Encoding и почему он важен в машинном обучении?

Ответы на теорию:

1. Кросс-валидация — это метод оценки качества модели, при котором данные разбиваются на несколько частей, и модель последовательно обучается и тестируется на разных комбинациях этих частей. Это позволяет более точно оценить её эффективность.
2. One-Hot Encoding — это способ преобразования категориальных переменных в числовые значения путем создания новых бинарных столбцов. Он важен, потому что большинство моделей машинного обучения работают только с числовыми данными.

Практика:

Используя библиотеку Scikit-learn, выполните One-Hot кодирование для столбца 'color' в DataFrame, содержащего значения ['red', 'blue', 'green'].

import pandas as pd
from sklearn.preprocessing import OneHotEncoder

# Исходные данные
data = pd.DataFrame({'color': ['red', 'blue', 'green', 'red', 'blue']})

# One-Hot кодирование
encoder = OneHotEncoder(sparse_output=False)
encoded = encoder.fit_transform(data[['color']])
encoded_df = pd.DataFrame(encoded, columns=encoder.get_feature_names_out(['color']))

# Объединение с исходным DataFrame
result = pd.concat([data, encoded_df], axis=1).drop(columns=['color'])
print(result)

Экзаменационный билет №6

Теория:

1. Что такое корреляция и как она измеряется?
2. Какие основные этапы работы с данными в Data Science?

Ответы на теорию:

1. Корреляция — это статистическая мера, описывающая степень линейной зависимости между двумя переменными. Измеряется коэффициентом корреляции Пирсона, который принимает значения от -1 до 1.
2. Основные этапы: сбор данных, очистка, преобразование, анализ, визуализация, интерпретация результатов.

Практика:

Напишите код на Python, который считывает CSV-файл data.csv, выводит размер таблицы, проверяет типы данных и строит тепловую карту корреляции для числовых столбцов.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# Загрузка данных
df = pd.read_csv('data.csv')

# Вывод размера таблицы
print("Размер таблицы:", df.shape)

# Проверка типов данных
print("\nТипы данных:")
print(df.dtypes)

# Вычисление корреляционной матрицы
corr_matrix = df.corr()

# Построение тепловой карты
plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title('Тепловая карта корреляции')
plt.show()

Экзаменационный билет №7

Теория:

1. Что такое дисперсия и стандартное отклонение?
2. Что такое переобучение и недообучение модели?

Ответы на теорию:

1. Дисперсия — это среднеквадратическое отклонение значений от среднего. Стандартное отклонение — квадратный корень из дисперсии, используется для удобства интерпретации в тех же единицах измерения, что и данные.
2. Переобучение — модель слишком сложная, идеально подстраивается под тренировочные данные, но плохо работает на новых. Недообучение — модель слишком простая и не способна уловить закономерности даже в тренировочных данных.

Практика:

Используя библиотеку Pandas, выполните группировку по столбцу 'category', вычислите среднее значение по 'price' и отсортируйте результаты по убыванию.

import pandas as pd

# Загрузка данных
df = pd.read_csv('products.csv')

# Группировка и вычисление среднего
grouped = df.groupby('category')['price'].mean().reset_index()

# Сортировка по убыванию
sorted_grouped = grouped.sort_values(by='price', ascending=False)

# Вывод результата
print(sorted_grouped)

Экзаменационный билет №8

Теория:

1. Что такое метрики качества классификации и какие из них вы знаете?
2. Какие задачи решает машинное обучение без учителя?

Ответы на теорию:

1. Метрики качества классификации: accuracy, precision, recall, F1-score, ROC-AUC. Они помогают оценить эффективность модели в задачах распознавания классов.
2. Машинное обучение без учителя решает задачи кластеризации (группировка данных), снижения размерности (PCA), анализа ассоциаций и обнаружения аномалий.

Практика:

Загрузите данные из файла data.csv, заполните пропущенные значения в столбце 'age' медианой и сохраните изменённый файл обратно в CSV.

import pandas as pd

# Загрузка данных
df = pd.read_csv('data.csv')

# Заполнение пропусков медианой
median_age = df['age'].median()
df['age'].fillna(median_age, inplace=True)

# Сохранение изменённого файла
df.to_csv('data_filled.csv', index=False)

Экзаменационный билет №9

Теория:

1. Что такое регрессия и какие виды регрессии вы знаете?
2. Что такое PCA и зачем он нужен?

Ответы на теорию:

1. Регрессия — это задача предсказания непрерывных значений. Примеры: линейная регрессия, полиномиальная регрессия, логистическая регрессия (для классификации).
2. PCA (Principal Component Analysis) — метод снижения размерности, позволяющий уменьшить количество признаков, сохранив при этом максимальную информацию. Используется для упрощения моделей и визуализации.

Практика:

Создайте DataFrame из словаря: {'name': ['Alice', 'Bob', 'Charlie'], 'score': [85, 90, 78]}. Добавьте новый столбец 'status', где значение будет "pass", если score >= 80, иначе "fail".

import pandas as pd

# Создание DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie'], 'score': [85, 90, 78]}
df = pd.DataFrame(data)

# Добавление нового столбца
df['status'] = df['score'].apply(lambda x: 'pass' if x >= 80 else 'fail')

# Вывод результата
print(df)

Экзаменационный билет №10

Теория:

1. Что такое точность (precision) и полнота (recall)?
2. Что такое кластеризация и какой алгоритм вы можете назвать?

Ответы на теорию:

1. Precision — доля правильно предсказанных положительных объектов среди всех предсказанных как положительные. Recall — доля правильно предсказанных положительных объектов среди всех реальных положительных.
2. Кластеризация — это задача разделения данных на группы по схожести. Пример алгоритма: K-means.

Практика:

С помощью библиотеки Scikit-learn реализуйте алгоритм K-means для случайных данных из 2 кластеров. Визуализируйте результаты.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs

# Генерация данных
X, y = make_blobs(n_samples=300, centers=2, random_state=42)

# Обучение модели
kmeans = KMeans(n_clusters=2, random_state=42)
kmeans.fit(X)
labels = kmeans.predict(X)

# Визуализация
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', s=50)
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red', label='Центры')
plt.title('K-means кластеризация')
plt.legend()
plt.show()

Экзаменационный билет №11

Теория:

1. Что такое визуализация данных и зачем она нужна?
2. Какие типы переменных вы знаете?

Ответы на теорию:

1. Визуализация данных — это представление информации в графической форме, чтобы сделать её более понятной, наглядной и доступной для анализа.
2. Основные типы переменных: числовые (количественные) и категориальные (качественные). Числовые делятся на дискретные и непрерывные, а категориальные — на номинальные и порядковые.

Практика:

Напишите программу, которая создаёт DataFrame из списка словарей: [{'name': 'Alice', 'age': 25}, {'name': 'Bob', 'age': 30}, {'name': 'Charlie', 'age': None}]. Замените пропущенные значения в столбце 'age' средним значением и выведите обновлённый DataFrame.

import pandas as pd

# Создание DataFrame
data = [{'name': 'Alice', 'age': 25}, {'name': 'Bob', 'age': 30}, {'name': 'Charlie', 'age': None}]
df = pd.DataFrame(data)

# Вычисление среднего возраста без учета NaN
mean_age = df['age'].mean()

# Заполнение пропусков
df['age'].fillna(mean_age, inplace=True)

# Вывод результата
print(df)

Экзаменационный билет №12

Теория:

1. Что такое матрица ошибок (confusion matrix)?
2. Какие метрики используются в задачах регрессии?

Ответы на теорию:

1. Матрица ошибок — это таблица, показывающая эффективность модели классификации, где указывается количество истинно положительных, ложноположительных, истинно отрицательных и ложноотрицательных результатов.
2. Метрики регрессии: MAE (средняя абсолютная ошибка), MSE (среднеквадратичная ошибка), RMSE (корень из MSE), R² (коэффициент детерминации).

Практика:

Используя библиотеку Matplotlib, постройте столбчатую диаграмму количества студентов по специальностям из следующих данных:

majors = ['CS', 'Math', 'Physics', 'Biology']
students = [120, 80, 60, 90]

import matplotlib.pyplot as plt

# Данные
majors = ['CS', 'Math', 'Physics', 'Biology']
students = [120, 80, 60, 90]

# Построение диаграммы
plt.bar(majors, students, color='skyblue')
plt.xlabel('Специальности')
plt.ylabel('Количество студентов')
plt.title('Число студентов по специальностям')
plt.show()

Экзаменационный билет №13

Теория:

1. Что такое точность модели и как она рассчитывается?
2. Какие инструменты используются для работы с данными в Python?

Ответы на теорию:

1. Точность (accuracy) — это доля правильных предсказаний среди всех сделанных. Рассчитывается как (TP + TN) / (TP + TN + FP + FN).
2. Основные инструменты: Pandas (работа с данными), NumPy (математические операции), Matplotlib и Seaborn (визуализация), Scikit-learn (машинное обучение), Jupyter Notebook (интерактивная разработка).

Практика:

Создайте функцию calculate_mse, которая принимает два списка: реальных значений и предсказанных, и возвращает значение MSE (среднеквадратичную ошибку).

def calculate_mse(actual, predicted):
    return sum((a - p)**2 for a, p in zip(actual, predicted)) / len(actual)

# Пример использования
actual_values = [3, -0.5, 2, 7]
predicted_values = [2.5, 0.0, 2, 8]
mse = calculate_mse(actual_values, predicted_values)
print(f"MSE: {mse}")

Экзаменационный билет №14

Теория:

1. Что такое кластеризация и какие алгоритмы кластеризации вы знаете?
2. Что такое PCA и для чего он используется?

Ответы на теорию:

1. Кластеризация — это процесс группировки объектов по их схожести. Алгоритмы: K-means, DBSCAN, Hierarchical Clustering.
2. PCA (Principal Component Analysis) — метод снижения размерности, позволяющий уменьшить число признаков, сохранив при этом максимальную информацию. Используется для упрощения моделей и визуализации.

Практика:

Загрузите данные из файла data.csv, найдите минимальное, максимальное и среднее значение в столбце 'salary' и выведите результаты.

import pandas as pd

# Загрузка данных
df = pd.read_csv('data.csv')

# Вычисление статистик
min_salary = df['salary'].min()
max_salary = df['salary'].max()
mean_salary = df['salary'].mean()

# Вывод результатов
print(f"Минимальная зарплата: {min_salary}")
print(f"Максимальная зарплата: {max_salary}")
print(f"Средняя зарплата: {mean_salary:.2f}")

Экзаменационный билет №15

Теория:

1. Что такое машинное обучение и какие виды машинного обучения вы знаете?
2. Что такое переобучение и как его можно определить?

Ответы на теорию:

1. Машинное обучение — это область искусственного интеллекта, где модель обучается на данных. Виды: обучение с учителем (классификация, регрессия), без учителя (кластеризация, снижение размерности), обучение с подкреплением.
2. Переобучение — это когда модель идеально работает на тренировочных данных, но плохо на тестовых. Определяется через сравнение метрик на тренировочной и тестовой выборках.

Практика:

Разделите данные на обучающую и тестовую выборки (80/20) с помощью train_test_split из Scikit-learn. Обучите модель линейной регрессии и выведите коэффициенты.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# Загрузка данных
df = pd.read_csv('data.csv')
X = df[['feature']]
y = df['target']

# Разделение выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Обучение модели
model = LinearRegression()
model.fit(X_train, y_train)

# Вывод коэффициентов
print(f"Коэффициент: {model.coef_[0]}")
print(f"Свободный член: {model.intercept_}")