Разработчик баз данных NoSQL (Профессиональный уровень)

Экзаменационный билет №1

Теоретическая часть:

1. Опишите основные различия между ACID и BASE подходами в контексте управления транзакциями в базах данных.
2. Какие механизмы используются в распределённых NoSQL системах для обеспечения отказоустойчивости?

Ответы:

1. ACID (Atomicity, Consistency, Isolation, Durability) — это строгий набор гарантий, применяемый к транзакциям в реляционных СУБД, обеспечивающий высокую согласованность.
   BASE (Basically Available, Soft state, Eventually consistent) — более гибкий подход, характерный для NoSQL-систем, допускающий временную несогласованность ради доступности и масштабируемости.

2. Для обеспечения отказоустойчивости в распределённых NoSQL системах применяются:

   • Репликация данных (primary-secondary, multi-master),
   • Кворумное чтение/запись,
   • Heartbeat мониторинг,
   • Автоматический failover,
   • Использование consensus алгоритмов (Raft, Paxos).

Практическая часть:

3. Напишите скрипт на Python с использованием PyMongo, который подключается к локальному экземпляру MongoDB, создаёт коллекцию users, добавляет 5 документов с полями name и age, а затем выводит список всех пользователей старше 25 лет.

from pymongo import MongoClient

# Подключение к MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client['user_db']
collection = db['users']

# Удаление предыдущих записей
collection.delete_many({})

# Вставка новых документов
users = [
    {"name": "Alice", "age": 30},
    {"name": "Bob", "age": 22},
    {"name": "Charlie", "age": 28},
    {"name": "David", "age": 35},
    {"name": "Eve", "age": 24}
]
collection.insert_many(users)

# Поиск пользователей старше 25 лет
results = collection.find({"age": {"$gt": 25}})
for user in results:
    print(user)

Экзаменационный билет №2

Теоретическая часть:

1. Что такое шардинг и какие типы шардинга поддерживаются в MongoDB?
2. Какие факторы необходимо учитывать при выборе типа NoSQL базы данных для проекта?

Ответы:

1. Шардинг — это процесс горизонтального разделения данных между несколькими узлами.
   Типы шардинга в MongoDB:

   • Range-based — данные разделяются по диапазонам ключей (подходит для range-запросов).
   • Hash-based — равномерное распределение данных через хэширование ключей.
   • Zone-based — данные распределяются по зонам, например, регионам или серверным стойкам.

2. При выборе NoSQL БД учитываются:

   • Модель данных (документы, графы, колонки, ключ-значение),
   • Требования к согласованности (strong/eventual),
   • Производительность (read/write throughput),
   • Горизонтальная масштабируемость,
   • Поддержка транзакций,
   • Инфраструктурные требования (облако, on-premise),
   • Экосистема и инструменты (мониторинг, бэкапы, миграции).

Практическая часть:

3. Напишите запрос на Cypher (Neo4j), который создаёт граф пользователей и их друзей. Добавьте трёх пользователей: Alice, Bob, Charlie. Alice дружит с Bob, Bob дружит с Charlie. Затем найдите всех друзей Alice и выведите их имена.

// Создание пользователей
CREATE (a:User {name: "Alice"})
CREATE (b:User {name: "Bob"})
CREATE (c:User {name: "Charlie"})

// Создание связей
CREATE (a)-[:FRIEND]->(b)
CREATE (b)-[:FRIEND]->(c)

// Поиск друзей Alice
MATCH (a:User {name: "Alice"})-[:FRIEND]->(friend)
RETURN friend.name AS name

Экзаменационный билет №3

Теоретическая часть:

1. Что означает CAP-теорема и как она влияет на проектирование распределённых NoSQL систем?
2. Какие механизмы используются в Cassandra для повышения производительности записи?

Ответы:

1. CAP-теорема утверждает, что в распределённой системе можно одновременно реализовать только два из трёх свойств: Consistency (согласованность), Availability (доступность), Partition tolerance (устойчивость к сетевым разрывам).
   Это влияет на выбор системы:

   • CP-системы (Cassandra при QUORUM) — жертвуют доступностью ради согласованности.
   • AP-системы (DynamoDB) — жертвуют согласованностью ради доступности.

2. Cassandra оптимизирована под write-heavy нагрузку. Механизмы:

   • Write-ahead log (WAL) — для восстановления после сбоев,
   • Memtable — временный буфер в памяти,
   • SSTable — immutable файлы на диске,
   • Compaction — объединяет SSTable и удаляет устаревшие данные,
   • Hinted handoff — временное хранение данных при недоступности узла.

Практическая часть:

3. Напишите скрипт на Node.js, использующий Redis, который сохраняет 5 пар ключ-значение, где ключ — имя пользователя, значение — возраст. Затем скрипт должен вывести все значения, у которых возраст больше 25 лет.

const redis = require('redis');
const client = redis.createClient();

client.on('error', (err) => {
    console.error(`Redis error: ${err}`);
});

async function main() {
    const users = {
        'Alice': 30,
        'Bob': 22,
        'Charlie': 28,
        'David': 35,
        'Eve': 24
    };

    // Сохранение данных
    for (let [name, age] of Object.entries(users)) {
        await client.set(name, age);
    }

    // Получение данных
    for (let name of Object.keys(users)) {
        let age = await client.get(name);
        if (parseInt(age) > 25) {
            console.log(`${name}: ${age}`);
        }
    }

    client.quit();
}

main();

Экзаменационный билет №4

Теоретическая часть:

1. Что такое eventual consistency и в каких системах она применяется?
2. Какие метрики наиболее важны при эксплуатации NoSQL-систем?

Ответы:

1. Eventual consistency — это модель согласованности, при которой все копии данных со временем становятся одинаковыми. Применяется в системах, где важна высокая доступность и масштабируемость, например, Apache Cassandra, Amazon DynamoDB, Riak.

2. Основные метрики:

   • Latency (p99, p95) — задержка операций чтения/записи,
   • Throughput (RPS/WPS) — количество операций в секунду,
   • CPU/Memory usage — загрузка ресурсов,
   • Disk I/O — использование дисковой подсистемы,
   • Replication lag — задержка репликации,
   • GC pauses — время сборки мусора (в JVM-движках),
   • Error rate — частота ошибок,
   • Connection count — количество активных подключений.

Практическая часть:

3. Напишите функцию на Python, которая принимает список пользователей (с полями id, name, email) и сохраняет их в MongoDB, обновляя существующие документы по id. Также реализуйте вывод всех пользователей, отсортированных по имени.

from pymongo import MongoClient, ASCENDING

def upsert_and_list_users(users):
    client = MongoClient('mongodb://localhost:27017/')
    db = client['user_db']
    coll = db['users']

    # Обновление или вставка
    for user in users:
        coll.update_one(
            {'id': user['id']},
            {'$set': {'name': user['name'], 'email': user['email']}},
            upsert=True
        )

    # Вывод всех пользователей по имени
    for doc in coll.find().sort('name', ASCENDING):
        print(doc)

# Пример использования
sample_users = [
    {'id': 1, 'name': 'Bob', 'email': 'bob@example.com'},
    {'id': 2, 'name': 'Alice', 'email': 'alice@example.com'}
]
upsert_and_list_users(sample_users)

Экзаменационный билет №5

Теоретическая часть:

1. Что такое TTL-индекс в MongoDB и когда его стоит использовать?
2. Какие особенности проектирования схем характерны для Cassandra?

Ответы:

1. TTL-индекс (Time-To-Live Index) автоматически удаляет документы из коллекции после истечения указанного времени.
   Используется:

   • Для временных данных (логи, кэш),
   • Чтобы избежать необходимости ручного удаления устаревших записей.

2. Особенности проектирования схем в Cassandra:

   • Проектирование «под запросы»,
   • Оптимизация под write-heavy нагрузки,
   • Использование составных первичных ключей (partition key + clustering columns),
   • Денормализация данных,
   • Ограничения secondary индексов,
   • Учет особенностей партиционирования и распределения данных.

Практическая часть:

3. Напишите CQL-скрипт для Cassandra, который создаёт keyspace logs, таблицу events, добавляет 3 события с полями id, timestamp, message, а затем выводит все события за последний час.

-- Создание keyspace
CREATE KEYSPACE IF NOT EXISTS logs
WITH replication = {'class': 'SimpleStrategy', 'replication_factor': 1};

-- Использование keyspace
USE logs;

-- Создание таблицы
CREATE TABLE IF NOT EXISTS events (
    id UUID PRIMARY KEY,
    timestamp TIMESTAMP,
    message TEXT
);

-- Вставка данных
INSERT INTO events (id, timestamp, message) VALUES (uuid(), toTimestamp(now()), 'Login success');
INSERT INTO events (id, timestamp, message) VALUES (uuid(), toTimestamp(now()), 'Failed login attempt');
INSERT INTO events (id, timestamp, message) VALUES (uuid(), toTimestamp(now()), 'System reboot');

-- Выборка событий за последний час
SELECT * FROM events
WHERE timestamp > now() - INTERVAL 1 HOUR;

Экзаменационный билет №6

Теоретическая часть:

1. Какие типы индексов поддерживаются в MongoDB и в каких сценариях они применяются?
2. Что такое vector clock и где он используется?

Ответы:

1. В MongoDB поддерживаются следующие типы индексов:

   • Single Field — для поиска по одному полю.
   • Compound Index — для составных запросов, использующих несколько полей.
   • Multikey Index — для массивов.
   • Text Index — для полнотекстового поиска.
   • Geospatial Index (2d / 2dsphere) — для геопространственных данных.
   • Hashed Index — для шардинга и равномерного распределения нагрузки.
   • TTL Index — для автоматического удаления устаревших документов.

2. Vector clock — это механизм отслеживания причинно-следственных связей между изменениями в распределённых системах. Используется в системах с eventual consistency (например, Riak) для разрешения конфликтов при репликации.

Практическая часть:

3. Напишите скрипт на Python, который подключается к Redis и реализует простую систему очереди задач через Redis Lists. Добавьте 5 задач в очередь tasks, а затем последовательно извлекайте их и выводите в консоль.

import redis

# Подключение к Redis
r = redis.Redis(host='localhost', port=6379, db=0)

# Очистка очереди
r.delete('tasks')

# Добавление задач
for i in range(1, 6):
    r.rpush('tasks', f'Task {i}')

# Обработка очереди
while True:
    task = r.lpop('tasks')
    if not task:
        break
    print(f'Processing: {task.decode("utf-8")}')

Экзаменационный билет №7

Теоретическая часть:

1. Какие особенности проектирования схем характерны для графовых баз данных?
2. Какие стратегии используются для обеспечения отказоустойчивости в NoSQL-системах?

Ответы:

1. Проектирование схем в графовых БД основывается на модели "узлы → связи". Узлы представляют объекты, связи — отношения между ними. Ключевые моменты:

   • Оптимизация обхода графа,
   • Индексирование вершин и рёбер,
   • Эффективное представление сложных отношений (социальные графы, рекомендации).

2. Для обеспечения отказоустойчивости в NoSQL-системах применяются:

   • Репликация (синхронная/асинхронная),
   • Кворумное чтение/запись,
   • Heartbeat мониторинг состояния узлов,
   • Автоматический failover,
   • Cross-region deployment,
   • Использование consensus алгоритмов (Raft, Paxos).

Практическая часть:

3. Напишите Cypher-скрипт для Neo4j, который создаёт социальный граф с пользователями Alice, Bob, Charlie, David. Установите связи: Alice дружит с Bob и Charlie; Charlie дружит с David. Затем найдите всех друзей друзей Alice и выведите их имена.

// Создание пользователей
CREATE (a:User {name: "Alice"})
CREATE (b:User {name: "Bob"})
CREATE (c:User {name: "Charlie"})
CREATE (d:User {name: "David"})

// Установка связей
CREATE (a)-[:FRIEND]->(b)
CREATE (a)-[:FRIEND]->(c)
CREATE (c)-[:FRIEND]->(d)

// Поиск друзей друзей Alice
MATCH (a:User {name: "Alice"})-[:FRIEND]->()-[:FRIEND]->(friend)
WHERE friend <> a
RETURN DISTINCT friend.name AS name

Экзаменационный билет №8

Теоретическая часть:

1. Как работает MapReduce в контексте NoSQL?
2. Какие проблемы могут возникнуть при масштабировании NoSQL-систем?

Ответы:

1. MapReduce — парадигма обработки больших объёмов данных, позволяющая выполнять агрегации и анализ в распределённой среде. Применяется в MongoDB, Hadoop, Couchbase и других системах. Состоит из двух фаз:

   • Map — преобразование входных данных в пары ключ-значение.
   • Reduce — группировка и агрегация значений по ключам.

2. При масштабировании NoSQL-систем возможны следующие проблемы:

   • Hot partitions (неравномерное распределение нагрузки),
   • Network partitioning,
   • Потеря согласованности,
   • Сложности с миграцией данных,
   • Увеличение latency,
   • Управление состоянием кластера.

Практическая часть:

3. Напишите функцию на Python, которая сохраняет список пользователей в MongoDB, используя bulk операции, и реализует поиск пользователей по возрасту с использованием $gte.

from pymongo import MongoClient, ASCENDING
from pymongo import InsertOne

def bulk_insert_and_query(users, min_age):
    client = MongoClient('mongodb://localhost:27017/')
    db = client['user_db']
    coll = db['users']

    # Bulk insert
    operations = [InsertOne(user) for user in users]
    coll.bulk_write(operations)

    # Query by age
    results = coll.find({"age": {"$gte": min_age}})
    for doc in results:
        print(doc)

# Пример использования
sample_users = [
    {'name': 'Alice', 'age': 30},
    {'name': 'Bob', 'age': 22},
    {'name': 'Charlie', 'age': 28}
]
bulk_insert_and_query(sample_users, 25)

Экзаменационный билет №9

Теоретическая часть:

1. Что такое MVCC и как он применяется в NoSQL?
2. Какие практики используются для тестирования и отладки NoSQL решений?

Ответы:

1. MVCC (Multi-Version Concurrency Control) — механизм управления конкурентным доступом, позволяющий разным транзакциям видеть разные версии данных. Применяется в некоторых документных и колоночных БД (например, Couchbase, PostgreSQL) для повышения параллелизма и снижения блокировок.

2. Для тестирования и отладки NoSQL решений применяются:

   • Unit- и интеграционное тестирование,
   • Load testing (JMeter, Locust),
   • Profiling и explain(),
   • Логирование и метрики,
   • Использование mock-серверов,
   • A/B тестирование с реальными нагрузками.

Практическая часть:

3. Напишите CQL-скрипт для Cassandra, который создаёт таблицу sensor_data с полями sensor_id, timestamp, value. Добавьте 5 записей и реализуйте выборку данных за последние 24 часа.

-- Создание keyspace
CREATE KEYSPACE IF NOT EXISTS telemetry
WITH replication = {'class': 'SimpleStrategy', 'replication_factor': 1};

-- Переключение на keyspace
USE telemetry;

-- Создание таблицы
CREATE TABLE IF NOT EXISTS sensor_data (
    sensor_id UUID,
    timestamp TIMESTAMP,
    value DOUBLE,
    PRIMARY KEY (sensor_id, timestamp)
);

-- Вставка данных
INSERT INTO sensor_data (sensor_id, timestamp, value) VALUES (uuid(), now(), 23.5);
INSERT INTO sensor_data (sensor_id, timestamp, value) VALUES (uuid(), now(), 24.1);
INSERT INTO sensor_data (sensor_id, timestamp, value) VALUES (uuid(), now(), 22.7);
INSERT INTO sensor_data (sensor_id, timestamp, value) VALUES (uuid(), now(), 25.0);
INSERT INTO sensor_data (sensor_id, timestamp, value) VALUES (uuid(), now(), 26.2);

-- Выборка за последние 24 часа
SELECT * FROM sensor_data
WHERE sensor_id IN (SELECT sensor_id FROM system.local)
AND timestamp > now() - INTERVAL 1 DAY;

Экзаменационный билет №10

Теоретическая часть:

1. Что такое hinted handoff и в какой системе он используется?
2. Как работают change streams в MongoDB и где они применяются?

Ответы:

1. Hinted handoff — временная запись данных на другом узле в случае недоступности целевого, чтобы восстановить данные после возврата узла в строй. Применяется в Apache Cassandra.

2. Change streams — механизм отслеживания изменений в коллекциях в реальном времени. Применяется для event-driven систем, синхронизации с другими хранилищами и триггеров. Реализован в MongoDB начиная с версии 3.6.

Практическая часть:

3. Напишите Node.js скрипт, который подключается к MongoDB, создаёт коллекцию orders, добавляет 3 заказа с полями product, quantity, price, а затем рассчитывает общую сумму всех заказов через Aggregation Pipeline.

const { MongoClient } = require('mongodb');

async function main() {
    const uri = 'mongodb://localhost:27017/';
    const client = new MongoClient(uri);

    try {
        await client.connect();
        const database = client.db('store');
        const collection = database.collection('orders');

        // Удаление предыдущих данных
        await collection.deleteMany({});

        // Вставка новых заказов
        const orders = [
            { product: "A", quantity: 2, price: 10 },
            { product: "B", quantity: 1, price: 15 },
            { product: "C", quantity: 3, price: 5 }
        ];
        await collection.insertMany(orders);

        // Агрегация: сумма total_price
        const pipeline = [
            {
                $addFields: {
                    totalPrice: { $multiply: ["$quantity", "$price"] }
                }
            },
            {
                $group: {
                    _id: null,
                    totalAmount: { $sum: "$totalPrice" }
                }
            }
        ];

        const result = await collection.aggregate(pipeline).toArray();
        console.log(`Total amount: ${result[0].totalAmount}`);
    } finally {
        await client.close();
    }
}

main().catch(console.error);

Экзаменационный билет №11

Теоретическая часть:

1. Что такое materialized view в NoSQL и как она применяется?
2. Какие особенности проектирования схем характерны для Cassandra?

Ответы:

1. Materialized view — это предрассчитанное представление данных, хранящееся физически. Используется для ускорения сложных запросов, особенно в Cassandra и Couchbase. В отличие от виртуальных представлений, данные хранятся заранее и обновляются при изменении исходных таблиц.

2. Особенности проектирования схем в Cassandra :

   • Проектирование под запросы (query-driven),
   • Использование составного первичного ключа (partition key + clustering columns),
   • Денормализация данных,
   • Оптимизация под write-heavy нагрузки,
   • Ограничения secondary индексов,
   • Учет особенностей распределения данных по токенам.

Практическая часть:

3. Напишите CQL-скрипт для Cassandra, который создаёт keyspace inventory, таблицу products с полями product_id, name, category, price. Добавьте 5 записей и реализуйте выборку товаров из категории 'Electronics' с ценой выше 100.

-- Создание keyspace
CREATE KEYSPACE IF NOT EXISTS inventory
WITH replication = {'class': 'SimpleStrategy', 'replication_factor': 1};

-- Переключение на keyspace
USE inventory;

-- Создание таблицы
CREATE TABLE IF NOT EXISTS products (
    product_id UUID PRIMARY KEY,
    name TEXT,
    category TEXT,
    price DECIMAL
);

-- Вставка данных
INSERT INTO products (product_id, name, category, price) VALUES (uuid(), 'Laptop', 'Electronics', 1200.00);
INSERT INTO products (product_id, name, category, price) VALUES (uuid(), 'T-Shirt', 'Clothing', 29.99);
INSERT INTO products (product_id, name, category, price) VALUES (uuid(), 'Smartphone', 'Electronics', 800.00);
INSERT INTO products (product_id, name, category, price) VALUES (uuid(), 'Tablet', 'Electronics', 450.00);
INSERT INTO products (product_id, name, category, price) VALUES (uuid(), 'Headphones', 'Electronics', 150.00);

-- Выборка товаров из категории "Electronics" с ценой > 100
SELECT * FROM products WHERE category = 'Electronics' AND price > 100;

Экзаменационный билет №12

Теоретическая часть:

1. Как работают TTL-коллекции в Redis и как они управляются?
2. Какие метрики необходимо отслеживать при эксплуатации NoSQL-баз?

Ответы:

1. TTL (Time To Live) в Redis позволяет задавать время жизни ключа. После истечения этого времени ключ автоматически удаляется. Управление осуществляется через команды:

   • EXPIRE key seconds — установить TTL в секундах.
   • PEXPIRE key milliseconds — установить TTL в миллисекундах.
   • TTL key — проверить оставшееся время жизни.
   • Полезно для кэширования, временных данных, сессий.

2. Основные метрики для мониторинга:

   • Latency (p99, p95) — время выполнения операций чтения/записи.
   • Throughput (RPS/WPS) — количество операций в секунду.
   • CPU/Memory usage — использование ресурсов.
   • Disk I/O — скорость работы с диском.
   • Replication lag — задержка между мастером и репликами.
   • Error rate — частота ошибок.
   • Connection count — количество активных соединений.
   • Compaction stats — в системах типа Cassandra, RocksDB.

Практическая часть:

3. Напишите скрипт на Python, использующий PyMongo, который создает коллекцию sessions, добавляет 3 документа с полем user_id и TTL на 60 секунд, а затем выводит список всех активных сессий спустя 30 секунд.

from pymongo import MongoClient
import time

client = MongoClient('mongodb://localhost:27017/')
db = client['session_db']
collection = db['sessions']

# Удаление предыдущих данных
collection.delete_many({})

# Создание TTL-индекса
collection.create_index("created_at", expireAfterSeconds=60)

# Добавление сессий
sessions = [
    {"user_id": 1, "created_at": datetime.utcnow()},
    {"user_id": 2, "created_at": datetime.utcnow()},
    {"user_id": 3, "created_at": datetime.utcnow()}
]
collection.insert_many(sessions)

# Ждём 30 секунд
time.sleep(30)

# Вывод активных сессий
for session in collection.find():
    print(session)

// Создание пользователей и каналов
CREATE (u1:User {name: "Alice"})
CREATE (u2:User {name: "Bob"})
CREATE (u3:User {name: "Charlie"})
CREATE (c1:Channel {title: "Tech Reviews"})
CREATE (c2:Channel {title: "Cooking Tips"})

// Подписки
CREATE (u1)-[:SUBSCRIBED]->(c1)
CREATE (u1)-[:SUBSCRIBED]->(c2)
CREATE (u2)-[:SUBSCRIBED]->(c1)
CREATE (u3)-[:SUBSCRIBED]->(c2)

// Поиск пользователей, подписанных на оба канала
MATCH (u:User)-[:SUBSCRIBED]->(c1:Channel {title: "Tech Reviews"})
MATCH (u)-[:SUBSCRIBED]->(c2:Channel {title: "Cooking Tips"})
RETURN u.name AS name

const redis = require('redis');
const client = redis.createClient();

client.on('error', (err) => {
    console.error(`Redis error: ${err}`);
});

async function main() {
    const sessions = ['sess1', 'sess2', 'sess3', 'sess4', 'sess5'];

    // Сохранение сессий с TTL
    for (let sess of sessions) {
        await client.set(sess, 'active', 'EX', 60);
    }

    console.log('Waiting 30s...');
    await new Promise(r => setTimeout(r, 30000));

    console.log('Active after 30s:');
    for (let sess of sessions) {
        let val = await client.get(sess);
        console.log(`${sess}: ${val ? 'active' : 'expired'}`);
    }

    console.log('Waiting another 40s...');
    await new Promise(r => setTimeout(r, 40000));

    console.log('Active after 70s:');
    for (let sess of sessions) {
        let val = await client.get(sess);
        console.log(`${sess}: ${val ? 'active' : 'expired'}`);
    }

    client.quit();
}

main();

from pymongo import MongoClient
from datetime import datetime, timedelta
import time

def test_ttl_index():
    client = MongoClient('mongodb://localhost:27017/')
    db = client['log_db']
    coll = db['logs']

    # Удаление старых данных
    coll.delete_many({})

    # Создание TTL-индекса
    coll.create_index("timestamp", expireAfterSeconds=60)

    # Добавление записей
    for i in range(5):
        coll.insert_one({"message": f"Log entry {i}", "timestamp": datetime.utcnow()})

    print("Logs added. Waiting 30s...")
    time.sleep(30)

    print("Logs after 30s:")
    for doc in coll.find():
        print(doc)

    print("Waiting another 40s...")
    time.sleep(40)

    print("Logs after 70s:")
    for doc in coll.find():
        print(doc)

test_ttl_index()