Как построить отказоустойчивое хранилище данных внутри корпоративной инфраструктуры

Объектная архитектура предлагает масштабируемость, высокую доступность, гибкость и экономичность для компаний. Кроме того, с хранилищем данных вы можете интегрировать аналитические инструменты и решения для резервного копирования, что делает ее предпочитаемым выбором для ИТ-инфраструктуры.

В отличие от традиционных файловых систем или реляционных баз данных, в данном хранилище данные хранятся в виде объектов, каждый из которых включает в себя:

• содержимое файла (сам объект),
• описательные данные для идентификации и управления объектами (ключи),
• хеш или UUID, уникальный для каждого объекта.

Основные компоненты хранилища:

1. Интерфейс доступа – обеспечивает интерфейс для взаимодействия с хранилищем через стандартные протокол, например, S3 или REST.
2. Контроллер метаданных для поиска и идентификации объектов.
3. Сервис хранения объектов – основной компонент, отвечающий за физическое хранение данных и управление ими.
4. Система распределения данных по различным нодам для обеспечения отказоустойчивости и масштабируемости.

Выбор аппаратного обеспечения для корпоративного хранилища данных зависит от предполагаемых объемов данных, требований к производительности и уровню отказоустойчивости.

Основные рекомендации:

1. Используйте серверы с достаточным количеством процессоров, памяти и сетевых интерфейсов. Предпочтительно выбирать серверы с поддержкой NVMe SSD для увеличения скорости доступа к данным.
2. Для обеспечения высокой пропускной способности используйте сетевые коммутаторы с поддержкой 10 или 40 ГБ/сек Ethernet.
3. Для обеспечения долговременного хранения используйте дисковые массивы с поддержкой масштабируемого количества дисков (JBOD) и технологией RAID.

На примере построения объектного хранилища PlatformCraft рекомендуем использовать сервер холодного и горячего хранения, а также сервер баз данных.

Технические требования для сервера холодного хранения:

• Высокопроизводительные сервера с 2 процессорами, в каждом по 20 ядер и 40 потоков.
• 2 модуля памяти по 32 ГБ каждый.
• Накопители для хранения – HDD (минимум 1).

Для серверов горячего хранения:

• Высокопроизводительные сервера с 2 процессорами, в каждом по 44 ядра и 88 потоков.
• 8 модулей памяти по 64 ГБ каждый.
• Накопители для хранения – SSD (минимум 1).

Серверы для баз данных:

• высокопроизводительные сервера с 2 процессорами, в каждом по 32 ядра и 64 потока.
• 8 модулей памяти по 32 ГБ каждый.
• Накопители для хранения – SSD (минимум 1).

Количество серверов хранения – от 1 (рекомендуем минимум 3).

Для развертывания объектного хранилища внутри корпоративной инфраструктуры необходимо выбрать программное обеспечение, поддерживающее объектную модель хранения данных и стандарты API (например, S3).

На рынке представлено несколько решений, таких как:

• Ceph – распределенная система хранения данных с поддержкой объектного, блочного и файлового интерфейсов. Особенностью решения является то, что все объекты хранятся вместе с ключами в одном уровне. Подходит для крупных масштабов данных, но может требовать значительных усилий в администрировании при работе с большим количеством данных.
• MinIO – легковесное, высокопроизводительное решение для объектного хранения, полностью совместимое с S3 API. Хранилища, основанные на MinIO, лучше всего подходит для небольших объемов данных, так как MinIO создает минимум по 2 inode на объект.
• PC-Storage – решение от PlatformCraft, аналогичное Amazon S3, которое может быть развернуто в закрытой инфраструктуре и предоставляет полную поддержку S3 API. Команда предлагает гибкое решение для хранилища данных, которое будет полностью соответствовать вашим требованиям.

Процесс установки зависит от выбранного программного обеспечения. Рассмотрим общий процесс установки на примере PlatformСraft:

1. Подготовка узлов – установление и настройка операционной системы на всех узлах
2. Установка ПО – мы предоставим менеджер пакетов для установки софта на всех узлах.
3. Установка лицензии – генерация уникального ID для сервера (при помощи встроенного в пакет бинарного файла), отправка его в PlatformСraft для получения лицензии на основе ID. Далее перемещение файла лицензии на сервер и запуск сервисов.
4. Настройка конфигурации – перед подготовкой хостов нужно определиться с фактором репликации, чтобы поставить диски на нужный чистый объем хранилища. Например, цель – 100 ГБ чистый объем данных. Тогда с фактором репликации-1 каждый из хостов роли DEPOT должен иметь диски на 100 ГБ. Для ФР-2 – 200 ГБ. Для ФР-3 – 300 ГБ.
5. Настройка клиента – вы можете вручную настроить программное обеспечение или интегрировать через S3-совместимый API.

После развертывания хранилища необходимо обеспечить его мониторинг и управление. Важно использовать:

• инструменты мониторинга, логирования и агрегации (Kibana, Prometheus, Grafana, Zabbix),
• шифрования данных, управления доступом (LDAP, Active Directory, Гарда и т. д.),
• а также системы резервного копирования (Кибер Бэкап, Veeam, Acronis).

Также одним из ключевых преимуществ объектного хранилища является его способность к горизонтальному масштабированию. Для этого необходимо:

1. При необходимости увеличения емкости или производительности добавить новые узлы в кластер, настраивая их в соответствии с общей конфигурацией.
2. Настроить политику репликации данных для обеспечения их сохранность даже при выходе из строя нескольких узлов.