Миграция серверов из ЕС в Россию

Задачи

Миграция серверной инфраструктуры организации, размещенной в ЕС.

Компания осуществляющая деятельность в России, исторически использовала площадку для размещения оборудования в Эстонии, город Нарва. 

   Со временем оборудование деградировало, техническая поддержка дата центра не смогла осуществить своевременный сервис по обновлению критических элементов инфраструктуры. Осуществить техническую поддержку своими силами на момент выявления критических проблем, не представлялось возможным.
   Было принято решение закупить новое оборудование и произвести миграцию сервисов на новую инфраструктуру, размещенную на более производительном оборудовании. Локация размещения была выбрана в России, город Санкт-Петербург, дата центр Миран.

Общие задачи, без детализации перед системным администратором стояли следующие,
— Развернуть новую структуру на свежей ОС, Windows Server 2022 standard
— Развернуть новый почтовый сервер MS Exchange 2019 CU 14
— Развернуть новую телефонию на FreePBX 16
— Развернуть почтовый антивирус Kaspersky Secure Mail Gateway
— Настроить внутреннею маршрутизацию
— Перевезти данные компании, общим объемом 6TB
— Выполнение миграции пользователей и электронной почты на новый почтовый сервер MS Exchange
— Перевезти клиентские виртуальные сервера

Выбор и проектирование:

Действующая инфраструктура клиента,
— Физические сервера Dell r630 Дисковая подсистема на HDD., 2 шт.
— Дисковые полки хранения данных, DELL SCv2020SC., 2 шт.
— Основной шлюз (роутер) MikroTik RB1100AHx4, RouterOS 6.49., 1 шт.
— Терминальный сервер на Windows Server 2008 R2 Ent
— Контроллер домена Active Directory на Windows Server 2008 R2 Ent
— Почтовый сервер MS Exchange 2013 CU 20 на Windows Server 2008 R2 Ent
— Три файловых сервера совместно с контроллерами домена на Windows Server 2008 R2 Ent
— Телефония на Kerio Operator
— Дополнительные сервера с корпоративными сервисами на Windows Server 2008 R2 Ent

Проблемы клиента:
— Низкая производительность оборудования, не справляется дисковая подсистема. — Устаревшие операционные системы.
— Нет разделения инфраструктуры сотрудники и клиенты заказчика работают на одном терминальном сервере.
— Большое количество разбросанных папок по серверам, нет единой структуры.
— Расположение серверной структуры в дата центре в Нарве.
— Высокая стоимость размещения в дата центре.
— Отсутствие технической поддержки в дата центре.
— Ограниченный канал связи, без возможности увеличить скорость.

Было решено закупить следующие модели серверов:
2 шт. DELL POWEREDGE R640 10SFF NVME, Intel Xeon Gold 6150, 256gb RAM
Для большей производительности были закуплены диски U2, NVME Intel DC P4510 4ТБ по 4 шт. в каждый сервер, а под систему по 2 шт. SSD Kingston 240ГБ

Сервер резервного копирования, DELL R430, HDD SAS DELL/SEAGATE 6ТБ 4 шт. и SSD Kingston 240ГБ под систему.

Первый сервер, Dell R640 был использован для работы 1С, без использования виртуализации, под роль 1C и MS SQL.
Второй сервер, Dell R640 для виртуализации инфраструктуры заказчика.

Dell R430 был выбран для роли сервера резервного копирования, целенаправленно выбирали оборудования 1U для снижения стоимости размещения оборудования в дата центре., по этой же причине, чтобы не использовать дополнительный юнит в стойке, было решено разворачивать виртуальный роутер Mikrotik CHR.
Сетевая связанность, для быстрого обмена данными были использованы сетевые провода SFP с пропускной способностью 10Гбит/с.

Решения

Сборка, тестирование, монтаж серверов в Дата центр Миран.
Настройка сетевой коммутации и маршрутизации.
Для сотрудников, клиентов, резервного копирования, сеть была разделена на Vlan, благодаря чему доступ к указанным сетям был ограничен на уровне маршрутизатора.
Развернута новую структура (Контроллер домена, почтовый сервер, терминальные сервера, файловый сервер, 1с+sql, Гипервизор Hyper-v) на свежей ОС, Windows server 2022 standard
Развернут почтовый сервер MS Exchange 2019 CU 14, с помощью IMAPsync были перенесены письма из почтовых ящиков, от определенной даты.
Настроены основные механизмы для защиты почтового сервера DKIM, SPF, DMARC
Развернута телефония на FreePBX 16, заново созданы sip-аккаунты, перенесены транки и переработана логика маршрутизации.
Развернут почтовый антивирус Kaspersky Secure Mail Gateway.

Резервные копии передавались из Нарвы на сервер ITART в Санкт-Петербурге в дата центр Selectel. Интернет в Нарве ограничен 100мбит/с, без возможности расширения канала связи., в связи с чем было решено выполнить на неделе полное резервное копирование, а перед переносом структуры, произвести инкремент к данному архиву. Данный способ был выбран потому, что в дата центрах Selectel и Miran, даже в базовом тарифе размещения, можно временно сменить режим работы с 100мбит/с на 1гбит/с. Из-за большого объема данных резервное копирование со старой структуры заняло примерно 20 часов.

Была создана общая сетевая папка DFS, разграничены права доступа с помощью групп, перенесены все необходимые данные пользователей.
Перенесены и подключены базы 1С.
Развернуты два терминальных сервера для сотрудников и клиентов.
Перенесены клиентские виртуальные сервера.
Общая производительность и скорость работы увеличилась в разы.

Сложности, с которыми столкнулись во время реализации,

В сервере DELL R430 корзина на 4 диска, были установлены 4 диска объемом 6ТБ и собраны в RAID5 на контроллере. Для большей производительности и скорости работы с ПО Veeam, необходимо было вместо NTFS использовать ReFS. В данном сервере нет дополнительных слотов для дисков, а для создания файловой системы ReFS требуется установить систему на отдельный диск.
Для решения данной ситуации решили использовать вместо DVD привода, переходник на sata.(пример используемого адаптера приложили в фотографиях), Адаптер был установлен в штатное место.

В старой структуре почтовый сервер Exchange работал в связке с MTA qmail и был ограничен доступ из вне. Для переноса писем было принято решение поднять туннель L2tp + IPSec и синхронизацию осуществлять по внутренним адресам почтовых серверов.

При копировании структуры папок столкнулись с проблемой большого количества вложенных папок, стандартные инструменты windows не поддерживают работу с ними. Для решения проблемы пришлось использовать файловый менеджер 7Zip и subinacl (используется при большом количестве вложений, чтобы переназначить владельца файлов и папок).

От клиентских серверов не было административных паролей. Для решения проблемы было принято решение сбрасывать пароли с помощью NT Password Edit.

Фото проекта