Импортозамещении в ЦОД ФНС России: переход на СУБД ArenadataDB

На момент принятия решения об импортозамещении в ЦОД ФНС России функционировало несколько МБД, обеспечивая работу пользователей на нескольких контурах АИС Налог-3.

Рассматривая причины перевода на новые технологии уже созданных и функционирующих для задач службы систем на МБД Teradata, необходимо выделить основные:

1. стремительно устаревающее оборудование,
2. кратный рост объема данных,
3. утилизация ресурсов близилась к пределу имеющихся возможностей,
4. запрет регулятора на обновление МБД.

Таким образом, главной целью стал полный отказ от закупки, обновления и технического сопровождения импортного оборудования и программного обеспечения для аналитической деятельности ФНС России.

В рамках импортозамещения МБД Teradata предстояло решить следующие ключевые задачи:

1. создать единое управляемое хранилище,
2. повысить качество и обеспечение целостности и связанности данных,
3. снизить издержки на поддержку аналитических систем,
4. переориентироваться на внутренний рынок поставки технических средств и ПО,
5. повысить уровень безопасности при эксплуатации информационной системы ФНС России.

Поставленным задачам лучше всего отвечала СУБД ArenadataDB. В рамках реализации миграции прикладных подсистем нужно было провести следующие работы:

• тестирование в близкой к промышленной среде на целевом «железе»;
• перенос структур данных;
• перенос самих данных;
• перенос реализованных алгоритмов обработки;
• настройку ETL-процессов;
• настройку провайдеров доступа к данным со стороны прикладного ПО (ODBC, JDBC, DAL);
• отладку всех процессов;
• переключение в новую среду функционирования прикладных задач;
• оперативное выявление и устранение возникающих проблем.

Перевести все задачи в новую целевую архитектуру одномоментно не представлялось возможным. Требовалось время на апробацию и проверку выбранных подходов к миграции. В связи с этим было принято решение о поэтапном переводе задач на ArenadataDB. Вся предстоящая работа была поделена на три основных этапа:

1. Была проведена предпроектная подготовка: полный анализ базы, типов и структуры таблиц и представлений, выявление не используемых и не подлежащих дальнейшей миграции задач, определение типов функционирующих приложений и проведение выборочной миграции приложений, имеющих разную функциональную и пользовательскую специфику. В результате удалось адаптировать процесс разработки и сопровождения под использование ArenadataDB (ресурсы, механизмы и процессы). Также мы пришли к пониманию невозможности мигрировать все приложения быстро и легко из-за необходимости доработок — от минимальных до кардинальных при реализации сложных вычислительных процессов, требующих учета особенностей новой используемой СУБД. Помимо этого, была подтверждена работоспособность выбранной СУБД и возможность ее использования в качестве альтернативы МБД Teradata для решения прикладных задач.

2. Проведен перевод ресурсоемких аналитических задач. Необходимость их миграции на втором этапе была обусловлена критическим уровнем нагрузки на имеющиеся МБД Teradata и потенциальную возможность отказа дальнейшей работоспособности. Как результат мы получили снижение общей нагрузки на систему, что позволило обеспечить ее функционирование для оставшихся задач до момента завершения миграции.

3. Реализованы взаимозависимые задачи и завершен процесс миграции. Стоит отметить, что на каждом этапе мы проводили работы по переводу доработанного под специфику БД функционала прикладных задач, миграцию исторического слоя данных систем, отладку системных процедур, проведение оптимизации алгоритмов работы приложений в новой среде и формирование расчетов для сверки данных Teradata и ArenadataDB.

Подводя итог проведенных работ, можно выделить следующие моменты:

1. В новую целевую архитектуру переместили более 30 приложений и аналитических задач.
2. Потребовалось доработать более 50 форм статистической налоговой отчетности.
3. Помимо самих прикладных подсистем обеспечена миграция порядка, 25 источников — информационных ресурсов (РСБ, НБО, ЕГРН, 2-НДФЛ и другие).
4. Адаптировано 48 тыс. объектов (таблицы, представления, хранимые процедуры, ETL-потоки). Общий объем перенесенных данных составил 95 Тб.

Отдельно необходимо отметить специфику и проблематику проведенных работ, которую следовало учитывать на всех этапах реализации:

1. необходимость учета жизненного цикла всех прикладных задач (отчетные периоды, сроки подготовки данных и готовности методических указаний для отчетных форм во взаимосвязи со сроками разработки);
2. обязательность проведения опытной эксплуатации мигрировавших задач реальными пользователями на актуальных данных и на инфраструктуре как подтверждение корректности всех проведенных процессов;
3. взаимозависимость между различными задачами по данным и их источникам;
4. обеспечение параллельного функционирования версий прикладных задач как на ArenadataDB, так и на МБД Teradata до полного завершения процесса миграции.

При импортозамещении прикладные процессы были разделены на отдельные подпроцессы, сформированы источники и данные в так называемом озере данных — едином хранилище первичной информации. Кроме того, изначально на ArenadataDB была переведена только часть расчетов и пользовательской нагрузки. Это позволило поднять производительность конечных процессов, сократить объемы хранимых данных на СУБД и перенести часть ресурсоемких расчетов прикладных задач на слой озера данных.

Сейчас указанный процесс продолжается, но уже в части транзакционного сегмента данных. Уже в ближайшем будущем Oracle Exadata перестанет быть источником данных, в том числе для аналитических задач ФНС России. Реализация политики импортозамещения — основа проектирования и дальнейшего устойчивого функционирования АИС «Налог» следующего поколения, а также всех отечественных вычислительных систем.

Ольга Либина, заместитель директора Департамента аналитических систем, АО «ГНИВЦ».