код асу нси что это
ТЕХНОЛОГИИ, ИНЖИНИРИНГ, ИННОВАЦИИ
Измеритель диаметра, измеритель эксцентриситета, автоматизация, ГИС, моделирование, разработка программного обеспечения и электроники, БИМ
Как устроена автоматизированная система управления нормативно-справочной информацией в ПАО «Транснефть»
Основой для внедрения новых бизнес-процессов является единообразная и однозначно интерпретируемая нормативно-справочная информация (НСИ). Бессистемное и децентрализованное накопление НСИ существенно тормозит развертывание масштабных информационных систем. Понимая необходимость создания единственного источника достоверной (эталонной) НСИ, правильность которой будет признаваться всеми потребителями НСИ в пределах компании и организаций системы «Транснефть» (ОСТ), руководство компании инициировало проект создания системы АСУ НСИ как один из приоритетных в рамках программы реализации IT-стратегии.
– Централизованные справочники – это фундамент, на котором возводится все здание Тиражного комплекса. Поэтому Автоматизированная система управления нормативно-справочной информацией (АСУ НСИ) была одной из первых систем, внедренных в рамках программы реализации IT-стратегии, – рассказывает руководитель проекта, главный технолог департамента информационных технологий ПАО «Транснефть» Сергей Строгов. – АСУ НСИ разрабатывалась в течение двух лет и была запущена в постоянную эксплуатацию в январе 2015 года. В создании системы принимало участие более 150 специалистов компании и подрядные организации.
Предназначение АСУ НСИ – обеспечение всех автоматизированных информационных систем компании и ОСТ эталонной нормативно-справочной информацией. Справочники АСУ НСИ лежат не только в основе информационных систем Тиражного комплекса, но и систем, эксплуатируемых в настоящее время в ОСТ.
Системы Тиражного комплекса
В результате создания этой системы разработаны корпоративные регламенты ведения основных справочников, методики нормализации справочников, выполнено начальное наполнение справочников, созданы современные программные средства ведения и актуализации справочников.
Функции поддержания НСИ в актуальном состоянии возложены на отдел ведения НСИ ООО «Транснефть Финанс». Пользователи АСУ НСИ из ОСТ и компании, столкнувшись с нехваткой информации в справочнике, формируют запрос на добавление новых или изменение существующих записей в АСУ НСИ. Эксперты отдела ведения НСИ проверяют данные в запросах на соответствие методикам нормализации и другим документам, регламентирующим качество нормативно-справочной информации. В результате новая запись создается в справочнике или пользователь получает уточняющие вопросы и рекомендации по использованию текущих записей.
– Справочник обязан отвечать нескольким параметрам – данные должны быть актуальными, полными и непротиворечивыми, – говорит начальник отдела ведения НСИ Дмитрий Морозов. – Для того чтобы добиться этого, в рамках АСУ НСИ мы решили задачи по разработке и внедрению эффективной методологии ведения справочников и классификаторов. Выстроили систему поддержки данных в актуальном состоянии, обеспечивающую их полноту, контроль целостности и непротиворечивости данных.
Как уже было сказано, данные НСИ изменяются на основании запросов пользователей.
– Достаточно сказать, что ежедневно по всем справочникам поступает до пятисот запросов, а в период формирования в ОСТ планов закупки РЭН количество запросов пользователей НСИ (ответственных за планирование РЭН, закупщиков материально-технического обеспечения, тех, кто работает с документами по оперативному учету) увеличивается вдвое, – прокомментировал Дмитрий Морозов.
Система обеспечивает гибкие подходы к интеграции, и это снижает общие издержки на подключение новых систем. АСУ НСИ использует стандартные способы интеграции с Комплексной автоматизированной системой управления производственными активами (КСУА), Корпоративной информационной системой автоматизации финансово-хозяйственной деятельности (КИС ФХД), Системой электронного документооборота (СЭД), Модулем подготовки и хранения спецификаций (МПХС), КИС «Галактика», КИС «Флагман», Системой управления финансово-хозяйственной деятельностью «ИКАР» и другими системами.
– В компании определены правила наименований и атрибутов элементов справочников АСУ НСИ, – рассказывает Сергей Строгов. – Сейчас к системе АСУ НСИ подключено 46 ОСТ и более 15 тысяч пользователей. АСУ НСИ – это основной рабочий инструмент для департамента организации и проведения торгов, департамента планирования РЭН, транспорта и надзора за строительным контролем и других структурных подразделений.
АСУ НСИ: состав справочников
Сейчас в системе четыре основных справочника: «Материально-технические ресурсы» (МТР), «Контрагенты», «Объекты», «Виды работ/ услуг». Основной объем работы пришелся на два первых справочника АСУ НСИ: «МТР» и «Контрагенты».
Основу справочника «МТР» составляет базовый классификатор, который включает более двух тысяч классов нижнего уровня. В основу была положена классификация, принятая в компании. Она была существенно детализирована в ходе разработки нового классификатора МТР и методик нормализации каждого класса.
– Подход к реализации блока методических задач был типовой для такого рода проектов, – отмечает руководитель проекта от подрядной организации Олег Енин. – Однако в ходе реализации технических задач были предложены и разработаны уникальные для российского рынка решения, основанные на максимальной автоматизации разработанных методик. Прежде всего решение по автоматическому формированию наименований записей МТР по шаблонам, предусмотренным методиками нормализации. Пользователи выбирают значения основных характеристик МТР – наименование формируется автоматически.
Данное решение позволяет практически полностью исключить ошибки, вызванные так называемым человеческим фактором, и, как следствие, упростить процессы формирования запроса на новую запись пользователем АСУ НСИ и последующей обработки запроса экспертами отдела ведения НСИ.
В случае, когда необходимо поменять методики нормализации, например, при замене нормативного документа, снятия того или иного МТР с производства, добавления новых атрибутов в запись, формируется запрос отдельного типа. Данный запрос вначале рассматривают эксперты отдела ведения НСИ, затем кураторы от профильных департаментов ПАО «Транснефть».
Совокупность методического обеспечения и технических решений АСУ НСИ позволяет существенно снизить время обработки запросов в отделе ведения НСИ и обеспечить пользователей бизнес-подразделений нормализованной нормативно-справочной информацией в максимально сжатые сроки.
– На данный момент объем справочника «МТР» превышает 1,2 млн. позиций, включая около 1 млн. позиций запасных частей, – оценивает проделанную работу Сергей Строгов. – В справочнике содержится не только номенклатура запчастей, но и ведется учет цен на них. Эта информация доступна всем ОСТ и позволяет более эффективно использовать финансовые средства компании.
Например, группа МТР «Автозапчасти, автошины и аккумуляторы» используется организациями системы «Транснефть» в процессе формирования лотов на закупку услуг по техническому обслуживанию и ремонту транспортных средств, специальной и дорожно-строительной техники.
– Отдел транспортных средств и специальной техники департамента РЭН, транспорта и надзора за строительным контролем ПАО «Транснефть» ежегодно организует работу по актуализации производителей запасных частей, перечня выпускаемой продукции, наименования и ее стоимости, – приводит пример главный специалист отдела Алексей Крючков. – В период 2016–2017 годов в справочнике АСУ НСИ актуализирована продукция 170 предприятий-производителей. По результатам актуализации номенклатуры и стоимости в справочнике АСУ НСИ организации системы «Транснефть» ежегодно заключают с операторами консигнационных складов дополнительные соглашения на изменение стоимости запчастей.
Справочник МТР интегрирован с 33 информационными системами, которые эксплуатируются в 32 ОСТ.
Справочник «Контрагенты» содержит список всех юридических лиц, с которыми работают сотрудники компании и ОСТ. Исходными данными для справочника послужила информация из Системы Ведения НСИ OOO «Транснефть Финанс». С помощью методики нормализации были определены правила заполнения атрибутов записи контрагента. Справочник сейчас насчитывает более 90 тыс. записей.
– АСУ НСИ решает задачу хранения актуальной информации и, самое главное, обеспечивает согласованность собственных справочников с общероссийскими и отраслевыми классификаторами и справочниками, такими как классификатор адресов КЛАДР, справочник банков «БИК ЦБ РФ», классификаторы стран мира, валют, единиц измерения, ОКАТО, ОКВЭД, – добавляет Дмитрий Морозов.
Таким образом, получается, что компания «Транснефть», государство и отраслевые предприятия говорят на одном понятном для всех языке.
Справочник «Контрагенты» интегрирован с 15 информационными системами, которые эксплуатируются в 14 ОСТ – с некоторыми организована интеграция с получением ответа-подтверждения о приемке записей, другие с помощью сервиса извлечения самостоятельно запрашивают информацию о контрагентах из АСУ НСИ по расписанию.
Справочник «Объекты» определен в Перспективной программе и обновляется ежеквартально на основании корректировок Программы. Он включает:
Основной целью создания справочника являлась реализация функций тиражирования эталонных данных в информационные системы ОСТ. Изначально данные загружались из файлов MS Excel, направленных в отдел ведения НСИ. Сейчас настраивается интеграция с Корпоративной информационной системой управления программами (КИС УП) как поставщиком эталонных данных для дальнейшего тиражирования в информационные системы.
Справочник «Виды работ/ услуг» планируется использовать в Тиражном комплексе, в частности в Автоматизированной системе управления закупочной деятельностью (АСУ Закупки).
– Это задел на будущее, – комментирует Сергей Строгов. – В нем отражается группировка работ и услуг. В его основу легли перечни работ и услуг, которые определены регламентами компании «Транснефть». Фактически – это «слепок» наших регламентов.
АСУ НСИ: развитие
АСУ НСИ – это «живая» и непрерывно совершенствующаяся система. С момента ввода в постоянную эксплуатацию выполнено более 400 изменений базового классификатора, специалистами службы технической поддержки реализовано порядка 750 улучшений, подключено 17 новых информационных систем.
Компанией инициирован проект по развитию функциональности АСУ НСИ, добавлению новых справочников. Так, в рамках проекта запланирована реализация автоматического сопоставления позиций справочника «МТР» с элементами реестра основных видов продукции (ОВП), который содержит перечень предприятий-производителей, прошедших инспекции комиссией ПАО «Транснефть», что позволит более эффективно ис- пользовать функциональность автоматического лотирования в АСУ Закупки. Добавляется справочник тарифных участков. Более полно и подробно будет вестись справочник ОСТ, включая структурные подразделения дочерних организаций. Запланирована интеграция с разрабатываемой Системой дистанционного обслуживания поставщиков (СДОП), что позволит подключить к АСУ НСИ внешних подрядчиков, а именно проектные институты.
Планируется развивать справочник МТР в части его централизованного применения. Задача, которую предстоит решить в ближайшее время, — создать единую базу неиспользованных МТР. Данные будут поступать от всех ОСТ в систему АСУ Закупки, которая будет помогать в подборе вариантов их использования.
– В силу различных причин в ходе производственно-хозяйственной деятельности в ОСТ МТР остаются неиспользованными, и не все они могут быть использованы в производстве на этом же предприятии, – рассказывает заместитель начальника отдела планирования и реализации планов РЭН ПАО «Транснефть» Алексей Украинцев. – Такие МТР выявляются структурными подразделениями ОСТ, подлежат включению в сводный перечень невостребованных МТР, и перед нами стоит задача вовлечь их в производство. С целью унификации данного процесса в августе 2016 года был обновлен соответствующий отраслевой регламент. Регулярно проводимые компанией контрольные проверки ОСТ также направлены на то, чтобы информация о неиспользованных МТР «поднималась» на уровень компании и была общедоступна всем заинтересованным пользователям. В настоящее время в целях вовлечения собственных неиспользованных МТР специалисты отделов материально-технического снабжения и отделов комплектации ОСТ проделывают большую работу. Однако, учитывая растущий объем информации, поиск вариантов применения МТР внутри компании целесообразней осуществлять с помощью информационной системы.
Безусловно, реализация такой задачи невозможна без эффективного обмена информацией о неиспользованных МТР и применения централизованного справочника и единой кодировки номенклатуры МТР. Поэтому интеграция учетных систем ОСТ с АСУ НСИ является в том числе первоочередным этапом создания механизма объективного и быстрого подбора возможных путей вовлечения невостребованных в ОСТ МТР.
– Создание АСУ НСИ является одним из успешных проектов, реализованных в компании и сформировавших долгосрочную информационную поддержку существующих и перспективных информационных систем, – резюмирует заместитель директора департамента информационных технологий ПАО «Транснефть» Дмитрий Лебедев. – АСУ НСИ – это базовый элемент Тиражного комплекса, задачи которого – обеспечить использование единых корректных и актуальных справочных данных. В АСУ НСИ описываются и классифицируются данные, необходимые для выполнения бизнес-процессов, регламентируется деятельность компании.
Кристина Гутовец, «Трубопроводный транспорт нефти»
Понравилась статья? Тогда поддержите нас, поделитесь с друзьями и заглядывайте по рекламным ссылкам!
Как не сойти с ума в разработке систем управления нормативно-справочной информацией. Из истории наших проектов
За иллюстрации отдельное спасибо замечательному художнику Васе Ложкину.
Случай первый. Как загрузить вагон и маленькую тележку
Создание единой системы управления контрагентами для крупной производственной компании со множеством заводов по всей стране и за рубежом.
Цель проекта – создать единую базу контрагентов для всех подразделений. Ведение контрагентов осуществляется на основе заявок, которым присваиваются приоритеты от низкого до срочного. Срочная заявка должна быть обработана экспертами НСИ за 2 часа вне зависимости от разницы во времени между подразделениями.
Живая история
Проект был согласован со всеми заинтересованными сторонами (в этом нас убедило руководство заказчика) и разработан в заданные сроки в соответствии с утвержденными требованиями.
Презентация созданной системы управления контрагентами проходила гладко, пока не встала одна видная женщина – руководитель сибирского филиала – и весьма энергично, с использованием русских идиоматических выражений, довела до сведения собравшихся, что когда к ней приходит железнодорожный вагон под погрузку готовой продукции, она не будет ждать 2 часа, пока кто-то там в Москве рассмотрит заявку на добавление покупателя.
Она не собирается оплачивать простой вагона, пока происходит утверждение заявки, а заведет данные покупателя в систему как есть и отгрузит товар, а московские товарищи могут разбираться потом с информацией о покупателе сколько угодно.
Это заявление было поддержано еще несколькими руководителями филиалов компании, что практически полностью разрушило централизованную методологию ведения единого справочника контрагентов на основе заявок.
В итоге проект был видоизменен таким образом, чтобы все филиалы имели доступ к базе данных контрагентов и могли вносить в нее изменения напрямую, но при этом выполнялся автоматический поиск схожих записей, которые отображались сотруднику филиала, и он принимал решение о необходимости корректировки данных, которые позднее проверялись экспертной группой.
Что мы запомнили: не доверяйте словам руководителей и ответственных лиц со стороны заказчика, что все решения согласованы, все в теме и возражений нет. Выявляйте все заинтересованные стороны проекта и старайтесь выяснить требования к системе и ограничения непосредственно у них.
Случай второй. Как хотим, так и используем
Создание централизованной системы управления клиентами для страховой компании с большим числом филиалов и агентов по всей стране.
Цель проекта – создание сводной клиентской базы для использования в аналитических приложениях. База данных собиралась со всех филиалов, данные выверялись, дополнялись, дублирующиеся объекты устранялись. Количество клиентов в одном филиале – от тысячи до нескольких миллионов. При этом, пересечений по клиентам между филиалами практически нет.
После создания сводной клиентской базы она должна была периодически сравниваться с базами данных филиалов для выявления различий, их последующей обработки и загрузки изменений в сводную базу. Прирост клиентской базы между сверками составлял несколько тысяч записей.
Для выполнения сверки был создан специальный модуль, архитектура которого была спроектирована исходя из того, что он должен быстро сравнивать большое количество записей и формировать относительно небольшой XML-файл с изменениями для загрузки. Формат XML был выбран заказчиком.
После внедрения системы мы получили от заказчика сообщение, что модуль сверки работает крайне медленно и формирует для загрузки в сводную базу файл огромного размера, который они ничем не могут открыть.
Что же выяснилось? Заказчик производил начальную загрузку данных из филиалов в сводный справочник. Экспертам эта работа показалась нудной и трудоемкой, и они просто взяли модуль сверки и подсунули ему полные данные нового филиала, которые еще не разу не загружались в сводный справочник.
Модуль сверки, который в соответствии с ТЗ должен был формировать сведения о различиях в количестве нескольких тысяч записей, получил на вход два миллиона записей, и все они в сводном справочнике отсутствовали.
В результате, за несколько часов нечеловеческих усилий модуль сверки все-таки сформировал файл для загрузки, в который вошли все данные филиала. И, да, этот файл был огромным.
Модуль сверки был использован заказчиком не по назначению, но сам факт, что сверка позволяет выполнять начальную загрузку данных, заказчику понравился, и он собирался и дальше работать именно таким образом, только просил значительно ускорить работу модуля и что-нибудь сделать с создаваемым файлом, чтобы его можно было открывать в текстовом редакторе.
На наши возражения, что модуль сверки не предназначен для начальной загрузки данных, заказчик радостно показал ТЗ и спросил, а где это тут написано? Как хотим, так и используем!
В результате нам пришлось вносить изменения в архитектуру модуля сверки с целью обработки больших массивов данных и формирования выходного файла в формате CSV, так как заказчик решительно не захотел отказываться от такого удобного инструмента.
Что мы запомнили: всегда включайте в ТЗ описание ограничений – что ваша система делать не должна. Ну, или создавайте решения, которые учитывают все возможные сценарии использования, что сильно дороже.
Случай третий. Не слонёнок, а слон, да еще и должен летать
Создание централизованной системы ведения НСИ для финансовой организации.
Цель проекта — создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Предоставление доступа внешним системам к справочникам через веб-сервисы нашей системы.
Обычно у заказчиков среднее количество записей на один справочник составляет от нескольких сотен до нескольких тысяч. Наш недавний рекордсмен – справочник, в котором было 11 млн. записей. Но этот заказчик преподнес нам сюрприз. В его справочнике оказалось свыше 100 млн. записей. Загружали мы его больше суток, т.к. при начальной загрузке выполнялось множество проверок данных. Это не было бы большой проблемой, но заказчик потребовал, чтобы справочник загружался за несколько минут.
В результате нам пришлось сильно изменить порядок работы системы с этим справочником. Фактически, его ведение осуществляется за пределами системы, а мы только предоставляем интерфейс для его использования. Сейчас мы разрабатываем для нашей системы новые способы работы с очень большими справочниками. Надеемся, что заказчику понравится.
Что мы запомнили: в современном мире данных становится все больше, и темпы их роста постоянно увеличиваются. Система должна быть готова к высоким нагрузкам даже там, где они изначально не предполагались. Мы постоянно развиваем наше решение с учетом современных тенденций роста данных и повышения требований к скорости их обработки.
Случай четвертый. Сложный фокус с файлами
Создание централизованной системы ведения НСИ в крупном банке.
Цель проекта – создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Особенность проекта – весьма непростые процессы распространения изменений, затрагивающие множество систем.
Поскольку в дальнейшем мне придется упомянуть наше собственное решение для управления НСИ, позволю себе небольшое лирическое отступление.
Задачи наших заказчиков во многом схожи, и мы решили снизить затраты на программные разработки и сократить время проектов, создав собственную универсальную платформу для ведения НСИ и основных данных (Reference Data Management & Master Data Management). Система существует уже более 10 лет, и все эти годы мы в ЛАНИТ ее активно развиваем.
NORMA поддерживает централизованное и распределенное ведение НСИ. Все данные и метаинформация ведутся с учетом истории изменений и система позволяет просматривать и изменять весь массив НСИ на произвольную дату в прошлом или будущем. Для справочников могут быть настроены процессы согласования и утверждения изменений. В состав системы входит выделенный сервер распространения изменений, который позволяет взаимодействовать с внешними системам через различные интерфейсы и создавать достаточно сложные интеграционные бизнес-процессы (этакий мини BizTalk Server). У нас есть пакеты экспорта/импорта данных, которые умеют выгружать/загружать данные справочников в базы данных и файлы различных форматов. Поддерживается ведение перекодировочных таблиц для внешних систем.
NORMA включает графический построитель запросов и дизайнер отчетов. Кроме работы с собственными справочниками, система позволяет через свой интерфейс просматривать и изменять справочники, которые находятся во внешних, по отношению к ней, базах данных, а также использовать эти справочники в построителе запросов и пакетах экспорта/импорта.
В ответ на возникновение различных событий в системе, например, события внесения изменений в справочник, могут запускаться подключаемые программные компоненты, написанные на C#, которые могут как проверять данные, так и взаимодействовать с внешними системами и, собственно, самой системой NORMA. Практически все функции системы доступны через веб-сервисы.
Система может масштабироваться как вертикально, путем увеличения мощности сервера приложений и базы данных, так и горизонтально за счет использования многоузлового сервера приложений, в котором каждый узел или группа узлов отвечает за выполнение отдельной функции. Для хранения НСИ система может использовать Microsoft SQL Server, Oracle или PostgreSQL.
Обычно при создании справочников и процессов распространения изменений заказчик консультируется с нашими аналитиками, какой инструмент или набор инструментов, предоставляемых системой, лучше использовать для конкретной задачи. В этот раз заказчик сказал, что будет создавать справочники и процессы самостоятельно.
Через некоторое время к нам обратился один из специалистов заказчика с жалобой, что у него не загружаются данные в систему. В подтверждение нам прислали пакет импорта данных, исходный файл с загружаемыми записями и сообщение об ошибке, в котором говорилось, что загружаемые данные имеют неверный тип.
Начинаем разбираться. Крутим пакет и так, и этак, пробуем разные варианты представления исходных данных, но ошибку повторить не можем. Обращаемся к заказчику с вопросами, может быть, у пакета импорта есть подключенные программные компоненты, может быть на справочник наложены какие-то дополнительные ограничения, может быть данные не от этого процесса? На все получаем ответ — ничего такого нет, все должно легко загружаться и раньше работало.
Оказывается, этот пакет импорта был только вершина айсберга. Если кратко и сильно упрощенно, то происходило следующее. Процедура импорта загружала правильные данные из исходного файла в справочник. Исходный файл удалялся. Затем наша система выполняла распространение изменений в несколько баз данных, в одной из которых производилось сравнение собственных данных с нашими изменениями и формировался файл с расхождениями, который возвращался в нашу систему для загрузки. Причем для загрузки этого файла заказчик использовал ту же процедуру импорта, что и для исходного файла. И вот именно в этом файле, сформированном внешней системой, были данные неверного типа. Очевидно, что при анализе исходного файла мы никаких ошибок найти не могли, а про второй файл и развесистый процесс распространения изменений нам ничего не сообщили.
Что мы запомнили: Всегда проверяйте полученную информацию даже если вам говорят, что у нас тут маленькая проблемка, и она вот именно в этом месте, мамой клянусь! Анализируйте проблему в контексте.
Случай пятый. Я привыкаю к несовпадениям
Создание системы управления НСИ в производственной компании.
Цель проекта – создание системы ведения НСИ в управляющей компании со множеством филиалов, заводов и конструкторских подразделений.
В этот раз мы дальше нескольких презентаций не продвинулись. Наша система NORMA очень понравилась технарям. Она закрывала все их существующие проблемы. Дальше пришла очередь показывать систему руководству, и вот тут произошел облом десятилетия. Высокий руководитель посмотрел, послушал и сказал: «Мы тут все работаем на продуктах Apple, у них есть определенный стиль, а ваша система в этот стиль не вписывается. Мы ее даже рассматривать не будем».
Что мы запомнили: заказчики бывают разные, и некоторым вы просто не подходите. Стиль другой.
Подобные истории случаются в различных проектах. Что интересного было в вашей проектной жизни? Что стало для вас неожиданным уроком? Делитесь в комментариях.