Разработка модуля для подготовки данных к публикации в открытом формате

Содержание

ВВЕДЕНИЕ	9
1.	ПУБЛИКАЦИЯ ОТКРЫТЫХ ДАННЫХ О ПРИРОДНЫХ РЕСУРСАХ И ОКРУЖАЮЩЕЙ СРЕДЕ РЕСПУБЛИКИ БАШКОРТОСТАН	11
1.1	Технология открытых данных	11
1.2	Наборы данных о природных ресурсах и окружающей среде Республики Башкортостан	30
1.3	Требования к программному обеспечению для подготовки данных к публикации	37
2.	ПРОЕКТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ПОДГОТОВКИ ОТКРЫТЫХ ДАННЫХ	41
2.1	Этапы подготовки и публикации набора данных	41
2.2	Разработка информационной модели	49
3.	РАЗРАБОТКА ПРОГРАММНОГО МОДУЛЯ ДЛЯ ПОДГОТОВКИ ОТКРЫТЫХ ДАННЫХ	52
3.1	Программная среда подготовки наборов открытых данных	52
3.2	Алгоритмическое обеспечение программного модуля	53
3.3	Перечень средств, используемых при разработке модуля	54
3.4	Разбор примера использования инструмента	55
ЗАКЛЮЧЕНИЕ	62
СПИСОК ЛИТЕРАТУРНЫХ ИСТОЧНИКОВ	63
Приложение А Функциональная модель системы	66
Приложение Б Информаионная модель системы	71
Приложение В Блок-схема алгоритма работы системы	73
Приложение Г Листинг исходного кода	77
     
ВВЕДЕНИЕ

     «В настоящее время в Российской Федерации реализуется программа, которая предусматривае6т публикацию разнообразных сведений в формате открытых данных. Проблема заключается в том, что, зачастую, данные хранятся в непригодном для публикации формате и объемы этих данных очень велики для неавтоматизированной конвертации. Существуют программные средства, с помощью которых возможно произвести преобразование данных в открытый формат, но эти средства не лишены следующих недостатков:
     1) Невозможность конвертации в ряд форматов открытых данных;
     2) При выполнении конвертации возможны потери и искажения данных;
     Следовательно, необходимо создать или модернизировать существующий инструмент, избавленный от описанных недостатков, при этом доступный в освоении для рядового пользователя. У каждого из описанных выше подходов (создание нового или модернизация существующего) есть свои достоинства и недостатки:
     Создание нового приложения:
     1) Производительность такого приложения будет выше, чем у существующих аналогов;
     2) Расширение функционала и возможность работы с несколькими форматами исходных данных;
     3) Внедрение нового продукта в организациях более затратно по времени, чем обучение персонала работе с модификацией существующего приложения;
     4) Процесс разработки нового приложения более трудоемок и затратен, как по времени, так и по ресурсам, чем модификация существующего приложения;


     Модификация существующего приложения:
     1) Если расширение функционала и исправление недостатков в существующем приложении менее трудозатратен и не требует долгого времени, то модификация представляется более целесообразной, чем создание абсолютно нового программного продукта;
     2) Если модернизировать программу, получившую широкое распространение в организациях, то введение в эксплуатацию полученного инструмента будет протекать в более сжатые сроки за счет упрощенного обучения работы с ним;
     3) Невозможность воплотить необходимый функционал в полном объеме;
     4) Более низкая итоговая производительность, чем у специально разрабатываемого для данной цели приложения;
     После анализа различных подходов к решению данной проблемы, подход, заключающийся в модернизации существующего приложения, был признан более рациональным.  Для выполнения необходимых операций было решено разработать надстройку для существующего продукта MicrosoftExcel, в силу его широкого применения в различных организациях, которая исправляет следующие недостатки этого продукта:
     1) Минимизация потерь и ошибок при конвертации данных;
     2) Добавление возможности работы с большим количеством форматов;
     3) Дополнительный функционал, заключающийся в создании файла структуры и файла паспорта сконвертированных данных;


     1. ПУБЛИКАЦИЯОТКРЫТЫХ ДАННЫХО ПРИРОДНЫХ РЕСУРСАХИ ОКРУЖАЮЩЕЙ СРЕДЕРЕСПУБЛИКИ БАШКОРТОСТАН
     
     1.1 Технология открытых данных
     
     1.1.1 Основные концепции открытых данных

     Любой государственный орган, орган местного самоуправление и подведомственные им организации в процессе своей деятельности разрабатывают и публикуют документы, оперируют и владеют общественно значимой информацией. Подобные документы и информация подлежат размещению в интернете. Для облегчения процесса создания полезных для граждан и бизнеса информационных сервисов на основе общественно-значимых материалов, обозначенные материалы должны публиковаться в особом, так называемом машиночитаемом, формате. Данный формат призван обеспечивать автоматическую обработку опубликованных данных. Размещённые в таком формате материалы как раз и считаются открытымиданными: независимо от того, простая ли это совокупность сведений, официальный документ или информационная база, данные становятся пригодными для действительно свободного использования в любых соответствующих закону целях любыми лицами, что способствует расширению спроса на эту информацию с целью достижения социального и экономического эффекта от её применения.
     Основные принципы открытых данных[6]:
     *  первичность;
     *  полнота;
     *  актуальность;
     *  пригодность к машинной обработке;
     *  отсутствие дискриминации по доступу;
     *  отсутствие проприетарных форматов;
     *  лицензионная чистота;
     Под первичными данными понимаются данные, представленные в первоначальном виде и не подвергшиеся агрегированию – обработке, группировке.
     Полнота данных предполагает, что все необходимые для рационального или оптимального решения конкретной задачи данные собраны и предоставлены.
     Актуальность данных — это степень соответствия данных текущему моменту времени, так как устаревшая информация может приводить к ошибочным решениям.
     Термин «пригодность к машинной обработке» означает, что открытые данные должны быть представлены в виде, пригодном для считывания, обработки и выдачи результата компьютерной программой.
     Отсутствие дискриминации по доступу предполагает, что каждый человек, независимо от национальности, гражданства, пола, возраста и религиозных убеждений, имеет свободный доступ к открытым данным.
     Отсутствие проприетарных форматов означает использование только свободных или открытых форматов файла, которые являются свободными от лицензионных ограничений при использовании.
     Под лицензионной чистотой подразумевается использование свободных лицензий, таких как CreativeCommons, OpenDataCommons, суть которых заключается в следующем: пользователь может использовать (в том числе повторно) открытые данные свободно, бесплатно, бессрочно, безвозмездно и без территориальных ограничений, в том числе имеет право копировать, публиковать, распространять открытые данные, видоизменять открытые данные и объединять их с другой информацией, использовать открытые данные в коммерческих целях, использовать для создания программ для ЭВМ и приложений.
     Таким образом, открытые данные – это информация (в том числе документированная), созданная в пределах своих полномочий государственными органами, либо поступившая в указанные органы и организации, а также информационно-аналитическими организациями, участвующими в публикации собственных открытых данных на территории Российской Федерации, которая подлежит размещению в сети интернет в формате, обеспечивающим ее автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и может свободно использоваться в любых соответствующих закону целях любыми лицами независимо от формы ее размещения (простая совокупность сведений, база данных и т.д.).
     
     1.1.2 Законодательное и нормативное обеспечение открытых государственных данных

     Существует ряд нормативных и законодательных актов, регламентирующих процесс публикации открытых данных, и далее будут рассмотрены наиболее важные их них.
     Работа с открытыми государственными данными началась со вступлением в силу Указа Президента РФ «Об основных направлениях совершенствования системы государственного управления»[2], в котором в пунктах 2.б и 2.г указано:
     б) до 1 сентября 2012 г. обеспечить повышение информационной открытости саморегулируемых организаций, в том числе определить состав информации, подлежащей обязательному опубликованию, и установить ответственность за неисполнение предусмотренных требований;
     г) до 15 июля 2013 г. обеспечить доступ в сети Интернет к открытым данным, содержащимся в информационных системах органов государственной власти Российской Федерации;
     Во исполнение этого Указа Постановлением Правительства РФ №583 от 10 июля 2013г. «Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети «Интернет»[3] в форме открытых данных» были утверждены правила отнесения информации к общедоступной информации, правила определения периодичности публикации открытых данных, а также правила обязательного размещения органами государственной власти открытых данных и сопроводительных документов, которые гласят:
     Настоящие Правила устанавливают порядок обязательного размещения органами государственной власти субъектов Российской Федерации и органами местного самоуправления общедоступной информации о деятельности органов государственной власти субъектов Российской Федерации и органов местного самоуправления, созданной указанными органами или поступившей к ним при осуществлении полномочий по предметам ведения Российской Федерации и полномочий Российской Федерации по предметам совместного ведения Российской Федерации и субъектов Российской Федерации, переданных для осуществления органам государственной власти субъектов Российской Федерации или органам местного самоуправления, в информационно- телекоммуникационной сети «Интернет» в форме открытых данных.
     Согласно вышеперечисленным правилам, к открытым данным не может относиться информация, являющаяся государственной тайной или имеющая ограниченный доступ, а также, если она защищена законодательством РФ об информации, информационных технологиях и о защите информации или законодательством РФ о персональных данных.
     Позднее Правительством РФ был утвержден перечень общедоступной информации, размещаемой в форме открытых данных:
     1) Наименования органов записи актов гражданского состояния;
     2) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих полномочия в области содействия занятости населения и переданное полномочие по осуществлению социальных выплат гражданам, признанным в установленном порядке безработными;
     3) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих полномочия в области государственной экспертизы проектной документации, государственной экспертизы результатов инженерных изысканий и в области контроля за соблюдением органами местного самоуправления законодательства о градостроительной деятельности;
     4) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих полномочия в области экологической экспертизы;
     5) План проведения государственной экологической экспертизы на объектах, подлежащих государственному экологическому контролю, осуществляемому органами исполнительной власти субъектов Российской Федерации;
     6) Информация о результатах проведения государственной экологической экспертизы на объектах, подлежащих государственному экологическому контролю, осуществляемому органами исполнительной власти субъектов Российской Федерации;
     7) Государственный лесной реестр (в отношении лесов, расположенных в границах территории субъектов Российской Федерации);
     8) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих полномочия в области охраны и использования объектов животного мира;
     9) Государственный охотхозяйственный реестр;
     10) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих переданные полномочия Российской Федерации в области образования;
     11) Реестр лицензий на образовательную деятельность, выданных органами исполнительной власти субъектов Российской Федерации, осуществляющими переданные полномочия Российской Федерации в области образования;
     12) Реестр аккредитованных образовательных учреждений, расположенных на территории субъектов Российской Федерации;
     13) Наименования органов исполнительной власти субъектов Российской Федерации, осуществляющих переданные полномочия Российской Федерации в области охраны здоровья граждан;
     14) Реестр лицензий на медицинскую деятельность, выданных органами исполнительной власти субъектов Российской Федерации, осуществляющими переданные полномочия Российской Федерации в области охраны здоровья граждан;
     15) Реестр лицензий на фармацевтическую деятельность, выданных органами исполнительной власти субъектов Российской Федерации, осуществляющими переданные полномочия Российской Федерации в области охраны здоровья граждан;
     16) Реестр лицензий на деятельность по обороту наркотических средств, психотропных веществ и их прекурсоров, культивированию наркосодержащих растений, выданных органами исполнительной власти субъектов Российской Федерации, осуществляющими переданные полномочия Российской Федерации в области охраны здоровья граждан;
     17) Иная общедоступная информация о деятельности органов государственной власти субъектов Российской Федерации и органов местного самоуправления, созданная указанными органами или поступившая к ним при осуществлении полномочий по предметам ведения Российской Федерации и полномочий Российской Федерации по предметам совместного ведения Российской Федерации и субъектов Российской Федерации, переданных для осуществления органам государственной власти субъектов Российской Федерации или органам местного самоуправления, подлежащая размещению в сети "Интернет" в форме открытых данных в соответствии с федеральными законами, актами Президента Российской Федерации, Правительства Российской Федерации, решениями Правительственной комиссии по координации деятельности открытого правительства и приказами федеральных органов исполнительной власти (в отношении информации, размещаемой органами государственной власти субъектов Российской Федерации и органами местного самоуправления в рамках полномочий, контроль и надзор за осуществлением которых обеспечивается соответствующими федеральными органами исполнительной власти);
Как можно заметить, государство серьезно подошло к вопросу публикации открытых государственных данных. В рамках этого проекта были утверждены правила отнесения информации к открытым данным, а также правила обязательного размещения открытых данных. Впоследствии был определен перечень общедоступной информации, размещаемой
в форме открытых данных. Были разработаны методические рекомендации по публикации открытых данных, содержащие в себе не только общую информацию об открытых данных, но и описание всего процесса публикации данных, а также процесса подготовки данных к публикации. Также был разработан портал открытых данных РФ, представляющий собой не только удобное место хранения открытых данных, но и новостной портал, и форум по данной тематике. 



     1.1.3 Портал открытых данных Российской Федерации

     По итогам 39-го саммита G8 (17-18 июня 2013 года, Великобритания) была принята Хартия открытых данных, которая предусматривает, что государства будут следовать ряду базовых принципов при раскрытии информации. В рамках реализации данного документа был разработан и принят ряд нормативных правовых актов, основным из которых является План реализации Хартии по открытым данным в Российской Федерации. План предусматривает разработку и ввод в промышленную эксплуатацию Портала открытых данных Российской Федерации[5], первая версия которого появилась в 2014 году. В 2015 году была запущена вторая версия Портала открытых данных, в которой на основе собранных предложений, замечаний, а также рекомендаций экспертов была доработана интерфейсная часть и внесены изменения в функциональную часть(Рис. 1).
     

      Рисунок 1 – главная страница Портала
     
     Портал представляет собой место, где сосредотачиваются наиболее актуальные сведения об открытых государственных данных, размещаются документированные наборы данных, ссылки и метаданные опубликованных наборов данных, информация о созданных на основе открытых данных программных продуктах и информационных услугах. Здесь же публикуются нормативные правовые акты, определяющие правовые основы деятельности по раскрытию данных, методические и публицистические ресурсы. Также реализованы коммуникационные интерфейсы для взаимодействия с государственными органами, выступающими в качестве владельцев социально-значимых данных.
     На сегодняшний день основными возможностямиПортала открытых данных являются:
     * возможность отбора и поиска наборов открытых данных по заданным критериям и ключевым словам
     * возможность ознакомления с паспортами и содержимым наборов открытых данных без предварительной загрузки
     * возможность оперативной визуализации данных с использованием инструментов построения диаграмм, графиков и отображения картографических данных
     * возможность автоматической загрузки актуальных наборов открытых данных с сайтов государственных органов
     * возможность участия в государственно-гражданском диалоге по определению предметных приоритетов раскрытия данных
     * возможность размещения наборов данных и ссылок на наборы данных, размещенные на сайтах государственных органов и организаций (в том числе – коммерческих)
     * возможность паспортизации наборов данных и преобразования исходных данных в открытые форматы
     С главной страницы Портала можно посмотреть новости, касающиеся открытых данных, узнать, какие новые наборы данных были добавлены, просмотреть нормативно-правовые акты, касающиеся этой тематики, обсудить на форуме какой-либо вопрос относительно публикации ОД, добавить новый набор данных, если имеются права на публикацию, или приступить к поиску.
     Поиск по наборам данных позволяет искать открытые данные не только по наименованию, но и осуществлять фильтрацию данных по формату данных, теме, ключевому слову, типу организации и наименованию самой организации; а также осуществлять группировку результатов по дате изменения, просмотрам и загрузкам. 
     Существует функция, позволяющая произвести территориальную привязку наборов данных путем добавления геометок к публикуемым файлам. Место привязки после этого будет отображено на интерактивной карте, как показано на рисунке №2.

      Рисунок 2 – интерактивная карта открытых данных
     
     Можно заметить, что была проделана большая работа по созданию централизованного сервиса размещения открытых государственных данных. Был разработан интерфейс, ориентированный на пользователя. Нельзя обделить вниманием и функциональную часть, которая позволяет  не только производить поиск и загрузку данных, но и отображать интерактивную карту, вести статистику по работе Портала, такую как, динамику публикаций, посещений.
     
     1.1.4 Публикация открытых данных
     
     Определение наборов открытых данных и приоритетности их публикации
     Опубликованию в форме открытых данных подлежат  сведения,  содержащие информацию о деятельности государственных органов и органов местного самоуправления, размещаемую в сети «Интернет» в соответствии с Федеральным законом от 09 февраля 2009 г. № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»[1], а также сведения, содержащие информацию, собираемую, хранимую, обрабатываемую или публикуемую государственными органами или органами местного самоуправления в рамках реализации своих полномочий.
     Опубликование информации в форме открытых данных необходимо осуществлять поэтапно, учитывая при этом следующие факторы: 
     а) востребованность соответствующих наборов открытых данных потенциальными  потребителями информации, оцениваемую в соответствии с методикой мониторинга и  оценки востребованности открытых данных
     б) степень готовности, характеризующуюся наличием необходимых данных в электронном виде, а также готовностью организационных, технических, технологических и иных средств, необходимых для опубликования наборов открытых данных
     в) затраты на публикацию (финансовые, временные, трудовые), необходимые для опубликования наборов открытых данных и поддержания их в актуальном состоянии
     Сведения, обладающие высокой востребованностью и степенью готовности, требующие при этом минимальных затрат, должны публиковаться в форме открытых данных государственными органами и органами местного самоуправления в первоочередном порядке. 
     Для повышения степени готовности сведений к опубликованию в форме открытых данных государственным органам и органам местного самоуправления рекомендуется при проведении работ по проектированию, созданию или развитию автоматизированных систем устанавливать  соответствующие  требования  к  таким  работам,  предусматривающие использование машиночитаемых данных при сборе, обработке, хранении и публикации сведений. 
     При формировании как реестра наборов открытых данных, так и самих наборов открытых данных, следует учитывать: 
     а) публикации подлежат первичные данные, не подвергнутые предварительной обработке;
     б) для каждого набора данных должно быть определено должностное лицо, ответственное по вопросам публикации открытых данных;
     в) для каждого набора данных должна быть установлена периодичность обновления с учетом потребностей потребителей открытых данных;
     Сформированный реестр открытых данных утверждается государственным органом или органом местного самоуправления и подлежит публикации на официальном сайте органа в сети «Интернет».

     Описание форматов открытых данных (CSV, XML, JSON)
     Согласно методическим рекомендациям, открытые данные должны быть представлены в одном из машиночитаемых форматов, таких как CSV, XML, JSON. 
     CSV[8] – текстовый формат, предназначенный для представления табличных данных. Каждая строка файла – это одна строка таблицы. Значения отдельных колонок разграничиваются разделительным символом — запятой или точкой с запятой. В данном формате отсутствуют  типы данных, т.е. каждое значение является строкой. Пример строки в формате CSV: «Уфимское территориальное управление;Шамсиев Рустем Равилевич;г. Уфа, ул. Ленина, 86;ufa.mpe@bashkortostan.ru;8(347)218-04-34;г. Уфа, МР Уфимский район;». Стоит добавить, что в формате CSV можно публиковать только те данные, которые имеют плоскую табличную форму, при этом в содержании записи не допускается использование символа перевода строки. 
     XML[10] – это расширяемый язык разметки документов, позволяющий структурировать информацию разного типа, используя для этого произвольный набор инструкций. В данном формате отсутствуют типы данных, однако их можно прописать в качестве атрибутов в тегах. Пример строки в формате XML: 
     «Уфимское территориальное управление 	Шамсиев Рустем Равилевич
 г. Уфа, ул. Ленина, 86
ufa.mpe@bashkortostan.ru8(347)218-04-34<СontrolledTerritory>г. Уфа, МРУфимскийрайон».
     JSON[9] – простой формат обмена данными, удобный для чтения и написания как человеком, так и компьютером. Каждая запись представляет собой объект, содержащий коллекцию пар «ключ/значение». В данном формате присутствуют следующие типы данных: строки, числа, логические значения, объекты и массивы. Пример строки в формате JSON: {"NameOfTheAgency":"Уфимское территориальное управление", "FIO":"Шамсиев Рустем Равилевич", "Address":"г. Уфа, ул. Ленина, 86", "E-mail":"ufa.mpe@bashkortostan.ru", "TelephoneNumber":"8(347)218-04-34", "СontrolledTerritory":"г. Уфа, МР Уфимский район", "Fax":""}
     
     Общие требования к публикации набора открытых данных
     Содержание страницы набора открытых данных должно состоять из метаинформации по  публикуемому набору открытых данных, машиночитаемого представления набора открытых данных, а также человекочитаемомупредставлению открытых данных (визуализация данных, пользовательское взаимодействие и других). Метаинформация набора открытых данных состоит из паспорта и структуры набора данных.
     Страница набора открытых данных должна обеспечивать предоставление доступа пользователям сети «Интернет» к следующим элементам набора открытых данных[7]: 
1) паспорт набора открытых данных в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде (файла для загрузки, инструмента программного интерфейса) 
2) структура набора открытых данных в машиночитаемом виде (CSV, XSD или JSON представлении в зависимости от формата файла открытых данных) 
3) описание условий использования набора открытых данных (открытая лицензия на использование наборов открытых данных)
4) открытые  данные  в  человекочитаемом  виде  (визуальном  интерфейсе)  и  в машиночитаемом виде в одном из форматов: CSV, XML или JSON
5) возможность визуального просмотра и немедленной загрузки опубликованного набора открытых данных без требований по дополнительной авторизации, прохождения CAPTCHA-теста и иных ограничений
6) инструмент повышения качества наборов открытых данных (обратной связи, экранных форм для обратной связи в виде комментариев, либо ссылок на экранные формы для обратной связи), позволяющий пользователям сети «Интернет» оставлять предложения и отзывы по предоставленному набору открытых данных, в том числе по ошибкам, выявленным в наборе открытых данных
     Паспорт набора открытых данных должен иметь четко заданную структуру следующего вида[7]:
1) Идентификационный номер;
2) Наименование набора открытых данных;
3) Описание набора открытых данных;
4) Владелец набора открытых данных;
5) Ответственное лицо;
6) Телефон ответственного лица;
7) Адрес электронной почты ответственного лица;
8) Гиперссылка (URL) на открытые данные;
9) Формат набора открытых данных;
10) Описание структуры набора открытых данных;
11) Дата первой публикации набора открытых данных;
12) Дата последнего внесения изменений;
13) Содержание последнего изменения;
14) Дата актуальности набора данных;
15) Ключевые слова, соответствующие содержанию набора данных;
16) Гиперссылки (URL) на версии открытых данных;
17) Гиперссылки (URL) на версии структуры набора данных;
18) Версия методических рекомендаций;
     Идентификационный номер (код) набора открытых данных формируется следующим образом: 
а) формат идентификационного номера: <код организации>-<наименование набора>;
б) код организации представляет собой идентификационный номер налогоплательщика (ИНН), соответствующий государственному органу, органу местного самоуправления или организации, опубликовавшей набор открытых данных;
в) наименование набора открытых данных - сокращенное англоязычное название набора открытых данных, указывается в одно слово (уникальное в пределах организации);
     Правила публикации структуры набора открытых данных[7]:
1) структура наборов открытых данных должна представлять описание каждого информационного поля открытых данных;
2) структура открытых данных должна иметь машиночитаемое представление в формате XSD для открытых данных, представленных в формате XML;
3) структура наборов открытых данных должна иметь машиночитаемое представление вформате CSV для наборов открытых данных в формате CSV;
4) структура наборов открытых данных должна иметь машиночитаемое представление в формате JSON для наборов открытых данных в формате JSON;
5) при изменении структуры открытых данных должна обеспечиваться версионность структуры и соответствие данной версии последующим итерациям открытых данных;
6) необходимо обеспечивать хранение всех версий структуры открытых данных;
7) атрибуты  каждой  структуры  открытых  данных  должны  иметь  англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
     Общие требования к публикации машиночитаемого представления набора открытых данных[7]:
     а) открытые данные должны публиковаться в форматах CSV, XML, JSON. В формате CSV рекомендуется публиковать данные, имеющие плоскую табличную форму, при этом в содержании записи не допускается использование  символа  перевода  строки.  Сложные  иерархические  данные рекомендуется публиковать в форматах XML, JSON;
     б) в случае если размер набора имеет значительный объем данных (более 30 Мбайт), рекомендуется архивировать его с помощью алгоритма архивирования, имеющего спецификацию в виде открытого стандарта;
     в) для представления наборов открытых данных, содержащих сведения из различных предметных областей, должны использоваться существующие форматы разметки типовых данных (schema.org, YMapsML, XAL и т.п.), имеющие опубликованную спецификацию;
     г) необходимо избегать смены формата представления открытых данных, так как это может затруднить процесс автоматической обработки. В случае смены формата необходимо заранее уведомлять потребителей и фиксировать суть изменений (например, путем установки соответствующего значения параметра «Содержание последнего изменения» в «Изменение структуры данных» набора открытых данных);
     д) атрибуты каждого набора открытых данных должны иметь краткое англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
     е) машиночитаемое представление набора открытых данных должно обеспечивать возможность автоматической идентификации и обработки информационными системами составных элементов набора (записей, сущностей и т.д.) и атрибутов этих элементов; не допускается представление  данных  в  неструктурированной  форме,  затрудняющей автоматическую обработку (например, недопустимо представление набора данных в виде бинарных данных, включенных в файл офисного документа);
     В случае если размер открытых данных имеет значительный размер (определяется в соответствии с аппаратно-техническими возможностями), рекомендуется архивировать его с помощью алгоритма архивирования LZMA (LZMA2). В случае если на сайте хранится более 10 версий открытых данных одного набора открытых данных, рекомендуется все версии старше десятой хранить в архивах.
     Наборы открытых данных разделяются на оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю) и долговременные (реже, чем 1 раз в неделю).
     Для каждого набора открытых данных в паспорте набора должна быть указана дата его актуальности.
     Частота обновления набора может быть следующей:
     1) Оперативные данные:
а) больше одного раза в день
б) ежедневно
в) еженедельно
     2) Долговременные данные:
а) ежемесячно
б) ежеквартально
в) каждые полгода
г) ежегодно
д) по мере изменения данных

     1.1.5 Способы использования открытых данных

     Основным достоинством открытых данных является их свободное использование без каких-либо ограничений и без предварительной конвертации, так как они уже находятся в машиночитаемом формате. 
     Также открытые государственные данные приводят к более полному взаимодействию между обществом и государством, то есть делается большой шаг к созданию открытого государства. Открытое государство – это доктрина государственного управления, которая поддерживает право граждан на доступ к документам и действиям государства с целью возможности эффективного общественного контроля государственного регулирования. 
     С точки зрения обычных граждан, открытые данные полезны тем, что они используются в программах, которые могут повышать личный комфорт граждан. К примеру, совсем недавно было создано мобильное приложение, которое осуществляет мониторинг общественного транспорта в режиме реального времени. Приложение автоматически определяет местонахождение пользователя, при этом на карте появляются как остановки общественного транспорта, так и иконки с номерами автобусов, троллейбусов и трамваев, которые приближаются к искомому пункту в данный момент. В специальном разделе можно посмотреть список этих маршрутов со временем ожидания и количеством километров, оставшихся до остановки. Для обычных пользователей приложение является очень полезным. 
     С точки зрения государства открытые государственные данные позволяют осуществлять контроль деятельности органов государственной власти, а также производить информирование населения о деятельности органов власти. Примером служит портал закупок, предназначенный для обеспечения свободного и безвозмездного доступа к полной и достоверной информации о контрактной системе в сфере закупок и закупках товаров, работ, услуг.
     С точки зрения бизнеса, открытые данные позволяют создавать новые и развивать существующие информационные продукты. Например, базы данных КЛАДР и ФИАС уже давно используются в различных областях, в том числе в области геоинформационных систем.
     Также на портале открытых данных России [5] имеется возможность быстрого получения массивов открытых данных в машиночитаемых форматах при помощи подачи запросов посредством API. На данный момент APIнаходится на стадии разработки и поддерживает два формата вывода результатов запроса: XML и JSON. Запросы осуществляются через HTTP при помощи метода GET. При помощи данного APIможно получить открытые данные выбранного набора, список данных, относящихся к конкретной организации или тематике, а также получить метаданные по этим наборам.
     


     1.2 Наборы данных о природных ресурсах и окружающей среде Республики Башкортостан

     1.2.1 Перечень информации о деятельности Минэкологии РБ для публикации в форме открытых данных

     Основываясь на утвержденном Правительством РФ перечне общедоступной информации, размещаемой в форме открытых данных, Минэкологии РБ представила свой перечень данных, которые будут опубликованы в открытом формате, включающий следующие пункты:
     1) Перечень территориальных подразделений
     2) Перечень подведомственных организаций
     3) План проведения проверок на очередной год
     4) Результаты плановых и внеплановых проверок, проведенных Минэкологии РБ и его территориальными органами по инспекционной деятельности
     5) Сведения о вакантных должностях государственной гражданской службы Республики Башкортостан, имеющихся в государственном органе Республики Башкортостан, его территориальных органах
     6) Перечень действующих лицензий на право пользования недрами с целью добычи (разведки и добычи) общераспространенных полезных ископаемых
     7) Перечень геологических материалов
     8) Государственный охотхозяйственный реестр Республики Башкортостан
     9) Информация об объектах государственной экологической экспертизы республиканского уровня
     10) Перечень общедоступных охотничьих угодий Республики Башкортостан
     11) Перечень особо охраняемых природных территорий Республики Башкортостан регионального значения
     12) Инф.......................