ФИАС

Эта страница является черновиком статьи.

Введение

Вопросы/пожелания/замечания - http://gis-lab.info/forum/viewtopic.php?f=3&t=12568

Федеральная информационная адресная система (ФИАС) создана Распоряжением Правительства Российской Федерации от 10.06.2011 №1011-р. С целью...

Замена КЛАДР... Тем не менее классификатор КЛАДР продолжает публиковаться и обновляться - версия 4.0 от 24.12.2012.

Загрузка данных

Процесс импорта данных из файлов XML в реляционную базу данных дается на примере PostgreSQL. Все применяемые инструменты являются кросплатформенными. Для других БД (MySQL, Oracle и т.п.) процедура потребует незначительной доработки. См. также гл. 2.3, в которой приводятся ссылки на сторонние проекты, предоставляющие подготовленные данные в других форматах.

Создание таблиц

На сайте ФИАС представлены схемы XSD, описывающие структуру данных. Для преобразования схемы в формат SQL (CREATE TABLE...) применим XSL Transformation (XSLT). В зависимости от БД может потребоваться изменить типы данных колонок.

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="2.0"
	xmlns:xs="http://www.w3.org/2001/XMLSchema"
	xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
	<xsl:output method="text" encoding="UTF-8" indent="no"/>

<xsl:template match="/">
<xsl:variable name="filename" select="lower-case(tokenize(tokenize(base-uri(.), '/')[last()],'\.')[1])" />

DROP TABLE IF EXISTS <xsl:value-of select="$filename"/>;
CREATE TABLE <xsl:value-of select="$filename"/> (
<xsl:for-each select="/xs:schema/xs:element[1]/xs:complexType[1]/xs:sequence[1]/xs:element[1]/xs:complexType[1]/xs:attribute" >
    <xsl:text>  </xsl:text><xsl:value-of select="@name"/><xsl:text> </xsl:text>
	<xsl:choose>
		<!-- тип данных -->
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:integer'">integer</xsl:when>
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:byte'">integer</xsl:when>
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:string'">text</xsl:when>
		<xsl:when test="@type='xs:date'">date</xsl:when>
	</xsl:choose>
	<xsl:if test="@use='required'"> NOT NULL</xsl:if>
	<xsl:if test="position()!=last()">,&#xa;</xsl:if>
</xsl:for-each>
);

<xsl:for-each select="/xs:schema/xs:element[1]/xs:complexType[1]/xs:sequence[1]/xs:element[1]/xs:complexType[1]/xs:attribute" >
	<a>COMMENT ON COLUMN <xsl:value-of select="$filename"/>.<xsl:value-of select="@name" /> IS </a>
	<xsl:choose>
    		<!-- Часть комментариев слишком длинная, обрезаем лишние строки -->
		<xsl:when test="contains(xs:annotation/xs:documentation,'&#xa;')">
			<a>'<xsl:value-of select="substring-before(xs:annotation/xs:documentation,'&#xa;')"/>'</a>
		</xsl:when>
		<xsl:otherwise>'<xsl:value-of select="xs:annotation/xs:documentation"/>'</xsl:otherwise>
	</xsl:choose>
	<xsl:text>;&#xa;</xsl:text>
</xsl:for-each>
	
</xsl:template>
</xsl:stylesheet>

Схема подходит для всех таблиц ФИАС. Для работы требуется процессор, поддерживающий XSLT 2.0. Например, Saxon XSLT Processor (MPL). Тогда обработка файлов принимает вид (версии .NET, Windows):

@echo off
SET PATH=%PATH%;d:\Program Files\Saxonica\SaxonHE9.4N\bin

for %%f in (*.xsd) do (
    Transform ^
        -xsl:xsd2db.xslt ^
        -s:%%f ^
        -o:sql\%%~nf.sql
)

Далее полученные файлы SQL желательно откорректировать, чтобы явно назначить ключи (primary keys).

//// Ссылка на готовые файлы

Импорт данных

Для работы с большими файлами XML предпочтительнее применять потоковые парсеры.

Ниже приводится скрипт ETL Scriptella (Apache License) на базе парсера SAX. Он подходит для любой реляционной БД, для которой есть java-драйвер.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE etl SYSTEM "http://scriptella.javaforge.com/dtd/etl.dtd">
<etl>
    <description>
        Загрузка данных из xml-файла в предварительно созданную таблицу
    </description>
    <properties>
        <include href="db.properties"/>
    </properties>

    <connection id="in" driver="janino"/>
    <connection id="out" driver="${driver}" url="${url}" user="${user}" password="${password}">
        autocommit.size=100
    </connection>

    <query connection-id="in">
        import javax.xml.parsers.SAXParser;
        import javax.xml.parsers.SAXParserFactory;
        import org.xml.sax.Attributes;
        import org.xml.sax.SAXException;
        import org.xml.sax.helpers.DefaultHandler;

        SAXParserFactory factory = SAXParserFactory.newInstance();
        SAXParser saxParser = factory.newSAXParser();

        DefaultHandler handler = new DefaultHandler() {
            boolean isObject = false;
            int recordCnt = 0;

            public void startElement(String uri, String localName,String qName, Attributes attr) throws SAXException {
                if (qName.equalsIgnoreCase("Object")) {
                    String names = "";
                    String values = "";
                    
                    int attrCnt = attr.getLength();
                    for (int i=0; i &lt; attrCnt; i++) {
                        names += attr.getQName(i) + ",";
                        values += "'" + attr.getValue(i).replaceAll("'", "''") + "',";
                    }

                    names = names.substring(0, names.length()-1);
                    values = values.substring(0, values.length()-1);
                    set("sql_names", names);
                    set("sql_values", values);
                    <script connection-id="out">
                        INSERT INTO ###TABLE### ($sql_names) VALUES ($sql_values);
                    </script>
                    next();

                    recordCnt++;
                    System.out.print("\rprocessed: " + recordCnt);
                }
            }
        };

        System.out.println("\n\n\nConverting...");
        saxParser.parse("../xml/###TABLE###.xml", handler);
    </query>
</etl>

Примечания:

1. Паттерн ###TABLE### следует заменить на имя файла/таблицы (например, ADDROBJ);
2. Да работы требуются дополнительные библиотеки: Janino, PostgreSQL JDBC Driver;
3. Выполняется простейшее экранирование значений (одиночная кавычка ').

Другие источники

Данные ФИАС также распространяются в формате DBF. Для работы с ними рекомендуются утилиты типа PgDBF (импорт ФИАС).

• BasicData.ru - WebAPI и файлы для импорта в БД MySQL. Также может быть интересна БД "Почтовые отделения".
• Классификаторы России (rus-ref)
• zXML Parser - "Парсинг баз ФИАС в MySQL (потоковый XML парсер)". Программа из данных XML создает файл с sql-запросами.

Структура данных ФИАС (описание таблиц)

Для понимания структуры данных ФИАС требуются следующие документы:

1. Сведения о составе информации Федеральной информационной адресной системы (DOC);
2. Описание Классификатора адресов российской федерации (КЛАДР) (в архиве DOCUM.ARJ)

Таблицы

Основные

• ADDROBJ - Классификатор адресообразующих элементов (край > область > город > район > улица)
• HOUSE - Сведения по номерам домов улиц городов и населенных пунктов, номера земельных участков и т.п
• HOUSEINT - Интервалы домов
• LANDMARK - Описание мест расположения имущественных объектов
• NORMDOC - Сведения по нормативному документу, являющемуся основанием присвоения адресному элементу наименования

Справочники

• SOCRBASE - Типы адресных объектов (условные сокращения и уровни подчинения)
• CURENTST - Статус актуальности КЛАДР 4.0
• ACTSTAT - Статус актуальности ФИАС
• OPERSTAT - Статус действия
• CENTERST - Статус центра
• INTVSTAT - Статус интервала домов
• HSTSTAT - Статус состояния объектов недвижимости
• ESTSTAT - Признак владения
• STRSTAT - Признак строения
• NDOCTYPE - Тип нормативного документа (закон, приказ, справка) // не упоминается в официальной документации

ADDROBJ

Статус актуальности

В базе ФИАС никогда не удаляются элементы. Они могут быть только переведены в разряд "отключенных" (устаревшие, измененные и т.п.). Поведение аналогично работе КЛАДР. Рассмотрим поля, определяющие действительность объекта:

• ACTSTATUS - Статус актуальности адресного объекта ФИАС. Принимает значения: 1 - актуальный, 0 – не актуальный (см. табл. ACTSTAT).
• LIVESTATUS - Признак действующего адресного объекта. Принимает значения: 0 - действующий, 1 - не действующий (инвертированы по отношению к ACTSTATUS).
• OPERSTATUS - Статус действия. Принимает значения: 1 - Инициация, 10 - Добавление, 20 - Изменение и др (см. табл. OPERSTAT).
• CURRSTATUS - Статус актуальности КЛАДР 4. Значения частично повторяют OPERSTATUS (см. табл. CURENTST и гл. 1.2. "Коды адресных объектов" документации КЛАДР).

Также могут быть интересны поля STARTDATE, ENDDATE, UPDATEDATE. Но, как будет показано ниже, содержащаяся в них информация не несет смысловой нагрузки.

Покажем на примере выбор актуальных и исторический записей об объекте. "Пермский край" был образован 01.12.2005 объединением "Пермской области" и "Коми-Пермяцкого АО". В базе ФИАС это отразилось следующим образом (см. табл.):

1. Создана новая запись "Пермский край" (1-й столбец);
2. Запись "Пермская область" (2-й столбец) сохранена, причем AOGUID обеих записей идентичен (для связи с дочерними объектами);
3. Запись "Коми-Пермяцкий АО" (3-й столбец) также сохранена.

Примечание	Актуальная запись	Пермская обл.	Коми-Пермяцкий АО
AOID	c685f6ca-d7e1-4938-8b21-7c20035652d2	744e2599-d2bb-4364-9922-c13febb16e81	68824dc3-da0f-42d3-bd0b-1ceb91ff27bf
AOGUID	4f8b1a21-e4bb-422f-9087-d3cbf4bebc14	4f8b1a21-e4bb-422f-9087-d3cbf4bebc14	e3d95b95-cc2d-440d-95c6-65577fae076e
AOLEVEL	1	1	1
PREVID	744e2599-d2bb-4364-9922-c13febb16e81	68824dc3-da0f-42d3-bd0b-1ceb91ff27bf
NEXTID		c685f6ca-d7e1-4938-8b21-7c20035652d2	744e2599-d2bb-4364-9922-c13febb16e81
ACTSTATUS	1	0	1
OPERSTATUS	1	1	1
CURRSTATUS	0	1	51
LIVESTATUS	1	0	0
UPDATEDATE	2011-09-13	2011-09-13	2011-09-13
STARTDATE	1900-01-01	1900-01-01	1900-01-01
ENDDATE	2079-06-06	2079-06-06	2079-06-06
FORMALNAME	Пермский	Пермская	Коми-Пермяцкий
OFFNAME	Пермский	Пермская	Коми-Пермяцкий
SHORTNAME	край	обл	АО

Значения полей:

1. ACTSTATUS для Коми-Пермяцкого АО сохранен в значении "Актуальный" - ошибочно(?);
2. OPERSTATUS не изменился - ошибочно(?);
3. CURRSTATUS правильное (0 - актуальный, 1 - исторический, 51 - переподчиненный);
4. LIVESTATUS показывает единственную актуальную запись, но значения инвертированы - ошибочно(?).

Поля AOID, PREVID, NEXTID в совокупности составляют цепочку от современного к устаревшим наименованиям объекта. Хотя, как в данном примере у "Пермского края" имеется два прямых предка, что в цепочке наследования невозможно отразить полностью однозначно.

Как и указывалось выше, значения дат в полях STARTDATE, ENDDATE, UPDATEDATE не несут сколь-нибудь полезной информации.

Для выбора актуальных записей следует ориентироваться на поле CURRSTATUS.