ФИАС

Эта страница является черновиком статьи.

Введение

Наследие КЛАДР...

Загрузка данных

Процесс импорта данных из файлов XML в реляционную базу данных дается на примере PostgreSQL. Все применяемые инструменты являются кросплатформенными. Для других БД (MySQL, Oracle и т.п.) процедура потребует незначительной доработки. См. также гл. 2.3, в которой приводятся ссылки на сторонние проекты, предоставляющие подготовленные данные в других форматах.

Создание таблиц

На сайте ФИАС представлены схемы XSD, описывающие структуру данных. Для преобразования схемы в формат SQL (CREATE TABLE...) применим XSL Transformation (XSLT). В зависимости от БД может потребоваться изменить типы данных колонок.

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="2.0"
	xmlns:xs="http://www.w3.org/2001/XMLSchema"
	xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
	<xsl:output method="text" encoding="UTF-8" indent="no"/>

<xsl:template match="/">
<xsl:variable name="filename" select="lower-case(tokenize(tokenize(base-uri(.), '/')[last()],'\.')[1])" />

DROP TABLE IF EXISTS <xsl:value-of select="$filename"/>;
CREATE TABLE <xsl:value-of select="$filename"/> (
<xsl:for-each select="/xs:schema/xs:element[1]/xs:complexType[1]/xs:sequence[1]/xs:element[1]/xs:complexType[1]/xs:attribute" >
    <xsl:text>  </xsl:text><xsl:value-of select="@name"/><xsl:text> </xsl:text>
	<xsl:choose>
		<!-- тип данных -->
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:integer'">integer</xsl:when>
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:byte'">integer</xsl:when>
		<xsl:when test="xs:simpleType/xs:restriction/@base='xs:string'">text</xsl:when>
		<xsl:when test="@type='xs:date'">date</xsl:when>
	</xsl:choose>
	<xsl:if test="@use='required'"> NOT NULL</xsl:if>
	<xsl:if test="position()!=last()">,&#xa;</xsl:if>
</xsl:for-each>
);

<xsl:for-each select="/xs:schema/xs:element[1]/xs:complexType[1]/xs:sequence[1]/xs:element[1]/xs:complexType[1]/xs:attribute" >
	<a>COMMENT ON COLUMN <xsl:value-of select="$filename"/>.<xsl:value-of select="@name" /> IS </a>
	<xsl:choose>
    		<!-- Часть комментариев слишком длинная, обрезаем лишние строки -->
		<xsl:when test="contains(xs:annotation/xs:documentation,'&#xa;')">
			<a>'<xsl:value-of select="substring-before(xs:annotation/xs:documentation,'&#xa;')"/>'</a>
		</xsl:when>
		<xsl:otherwise>'<xsl:value-of select="xs:annotation/xs:documentation"/>'</xsl:otherwise>
	</xsl:choose>
	<xsl:text>;&#xa;</xsl:text>
</xsl:for-each>
	
</xsl:template>
</xsl:stylesheet>

Схема подходит для всех таблиц ФИАС. Для работы требуется процессор, поддерживающий XSLT 2.0. Например, Saxon XSLT Processor (MPL). Тогда обработка файлов принимает вид (версии .NET, Windows):

@echo off
SET PATH=%PATH%;d:\Program Files\Saxonica\SaxonHE9.4N\bin

for %%f in (*.xsd) do (
    Transform ^
        -xsl:xsd2db.xslt ^
        -s:%%f ^
        -o:sql\%%~nf.sql
)

Далее полученные файлы SQL желательно откорректировать, чтобы явно назначить ключи (primary keys).

//// Ссылка на готовые файлы

Импорт данных

Для работы с большими файлами XML предпочтительнее применять потоковые парсеры.

Ниже приводится скрипт ETL Scriptella (Apache License) на базе парсера SAX. Он подходит для любой реляционной БД, для которой есть java-драйвер.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE etl SYSTEM "http://scriptella.javaforge.com/dtd/etl.dtd">
<etl>
    <description>
        Загрузка данных из xml-файла в предварительно созданную таблицу
    </description>
    <properties>
        <include href="db.properties"/>
    </properties>

    <connection id="in" driver="janino"/>
    <connection id="out" driver="${driver}" url="${url}" user="${user}" password="${password}">
        autocommit.size=100
    </connection>

    <query connection-id="in">
        import javax.xml.parsers.SAXParser;
        import javax.xml.parsers.SAXParserFactory;
        import org.xml.sax.Attributes;
        import org.xml.sax.SAXException;
        import org.xml.sax.helpers.DefaultHandler;

        SAXParserFactory factory = SAXParserFactory.newInstance();
        SAXParser saxParser = factory.newSAXParser();

        DefaultHandler handler = new DefaultHandler() {
            boolean isObject = false;
            int recordCnt = 0;

            public void startElement(String uri, String localName,String qName, Attributes attr) throws SAXException {
                if (qName.equalsIgnoreCase("Object")) {
                    String names = "";
                    String values = "";
                    
                    int attrCnt = attr.getLength();
                    for (int i=0; i &lt; attrCnt; i++) {
                        names += attr.getQName(i) + ",";
                        values += "'" + attr.getValue(i).replaceAll("'", "''") + "',";
                    }

                    names = names.substring(0, names.length()-1);
                    values = values.substring(0, values.length()-1);
                    set("sql_names", names);
                    set("sql_values", values);
                    <script connection-id="out">
                        INSERT INTO ###TABLE### ($sql_names) VALUES ($sql_values);
                    </script>
                    next();

                    recordCnt++;
                    System.out.print("\rprocessed: " + recordCnt);
                }
            }
        };

        System.out.println("\n\n\nConverting...");
        saxParser.parse("../xml/###TABLE###.xml", handler);
    </query>
</etl>

Примечания:

1. Паттерн ###TABLE### следует заменить на имя файла/таблицы (например, ADDROBJ);
2. Да работы требуются дополнительные библиотеки: Janino, PostgreSQL JDBC Driver;
3. Выполняется простейшее экранирование значений (одиночная кавычка ').

Другие источники

Данные ФИАС также распространяются в формате DBF. Для работы с ними рекомендуются утилиты типа PgDBF (импорт ФИАС).

• BasicData.ru - WebAPI и файлы для импорта в БД MySQL. Также может быть интересна БД "Почтовые отделения".
• Классификаторы России (rus-ref)
• zXML Parser - "Парсинг баз ФИАС в MySQL (потоковый XML парсер)". Программа из данных XML создает файл с sql-запросами.