Просмотр исходного текста страницы Изменение кодировки DBF файла

{{Статья|Опубликована|dbf-encode}}
{{Аннотация|Описание использования библиотеки dbfpy для изменения кодировки данных и скрипт.}}

Неотъемлемой частью данных в формате shape является атрибутивная таблица в формате DBF. Атрибутивные данные могут храниться в разных кодировках, часто встречаются такие кодировки как Windows-1251 (CP1251) и UTF8, KOI8-R. Некоторое, особенно относительно давно появившиеся ГИС, такие как Arcview GIS 3.x, некоторые версии Mapinfo, не умеют работать с более новой кодировкой UTF8. Соответственно, часто встречается задача перевода DBF из одной кодировки в другую.

Для преобразования dbf из одной кодировки в другую можно использовать скрипт на языке Python ([http://gis-lab.info/programs/python/dbf-encode.zip скачать] скрипт). Эта статья описывает подготовку к работе, идею скрипта и как с ним работать.

=== Подготовка к работе ===

Для работы скрипта необходимо иметь Python 2.5/2.6 и один раз скачать и установить библиотеку [http://dbfpy.sourceforge.net/ dbfpy]. После загрузки библиотеки нужно выполнить:

<pre>python setup.py install</pre>

Правильность установки библиотеки можно проверить запустив Python и выполнив:

<syntaxhighlight lang="python">from dbfpy import dbf</syntaxhighlight>

Если все установлено нормально, ошибок эта команда выдать не должна.

=== Идея ===

В процессе работы, наш скрипт должен построчно проверять тип поля в исходном файле DBF и, если он строковый, т.е. есть вероятность того, что данные не в той кодировке, что нужно, осуществлять преобразование. Упрощенная версия скрипта на языке Python для перевода данных из кодировки в кодироввку выглядит следующим образом:

<syntaxhighlight lang="python">
#!/usr/bin/python
#--*-- encoding: utf-8 --*--

import sys
from dbfpy import dbf
from types import *

db = dbf.Dbf(sys.argv[1])
newDB=dbf.Dbf(sys.argv[2], new=True)

for f in db.header.fields:
   newDB.addField(f)

for rec in db:
   r=newDB.newRecord()
   newData=[]
   for f in rec.fieldData:
      if type(f)==StringType:
         f=unicode(f,'utf-8')
         f=f.encode('windows-1251')
      newData.append(f)
   r.fieldData=newData
   r.store()

db.close()
newDB.close()
</syntaxhighlight>

=== Использование ===

Утилита вызывается из командной строки и принимает несколько параметров:

<pre>python dbf-encode.py -f encin -t encout -n input output</pre>

* <tt>input</tt> — имя исходного файла dbf, который требуется преобразовать, обязателен
* <tt>output</tt> — имя конечного файла dbf, куда будет записан результат, обязателен
* <tt>-f</tt> (<tt>--from-code</tt>) — кодировка исходного DBF файла, не обязателен, по умолчанию UTF-8
* <tt>-t</tt> (<tt>--to-code</tt>) — кодировка выходного DBF файла, не обязателен, по умолчанию CP-1251
* <tt>-n</tt> (<tt>--no-subs</tt>) — переключатель, если установлен, то неизвестные символы пропускаются, если не установлен — заменяются на знаки вопроса («?»)
* <tt>-h</tt> (<tt>--help</tt>) — справка
* <tt>-v</tt> (<tt>--version</tt>) — версия программы

=== Пример использования ===

Конвертировать <tt>adygeya-admin-a.dbf</tt> в <tt>adygeya-admin-a2.dbf</tt> из кодировки UTF-8 в кодировку CP-1251.

<pre>python dbf-encode.py -f UTF8 -t CP1251 adygeya-admin-a.dbf adygeya-admin-a2.dbf</pre>

или упрощенная запись параметров командной строки (эти кодировки и так являются кодировками на входе и выходе по умолчанию):

<pre>python dbf-encode.py adygeya-admin-a.dbf adygeya-admin-a2.dbf</pre>

=== Ошибки конвертации ===

Если конвертер сталкивается с символом, который не может перекодировать, он по-умолчанию заменяет его на вопросительный знак («?»), если к строке запуска добавлен <tt>--no-subs</tt> (<tt>-n</tt>), то символ пропускается.

Если возникает другая ошибка при конвертации, конвертер выводит содержание записи на которой возникла ошибка в консоль и прекращает работу. Конечный файл создается неполным и для подмены оригинального в shape-файле непригоден.

Ошибка '''invalid syntax''' может быть связана с неправильным запуском скрипта, под Windows запуск нужно осуществлять из командного процессора («Пуск → Выполнить → cmd») после чего вводить команду указанную выше.

[http://gis-lab.info/programs/python/dbf-encode.zip Скачать] полную версию dbf-encode.py

=== Ссылки по теме ===

* [http://gis-lab.info/qa/dbf2csv.html Конвертация DBF в CSV]