Yellow-sky: Новая страница: «{{Аннотация|Небольшое исследование в плане оптимизации времени сжатия MBTiles}} == Исходные …»

2012-09-11T13:02:29Z

Новая страница: «{{Аннотация|Небольшое исследование в плане оптимизации времени сжатия MBTiles}} == Исходные …»

Новая страница

{{Аннотация|Небольшое исследование в плане оптимизации времени сжатия MBTiles}}

== Исходные параметры ==
DB: sample.mbtiles 
SIZE: 4477M 
TILES: 1332136 (~1.3M) 
CHUNK SIZE: 100000 

== Параметры по умолчанию ==
<pre>
PRAGMA synchronous=0
PRAGMA locking_mode=EXCLUSIVE
PRAGMA journal_mode=DELETE
</pre>
Время компрессии:
<pre>
real 28m46.202s
user 6m34.901s
sys 16m5.388s
</pre>

== Отключение журналирования ==
Последняя стадия компрессии - удаление реальной таблицы с тайлами. Это приводит к значительному росту журнала транзакций. Его размер будет равен исходному файлу. Отключение журнала в случае сбоя приводит к потере всех изменений, производимых во время компрессии(но исходные данные остаются в целостности).
<pre>
PRAGMA synchronous=0
PRAGMA locking_mode=EXCLUSIVE
PRAGMA journal_mode=OFF
</pre>
Время компрессии:
<pre>
real 15m4.885s
user 5m54.677s
sys 6m32.340s
</pre>

== Увелечение cache_size ==
По умолчанию cache_size равен 2000 страниц. Увеличение размера ведет к значительному возрастанию потребления памяти!
<pre>
PRAGMA synchronous=0
PRAGMA locking_mode=EXCLUSIVE
PRAGMA journal_mode=DELETE
PRAGMA cache_size=100000
</pre>
Время компрессии:
<pre>
real 26m21.234s
user 6m36.169s
sys 15m12.289s
</pre>

== Отключение вывода статистики ==
Не параметры подключения, но все же.
Каждая операция добавления данных выводит время операции. Отключение можно произвести только отредактировав код.
<pre>
#utils.py
тут будет дифф когда нибудь
</pre>

<pre>
PRAGMA synchronous=0
PRAGMA locking_mode=EXCLUSIVE
PRAGMA journal_mode=DELETE
</pre>
Время компрессии:
<pre>
real 20m15.349s
user 3m3.098s
sys 13m32.283s
</pre>

== Применение всех перечисленных оптимизаций ==
<pre>
#вывод статистики отключен
PRAGMA synchronous=0
PRAGMA locking_mode=EXCLUSIVE
PRAGMA journal_mode=OFF
PRAGMA cache_size=100000
</pre>
Время компрессии:
<pre>
real 9m33.636s
user 2m28.588s
sys 5m4.405s
</pre>

== Ссылки по теме ==
[http://www.sqlite.org/pragma.html List of SQLite PRAGMAs] 
[http://web.utk.edu/~jplyon/sqlite/SQLite_optimization_FAQ.html#pragmas SQLite Optimization FAQ]

Влияние параметров подключения на скорость сжатия MBTiles - История изменений

Yellow-sky: Новая страница: «{{Аннотация|Небольшое исследование в плане оптимизации времени сжатия MBTiles}} == Исходные …»