Производительность аппаратного обеспечения в операциях с пространственными данными

Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/../projects/benchmark/index.html

Открытое исследование, пытающееся ответить на вопрос, какие компоненты аппаратного обеспечения больше всего влияют на производительность в операциях с пространственными данными.

Приглашаем принять участие в исследовании производительности различных конфигураций аппаратного обеспечения с целью понять какие из компонент имеют наиболее сильное влияние на производительность и следовательно во что стоит вкладывать финансы. Планируется начать заполнение таблиц данными по результатам тестов приведенных ниже, а после набора необходимой базы - проанализировать результаты и попытаться сделать определенные выводы. Одновременно, информация представленная в таблице может дать пищу к размышлению и без дополнительного анализа, Вы можете просто сравнить результаты со своими.

Иногда, серия тестов проводится на одном и том же оборудовании, при меняющемся программном обеспечении (например при установки обновлений), следствие этого - появление "дублирующихся" описаний аппаратного обеспечения. Чтобы отразить это в тестах, помимо конфигурации оборудования в таблице отражается ссылка на другие тесты произведенные на этом же оборудовании. Например, Athlon 64x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=B1) означает, что тот же компьютер использовался для теста B, номер 1.

В описание аппаратного обеспечения должно входить:

• Процессор
• Оперативная память
• Жесткий диск
• Версия операционной системы
• Версия ПО включая build (для ArcGIS: Help\About Arcmap)

Из памяти должны быть выгружено все программное обеспечение кроме работающего ПО, включая основные резидентные программы (антивирусы и т.д.). Никаких операций в процессе работы производиться не должно. Результат должен подтверждаться копией экрана (print screen) соответственно окон лога ERDAS Imagine (Session Log), менеджера задач ArcGIS или файла генерируемого скриптом буферизации (см. примечание к тесту B).

Мы не ограничиваемся программными продуктами одного производителя, если вы знаете пакет производящий ту же операцию, что описана в тесте, присылайте нам свои результаты, это сделает возможным сравнить не только аппаратное, но и программное обеспечение.

Тест A. Перепроектирование с распаковкой из MrSID

Данные: мозаика Landsat TM 16974х19734 пикселей (скачать тестовый набор данных) источник: Global Land Cover Facility.
Операция: DataPrep\Reproject Images, исходная ситема координат UTM Zone 38/WGS 1984 (задана самим файлом), конечная система координат Geographic\WGS 84, выходной формат: IMG, размер пиксела: 0.000259х0.000259, единицы: Degrees, режим rigorous transformation - включен, переключатель Ignore zeroes in stats - выключен, интерполяция - nearest neighbor ([reproject.html подробнее]).

Измерение времени производится по логу Erdas Imagine (Session\Session log...), точность в секундах. Конечным результатом операции должен являться файл размером 2.5 Gb.

#	Конфигурация аппартного обеспечения	ПО	Время выполнения операции, сек
1	Intel Pentium 4 Duo 1.86 гГц, 2 Гб DDR, Windows XP Pro, SP2, swap 10 Гб	ERDAS 8.5	82 мин 39 сек
2	Intel Pentium 4, 2.4 гГц, 512 Mb DDR, Windows 2000 Pro SP4, swap 1 гб	ERDAS 8.5	99 мин 38 сек
3	AMD Opteron 248, 2.2 гГц, 2 гб, swap-файл: 2 гб	ERDAS 8.7	52 мин 24 сек
4	AMD Opteron 248, 2.2 гГц, 2 гб, swap-файл: 2 гб	ERDAS 9.0	65 мин 25 сек
5	Intel Pentium D 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ERDAS 8.7	51 мин 01 сек
6	Intel Pentium D 3.0 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ERDAS 9.0	61 мин 36 сек
7	Intel Pentium D 3.0 гГц, 3.5 гб DDR, Windows XP Pro, swap-файл: 2 гб	ERDAS 9.0	64 мин 22 сек
8	Intel Xeon 3.6 гГц, 8 гб DDR, Windows Server 2003 (=[benchmark.html#b03 B03])	ERDAS 9.0	53 мин 02 сек
9	Intel Pentium 4 CPU 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ERDAS 9.1	60 мин 37 сек
10	Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro, SP2 (=[benchmark.html#a15 A15],[benchmark.html#b5 B5],[benchmark.html#b17 17])	ERDAS 9.0	58 мин 25 сек
11	AMD Athlon 64x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#b1 B1])	ERDAS 9.1	40 мин 58 сек
12	AMD Turion 64x2 2.01 гГц, 1 гб RAM, Windows XP Pro SP2 (=[B18])	ERDAS 9.1	58 мин 54 сек
13	Intel Pentium D CPU 2.80 гГц, 1Gb DDR, swap-файл 1.5 гб, Windows XP Pro, SP2	ERDAS 8.4	46 мин 53 сек
14	Intel Pentium 4 CPU 3.0 гГц, 1Gb DDR, swap-файл 1.5 гб, Windows XP Pro, SP2	ERDAS 8.4	62 мин 35 сек
15	Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro, SP2 (=[benchmark.html#a10 A10],[benchmark.html#b5 B5],[17])	ERDAS 9.0	61 мин 58 сек
16	AMD Phenom 9600 2.3 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[B20]) (А11, B1, B19 с замененным процессором)	ERDAS 9.1	84 мин 10 сек
17	AMD Turion 64x2 2.01 гГц, 2 гб RAM, Windows XP Pro SP2 (=A12, B18 с добавленным 1 гБ памяти)	ERDAS 9.1	57 мин 33 сек
18	AMD Athlon 64 3200+, 2Ггц, 1.5Гб, swap-файл 1.5 гб, Windows XP Pro SP2	ERDAS 9.1	52 мин 07 сек
19	AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 1.5 гб, Windows XP Pro SP2	ERDAS 9.1	46 мин 08 сек
20	AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2	ERDAS 9.1	46 мин 14 сек
21	AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2 и Hypertransport I, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А16)	ERDAS 9.1	74 мин 55 сек
22	AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А21), система оптимизирована под фоновые службы, файл подкачки 2046-4092 мб (default параметры быстродействия)	ERDAS 9.1	42 мин 25 сек
23	AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А21), система оптимизирована под приложения, файл подкачки 6000-10000 мб	ERDAS 9.1	41 мин 43 сек
24	HP Workstation xw8200, Intel Xeon 3.00 ггц, 2 ГБ ОЗУ, Windows XP Pro sp3	ERDAS 9.1	57 мин 40 сек
25	AMD Phenom II 940 3.0 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x2 гб DDR2 PC8500 1066 мгц, Server 2003 Enterprise (А22), файл подкачки 12000-20000 мб	ERDAS 9.1	35 мин 31 сек
26	AMD Athlon 64x2 6400+ 3.21 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 x64 Enterprise	ERDAS 9.1	32 мин 56 сек
27	AMD Turion 64x2 2.01 гГц, 2 гб RAM, Windows Vista Ultimate x64 (=a12)	ERDAS 9.1	67 мин 55 сек
28	AMD Athlon 64x2 6400+ 3.21 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 x64 Enterprise (=a26)	ERDAS 9.2	24 мин 22 сек
29	AMD Phenom II 965 3.4 ггц (4 ядра) на Socket AM3 4x2 гб DDR3 PC12800 1266 мгц, Windows 7 Ultimate x64, файл подкачки - авто	ERDAS 9.1	29 мин 06 сек
30	AMD Phenom II 965 3.4 ггц (4 ядра) на Socket AM3 4x2 гб DDR3 PC12800 1266 мгц, Windows 7 Ultimate x64, файл подкачки - авто	ERDAS 9.2	20 мин 24 сек
31	Intel Core 2 Duo T9400 2,53 ГГц 2x2048 МБ DDR3-1066, (ноутбук Fujitsu-Siemens AMILO Xi 3650) Windows 7 Ultimate x64, файл подкачки - авто	ERDAS 9.1	39 мин 22 сек
32	Intel Core 2 Duo T9400 2,53 ГГц 2x2048 МБ DDR3-1066, (ноутбук Fujitsu-Siemens AMILO Xi 3650) Windows 7 Ultimate x64, файл подкачки - авто	ERDAS 9.2	25 мин 52 сек
33	Intel Core i7 920 8Gb Ram Windows7 Professional 64bit	ERDAS 10.1	9 мин 42 сек
34	Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB Windows 7 x64 Pro	ERDAS 9.1	18 мин 58 сек
35	Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB Windows 7 x64 Pro	ERDAS 2011	10 мин 23 сек
36	AMD Phenom II 980 3,7 Ггц (4 ядра) на Socket AM3+ 16384 мб (4х4 гб) DDR3 15000 1866 мгц Windows 7 x64 Ultimate, файл подкачки - авто	ERDAS 2011	5 мин 51 сек

Тест B. Буферизация векторных данных

Данные: Объекты гидросети России (119405 объектов) из VMap0 (скачать тестовый набор данных),
Операция: Буферизация при помощи инструмента Buffer из Arctoolbox (Analysis Tools\Proximity\Buffer) на 1 км (все установки по умолчанию, растворение границ отключено). В новый проект загружен только один слой, фрейм данных не спроектирован.

Примечание: Время выполнение данного теста может значительно изменяться, поэтому разовое определение времени затраченного на его осуществления может быть очень не точным. Если вы хотите получить более объективную оценку - воспользуйтесь специальным скриптом, который произведет 100 операций буферизации и запишет результат каждой в текстовый файл, по этим данным можно будет более точно расчитать среднее время выполнения этой операции на вашей конфигурации. В случае если такие данные предоставлены, они показаны в таблице как N min M sec (±K sec), то есть среднее время плюс-минус одно стандартное отклонение.

Сам скрипт как и данные могут находится в любой директории, перед запуском скрипта его необходимо отредактировать, изменив два параметра - указав директорию где находятся данные и полный путь к файлу набора инструментов анализа ArcGIS (*.tbx):

# расположение данных
 gp.workspace = "c:/temp/2"
 # расположение тулбокса (папка ArcGIS)
 gp.AddToolbox("C:/Gis/ArcGIS/ArcToolbox/Toolboxes/Analysis Tools.tbx")
 

Если скрипт не работает и выдается ошибка: ImportError: No module named arcgisscripting, значит установлена версия Python меньше 2.4 (например 2.1) и необходимо использовать скрипт buffer-benchmark-21.py. Скрипты проверены и работают для ArcGIS 9.0, 9.2.

#	Конфигурация аппартного обеспечения	ПО	Время выполнения операции, сек
1	Athlon 64 x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a11 A11],[benchmark.html#b19 B19])	ArcGIS 9.2 (build 1324)	1 мин 8.9 сек (±1.6)
19	Athlon 64 x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a11 A11],[benchmark.html#b1 B1])	ArcGIS 9.2 (build 1380)	1 мин 9.0 сек (±1.5)
2	Intel Core Duo 1.87 гГц, 2 гб DDR, Windows XP Pro	ArcGIS 9.0 (build 580)	1 мин 48 сек
3	Intel Xeon 3.6 гГц, 8 гб DDR, Windows Server 2003 (=[A08])	ArcGIS 9.1 (build 766)	2 мин 01 сек
4	Intel Pentium D 3.0 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ArcGIS 9.1 (build 722)	2 мин 07 сек
5	Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro (=[benchmark.html#b17 B17],[A10])	ArcGIS 9.2 (build 1350)	2 мин 13.4 сек (±1.6)
17	Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro (=[benchmark.html#b5 B5],[benchmark.html#a10 A10])	ArcGIS 9.2 (build 1380)	2 мин 22.3 сек (±5.3)
6	Intel Pentium D 3.0 гГц, 3.5 гб DDR, Windows XP Pro, swap-файл: 2 гб	ArcGIS 9.1 (build 766)	4 мин 00 сек
7	Intel Pentium D 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ArcGIS 9.0 (build 580)	2 мин 25 сек
8	Intel Pentium 4 CPU 3.30 гГц, 1 гб DDR, Windows XP Pro, swap-файл: 1.5 гб	ArcGIS 9.2 (build 1350)	2 мин 35 сек
9	Intel Pentium 4 CPU 3.20 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб	ArcGIS 9.0 (build 535)	2 мин 39 сек
10	Intel Pentium 4 CPU 3.80 гГц, 3 гб DDR, Windows XP Pro	ArcGIS 9.2 (build 1350)	2 мин 40 сек
11	Intel Pentium 4 CPU 3.80 гГц, 3 гб DDR, Windows XP Pro	ArcGIS 9.2 (build 1324)	2 мин 57 сек
12	Intel Pentium M CPU 1.80 гГц, 0.5 гб DDR, Windows XP Pro	ArcGIS 9.2 (build 1350)	3 мин 27 сек
13	AMD Sempron 2800+ 1.61 гГц, Windows XP Pro	ArcGIS 9.0 (build 535)	4 мин 25 сек
14	Intel Pentium 4 CPU 1.80 гГц, 1 гб DDR, Windows XP Pro	ArcGIS 9.1 (build 750)	5 мин 10 сек
15	Intel Pentium 4 CPU 2.00 гГц, 512 мб DDR, Windows XP Pro, SP 2	ArcGIS 9.0 (build 535)	4 мин 25.1 сек (±23.5)
18	AMD Turion 64x2 2.01 гГц, 1 гб RAM, Windows XP Pro SP2 (=[benchmark.html#a12 A12])	ArcGIS 9.2 (build 1350)	2 мин 20.7 сек (±3.2)
20	AMD Phenom 9600 2.3 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[A16]) (А11, B1, B19 с замененным процессором).	ArcGIS 9.2 (build 1380)	2 мин 45.1 сек (±2.8)
21	AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2 (=[A20],[B21])	ArcGIS 9.2 (build 1324)	2 мин 3.4 сек (±2.1)
22	AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2 (=[A20],[b22 B22])	ArcGIS 9.2 (build 1420)	1 мин 55.1 сек (±2.0)
23	AMD Phenom 9950 2.61 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a21 A21]).	ArcGIS 9.2 (build 1380)	2 мин 36.0 сек
24	Intel Core i7 920 8Gb Ram Windows7 Professional 64bit	ArcGIS 10	1 мин 28 сек - 2 мин 13 сек
25	Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB, Windows 7 x64 Pro	ArcGIS 10 sp1 (build 2800)	1 мин 19 сек (1 мин 13 сек - 01 мин 55 сек)
26	AMD Phenom II 980 3,7 Ггц (4 zlhf) на Socket AM3+ 16384 мб (4х4 гб) DDR3 15000 1866 мгц Windows 7 x64 Ultimate, файл подкачки - авто	ArcGIS 10 sp3 (build 3600)	1 мин 28 сек (1 мин 21 сек - 01 мин 47 сек)(26 измерений)