Производительность аппаратного обеспечения в операциях с пространственными данными

Материал из GIS-Lab
Перейти к навигации Перейти к поиску
Эта страница опубликована в основном списке статей сайта
по адресу http://gis-lab.info/qa/../projects/benchmark.html


Открытое исследование, пытающееся ответить на вопрос, какие компоненты аппаратного обеспечения больше всего влияют на производительность в операциях с пространственными данными.


Приглашаем принять участие в исследовании производительности различных конфигураций аппаратного обеспечения с целью понять какие из компонент имеют наиболее сильное влияние на производительность и следовательно во что стоит вкладывать финансы. Планируется начать заполнение таблиц данными по результатам тестов приведенных ниже, а после набора необходимой базы - проанализировать результаты и попытаться сделать определенные выводы. Одновременно, информация представленная в таблице может дать пищу к размышлению и без дополнительного анализа, Вы можете просто сравнить результаты со своими.

Иногда, серия тестов проводится на одном и том же оборудовании, при меняющемся программном обеспечении (например при установки обновлений), следствие этого - появление "дублирующихся" описаний аппаратного обеспечения. Чтобы отразить это в тестах, помимо конфигурации оборудования в таблице отражается ссылка на другие тесты произведенные на этом же оборудовании. Например, Athlon 64x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=B1) означает, что тот же компьютер использовался для теста B, номер 1.

В описание аппаратного обеспечения должно входить:

  • Процессор
  • Оперативная память
  • Жесткий диск
  • Версия операционной системы
  • Версия ПО включая build (для ArcGIS: Help\About Arcmap)

Из памяти должны быть выгружено все программное обеспечение кроме работающего ПО, включая основные резидентные программы (антивирусы и т.д.). Никаких операций в процессе работы производиться не должно. Результат должен подтверждаться копией экрана (print screen) соответственно окон лога ERDAS Imagine (Session Log), менеджера задач ArcGIS или файла генерируемого скриптом буферизации (см. примечание к тесту B).

Мы не ограничиваемся программными продуктами одного производителя, если вы знаете пакет производящий ту же операцию, что описана в тесте, присылайте нам свои результаты, это сделает возможным сравнить не только аппаратное, но и программное обеспечение.

Тест A. Перепроектирование с распаковкой из MrSID

Данные: мозаика Landsat TM 16974х19734 пикселей (скачать тестовый набор данных) источник: Global Land Cover Facility.
Операция: DataPrep\Reproject Images, исходная ситема координат UTM Zone 38/WGS 1984 (задана самим файлом), конечная система координат Geographic\WGS 84, выходной формат: IMG, размер пиксела: 0.000259х0.000259, единицы: Degrees, режим rigorous transformation - включен, переключатель Ignore zeroes in stats - выключен, интерполяция - nearest neighbor ([reproject.html подробнее]).

Измерение времени производится по логу Erdas Imagine (Session\Session log...), точность в секундах. Конечным результатом операции должен являться файл размером 2.5 Gb.

#

Конфигурация аппартного обеспечения

ПО

Время выполнения операции, сек

1

Intel Pentium 4 Duo 1.86 гГц, 2 Гб DDR, Windows XP Pro, SP2, swap 10 Гб

ERDAS 8.5

82 мин 39 сек

2

Intel Pentium 4, 2.4 гГц, 512 Mb DDR, Windows 2000 Pro SP4, swap 1 гб

ERDAS 8.5

99 мин 38 сек

3

AMD Opteron 248, 2.2 гГц, 2 гб, swap-файл: 2 гб

ERDAS 8.7

52 мин 24 сек

4

AMD Opteron 248, 2.2 гГц, 2 гб, swap-файл: 2 гб

ERDAS 9.0

65 мин 25 сек

5

Intel Pentium D 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ERDAS 8.7

51 мин 01 сек

6

Intel Pentium D 3.0 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ERDAS 9.0

61 мин 36 сек

7

Intel Pentium D 3.0 гГц, 3.5 гб DDR, Windows XP Pro, swap-файл: 2 гб

ERDAS 9.0

64 мин 22 сек

8

Intel Xeon 3.6 гГц, 8 гб DDR, Windows Server 2003 (=[benchmark.html#b03 B03])

ERDAS 9.0

53 мин 02 сек

9

Intel Pentium 4 CPU 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ERDAS 9.1

60 мин 37 сек

10

Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro, SP2 (=[benchmark.html#a15 A15],[benchmark.html#b5 B5],[benchmark.html#b17 17])

ERDAS 9.0

58 мин 25 сек

11

AMD Athlon 64x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#b1 B1])

ERDAS 9.1

40 мин 58 сек

12

AMD Turion 64x2 2.01 гГц, 1 гб RAM, Windows XP Pro SP2 (=[B18])

ERDAS 9.1

58 мин 54 сек

13

Intel Pentium D CPU 2.80 гГц, 1Gb DDR, swap-файл 1.5 гб, Windows XP Pro, SP2

ERDAS 8.4

46 мин 53 сек

14

Intel Pentium 4 CPU 3.0 гГц, 1Gb DDR, swap-файл 1.5 гб, Windows XP Pro, SP2

ERDAS 8.4

62 мин 35 сек

15

Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro, SP2 (=[benchmark.html#a10 A10],[benchmark.html#b5 B5],[17])

ERDAS 9.0

61 мин 58 сек

16

AMD Phenom 9600 2.3 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[B20]) (А11, B1, B19 с замененным процессором)

ERDAS 9.1

84 мин 10 сек

17

AMD Turion 64x2 2.01 гГц, 2 гб RAM, Windows XP Pro SP2 (=A12, B18 с добавленным 1 гБ памяти)

ERDAS 9.1

57 мин 33 сек

18

AMD Athlon 64 3200+, 2Ггц, 1.5Гб, swap-файл 1.5 гб, Windows XP Pro SP2

ERDAS 9.1

52 мин 07 сек

19

AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 1.5 гб, Windows XP Pro SP2

ERDAS 9.1

46 мин 08 сек

20

AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2

ERDAS 9.1

46 мин 14 сек

21

AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2 и Hypertransport I, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А16)

ERDAS 9.1

74 мин 55 сек

22

AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А21), система оптимизирована под фоновые службы, файл подкачки 2046-4092 мб (default параметры быстродействия)

ERDAS 9.1

42 мин 25 сек

23

AMD Phenom 9950 2.6 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (А21), система оптимизирована под приложения, файл подкачки 6000-10000 мб

ERDAS 9.1

41 мин 43 сек

24

HP Workstation xw8200, Intel Xeon 3.00 ггц, 2 ГБ ОЗУ, Windows XP Pro sp3

ERDAS 9.1

57 мин 40 сек

25

AMD Phenom II 940 3.0 ггц (4 ядра) на Socket AM2+ и Hypertransport III, 4x2 гб DDR2 PC8500 1066 мгц, Server 2003 Enterprise (А22), файл подкачки 12000-20000 мб

ERDAS 9.1

35 мин 31 сек

26

AMD Athlon 64x2 6400+ 3.21 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 x64 Enterprise

ERDAS 9.1

32 мин 56 сек

27

AMD Turion 64x2 2.01 гГц, 2 гб RAM, Windows Vista Ultimate x64 (=a12)

ERDAS 9.1

67 мин 55 сек

28

AMD Athlon 64x2 6400+ 3.21 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 x64 Enterprise (=a26)

ERDAS 9.2

24 мин 22 сек

29

AMD Phenom II 965 3.4 ггц (4 ядра) на Socket AM3 4x2 гб DDR3 PC12800 1266 мгц, Windows 7 Ultimate x64, файл подкачки - авто

ERDAS 9.1

29 мин 06 сек

30

AMD Phenom II 965 3.4 ггц (4 ядра) на Socket AM3 4x2 гб DDR3 PC12800 1266 мгц, Windows 7 Ultimate x64, файл подкачки - авто

ERDAS 9.2

20 мин 24 сек

31

Intel Core 2 Duo T9400 2,53 ГГц 2x2048 МБ DDR3-1066, (ноутбук Fujitsu-Siemens AMILO Xi 3650) Windows 7 Ultimate x64, файл подкачки - авто

ERDAS 9.1

39 мин 22 сек

32

Intel Core 2 Duo T9400 2,53 ГГц 2x2048 МБ DDR3-1066, (ноутбук Fujitsu-Siemens AMILO Xi 3650) Windows 7 Ultimate x64, файл подкачки - авто

ERDAS 9.2

25 мин 52 сек
33 Intel Core i7 920 8Gb Ram Windows7 Professional 64bit ERDAS 10.1
9 мин 42 сек
34 Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB Windows 7 x64 Pro ERDAS 9.1
18 мин 58 сек
35 Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB Windows 7 x64 Pro ERDAS 2011
10 мин 23 сек
36 AMD Phenom II 980 3,7 Ггц (4 ядра) на Socket AM3+ 16384 мб (4х4 гб) DDR3 15000 1866 мгц Windows 7 x64 Ultimate, файл подкачки - авто ERDAS 2011
5 мин 51 сек

Тест B. Буферизация векторных данных

Данные: Объекты гидросети России (119405 объектов) из VMap0 (скачать тестовый набор данных),
Операция: Буферизация при помощи инструмента Buffer из Arctoolbox (Analysis Tools\Proximity\Buffer) на 1 км (все установки по умолчанию, растворение границ отключено). В новый проект загружен только один слой, фрейм данных не спроектирован.

Примечание: Время выполнение данного теста может значительно изменяться, поэтому разовое определение времени затраченного на его осуществления может быть очень не точным. Если вы хотите получить более объективную оценку - воспользуйтесь специальным скриптом, который произведет 100 операций буферизации и запишет результат каждой в текстовый файл, по этим данным можно будет более точно расчитать среднее время выполнения этой операции на вашей конфигурации. В случае если такие данные предоставлены, они показаны в таблице как N min M sec (±K sec), то есть среднее время плюс-минус одно стандартное отклонение.

Сам скрипт как и данные могут находится в любой директории, перед запуском скрипта его необходимо отредактировать, изменив два параметра - указав директорию где находятся данные и полный путь к файлу набора инструментов анализа ArcGIS (*.tbx): 

# расположение данных
 gp.workspace = "c:/temp/2"
 # расположение тулбокса (папка ArcGIS)
 gp.AddToolbox("C:/Gis/ArcGIS/ArcToolbox/Toolboxes/Analysis Tools.tbx")

Если скрипт не работает и выдается ошибка: ImportError: No module named arcgisscripting, значит установлена версия Python меньше 2.4 (например 2.1) и необходимо использовать скрипт buffer-benchmark-21.py. Скрипты проверены и работают для ArcGIS 9.0, 9.2.

#

Конфигурация аппартного обеспечения

ПО

Время выполнения операции, сек

1

Athlon 64 x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a11 A11],[benchmark.html#b19 B19])

ArcGIS 9.2
(build 1324)

1 мин 8.9 сек (±1.6)

19

Athlon 64 x2 6000+ 3.1 ггц, 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a11 A11],[benchmark.html#b1 B1])

ArcGIS 9.2
(build 1380)

1 мин 9.0 сек (±1.5)

2

Intel Core Duo 1.87 гГц, 2 гб DDR, Windows XP Pro

ArcGIS 9.0
(build 580)

1 мин 48 сек

3

Intel Xeon 3.6 гГц, 8 гб DDR, Windows Server 2003 (=[A08])

ArcGIS 9.1
(build 766)

2 мин 01 сек

4

Intel Pentium D 3.0 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ArcGIS 9.1
(build 722)

2 мин 07 сек

5

Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro (=[benchmark.html#b17 B17],[A10])

ArcGIS 9.2
(build 1350)

2 мин 13.4 сек (±1.6)

17

Intel Pentium D 3.2 гГц, 3 гб DDR, Windows XP Pro (=[benchmark.html#b5 B5],[benchmark.html#a10 A10])

ArcGIS 9.2
(build 1380)

2 мин 22.3 сек (±5.3)

6

Intel Pentium D 3.0 гГц, 3.5 гб DDR, Windows XP Pro, swap-файл: 2 гб

ArcGIS 9.1
(build 766)

4 мин 00 сек

7

Intel Pentium D 3.2 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ArcGIS 9.0
(build 580)

2 мин 25 сек

8

Intel Pentium 4 CPU 3.30 гГц, 1 гб DDR, Windows XP Pro, swap-файл: 1.5 гб

ArcGIS 9.2
(build 1350)

2 мин 35 сек

9

Intel Pentium 4 CPU 3.20 гГц, 2 гб DDR, Windows XP Pro, swap-файл: 2 гб

ArcGIS 9.0
(build 535)

2 мин 39 сек

10

Intel Pentium 4 CPU 3.80 гГц, 3 гб DDR, Windows XP Pro

ArcGIS 9.2
(build 1350)

2 мин 40 сек

11

Intel Pentium 4 CPU 3.80 гГц, 3 гб DDR, Windows XP Pro

ArcGIS 9.2
(build 1324)

2 мин 57 сек

12

Intel Pentium M CPU 1.80 гГц, 0.5 гб DDR, Windows XP Pro

ArcGIS 9.2
(build 1350)

3 мин 27 сек

13

AMD Sempron 2800+ 1.61 гГц, Windows XP Pro

ArcGIS 9.0
(build 535)

4 мин 25 сек

14

Intel Pentium 4 CPU 1.80 гГц, 1 гб DDR, Windows XP Pro

ArcGIS 9.1
(build 750)

5 мин 10 сек

15

Intel Pentium 4 CPU 2.00 гГц, 512 мб DDR, Windows XP Pro, SP 2

ArcGIS 9.0 (build 535)

4 мин 25.1 сек (±23.5)

18

AMD Turion 64x2 2.01 гГц, 1 гб RAM, Windows XP Pro SP2 (=[benchmark.html#a12 A12])

ArcGIS 9.2 (build 1350)

2 мин 20.7 сек (±3.2)

20

AMD Phenom 9600 2.3 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[A16]) (А11, B1, B19 с замененным процессором).

ArcGIS 9.2
(build 1380)

2 мин 45.1 сек
(±2.8)

21

AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2 (=[A20],[B21])

ArcGIS 9.2 (build 1324)

2 мин 3.4 сек
(±2.1)

22

AMD Athlon 64 3200+, 2Ггц, 3Гб, swap-файл 4.5 гб, Windows XP Pro SP2 (=[A20],[b22 B22])

ArcGIS 9.2 (build 1420)

1 мин 55.1 сек (±2.0)

23

AMD Phenom 9950 2.61 ггц (4 ядра), 4x1 гб DDR2 PC6400 800 мгц, Server 2003 Enterprise (=[benchmark.html#a21 A21]).

ArcGIS 9.2
(build 1380)

2 мин 36.0 сек
24 Intel Core i7 920 8Gb Ram Windows7 Professional 64bit ArcGIS 10 1 мин 28 сек - 2 мин 13 сек
25 Intel Core i7 720QM 1.6GHz @2789Mhz (TurboBoost active) RAM: DDR3 4096MB PC3-10700 (2x2048MB) HDD: SSD OCZ Vertex2 240 GB, Windows 7 x64 Pro ArcGIS 10 sp1
(build 2800)

1 мин 19 сек
(1 мин 13 сек - 01 мин 55 сек)

26 AMD Phenom II 980 3,7 Ггц (4 zlhf) на Socket AM3+ 16384 мб (4х4 гб) DDR3 15000 1866 мгц Windows 7 x64 Ultimate, файл подкачки - авто ArcGIS 10 sp3 (build 3600)

1 мин 28 сек
(1 мин 21 сек - 01 мин 47 сек)(26 измерений)

Источник — https://wiki.gis-lab.info/index.php?title=Производительность_аппаратного_обеспечения_в_операциях_с_пространственными_данными&oldid=6970