Парсинг сайтов с помощью фреймворка Scrapy - История изменений

Максим Дубинин: /* Windows */

2013-03-13T12:08:31Z

Windows

← Предыдущая версия		Версия от 14:08, 13 марта 2013
Строка 31:		Строка 31:
	#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])		#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])
	#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])		#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])
	~~далее установите (~~если easy_install не установлен, установите сначала [https://pypi.python.org/pypi/setuptools#files его самого]):		#если easy_install не установлен, установите сначала [https://pypi.python.org/pypi/setuptools#files его самого], он ставится в C:\Python27\Scripts\ и запускается из cmd, а не из Python

			далее установите:
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy		pip install Scrapy

Максим Дубинин: /* Windows */

2013-03-13T12:07:26Z

Windows

← Предыдущая версия		Версия от 14:07, 13 марта 2013
Строка 31:		Строка 31:
	#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])		#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])
	#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])		#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])
	далее установите (если easy_install не установлен, установите сначала его самого):		далее установите (если easy_install не установлен, установите сначала [https://pypi.python.org/pypi/setuptools#files его самого]):
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy		pip install Scrapy

Максим Дубинин: /* Windows */

2013-02-22T20:01:02Z

Windows

← Предыдущая версия		Версия от 22:01, 22 февраля 2013
Строка 30:		Строка 30:
	#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH		#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH
	#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])		#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])
	~~далее~~
	#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])		#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])
	далее		далее установите (если easy_install не установлен, установите сначала его самого):
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy		pip install Scrapy

Максим Дубинин: /* Описание модели данных */

2013-02-21T19:33:16Z

Описание модели данных

← Предыдущая версия		Версия от 21:33, 21 февраля 2013
Строка 70:		Строка 70:
	== Описание модели данных ==		== Описание модели данных ==

	Модель представляет собой отдельный класс, содержащий перечень атрибутивных полей собираемых данных. Прежде чем описывать модель, необходимо определиться во-первых с объектом парсинга, а во-вторых с набором его атрибутов, которые мы хотим извлечь из целевого ресурса. Объектом парсинга в нашем случае будут являться детские дома, а набором атрибутов - их характеристики (в случае если у каждого объекта перечень доступных атрибутов различный, то итоговым набором будет являться объединение множеств атрибутов всех объектов). Находим [http://detskiedomiki.ru/?act=home_more&id=6278&z_id=3&part_id=65 страницу], содержащую наиболее полный перечень атрибутов (в данном случае факт ~~полнотоы~~ был определён путём сопоставления представленных атрибутов и [http://detskiedomiki.ru/UserFiles/Anketa%20detskogo%20uchrezhdeniya(2).doc анкеты детского учреждения]) и выписываем их: "Рег. номер", "Регион", "Район", "Тип учреждения", "Название", "Почтовый адрес" и т.д. (всего 34 атрибута). После того, как мы определились с перечнем атрибутов, отразим их в специальном классе. Для этого открываем файл ''items.py'' и описываем класс (название - произвольное):		Модель представляет собой отдельный класс, содержащий перечень атрибутивных полей собираемых данных. Прежде чем описывать модель, необходимо определиться во-первых с объектом парсинга, а во-вторых с набором его атрибутов, которые мы хотим извлечь из целевого ресурса. Объектом парсинга в нашем случае будут являться детские дома, а набором атрибутов - их характеристики (в случае если у каждого объекта перечень доступных атрибутов различный, то итоговым набором будет являться объединение множеств атрибутов всех объектов). Находим [http://detskiedomiki.ru/?act=home_more&id=6278&z_id=3&part_id=65 страницу], содержащую наиболее полный перечень атрибутов (в данном случае факт полноты был определён путём сопоставления представленных атрибутов и [http://detskiedomiki.ru/UserFiles/Anketa%20detskogo%20uchrezhdeniya(2).doc анкеты детского учреждения]) и выписываем их: "Рег. номер", "Регион", "Район", "Тип учреждения", "Название", "Почтовый адрес" и т.д. (всего 34 атрибута). После того, как мы определились с перечнем атрибутов, отразим их в специальном классе. Для этого открываем файл ''items.py'' и описываем класс (название - произвольное):

	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">

Максим Дубинин: /* Windows */

2013-02-21T19:14:37Z

Windows

← Предыдущая версия		Версия от 21:14, 21 февраля 2013
Строка 30:		Строка 30:
	#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH		#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH
	#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])		#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])
			далее
			#Установите lxml отдельно (например для [https://pypi.python.org/packages/2.7/l/lxml/lxml-2.2.8.win32-py2.7.exe#md5=deb95d53dbd3734ecfb4f69850758427 2.7])
	далее		далее
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy		pip install Scrapy
	pip install zope.interface		pip install zope.interface
	pip install w3lib		pip install w3lib</pre>
	~~pip install lxml~~
	</pre>

	== Создание проекта ==		== Создание проекта ==

Максим Дубинин: /* Windows */

2013-02-21T19:03:12Z

Windows

← Предыдущая версия		Версия от 21:03, 21 февраля 2013
Строка 23:		Строка 23:

	===Windows===		===Windows===
	В Windows всё [http://doc.scrapy.org/en/0.16/intro/install.html#windows ~~немного~~ сложнее]:		В Windows всё [http://doc.scrapy.org/en/0.16/intro/install.html#windows сложнее]:

	#Перейдите на страницу [http://slproweb.com/products/Win32OpenSSL.html Win32 OpenSSL]		#Перейдите на страницу [http://slproweb.com/products/Win32OpenSSL.html Win32 OpenSSL]
Строка 29:		Строка 29:
	#Скачайте OpenSSL для вашей версии Windows и архитектуры (вам нужна обычная версия - не light)		#Скачайте OpenSSL для вашей версии Windows и архитектуры (вам нужна обычная версия - не light)
	#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH		#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH
			#Установите twisted отдельно (например для [http://twistedmatrix.com/Releases/Twisted/12.3/Twisted-12.3.0.win32-py2.7.exe 2.7])
	далее		далее
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy</pre>		pip install Scrapy
			pip install zope.interface
			pip install w3lib
			pip install lxml
			</pre>

	== Создание проекта ==		== Создание проекта ==

Максим Дубинин: /* Windows */

2013-02-21T18:54:50Z

Windows

← Предыдущая версия		Версия от 20:54, 21 февраля 2013
Строка 31:		Строка 31:
	далее		далее
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy		pip install Scrapy</pre>
	~~pip install twisted.internet~~</pre>

	== Создание проекта ==		== Создание проекта ==

Максим Дубинин: /* Установка Scrapy */

2013-02-21T18:54:22Z

Установка Scrapy

← Предыдущая версия		Версия от 20:54, 21 февраля 2013
Строка 10:		Строка 10:

	== Установка Scrapy ==		== Установка Scrapy ==
			===Unix===
	В *nix-системах установка Scrapy - тривиальная задача:		В *nix-системах установка Scrapy - тривиальная задача:

Строка 22:		Строка 22:
	</syntaxhighlight>		</syntaxhighlight>

			===Windows===
	В Windows всё [http://doc.scrapy.org/en/0.16/intro/install.html#windows немного сложнее]:		В Windows всё [http://doc.scrapy.org/en/0.16/intro/install.html#windows немного сложнее]:

Строка 30:		Строка 31:
	далее		далее
	<pre>easy_install pip		<pre>easy_install pip
	pip install Scrapy</pre>		pip install Scrapy
			pip install twisted.internet</pre>

	== Создание проекта ==		== Создание проекта ==

Максим Дубинин: /* Установка Scrapy */

2013-02-21T18:46:01Z

Установка Scrapy

← Предыдущая версия		Версия от 20:46, 21 февраля 2013
Строка 11:		Строка 11:
	== Установка Scrapy ==		== Установка Scrapy ==

	В *nix-системах установка Scrapy - тривиальная задача, чего не скажешь о [http://doc.scrapy.org/en/0.16/intro/install.html#windows Windows] (чем не повод наконец-то отказаться от неё или по крайней мере посмотреть вокруг), поэтому мы рассмотрим первый вариант:		В *nix-системах установка Scrapy - тривиальная задача:

	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
Строка 21:		Строка 21:
	pip install Scrapy		pip install Scrapy
	</syntaxhighlight>		</syntaxhighlight>

			В Windows всё [http://doc.scrapy.org/en/0.16/intro/install.html#windows немного сложнее]:

			#Перейдите на страницу [http://slproweb.com/products/Win32OpenSSL.html Win32 OpenSSL]
			#Скачайте и установите Visual C++ 2008 redistributables для вашей версии Windows и архитектуры
			#Скачайте OpenSSL для вашей версии Windows и архитектуры (вам нужна обычная версия - не light)
			#Добавьте путь c:\openssl-win32\bin (или тот куда вы установили OpenSSL) к переменной PATH
			далее
			<pre>easy_install pip
			pip install Scrapy</pre>

	== Создание проекта ==		== Создание проекта ==

Максим Дубинин в 11:19, 15 января 2013

2013-01-15T11:19:49Z

← Предыдущая версия		Версия от 13:19, 15 января 2013
Строка 1:		Строка 1:
	{{Статья\|Опубликована\|~~Scrapy~~}}		{{Статья\|Опубликована\|scrapy}}

	== Введение ==		== Введение ==