Просмотр исходного текста страницы Парсинг сайтов с помощью фреймворка Scrapy

== Создание проекта ==

После того, как Scrapy будет установлен, нужно создать каталог проекта. Для этого, находясь в каталоге ''~/projects/scrapy'', выполните команду:

<syntaxhighlight lang="bash">
scrapy startproject orphanage
</syntaxhighlight>

В результате чего будет создана директория ''orphanage'' (соответствует имени проекта), имеющая следующую структуру:

<syntaxhighlight lang="bash">
orphanage/
    scrapy.cfg
    orphanage/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...
</syntaxhighlight>

* ''scrapy.cfg'' - настройки проекта;
* ''orphanage/'' - Python модуль проекта;
* ''orphanage/items.py'' - классы, описывающие модель собираемых данных;
* ''orphanage/pipelines.py'' - используется в основном для описания пользовательских форматов сохранения результатов парсинга;
* ''orphanage/settings.py'' - пользовательские настройки [http://ru.wikipedia.org/wiki/%CF%EE%E8%F1%EA%EE%E2%FB%E9_%F0%EE%E1%EE%F2 паука];
* ''orphanage/spiders/'' - директория, в которой хранятся файлы с классами пауков. Каждого паука принято писать в отдельном файле.