Вопрос по web-crawler, forms, python, scrapy – Не могу пройти через форму с помощью скрапа

4

Я новичок в использовании scrapy и пытаюсь получить некоторую информацию с веб-сайта по недвижимости. На сайте есть домашняя страница с поисковой формой (метод GET). Я пытаюсь перейти на страницу результатов в моем start_requests (recherche.php) и установить все параметры получения, которые я вижу в адресной строке в параметре formdata. Я также настроил печенье, которое у меня было, но он тоже не работал ...

Вот мой паук:

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import FormRequest, Request

from robots_immo.items import AnnonceItem

class ElyseAvenueSpider(BaseSpider):
    name = "elyse_avenue"
    allowed_domains = ["http://www.elyseavenue.com/"]

    def start_requests(self):
        return [FormRequest(url="http://www.elyseavenue.com/recherche.php",
                            formdata={'recherche':'recherche',
                                      'compteurLigne':'2',
                                      'numLigneCourante':'0',
                                      'inseeVille_0':'',
                                      'num_rubrique':'',
                                      'rechercheOK':'recherche',
                                      'recherche_budget_max':'',
                                      'recherche_budget_min':'',
                                      'recherche_surface_max':'',
                                      'recherche_surface_min':'',
                                      'recherche_distance_km_0':'20',
                                      'recherche_reference_bien':'',
                                      'recherche_type_logement':'9',
                                      'recherche_ville_0':''
                                     },
                            cookies={'PHPSESSID':'4e1d729f68d3163bb110ad3e4cb8ffc3',
                                     '__utma':'150766562.159027263.1340725224.1340725224.1340727680.2',
                                     '__utmc':'150766562',
                                     '__utmz':'150766562.1340725224.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)',
                                     '__utmb':'150766562.14.10.1340727680'
                                    },
                            callback=self.parseAnnonces
                           )]



    def parseAnnonces(self, response):
        hxs = HtmlXPathSelector(response)
        annonces = hxs.select('//div[@id="contenuCentre"]/div[@class="blocVignetteBien"]')
        items = []
        for annonce in annonces:
            item = AnnonceItem()
            item['nom'] = annonce.select('span[contains(@class,"nomBienImmo")]/a/text()').extract()
            item['superficie'] = annonce.select('table//tr[2]/td[2]/span/text()').extract()
            item['prix'] = annonce.select('span[@class="prixVignette"]/span[1]/text()').extract()
            items.append(item)
        return items


SPIDER = ElyseAvenueSpider()

Когда я запускаю паука, проблем не возникает, но загруженная страница не очень хорошая (она говорит: "Пожалуйста, укажите свой поиск", а я не получаю никаких результатов ...)

2012-06-26 20:04:54+0200 [elyse_avenue] INFO: Spider opened
2012-06-26 20:04:54+0200 [elyse_avenue] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2012-06-26 20:04:54+0200 [scrapy] DEBUG: Telnet console listening on 0.0.0.0:6023
2012-06-26 20:04:54+0200 [scrapy] DEBUG: Web service listening on 0.0.0.0:6080
2012-06-26 20:04:54+0200 [elyse_avenue] DEBUG: Crawled (200) <POST http://www.elyseavenue.com/recherche.php> (referer: None)
2012-06-26 20:04:54+0200 [elyse_avenue] INFO: Closing spider (finished)
2012-06-26 20:04:54+0200 [elyse_avenue] INFO: Dumping spider stats:
    {'downloader/request_bytes': 808,
     'downloader/request_count': 1,
     'downloader/request_method_count/POST': 1,
     'downloader/response_bytes': 7590,
     'downloader/response_count': 1,
     'downloader/response_status_count/200': 1,
     'finish_reason': 'finished',
     'finish_time': datetime.datetime(2012, 6, 26, 18, 4, 54, 924624),
     'scheduler/memory_enqueued': 1,
     'start_time': datetime.datetime(2012, 6, 26, 18, 4, 54, 559230)}
2012-06-26 20:04:54+0200 [elyse_avenue] INFO: Spider closed (finished)
2012-06-26 20:04:54+0200 [scrapy] INFO: Dumping global stats:
    {'memusage/max': 27410432, 'memusage/startup': 27410432}

Спасибо за вашу помощь !

Ваш Ответ

2   ответа
0

http://www.elyseavenue.com/recherche.php, но вы сказали, что форма использует GET.

Конечно, если вы сделаете POST-запрос к URL-адресу и выполните поиск по запросу & quot; Пожалуйста, укажите свой поиск & quot ;:

➜ curl -d "" http://www.elyseavenue.com/recherche.php | grep "Merci de préciser votre recherche."
% Total    % Received % Xferd  Average Speed   Time    Time     Time   Dload  Upload   Total   Spent    Left  Speed
100 37494    0 37494    0     0  54582      0 --:--:-- --:--:-- --:--:-- 60866
    <span class="Nbannonces">Merci de préciser votre recherche.</span>

FormRequest это подклассRequest, что позволяет указать тип запроса. Вы должны указатьGET, лайк:

FormRequest(url="http://www.elyseavenue.com/recherche.php",
                        formdata={'recherche':'recherche',
                                  'compteurLigne':'2',
                                  'numLigneCourante':'0',
                                  'inseeVille_0':'',
                                  'num_rubrique':'',
                                  'rechercheOK':'recherche',
                                  'recherche_budget_max':'',
                                  'recherche_budget_min':'',
                                  'recherche_surface_max':'',
                                  'recherche_surface_min':'',
                                  'recherche_distance_km_0':'20',
                                  'recherche_reference_bien':'',
                                  'recherche_type_logement':'9',
                                  'recherche_ville_0':''
                                 },
                        cookies={'PHPSESSID':'4e1d729f68d3163bb110ad3e4cb8ffc3',
                                 '__utma':'150766562.159027263.1340725224.1340725224.1340727680.2',
                                 '__utmc':'150766562',
                                 '__utmz':'150766562.1340725224.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)',
                                 '__utmb':'150766562.14.10.1340727680'
                                },
                        callback=self.parseAnnonces,
                        method="GET"
                       )
Я пытался заставить метод = & quot; GET & quot; как ты сказал, но это ничего не изменило. Я все еще получаю запрос POST, и я не знаю почему ... Serphone
12

FormRequest.from_response() которая делает всю работу за вас, так как вы все еще можете пропустить некоторые поля:

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import FormRequest, Request

from robots_immo.items import AnnonceItem

class ElyseAvenueSpider(BaseSpider):

    name = "elyse_avenue"
    allowed_domains = ["elyseavenue.com"] # i fixed this
    start_urls = ["http://www.elyseavenue.com/"] # i added this

    def parse(self, response):
        yield FormRequest.from_response(response, formname='moteurRecherche', formdata={'recherche_distance_km_0':'20', 'recherche_type_logement':'9'}, callback=self.parseAnnonces)

    def parseAnnonces(self, response):
        hxs = HtmlXPathSelector(response)
        annonces = hxs.select('//div[@id="contenuCentre"]/div[@class="blocVignetteBien"]')
        items = []
        for annonce in annonces:
            item = AnnonceItem()
            item['nom'] = annonce.select('span[contains(@class,"nomBienImmo")]/a/text()').extract()
            item['superficie'] = annonce.select('table//tr[2]/td[2]/span/text()').extract()
            item['prix'] = annonce.select('span[@class="prixVignette"]/span[1]/text()').extract()
            items.append(item)
        return items
Что если у вас есть правила? Ваш метод синтаксического анализа переопределит метод синтаксического анализа BaseSpider.
Оно работает ! Большое спасибо !! Serphone
Это гораздо лучший ответ, чем мой подход «пощечина»!
@ SammyLee, я не работал с CrawlSpider, но идея состоит в том, чтобы использовать этот метод в методе разбора, который получает ответ домашней страницы. Я не знаю, CrawlSpider, чтобы сказать, как это сделать.

Похожие вопросы