Поиск веб-сайта

Question

import urllib
import re
import os
search = (raw_input('[!]Search: '))
site = "http://www.exploit-db.com/list.php?description="+search+"&author=&platform=&type=&port=&osvdb=&cve="   
print site
source = urllib.urlopen(site).read()
founds = re.findall("href='/exploits/\d+",source)
print "\n[+]Search",len(founds),"Results\n"
if len(founds) >=1:
        for found in founds:
                found = found.replace("href='","")
                print "http://www.exploit-db.com"+found
else:
        print "\nCouldnt find anything with your search\n"

Когда я выполняю поиск по сайту Exploit-db.com, я получаю только 25 результатов, как мне заставить его перейти на другую страницу или пройти 25 результатов?

Answer 1

Это легко проверить, просто посетив сайт и просматривая URL-адреса при пролистывании страниц вручную:просто поставь сразу после ? в URL-адресе page=1& чтобы посмотреть вторую страницу результатов, или page=2& посмотреть третью страницу и так далее.

Как это вопрос Python?Это (очень элементарный!) вопрос «очистки экрана».

Answer 2

Судя по всему, сайт Exploit-db.com не позволяет увеличивать размер страницы.Поэтому вам необходимо «вручную» просмотреть список результатов, повторяя urllib.urlopen() для получения последующих страниц.URL-адрес тот же, что использовался изначально, плюс &page=n параметр.Внимание, это значение n отсчитывается от 0 (т.е.&page=1 даст второй страница)