YQL raspe o site/domínio inteiro

Question

Estou tentando recuperar um conjunto de links e conteúdo de um domínio.

A consulta no Google seria

"site:www.newswebsite.com search_term"

Vi algumas coisas próximas para fazer isso funcionar, mas não consigo fazer uma pesquisa funcionando em um site inteiro e depois filtrar pelo termo de pesquisa.

Isso é possível sem uma tabela de dados personalizada?

Answer 1

Cheguei ao fundo no final.

select title,abstract,url,date from search.web(0) where query="search_term" and sites="www.website1.com,www.website2.com,www.website3.com" | sort (field='date') | reverse()

Isso pesquisa 3 sites, pedidos por data e mais recente primeiro. Há uma maneira alternativa de reverter o tipo, mas isso parece funcionar por enquanto. Eu acho que está descendo = verdadeiro dentro da classificação (campo = 'data', descendente = 'true')

Muito útil, mesmo que eu diga isso sozinho.

Answer 2

Christian Heilmann acabou de escrever uma redação bastante agradável no YQL e obter informações de volta de um conjunto de dados HTML no Site 24ways.