Qual é uma boa maneira de proteger um banco de dados de link de raspadores automáticos?

Question

Eu tenho um grande banco de dados de link, que gostaria de proteger contra outras pessoas que desejam copiá -las. Existe algo que eu possa fazer além de forçar as pessoas a entrar em um captcha antes de cada link?

Answer 1

Você pode emitir os links usando o ROT13 e, em seguida, usar o JavaScript para colocá -los de volta ao normal. Dessa forma, os raspadores devem suportar JavaScript para roubar seus links, que devem reduzir o número de elegível raspadores

Pontos de bônus: substitua o ROT13 por algo mais difícil e ofusque o seu JavaScript 'decodifica'.

Answer 2

A sugestão do JavaScript poderia funcionar, mas você tornaria sua página inacessível para aqueles que usam tecnologias assistivas, como leitores de tela, bem como qualquer pessoa sem JavaScript.

Outra opção possível seria gerar um Nonce criptográfico. Atualmente, essa técnica é usada para proteger contra ataques de CSRF, mas também pode ser usado para garantir que o raspador precise solicitar uma página do seu site antes de acessar um link. Essa abordagem pode não ser apropriada se você apoiar o Hotlinking, mas se você quiser apenas garantir que alguém fosse ao seu site primeiro, poderá funcionar.

Outra opção um tanto gueto seria usar referentes. Isso pode ser facilmente falsificado, mas pode impedir alguns dos raspadores mais burros. Isso também exige que você saiba de onde seus usuários vieram antes de chegarem ao seu site.

Você pode nos informar se você estiver com um hotlinking ou se o usuário chegar ao seu site antes de ir para o link protegido? Podemos ser capazes de fornecer melhores conselhos dessa maneira.