Come posso bloccare i crawler mp3 dal mio sito web sotto Apache?

StackOverflow https://stackoverflow.com/questions/81238

  •  09-06-2019
  •  | 
  •  

Domanda

Esiste un modo per bloccare l'accesso da un referrer utilizzando un file .htaccess o simile?La mia larghezza di banda viene consumata dalle persone indirizzate http://www.dizzler.com che è un sito basato su Flash che ti consente di sfogliare una libreria di mp3 disponibili pubblicamente sottoposti a scansione.

Modificare: Dizzler stava ancora entrando (probabilmente non indicava il referrer in tutti i casi), quindi ho spostato tutti i miei mp3 in una nuova cartella, ho disabilitato la navigazione nelle directory e ho creato un file robots.txt per (si spera) evitare che venisse nuovamente indicizzato.La risposta accettata è stata modificata per riflettere l'inutilità del mio tentativo precedente: P

È stato utile?

Soluzione

È come dire che vuoi impedire ai bot spam di raccogliere email sulla tua pagina visibile pubblicamente: è molto difficile distinguere tra utenti e bot senza costringere i tuoi spettatori ad accedere per confermare la loro identità.

Potresti usare robots.txt per impedire agli spider che effettivamente seguono quelle regole, ma questo è dalla loro parte, non da quella del tuo server.C'è una pagina che spiega come catturare quelli che infrangono le regole e vietarli esplicitamente: Usare Apache per fermare i robot cattivi [evolt.org]

Se desideri un modo semplice per fermare Dizzler in particolare utilizzando .htaccess, dovresti essere in grado di aprirlo e aggiungere:

<Directory /directoryName/subDirectory>
Order Allow,Deny
Allow from all
Deny from 66.232.150.219
</Directory>

Altri suggerimenti

Da questo sito:(mettilo nel tuo file .htaccess)

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://((www\.)?dizzler\.com [NC]
RewriteRule .* - [F]

Potresti usare qualcosa del genere

SetEnvIfNoCase Referer dizzler.com spammer=yes

Order allow,deny
allow from all
deny from env=spammer

Fonte: http://codex.wordpress.org/Combating_Comment_Spam/Denying_Access

Non è una soluzione molto elegante, ma potresti bloccare il bot crawler del sito, quindi rinominare i tuoi file mp3 per interrompere i collegamenti già presenti sul sito.

Autorizzato sotto: CC-BY-SA insieme a attribuzione
Non affiliato a StackOverflow
scroll top