Apache에서 내 웹사이트의 mp3 크롤러를 어떻게 차단할 수 있나요?

StackOverflow https://stackoverflow.com/questions/81238

  •  09-06-2019
  •  | 
  •  

문제

.htaccess 파일 등을 사용하여 리퍼러의 액세스를 차단하는 방법이 있습니까?내 대역폭은 다음에서 추천된 사람들에 의해 소모되고 있습니다. http://www.dizzler.com 크롤링되어 공개적으로 사용 가능한 mp3 라이브러리를 탐색할 수 있는 플래시 기반 사이트입니다.

편집하다: Dizzler가 여전히 들어오고 있었기 때문에(아마도 모든 경우에 참조자를 표시하지는 않았을 것임) 대신에 모든 mp3를 새 폴더로 옮기고 디렉토리 탐색을 비활성화하고 robots.txt 파일을 만들어 (희망적으로) 다시 색인이 생성되지 않도록 했습니다.이전 시도의 무익함을 반영하여 허용된 답변이 변경되었습니다. :P

도움이 되었습니까?

해결책

이는 공개적으로 표시되는 페이지에서 스팸 봇이 이메일을 수집하는 것을 막고 싶다고 말하는 것과 같습니다. 시청자가 신원을 확인하기 위해 로그인하도록 강요하지 않고는 사용자와 봇의 차이를 구분하는 것은 매우 어렵습니다.

실제로 해당 규칙을 따르는 스파이더를 허용하지 않으려면 robots.txt를 사용할 수 있지만 이는 서버 측이 아니라 스파이더 측의 문제입니다.규칙을 어기고 명시적으로 금지하는 사람을 잡는 방법을 설명하는 페이지가 있습니다. Apache를 사용하여 불량 로봇 중지 [evolt.org]

특히 .htaccess를 사용하여 dizzler를 중지하는 쉬운 방법을 원한다면 이를 열고 다음을 추가할 수 있어야 합니다.

<Directory /directoryName/subDirectory>
Order Allow,Deny
Allow from all
Deny from 66.232.150.219
</Directory>

다른 팁

에서 이 장소:(이것을 .htaccess 파일에 넣으세요)

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://((www\.)?dizzler\.com [NC]
RewriteRule .* - [F]

당신은 다음과 같은 것을 사용할 수 있습니다

SetEnvIfNoCase Referer dizzler.com spammer=yes

Order allow,deny
allow from all
deny from env=spammer

원천: http://codex.wordpress.org/Combating_Comment_Spam/Denying_Access

매우 세련된 솔루션은 아니지만 사이트의 크롤러 봇을 차단한 다음 mp3 파일 이름을 변경하여 사이트에 이미 있는 링크를 끊을 수 있습니다.

라이센스 : CC-BY-SA ~와 함께 속성
제휴하지 않습니다 StackOverflow
scroll top