URL 검색 서비스에 대한 모범 사례? 공격 벡터를 피하는 방법?

Question

URL이 주어지면 텍스트를 검색하고 사용자에게 콘텐츠에 대한 통계를 제공하는 웹 도구를 사용하고 있습니다.

사용자가 내 상자에서 그물의 임의의 임의의 URL로 GET 요청을 시작하는 방법을 제공하는 것은 공격의 벡터 역할을 할 수 있을까 걱정됩니다 (예 : http://undefended.box/broken-sw/admin?do_something_bad).

이 위험을 최소화하는 방법이 있습니까? 공개 URL 검색 용량을 제공 할 때 모범 사례가 있습니까?

내가 생각한 몇 가지 아이디어 :

• 존중 robots.txt
• 특정 URL 패턴 만 수락하거나 거부합니다
• 적절한 사이트의 블랙리스트/화이트리스트 확인 (그러한 것이 존재하는 경우)
• 잘 알려진 타사의 공개 웹 프록시를 통해이 보호 조치에 이미 내장된다는 가정하에

당신의 도움을 주셔서 감사합니다.

편집 : 링크 된 스크립트, 이미지 등을 다운로드하거나 평가하지 않고 HTML 또는 텍스트 콘텐츠 만 평가합니다. HTML 인 경우 HTML 파서를 사용하겠습니다.

Answer 1

통계가 될 것입니다 뿐 문서의 텍스트에 대해? HTML 파서를 사용하여 평가 하시겠습니까?

분석 할 텍스트 일뿐, 즉 추가 링크를 다운로드하거나 스크립트를 평가하지 않고 위험이 덜 심각합니다.

안티 바이러스 프로그램을 통해 다운로드 한 각 파일을 전달하는 것은 아프지 않을 것입니다. 또한 특정 컨텐츠 유형으로 Gets를 제한해야합니다 (즉, 바이너리를 다운로드하지 않음, 텍스트 인코딩이 일종의 텍스트 인코딩인지 확인하십시오).