SharePoint 2010을 위한 빠른 검색:배치 시간 초과
-
29-09-2020 - |
문제
우리 조직에서는 DMS용 검색 솔루션으로 FAST Search for Sharepoint 2010을 사용해 왔습니다.저는 현재 .Net 인덱싱 커넥터를 활용하여 약 8백만 개의 레코드와 그에 수반되는 파일로 구성된 데이터베이스를 인덱싱하고 있습니다.
이전에는 크롤링 상자에서 증분 크롤링을 완료할 수 없는 메모리 문제가 발생했습니다.몇 달 동안 문제를 해결한 후 해당 문제는 핫픽스(http://support.microsoft.com/kb/2601211).전체 문제는 다른 스레드(http://goo.gl/3CuZUY).
그러나 다음 증분에서 로그의 배치 시간 초과 및 끔찍한 크롤링 속도(0.1dps)에 대한 새로운 경고를 받기 시작했습니다.이로 인해 수백 시간 동안 실행한 후에도 크롤링을 완료할 수 없게 되었습니다.그러나 나는 다시 헤매고 있다.
저는 두 달 넘게 Microsoft 지원 담당자와 협력해 왔지만 어떤 문제에 대해서도 지원을 제공할 수 없었습니다.나는 또한 꽤 오랫동안 두 서버의 성능 카운터를 모니터링해 왔으며 (크롤링 상자의 높은 '배치 준비' 숫자를 제외하고) 아직 스모킹 건을 찾지 못했습니다.따라서 어떤 제안이라도 대단히 감사하겠습니다.
아래에 자세히 설명된 환경 및 로그 정보가 있습니다.
셰어포인트 환경
- 1x WFE
- 1x 데이터베이스 서버
- 1x 애플리케이션 서버(32GB RAM)
- 1x 인덱스 서버(FAST)(16GB RAM, 8개 CPU 코어, 5개 문서 프로세서)
로그
======[패스트박스]======
문서로그
- 경고 문서 변환 실패:외부 프로세스 시간 초과 도달(300초)(경고 코드 0)
- 정보 프로세서 "IFilterConverter"가 300초 동안 실행되었습니다.
PSCtrl 통계
- IFilterConverter(시스템 시간)229.6(사용자 시간)2670.5(실시간)778625.3
======[크롤링 상자]======
ULS
- 60.0초 후 문서 1개로 일괄 처리를 공급하는 동안 시간이 초과되었습니다.2번 시도함:콘텐츠를 제출할 수 없습니다:작업 설정 시간이 초과되었습니다.
[documentsubmitterworkerthread.cpp:492] d:\office\source\search ative\gather\plugins\contentpi\documentsubmitterworkerthread.cpp - 151.8초 이후 콘텐츠 예외:콘텐츠를 제출할 수 없습니다:WinHttpReceiveResponse가 실패했습니다.Url:'http:// [FAST SERVER]:13391/processing::session/5.2/1406916153000000043/process' 오류:'12002'
- 배치 시간이 초과되었습니다.DocumentsUbmitterWorkerTheRDREAD.CPP : 521] D : OFFICE SOURCE SEARCH NATIVE CATORY 플러그인 ContentPI DocumentSubmitterWorkerThread.cpp
해결책
FAST에서도 비슷한 문제가 있었고 지원 사례도 열었습니다.우리는 총 300만 개 항목에 달하는 7TB 상당의 데이터를 인덱싱하고 있었습니다.그들은 디스크 IO가 시간 초과를 일으키는 주요 문제이기 때문에 새로운 FAST 서버를 주문해야 했다고 말했습니다.우리는 다음과 같이 진행했습니다.
- 96GB RAM
- 2 x 6 코어 Xeon CPU
- 8 x 300 GB HD -2 OS 용으로 미러링되었고, 다른 6 개는 습격 50에서 지수를위한 1TB 이상의 공간에 대해 50
우리는 FAST 팜을 구축하기 위해 그 중 두 개를 얻었고 일단 배치한 후에는 FAST에서 시간 초과 문제가 발생하지 않았습니다.
새 서버를 사용하여 문서 프로세서를 24개로 늘렸으며 주말에 전체 인덱싱을 수행하면 완료하는 데 24시간이 조금 넘게 걸렸습니다.
불행하게도 FAST의 경우 더 많은 하드웨어를 사용하는 것이 최선의 답인 것 같습니다.