Python 컴퓨팅 클러스터

Question

텔넷 서버를 작성한 다음 명령을 텔넷으로 연결하고 앞뒤로 출력하여 Python 클러스터를 만드는 것이 가능합니까?Python 컴퓨팅 클러스터에 대한 더 나은 아이디어를 얻은 사람이 있습니까?추신.방법을 아는 사람이 있다면 Python 3.x를 사용하는 것이 좋습니다.

Answer 1

Python Wiki는 매우 포괄적 인 목록을 주최합니다 파이썬 클러스터 컴퓨팅 라이브러리 및 도구. 당신은 특히 관심이있을 수 있습니다 병렬 파이썬.

편집하다: IMHO 인 클러스터링에 적합한 새로운 라이브러리가 있습니다. execnet. 작고 간단합니다. 예를 들어 표준보다 버그가 적습니다. multiprocessing 기준 치수.

Answer 2

Python 3에 사용할 수있는 대부분의 타사 패키지를 볼 수 있습니다. 여기; 클러스터 계산과 관련이 있습니다 mpi4py -Pyro와 같은 대부분의 다른 분산 컴퓨팅 도구는 여전히 Python-2에만 해당하지만 MPI는 클러스터 분산 계산의 주요 표준이며 잘 살펴 보는 것입니다 (그러나 Python 3과 MPI4Py를 사용하는 직접적인 경험은 없지만 Hearsay는 믿습니다. 좋은 구현입니다).

주요 대안은 Python 자신의 내장입니다 다중 프로세싱, MPI 표준을 존중하지만 Python에서 코딩되지 않을 수있는 기존 노드를 인터페이스하는 데 관심이 없다면 꽤 잘 확대됩니다.

자신의 롤링에는 실제 부가가치가 없습니다 (Atwood가 말한 것처럼 바퀴를 재발 명하지 마십시오. 목적이 바퀴를 더 잘 이해하지 않는 한!-)-단단하고 테스트 된 광범위한 솔루션 중 하나를 사용하여 이미 테스트를 거쳤습니다. 귀하를 대신하여 디버깅 및 최적화!-)

Answer 3

이것들을 살펴보십시오

http://www.parallelpython.com/

http://pyro.sourceforge.net/

나는 둘 다 사용했고 둘 다 분산 컴퓨팅에 exellent입니다.
자세한 옵션 목록은 참조하십시오http://wiki.python.org/moin/parallelprocessing

원격 시스템에서 무언가를 자동으로 실행하려면 Telnet에 대한 더 나은 대안은 SSH입니다. http://pydsh.sourceforge.net/

Answer 4

어떤 일을 하고 싶나요?확인해 보세요. 하둡.백엔드, 무거운 작업은 Java로 수행되지만 Python 인터페이스가 있으므로 Python 스크립트를 작성하여 입력을 생성 및 전송하고 결과를 처리할 수 있습니다.

Answer 5

관리 스크립트를 작성 해야하는 경우 클러스터 쉘 파이썬 라이브러리도//및 평행 쉘 clush. 노드 세트를 다룰 때 유용합니다 (남자 노드 세트).

Answer 6

제 생각에는 ipython.parallel 갈 길입니다. 나는 작년 반 동안 광범위하게 사용해 왔습니다. 원하는만큼 많은 작업자 노드와 대화식으로 작업 할 수 있습니다. 당신이 AWS에 있다면 스타 클러스터 ipython.parallel을 확보 할 수있는 많은 EC2 노드로 빠르고 쉽게 실행하는 좋은 방법입니다. (필요한 경우 Hadoop 및 기타 유용한 도구를 자동으로 설치할 수도 있습니다.)이를 사용하는 데 몇 가지 요령이 있습니다. (예를 들어, ipython.parallel 인터페이스 자체를 통해 많은 양의 데이터를 보내고 싶지 않습니다. 각 엔진의 데이터 청크를 개별적으로 끌어내는 스크립트를 배포하는 것이 좋습니다.) 분산 처리를하는 매우 쉬운 방법이 되십시오 (방법 Hadoop보다 낫다!)

Answer 7

"파이썬 클러스터를 만들 수 있습니까?"

예.

나는 예/아니오 질문을 좋아합니다. 당신이 알고 싶은 다른 것이 있습니까?

(Python 3은 아직 타사 라이브러리가 거의 없으므로 현재 Python 2에 머물고 싶을 수도 있습니다.)