使用 ftp 执行远程 java 程序，远程计算机上的非常大的数据集 - 程序到数据与数据到程序

Question

我正在开发一个基于java的应用程序；其相关要求如下

• 大型数据集存在于网络上的多台机器上。我的程序需要（远程）执行一个java程序来处理这些数据集并获取结果

• Windows 桌面上的用户需要在机器 A 上处理数据集（多个演出）。我的程序可以驻留在用户的机器上。他将从他的机器上执行我的程序并在远程机器上启动数据集处理

• 他不会通过网络从远程计算机获取数据集到他的计算机，而是在远程计算机上执行程序并获取结果

• 用户可以开放访问其他机器，但需要 ftp

• 数据不应通过网络传送到用户的计算机。

• 用户有windows操作系统

我的问题

• 我怎样才能执行这种远程进程执行？有任何想法吗？

• 我正在看hadoop；我正在使用 Windows XP。我无法让 hadoop 在单节点集群上工作；我无法找到好的文档。因此我还没有完全测试过hadoop。关于我是否走在正确的轨道上有什么评论吗？

• 你们中有人发现任何对安装 hadoop 和故障排除有用的链接吗？

预先感谢您的任何回复。如果我需要提供更多/具体细节，请告诉我。

-jv

Answer 1

Java 有一个您可以使用的 RMI API，假设您可以在远程计算机上运行 JAVA VM。这是重量最轻的解决方案。下一个最轻的重量是直接套接字通信。之后您将进入 EJB 服务器或 Web 服务器，这可能有点过头了。

Answer 2

了解如何使用 Java 6 编写 Web 服务。这允许您将方法发布为带有注释的 Web 服务。Web 服务客户端很小，不需要额外的软件。我发现 Idea IntelliJ IDE 易于使用，并生成了纯 Java 6 客户端。

然后它本质上归结为进行“正常”方法调用并处理结果。

把事情简单化。网格软件很可能不是您想要的。