Executando várias instâncias do Hadoop na mesma máquina

Question

Desejo executar uma segunda instância do Hadoop em uma máquina que já tem uma instância de Hadoop em execução. Após a distribuição do Hadoop, alguns arquivos de configuração precisam alterar do diretório Hadoop-Version/Conf. O usuário do Linux será o mesmo para as duas instâncias. Eu identifiquei os seguintes atributos, mas não tenho certeza se isso é bom o suficiente.

hdfs-site.xml : dfs.data.dir e dfs.name.dir

core-site.xml : fs.default.name e hadoop.tmp.dir

mapred-site.xml : mapred.job.tracker

Não consegui encontrar os nomes de atributos para o número da porta de rastreador de emprego/interface da web do rastreador de tarefas/DFS. Seus valores padrão são 50030, 50060 e 50070 respectivamente.

Existem mais atributos que precisam ser alterados para garantir que a nova instância do Hadoop esteja em execução em seu próprio ambiente?

Answer 1

Procure ".Address" em src/hdfs/hdfs-default.xml e src/mapred/mapred-default.xml, e você encontrará muitos atributos definidos lá.

BTW, eu tinha uma caixa com firewall ativada e observei que as portas efetivas na configuração padrão são 50010, 50020, 50030, 50060, 50070, 50075 e 50090.