Onde estão os logs em Faísca em FIO?

Question

Eu sou novo a ignição.Agora eu posso executar faísca 0.9.1 no fio (2.0.0-cdh4.2.1).Mas não há registo após a execução.

O comando a seguir é usado para executar uma faísca exemplo.Mas logs não são encontrados na história servidor como no normal MapReduce trabalho.

SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone  --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1

onde posso encontrar os logs/stderr/stdout?

Existe algum lugar para definir a configuração?Eu fiz encontrar uma saída do console dizendo:

14/04/14 18:51:52 INFO Cliente:Comando para o ApplicationMaster:$JAVA_HOME/bin/java-server -Xmx640m -Djava.io.tmpdir=$PWD/tmp org.apache.faísca.implantar.fios.ApplicationMaster --classe SimpleApp --jarra ./spark-example-1.0.0.jar --'args fio-autônomo' --trabalhador, memória 1024 --trabalhador-núcleos 1 --num-trabalhadores 3 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr

Nesta linha, observe 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr

Onde pode LOG_DIR ser definido?

Answer 1

Muito do artigo para esta pergunta:

Execução de Ignição em FIO - consulte a seção "como Depurar seu Aplicativo".Decente explicação com todos os necessários exemplos.

A única coisa que você precisa seguir para chegar corretamente histórico funcional do servidor para o Faísca é fechar os Faísca contexto de sua aplicação.Caso contrário, no histórico do aplicativo de servidor não ver você tão COMPLETO e não mostra nada (apesar de a história de INTERFACE do usuário é acessível, mas não é tão visível).

Answer 2

Você pode logs de acesso através do comando

yarn logs -applicationId <application ID> [OPTIONS]

opções gerais são:

• appOwner <Application Owner> - AppOwner (assumiu ser usuário atual se não especificado)
• containerId <Container ID> - ContainerId (deve ser especificado se o nó o endereço é especificado)
• nodeAddress <Node Address> - NodeAddress no formato nodename:port (deve ser especificado se o recipiente id é especificado)

Exemplos:

yarn logs -applicationId application_1414530900704_0003                                      
yarn logs -applicationId application_1414530900704_0003 myuserid

// the user ids are different
yarn logs -applicationId <appid> --appOwner <userid>

Answer 3

Nenhuma das respostas torná-lo claro como cristal onde procurar registos ( embora o façam em pedaços), então eu estou colocando-os juntos.

Se agregação de log é ativado (com fio.log-agregação-habilitar yarn-site.xml), em seguida, fazer isso

yarn logs -applicationId <app ID>

No entanto, se este não estiver ativado, em seguida, é preciso ir-se nos Dados do Nó de máquina e olhar para

$HADOOP_HOME/logs/userlogs/application_1474886780074_XXXX/

application_1474886780074_XXXX é o id do aplicativo

Answer 4

Ele registra a:

/var/log/hadoop-yarn/containers/[application id]/[container id]/stdout

Os registos estão em cada nó que sua vela de trabalho é executado.