Onde estão os logs em Faísca em FIO?
-
26-12-2019 - |
Pergunta
Eu sou novo a ignição.Agora eu posso executar faísca 0.9.1 no fio (2.0.0-cdh4.2.1).Mas não há registo após a execução.
O comando a seguir é usado para executar uma faísca exemplo.Mas logs não são encontrados na história servidor como no normal MapReduce trabalho.
SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1
onde posso encontrar os logs/stderr/stdout?
Existe algum lugar para definir a configuração?Eu fiz encontrar uma saída do console dizendo:
14/04/14 18:51:52 INFO Cliente:Comando para o ApplicationMaster:$JAVA_HOME/bin/java-server -Xmx640m -Djava.io.tmpdir=$PWD/tmp org.apache.faísca.implantar.fios.ApplicationMaster --classe SimpleApp --jarra ./spark-example-1.0.0.jar --'args fio-autônomo' --trabalhador, memória 1024 --trabalhador-núcleos 1 --num-trabalhadores 3 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr
Nesta linha, observe 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr
Onde pode LOG_DIR ser definido?
Solução
Muito do artigo para esta pergunta:
Execução de Ignição em FIO - consulte a seção "como Depurar seu Aplicativo".Decente explicação com todos os necessários exemplos.
A única coisa que você precisa seguir para chegar corretamente histórico funcional do servidor para o Faísca é fechar os Faísca contexto de sua aplicação.Caso contrário, no histórico do aplicativo de servidor não ver você tão COMPLETO e não mostra nada (apesar de a história de INTERFACE do usuário é acessível, mas não é tão visível).
Outras dicas
Você pode logs de acesso através do comando
yarn logs -applicationId <application ID> [OPTIONS]
opções gerais são:
appOwner <Application Owner>
- AppOwner (assumiu ser usuário atual se não especificado)containerId <Container ID>
- ContainerId (deve ser especificado se o nó o endereço é especificado)nodeAddress <Node Address>
- NodeAddress no formatonodename:port
(deve ser especificado se o recipiente id é especificado)
Exemplos:
yarn logs -applicationId application_1414530900704_0003
yarn logs -applicationId application_1414530900704_0003 myuserid
// the user ids are different
yarn logs -applicationId <appid> --appOwner <userid>
Nenhuma das respostas torná-lo claro como cristal onde procurar registos ( embora o façam em pedaços), então eu estou colocando-os juntos.
Se agregação de log é ativado (com fio.log-agregação-habilitar yarn-site.xml), em seguida, fazer isso
yarn logs -applicationId <app ID>
No entanto, se este não estiver ativado, em seguida, é preciso ir-se nos Dados do Nó de máquina e olhar para
$HADOOP_HOME/logs/userlogs/application_1474886780074_XXXX/
application_1474886780074_XXXX é o id do aplicativo
Ele registra a:
/var/log/hadoop-yarn/containers/[application id]/[container id]/stdout
Os registos estão em cada nó que sua vela de trabalho é executado.