Domanda

Sto cercando di creare un mapper lavoro solo tramite AWS (un lavoro streaming). Il campo riduttore è richiesto, quindi mi sto dando un eseguibile fittizio, e l'aggiunta di -jobconf mapred.map.tasks = 0 alla casella Args Extra. Nell'ambiente Hadoop (versione 0.20) ho installato, nessun lavoro riduttore lancerà, ma in AWS i lanci eseguibili fittizi e non riesce.

Come è possibile eseguire un no riduttore / mapper solo posti di lavoro in AWS?

È stato utile?

Soluzione

è possibile utilizzare anche gatto o NONE come argomento riduttore.

Altri suggerimenti

Non v'è alcun modo per creare un mapper solo lavoro in amazon M / R. Sto usando il riduttore di Identità (org.apache.hadoop.mapred.lib.IdentityReducer), invece.

Autorizzato sotto: CC-BY-SA insieme a attribuzione
Non affiliato a StackOverflow
scroll top