Importation Sqoop de Couchbase vers Hadoop
-
21-12-2019 - |
Question
Sur Ubuntu, en utilisant couchbase 2.5.1, cloudera cdh4, le plugin hadoop pour couchbase et oracle jdk 6.Tout s'installe bien (apparemment), je peux travailler indépendamment avec hadoop et couchbase sans problème, mais lorsque j'essaie d'utiliser le plugin comme suit
sqoop import --connect http://127.0.0.1:8091/ --table DUMP
J'obtiens les erreurs suivantes
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
14/04/11 11:44:08 INFO sqoop.Sqoop: Running Sqoop version: 1.4.3-cdh4.6.0
14/04/11 11:44:08 INFO tool.CodeGenTool: Beginning code generation
14/04/11 11:44:08 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/lib/hadoop-0.20-mapreduce
Note: /tmp/sqoop-vagrant/compile/30e6774902d338663db059706cde5b12/DUMP.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
14/04/11 11:44:09 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-vagrant/compile/30e6774902d338663db059706cde5b12/DUMP.jar
14/04/11 11:44:09 INFO mapreduce.ImportJobBase: Beginning import of DUMP
14/04/11 11:44:09 WARN util.Jars: No such class couchbase doesn't use a jdbc driver available.
14/04/11 11:44:11 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/11 11:44:12 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/11 11:44:13 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
Une idée de où je me trompe ?Ou que puis-je faire pour le savoir ?
La solution
Il semble que la syntaxe que j'utilisais était fausse.En supposant que nous voulons importer le beer-sample
bucket de couchbase vers HDFS, la syntaxe correcte est ci-dessous, où le nom du bucket est en fait transmis comme username
.
sqoop import --connect http://localhost:8091/pools --password password --username beer-sample --table DUMP
Autres conseils
Je ne pense pas que vous puissiez vous connecter à un godet CouchBase avec mot de passe à l'aide de la plugin Hadoop CouchBase.J'avais l'habitude d'obtenir une exception d'authentification et je n'ai jamais été capable de le résoudre.J'ai édité le code source et puis j'ai pu le faire fonctionner.