Cómo tabla MySQL transferencia a la colmena?

Question

Tengo una tabla de MySQL grande que me gustaría transferir a una mesa Hadoop / colmena. ¿Hay comandos o técnicas estándar para la transferencia de un simple (pero grande) tabla de MySQL a la colmena? Las tiendas de mesa sobre todo de análisis de datos.

Answer 1

1. En primer lugar descarga mysql-connector-java-5.0.8 y poner el frasco para lib y carpeta bin de Sqoop

2. Crea la definición de tabla en la colmena con nombres de campo y tipos exactos como en MySQL

   importación Sqoop --verbose --fields-terminado por '' --connect jdbc: mysql: // localhost / test empleado --table --hive-importación --warehouse-dir / user / colmena / almacén --fields terminado por '' --split-por empleado Identificación del --hive-tabla

prueba - Nombre de la base

empleado - Nombre de tabla (presente en prueba)

/ usuario / colmena / almacén - Directorio en HDFS, donde los datos tienen que ser importados

- dividida por id - id puede ser la clave primaria de la tabla 'empleado'

- colmena tabla de empleados - tabla de empleados cuya definición está presente en la colmena

Sqoop Guía del usuario (Uno de la mejor guía para el aprendizaje Sqoop )

Answer 2

Tome un vistazo a: http://archive.cloudera.com /cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive

Answer 3

Apache Sqoop es una herramienta que soluciona este problema:

Apache Sqoop (TM) es una herramienta diseñada para la transferencia de datos de manera eficiente a granel entre Apache Hadoop y almacenes de datos estructurados como bases de datos relacionales.