Charger les données du stockage de Google Cloud à BigQuery à l'aide de Java

Question

Je veux télécharger des données de Google Cloud Storage sur BigQuery, mais je ne trouve aucun code d'exemple Java décrivant comment faire cela.Quelqu'un voudrait-il me donner un indice comme comment faire cela?

Ce que je veux réellement faire est de transférer des données de Google App Moteur Tables à BigQuery (et de synchronisation quotidiennement) afin que je puisse faire une analyse.J'utilise le service Google Cloud Storage dans Google App Moteur pour écrire (NOUVEAU) Enregistrements aux fichiers de Google Cloud Storage, et la seule pièce manquante consiste à ajouter les données aux tables de BigQuery (ou à créer une nouvelle table pour la première fois).Certes, je peux télécharger / ajouter manuellement les données à l'aide de l'outil de navigateur BigQuery, mais j'aimerais que cela soit automatique, sinon j'ai besoin de le faire manuellement tous les jours.

Answer 1

Je ne connais aucun échantillon Java pour charger des tables du stockage de Google Cloud à BigQuery.Cela dit, si vous suivez les instructions pour exécuter des travaux de requête ici , vous pouvez courirun travail de charge à la place du fouvement:

Job job = new Job();
JobConfiguration config = new JobConfiguration();
JobConfigurationLoad loadConfig = new JobConfigurationLoad();
config.setLoad(loadConfig);

job.setConfiguration(config);

// Set where you are importing from (i.e. the Google Cloud Storage paths).
List<String> sources = new ArrayList<String>();
sources.add("gs://bucket/csv_to_load.csv");
loadConfig.setSourceUris(sources);

// Describe the resulting table you are importing to:
TableReference tableRef = new TableReference();
tableRef.setDatasetId("myDataset");
tableRef.setTableId("myTable");
tableRef.setProjectId(projectId);
loadConfig.setDestinationTable(tableRef);

List<TableFieldSchema> fields = new ArrayList<TableFieldSchema>();
TableFieldSchema fieldFoo = new TableFieldSchema();
fieldFoo.setName("foo");
fieldFoo.setType("string");
TableFieldSchema fieldBar = new TableFieldSchema();
fieldBar.setName("bar");
fieldBar.setType("integer");
fields.add(fieldFoo);
fields.add(fieldBar);
TableSchema schema = new TableSchema();
schema.setFields(fields);
loadConfig.setSchema(schema);

// Also set custom delimiter or header rows to skip here....
// [not shown].

Insert insert = bigquery.jobs().insert(projectId, job);
insert.setProjectId(projectId);
JobReference jobRef =  insert.execute().getJobReference();

// ... see rest of codelab for waiting for job to complete.

Pour plus d'informations sur l'objet de configuration de la charge, reportez-vous au Javadoc ICI .