Migrar dados de cassandra para cassandra

Question

Temos 2 clusters cassandra, o primeiro contém os dados antigos e o segundo contém os novos dados.

Agora queremos mover ou copiar os dados antigos do primeiro cluster para o segundo.Qual é a melhor maneira de fazer isso e como fazer isso?

estamos usando DSE 3.1.4.

Answer 1

Uma ferramenta que você poderia tentar seria o comando COPY TO/FROM cqlsh.

Em um nó do cluster antigo, você usaria COPY FROM:

cqlsh> COPY myTable (col1, col2, col3, col4) TO 'temp.csv'

E então (depois de copiar o arquivo) em um nó em seu novo cluster, você copiaria os dados do arquivo CSV para Cassandra:

cqlsh> COPY myTable (col1, col2, col3, col4) FROM 'temp.csv'

Aqui está mais alguma documentação sobre o CÓPIA DE comando.

Observe que COPY TO/FROM é recomendado para tabelas que contêm apenas alguns milhões de linhas ou menos.Para conjuntos de dados maiores, você deve observar:

• Carregador a granel Cassandra
• sstable2json

Answer 2

Há uma ferramenta chamada / usr / bin / sstableloader para copiar dados entre os clusters.Embora quando eu usei meses atrás, encontrei um erro e usado este em vez disso.Mas desde que foi há muito tempo, o Sstableloader já foi consertado.