Wie kann ich eine andere Massenladung in Cassandra als die Kopiermethode durchführen?

Question

AM verwende die Kopiermethode zum Kopieren der CSV-Datei in die Cassandra-Tabellen.Aber ich erhalte die Fehlermeldung, dass die Datensätze nicht übereinstimmen.

Record 41(Line 41) has mismatched number of records (85 instead of 82)

Dies geschieht für alle CSV-Dateien und alle CSV-Dateien werden vom System generiert.

Gibt es eine Lösung für diesen Fehler?

Answer 1

Basierend auf Ihrer Fehlermeldung hört es sich so an, als ob der Kopierbefehl bei Ihnen funktioniert, bis Datensatz 41.Was verwenden Sie als Trennzeichen?Das Standardtrennzeichen für COPY command ist ein Komma, und ich wette, dass Ihre Daten in Zeile 41 einige zusätzliche Kommas enthalten.

Ein paar Optionen:

• Bearbeiten Sie Ihre Daten und entfernen Sie die zusätzlichen Kommas.
• Ändern Sie Ihre CSV-Datei, um die Werte aller Ihrer Felder in doppelte Anführungszeichen zu setzen, z COPYist die Standardeinstellung QUOTE Wert ist ".Dadurch können Sie die Kommas im Text belassen.
• Ändern Sie Ihre CSV-Datei so, dass sie durch Pipes begrenzt wird | anstelle eines Kommas und setzen Sie das COPY Befehle DELIMITER Option zu |.
• Versuchen Sie es mit entweder dem Cassandra-Massenlader oder json2sstable-Dienstprogramm um Ihre Daten zu importieren.Ich habe sie noch nie verwendet, aber ich wette, Sie werden ähnliche Probleme haben, wenn Ihr Datensatz Kommas enthält.