PostgresにCSVをインポートできません（場所4194303にある予期せぬ文字）
https://stackoverflow.com//questions/25022965
-
21-12-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
CSVをRedShiftデータベースにインポートしようとすると、このエラーが発生します
Missing newline: Unexpected character 0x75 found at location 4194303
すべてのものはCSV自体で問題ありません。 STLテーブルは、この文字列が含まれているCSVの70269にエラーがあることを示します。
10:00:10,2014-07-28,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0),Not Listed,Not Listed,Not Listed,Not Listed,multiRetrieve,Not Listed,OS-Preview-logItemUsage,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,"[{""PubEndDate""=>""2013/12/31"", ""ItmId""=>""1353296053"", ""SourceType""=>""Scholarly Journals"", ""ReasonCode""=>""Free"", ""MyResearchUser""=>""246763"", ""ProjectCode""=>"""", ""PublicationCode""=>"""", ""PubStartDate""=>""2013/01/01"", ""ItmFrmt""=>""AbstractPreview"", ""Subrole""=>""AbstractPreview"", ""PaymentType""=>""Transactional"", ""UsageInfo""=>""P-1008275-154977-CUSTOMER-10000137-2950635"", ""Role""=>""AbstractPreview"", ""RetailPrice""=>0, ""EffectivePrice""=>0, ""ParentItemId""=>""53628""}]","[""optype:Online"", ""location:null"", ""target:null""]",192.234.111.8,DIALOG,20140728131712007:882391,1119643,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,Not Listed,"2014-07-28 10:00:10-0400,421 {""Items"":[{""PubEndDate"":""2013/12/31"",""ItmId"":""1353296053"",""SourceType"":""Scholarly Journals"",""ReasonCode"":""Free"",""MyResearchUser"":""246763"",""ProjectCode"":"""",""PublicationCode"":"""",""PubStartDate"":""2013/01/01"",""ItmFrmt"":""AbstractPreview"",""Subrole"":""AbstractPreview"",""PaymentType"":""Transactional"",""UsageInfo"":""P-1008275-154977-CUSTOMER-10000137-2950635"",""Role"":""AbstractPreview"",""RetailPrice"":0,""EffectivePrice"":0,""ParentItemId"":""53628""}],""Operation"":[""optype:Online"",""location:null"",""target:null""],""UserAgent"":""Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"",""UserInfo"":{""IP"":""192.234.111.8"",""AppId"":""DIALOG"",""SessId"":""20140728131712007:882391"",""UsageGroupId"":""1119643""},""UsageType"":""multiRetrieve"",""BreadCrumb"":""OS-Preview-logItemUsage""}
ロードされない理由は何ですか？
編集：数値 '4194303'では明確に関係があります。私のRedshiftのアップロードの多くは失敗しました、ここで私のstl_load_errors
の簡単なサンプルです。Missing newline: Unexpected character 0x3a found at location 4194303
Missing newline: Unexpected character 0x63 found at location 4194303
Missing newline: Unexpected character 0x6c found at location 4194303
Missing newline: Unexpected character 0x22 found at location 4194303
これらのエラーが「テキスト」のタイプから発生したテーブル内のすべてのエントリと約30列があります。 CSV自体には何千ものレコードが含まれています（非常に大きなCSVファイル）。
回避策（解決策ではない）
RedshiftコピーのTruncateColumns機能によって設定された4MBの制限から設定された4MB制限から来たことがわかりました。この機能を無効にすると、「文字列長を超える」エラーが表示されます（最初の場所でTruncateColumnsを使用する理由）。
だから問題は私の記録の多くが4MBを超えています。
しかし、copyコマンドのmaxerror 1000オプションを使用することで、4MB +レコードを無視して、4MB未満の行だけが含まれているデータベースで残します。
解決
以下のオプションを追加したコピーコマンドを試してください
acceptInvchars
MacまたはWindowsからCSVファイルを作成するときには、特殊文字が含まれている可能性があります。
他のヒント
問題はEOL（行末）文字である。私は今日同じ問題を抱えていました、そして問題は私のCSVがMac EOL（おそらくCR）を持っていたということでした。私はそれをUnix（LFを使用する）に変更され、コピーが通過しました。
