أفضل طريقة لتخزينها واستعلام وتحديث صفوف 300 متر من البيانات

Question

أنا أكافح للعثور على حل (ويفضل DBAAS) أنه يمكنني الاعتماد على تخزين واستعلام عن بعض صفوف 300 متر من البيانات (حوالي 100 جيجابايت).

البيانات المعنية هي رقيقة كبيرة.هناك أيضا عمود واحد "وصف" الذي أود إجراء البحث عن النص الكامل.هناك عدة أعمدة "الفئة" المستخدمة في تصفية كذلك.أريد أيضا تصفية / طلب البحث نتائج العديد من الطرق (10+ فهارس مختلفة).

ليست هناك حاجة للقيام بعملية العمل معقدة لأن البيانات تشاركل إلى حد كبير.يتم تحديث البيانات بشدة: يتم استبدال حوالي 50 متر من السجلات كل يوم.

لقد حاولت لأول مرة مع Dynamodb، لكنها يمكن أن تدعم فقط ما يصل إلى 5 فهارس، وليس قادرة على إجراء البحث النص الكامل بسرعة معقولة.لقد اعتبرت أيضا Google BigQuery، لكنها مصممة لبيانات "إلحاق فقط".أنا الآن أفكر في Redshift، لكنني لست متأكدا من كيفية قدرته على التعامل مع عدد كبير من التحديثات اليومية.

سيكون موضع تقدير أي نصيحة!

Answer 1

انتهى بي خصم البيانات في Dynamodb والقيام بمزامنة يومية مع Redshift.لقد حاولت Redshift مع بيانات عينة 600 متر على كتلة العقدة ويتم تشغيلها بسرعة كبيرة.هذا هو بالضبط ما أحتاج إليه.