تطبيق فعال عند التعامل مع التدفقات للاستعلام إلى نفس مجموعة البيانات

Question

لدي مجموعة بيانات ضخمة ثابتة ولدي وظيفة لتطبيقها على ذلك.

F IN في النموذج، تقليل (الخريطة (F، DataSet))، لذلك أود استخدام هيكل عظمي MapReduce. ومع ذلك، لا أريد أن أفرخ البيانات الموجودة في كل طلب (ومن المثلج، أريد الاستفادة من الفهرسة من أجل تسريع F). هناك تطبيق MAPREDUCE الذي يتناول هذه القضية العامة؟

لقد ألقيت نظرة على iterativemapduce. وربما يفعل الوظيفة، ولكن يبدو أنه يتناول حالة مختلفة قليلا، وعدم توفر التعليمات البرمجية بعد.

Answer 1

LEDOOP's MAPREDUCE (وجميع عمليات خريطة الخرائط الأخرى التي تقلل من الهيكل العظمي مستوحاة من Google) لا تنثر البيانات طوال الوقت.