Mongodb Global (Scope) Использование переменных на монтаже Multi-Shards
-
13-12-2019 - |
Вопрос
Я проектирующую систему, которая должна иметь возможность обрабатывать миллионы документов и отчет о них по-разному. Mongodb Map \ Уменьшает задачу - это то, что я пытаюсь осуществить (в настоящее время выполняя расследование на этом). Очень основная структура документов составляет
db.test.insert(
{
"_id" : ObjectId("4f6063601caf46303c36eb27"),
"verbId" : NumberLong(1506281),
"sentences" : [
{
"sId" : NumberLong(2446630),
"sentiment" : 2,
"categories" : [
NumberLong(3257),
NumberLong(3221),
NumberLong(3291)
]
},
{
"sId" : NumberLong(2446631),
"sentiment" : 0,
"categories" : [
NumberLong(2785),
NumberLong(2762),
NumberLong(2928),
NumberLong(2952)
]
},
{
"sId" : NumberLong(2446632),
"sentiment" : 0,
"categories" : [
NumberLong(-2393)
]
},
{
"sId" : NumberLong(2446633),
"sentiment" : 0,
"categories" : [
NumberLong(-2393)
]
}
]
})
.
Так что каждый документ содержит предложения, которые могут принадлежать к разным категориям. Доклад, который я пытаюсь получить, это количество предложений в категории (с процентом долбатимов).
Я делаю следующую карту - уменьшить рабочие задания с помощью метода , чтобы подсчитать различные средние значения.
var map = function() {
var docCategories = new Array();
var catValues = new Array();
for (var i = 0; i < this.sentences.length; i++) { //iterate over sentences.
sentence = this.sentences[i];
for (var j = 0; j < sentence.categories.length; j++) {//iterate over categories
catId= sentence.categories[j].toNumber();
if (docCategories.indexOf(catId) < 0) {
docCategories.push(catId);
catValues.push({sentiment : sentence.sentiment, sentenceCnt: 1});
} else {
categoryIdx = docCategories.indexOf(catId);
catValue = catValues[categoryIdx];
catValue.sentiment = catValue.sentiment + sentence.sentiment;
catValue.sentenceCnt = catValue.sentenceCnt + 1;
}
}
}
totalCount++; //here we do try to count distinctCases see scope.
for (var i = 0; i < docCategories.length; i ++) {
emit(docCategories[i], {count: 1, sentenceCnt: catValues[i].sentenceCnt, sentiment: catValues[i].sentiment, totalCnt : totalCount});
}
};
var reduce = function(key, values) {
var res = {count : 0, sentenceCnt : 0, sentiment : 0};
for ( var i = 0; i < values.length; i ++ ) {
res.count += values[i].count;
res.sentenceCnt += values[i].sentenceCnt;
res.sentiment += values[i].sentiment;
}
return res;
};
var finalize = function(category, values) {
values.sentimentAvg = values.sentiment / values.sentenceCnt;
values.percentOfVerbatim = values.count / totalCount //scope variable (global)
return values;
};
var res = db.runCommand( { mapreduce:'test',
map:map,
reduce:reduce,
out: 'cat_volume',
finalize:finalize,
scope:{totalCount : 0},
});
.
Самая интересная часть вот в том, что я использую TOVATYCONT - чтобы подсчитать количество дослойных веществ, которые я излучаю. TotalCount - это переменная (глобальная).
Все прошло хорошо на одной установке MongoDB, но при переходе к осколкам Shard
На самом деле в этом случае totalcount будет просто db.test.count () (количество документов), но в будущем я собираюсь добавить разные условия для документов быть посчитанным. Делая любой другой запрос очень нежелательна, поскольку БД очень тяжелый.
Есть ли какие-либо другие подходы к использованию Global (Scope) переменных на монт MongoDB Mongodb? Или я должен использовать что-то еще?
Решение
Переменные области нет общие среди осколков.Вы можете относиться к нему как глобальную константу.Обновления для значения не будут видны для отображения или уменьшения функций, работающих на разных осколках.
Другие советы
Наконец, я нашел, как подсчитать количество документов, которые я излучаю. Единственный способ, который работал на меня, выпускает underoSitid, и помещает идентификаторы в массив на уменьшение. На стороне клиента (я пишу программу Java), я должен сосчитать только все отдельные идентификаторы. Итак, пока делаю карту, я эмирую
emit(docCategories[i], {verbIds : [this.verbId.toNumber()], count: 1, sentenceCnt: catValues[i].sentenceCnt, sentiment: catValues[i].sentiment, totalCnt : totalCount});
.
Уменьшить функцию следующее:
var reduce = function(key, values) {
var res = {verbIds : [], count : 0, sentenceCnt : 0, sentiment : 0};
for ( var i = 0; i < values.length; i ++ ) {
// res.verbIds = res.verbIds.concat(values[i].verbIds); //works slow
for ( var j = 0; j < values[i].verbIds.length; j ++ ) {
res.verbIds.push(values[i].verbIds[j]);
}
res.count += values[i].count;
res.sentenceCnt += values[i].sentenceCnt;
res.sentiment += values[i].sentiment;
}
return res;
};
.
Java Side Program Просто считай отчетливые идентификаторы по всему результатам.
На самом деле для выполнения документов 1.1m значительно замедляется