Должно быть:
QUERY("r" << BSON("$gt" << startVal ) ).sort("r" << 1)
или еще проще:
QUERY("r" << GT << startVal ).sort("r")
limit
выражается как часть вызова для выполнения запроса (3 -й параметр)
auto_ptr<DBClientCursor> cursor = c.query("DB.coll", QueryHere, 1);