Deveria estar:
QUERY("r" << BSON("$gt" << startVal ) ).sort("r" << 1)
Ou ainda mais simples:
QUERY("r" << GT << startVal ).sort("r")
limit
é expresso como parte da chamada para executar a consulta (3ª param)
auto_ptr<DBClientCursor> cursor = c.query("DB.coll", QueryHere, 1);