numer.ai: comment leur système fonctionne leaderboard?

Question

Il y a un site de concours de data mining appelé numer.ai .

On peut supposer que, derrière le site Web est un fonds de couverture qui utilise des prédictions que les gens envoient. Les gens dans les premières places 100ème font continuellement l'argent, jusqu'à ce que le prochain jeu de données se révèle, et les remet à zéro la concurrence.

Ce que je ne comprends pas que des sites comme Kaggle éviter surajustement en ayant un public et un leaderboard privé. Le leaderboard privé est révélé qu'à la fin de la compétition et alors seulement sont remis des prix à.

Numerai dit en vertu des règles qu'il utilise la même approche. Citant:

Si les modèles surajuster leaderboard public et de mauvais résultats sur le leaderboard privé, les utilisateurs souffrira potentiellement des sanctions l'éradication de tous les gains. Cela décourage surapprentissage.

Qu'est-ce qu'ils veulent dire par « sanctions » sont appliquées? Je connais quelqu'un qui fait de l'argent sur ce site en jouant en permanence le leaderboard public. Est-ce que cela veut dire que s'il ne retire pas son Bitcoin, il est en danger de perdre ce qu'il a gagné au cas où il est surapprentissage?

Answer 1

J'ai trouvé la réponse dans la section commentaires de leur blog:

Le bénéfice figurant sur le classement public-score sont les gains potentiels. les gains réels sont déterminés par le leaderboard score privé. Au moment du retrait et lorsque de nouveaux jeux de données sont libérés, vos gains réels vous seront révélés.