Numer.ai: ¿Cómo funciona su sistema de clasificación?

Question

Hay un sitio web de competencia de minería de datos llamado numer.ai.

Presumiblemente, detrás del sitio web hay un fondo de cobertura que hace uso de las predicciones que las personas envían. Las personas dentro de los lugares centenario principales ganan dinero continuamente, hasta que se revele el próximo conjunto de datos y la competencia se restablece.

Lo que no entiendo es que sitios web como Kaggle evitan el sobreajuste al tener una tabla de clasificación pública y privada. La tabla de clasificación privada solo se revela al final de la competencia y solo entonces se entregan los premios.

Numerai dice debajo normas que usa el mismo enfoque. Citando:

Si los modelos se sobreportan en la tabla de clasificación pública y se desempeñan mal en la clasificación privada, esos usuarios sufrirán sanciones potencialmente erradicando todas las ganancias. Esto desalienta el sobreajuste.

¿Qué quieren decir con "sanciones" aplicadas? Conozco a alguien que está ganando dinero en ese sitio web jugando continuamente en la tabla de clasificación pública. ¿Significa esto que si no retira su bitcoin, está en peligro de perder lo que se ha ganado en caso de que esté en exceso?

Answer 1

Encontré la respuesta en el sección de comentarios de su blog:

Las ganancias enumeradas en la tabla de clasificación pública son ganancias potenciales. Las ganancias reales están determinadas por la tabla de clasificación privada. En el momento del retiro y cuando se lanzan nuevos conjuntos de datos, se le revelará sus ganancias reales.