Set di dati di formazione in diminuzione della qualità (blog di Google Data Science)

Question

Ho un algoritmo complesso che decide quando dovrebbe mostrare ai clienti un solo negozio un annuncio sul nostro sito Web, dopo aver effettuato l'accesso, nella speranza che acquisti ciò che è nell'annuncio. Non abbiamo alcun controllo di ciò che è nell'annuncio, perché un altro dipartimento della nostra azienda gestisce questo - il nostro modello sceglie solo a chi viene mostrato l'annuncio (vorremmo mantenere il numero di persone a cui mostriamo l'annuncio il più basso possibile, Perché offenderemo solo i clienti con l'annuncio altrimenti; questo significa non mostrare l'annuncio alle persone che accedono con l'intenzione di acquistare qualcosa, mostralo solo a coloro che non avrebbero acquistato nulla se non fossero stati presentati un annuncio) . Il modello stava allenando utilizzando dati di allenamento in cui abbiamo mostrato casualmente alcune pubblicità di persone e alcune no e registrato la loro rispettiva risposta.

Un'implementazione iniziale del modello è in corso e funziona bene bene per classificare a chi ha senso mostrare l'annuncio. Ma ogni giorno vengono acquisiti nuovi dati e il modello viene riqualificato utilizzando l'intero set di dati (che con ogni riqualificazione diventa più grande) ogni pochi giorni. Ma c'è la preoccupazione che le sue prestazioni possano diminuire se continuiamo a farlo, perché l'attuale istanza del modello influenza i nuovi dati che arrivano, che vengono utilizzati per formare l'istanza del modello futuro: la percentuale del cliente che non verrà mostrata annunci in modo casuale diminuirà e ci saranno sempre più dati del cliente che sono stati mostrati un annuncio solo se il modello ritiene che compreranno ciò che è su di esso.

Abbiamo ragione a preoccuparci che i nostri dati saranno di parte in futuro?

Il blog non ufficiale di Google Data Sicence] [2, Sezione "L'uso della randomizzazione in allenamento", potrebbe contenere informazioni utili su questo problema, ma sfortunatamente è troppo tecnico per me dare molto senso a tutto ciò. Oltre al messaggio "Sì, preoccupati per questo: ma continua a inviare una piccola parte degli annunci in modo casuale e starai bene", che ho ottenuto, cos'altro potrei fare per ridurre questo problema?