Dopo aver raccolto i dati e il campionamento dove necessario, il passaggio successivo consiste nella suddivisione dei dati in set di addestramento, set di convalida e set di test.
La suddivisione casuale non è l'approccio migliore
La suddivisione casuale è l'approccio migliore per molti problemi di machine learning, ma non è sempre la soluzione giusta. Ad esempio, considera i set di dati in cui gli esempi sono raggruppati in modo simile in modo simile.
Supponiamo che tu voglia che il modello classifichi l'argomento dal testo di un articolo di notizie. Perché un segmento casuale è problematico?
Figura 1. Le notizie sono raggruppate.
Le notizie vengono raggruppate in cluster: più notizie sullo stesso argomento vengono pubblicate contemporaneamente. Se suddividi i dati in modo casuale, pertanto, il set di test e il set di addestramento conterranno probabilmente le stesse storie. In realtà, non funzionerà in questo modo perché tutte le storie torneranno contemporaneamente, quindi fare la suddivisione in questo modo causerebbe un disallineamento.
Figura 2. Una suddivisione casuale consente di suddividere un cluster in più set, causando un disallineamento.
Un modo semplice per risolvere questo problema consiste nel suddividere i dati in base a quando è stata pubblicata la storia, forse il giorno in cui è stata pubblicata. In questo modo, le storie dello stesso giorno vengono posizionate nella stessa suddivisione.
Figura 3. La suddivisione puntuale consente ai cluster di finire per lo più nello stesso insieme.
Con decine di migliaia o più notizie, una percentuale potrebbe essere suddivisa tra i giorni. Ma va bene così, in realtà queste notizie sono state suddivise in due giorni del ciclo di notizie. In alternativa, puoi eliminare i dati entro una certa distanza dall'orario limite per assicurarti di non avere sovrapposizioni. Ad esempio, potresti allenare le storie per il mese di aprile e poi utilizzare la seconda settimana di maggio come set di test, con l'intervallo settimanale che impedisce la sovrapposizione.