Kaggle Competitions: la guida completa

Indice dei contenuti

• Cosa sono le Kaggle Competitions?
• Partecipare alle Kaggle Competitions ne vale la pena?
• Quando dovresti partecipare a una competition di data science?
• Cosa sono le Datacamp Competitions?
• Come trovare la Kaggle Competition giusta per il tuo livello? (Dalle basi alle competenze avanzate)
• Consigli per le Kaggle Competition
  • Scegli un linguaggio di programmazione
  • Partecipa alle Competitions con tag "Getting Started"
  • Non usare solo Kaggle
  • Concentrati sull'apprendimento
  • Studia altri notebook pubblici
  • Leggi le regole della competition
  • Condividi le tue soluzioni
  • Segui questo corso su DataCamp

• Cosa sono i Kaggle Rankings?
  • Medaglie di Kaggle
    • Medaglie delle Competitions
    • Medaglie dei Datasets
    • Medaglie dei Notebooks
    • Medaglie delle Discussions
  • Livelli di performance
    • Novice
    • Contributor
    • Expert
    • Master
    • Grandmaster
  • Quanto tempo ci vuole per passare da Contributor a Expert?
• Consigli per scalare il Kaggle Ranking
• Conclusione

Cosa sono le Kaggle Competitions?  

Ora che abbiamo coperto le basi di Kaggle come notebook e dataset, possiamo toccare le domande più frequenti sulle competition di Kaggle: chi le organizza? Posso competere? Perché dovrei competere? 

L'ultima domanda è la chiave. Le Kaggle Competitions si basano su sfide di machine learning organizzate da Kaggle stesso o da grandi aziende, organizzazioni e università. In queste competition gli utenti competono con altri data scientist sulla piattaforma per inviare previsioni più accurate, ottenute con i modelli di machine learning che costruiscono durante la gara. Dopo l'invio, viene calcolato automaticamente un punteggio che riflette quanto bene funziona il loro modello.

È un luogo comune credere che sia necessario aver seguito corsi di probabilità e statistica o avere una profonda conoscenza di alcune librerie di machine learning prima di partecipare a queste competition. La verità è che puoi, e dovresti, partecipare alle Kaggle Competitions indipendentemente dal tuo livello. Le competition non sono riservate agli esperti: tutti possono trarne esperienza preziosa e usarle anche per costruire un portfolio in data science.

Partecipare alle Kaggle Competitions ne vale la pena?

• Indipendentemente dalla tua esperienza in data science, puoi migliorare le tue competenze partecipando a competition in questo campo in continua crescita ed evoluzione. Queste competition ti metteranno alla prova entro le tue capacità. Più tempo ed energie dedichi alle competition di data science su Kaggle o DataCamp, più rapidamente prenderai dimestichezza con le librerie e i linguaggi di programmazione che usi.
• Otterrai un posizionamento tra data scientist di tutti i livelli in tutto il mondo.
• Avrai l'opportunità di esaminare le soluzioni vincenti e di accedere a diversi approcci allo stesso problema. Questo ti aiuterà ad analizzare compiti impegnativi da prospettive differenti.
• Ti verranno forniti dataset di alta qualità. Questo ti permetterà di concentrarti interamente sulla soluzione, senza dover pensare a ripulire i dati, raccogliere dati correlati o creare da zero un dataset coerente e ben etichettato.
• Avrai la possibilità di partecipare a discussioni tecniche con i vincitori delle competition e altri data scientist di alto livello. Questo ti aiuterà ad ampliare il tuo network.
• Lavorare su problemi reali ti motiverà e ti darà uno sguardo sul lavoro e le responsabilità quotidiane di un data scientist.
• C'è un chiaro incentivo economico.

Partecipare alle competition su Kaggle o DataCamp vale sicuramente la pena. A prescindere dal tuo livello di esperienza, troverai di certo almeno uno dei vantaggi elencati rilevante per te. C'è un'ampia varietà di competition di data science e ne vengono pubblicate regolarmente di nuove. Anche se al momento non ti interessano, è consigliabile seguire le competition che escono, perché prima o poi è probabile che una diventi rilevante per te.

Quando dovresti partecipare a una competition di data science?

Prima di entrare in una competition, considera i seguenti tre criteri:

1. Il tempo e il lavoro che dedicherai a questa competition saranno bilanciati con il miglioramento che puoi ottenere?
2. Qual è l'incentivo economico in caso di vittoria, e vale il tuo tempo?
3. Il lavoro, la ricerca e il contributo della competition saranno soddisfacenti per te come professionista dei dati?

Alcuni data scientist sono generalmente felici di partecipare a qualsiasi competition solo per ampliare il network e fare pratica. Tuttavia, la maggior parte delle persone deve valutare i criteri sopra per decidere se una competition valga la pena o meno. Dovrai anche individuare i tuoi criteri e considerarli prima di unirti a una competition, tenendo sempre conto che più competition affronti, più benefici ed esperienze di apprendimento potrai ottenere da Kaggle.

Cosa sono le Datacamp Competitions?

Le DataCamp Competitions e le Kaggle Competitions hanno molte somiglianze. Proprio come su Kaggle, su DataCamp hai la possibilità di esaminare i notebook condivisi pubblicamente e anche le competition di DataCamp prevedono premi. Se ti classifichi nelle competition, vinci un abbonamento DataCamp premium di 1 anno e puoi vincere anche premi in denaro. DataCamp offre inoltre un ambiente molto simile a Kaggle, in cui potrai confrontarti con data scientist di tutti i livelli attraverso le pagine di discussione.

Ci sono però un paio di differenze importanti tra Kaggle e le competition di Datacamp. Da un lato, le competition di Kaggle sono più focalizzate sul machine learning, mentre DataCamp punta a mettere alla prova, in un contesto più ampio, le tue capacità analitiche, di storytelling e di visualizzazione. Dall'altro lato, hai maggiori possibilità di vincere le competition di DataCamp, essendo una piattaforma emergente con un numero relativamente ridotto di partecipanti.

In ogni caso, non dovresti mai partecipare alle competition con la sola intenzione di vincere. Ne ricaverai molto di più se ti concentrerai sui progressi, e da questo punto di vista DataCamp offre anche ottime possibilità di miglioramento di cui puoi facilmente approfittare.

Come trovare la Kaggle Competition giusta per il tuo livello? (Dalle basi alle competenze avanzate)

Kaggle ti permette di filtrare le competition per titolo o usando parole chiave, quindi è facile trovare quelle che ti interessano di più. È sufficiente inserire il titolo o le parole chiave nella barra di ricerca.


Figura 5.1: Ricerca delle competition

Puoi anche filtrarle in base ai tag della competition.

Figura 5.2: Filtri delle competition

Oltre a titoli, parole chiave e tag, ci sono altri tre filtri principali: “Status”, “Prizes and Awards” e “Categories”.

Status:

• Monetary: I contest con questo tag sono solitamente condivisi da grandi aziende note. Se ti classifichi in queste competition, vincerai un premio in denaro. I premi più bassi sono tra 5.000 e 10.000 dollari. Le competition con premi tra 50.000 e 100.000 dollari sono le più comuni. I premi più alti arrivano fino a 1 milione di dollari.
• Medals: Ottieni medaglie su Kaggle come ricompensa, a seconda del punteggio che raggiungi nella competition. Con queste medaglie, aumenta il tuo ranking. Il Kaggle Ranking è spiegato in dettaglio nella sezione 6.
• Other: Queste competition premiano i partecipanti con merchandising di Kaggle, come t-shirt o adesivi.

Categorie:

• Featured: Queste competition sono solitamente pubblicate da grandi aziende, organizzazioni e persino governi. I premi in denaro sono molto più alti rispetto ad altre categorie.
• Research: Sono competition a tema ricerca. C'è poco o nessun premio in denaro.
• Getting Started: Non prevedono premi. Sono generalmente competition create a scopo didattico. Alla fine di questa sezione troverai una competition di esempio con il tag “Getting Started”. Vedrai non solo l'esempio, ma anche un tutorial su come usare un notebook e come inviare i risultati, tra gli altri passaggi rilevanti.
• Playground: Sono competition adatte a chi vuole fare esperienza e continuare a migliorare le proprie competenze. I premi sono di solito merchandising Kaggle (come t-shirt e adesivi). Queste competition sono spesso divertenti e gamificate.
• InClass: Sono competition solitamente ospitate dalle università e i loro partecipanti sono gli studenti di machine learning. L'obiettivo è coinvolgerli e ispirarli.
• Analytics: Sono competition di analisi dei dati.
• Simulations: Ciò che le distingue dalle tradizionali sfide di machine learning supervisionato su Kaggle è che si tratta di competition con compiti di reinforcement learning. I concorrenti sviluppano modelli e li fanno competere in un ambiente simulato.

Oltre ai filtri principali hai anche altri ordinamenti che ti consentono di classificare le competition per parametri aggiuntivi, come “Hotness”, “Recently Launched”, “Closing Soon”, “Reward” e “Total Teams”.

Figura 5.3: Ordinamento delle competition

Consigli per le Kaggle Competition

1. Scegli un linguaggio di programmazione

Python e R sono i linguaggi di programmazione più usati in data science, soprattutto per visualizzazioni e compiti di machine learning. Se ti stai chiedendo di MATLAB, puoi usarlo per attività di data science sul tuo computer locale, ma i notebook di Kaggle supportano solo Python, R e Julia. 

Se usi un linguaggio diverso, alcune attività potrebbero risultarti più semplici, ma ciò che rende potente un linguaggio di programmazione è la community e il supporto di librerie open-source. Considera che (usando uno dei linguaggi più popolari) qualsiasi libreria che importi sul tuo computer locale potrai importarla anche su Kaggle.

Se sei agli inizi, Python o R sono ottimi punti di partenza e su cui restare finché cresci nel campo. Tieni presente che molti notebook condivisi su Kaggle sono scritti in Python e, se hai bisogno di studiarli, potrai farlo comodamente se conosci il linguaggio.

2. Partecipa alle Competitions con tag "Getting Started"

Getting Started è perfetto per i principianti. Se completi queste competition e rivedi i notebook condivisi da altri, imparerai molto e relativamente in fretta.

Ecco alcune competition Getting Started che consigliamo in base alle tue conoscenze:

• Se conosci a livello base gli algoritmi di classificazione, prova Titanic.
• Se hai un po' di esperienza con la regressione, dai un'occhiata alla competition House Prices Advanced Regression Techniques.
• Se ti interessa il campo della computer vision, partecipa a Digit Recognizer.
• Se hai un po' di esperienza con l'elaborazione di immagini, ti consigliamo Facial Keypoints Detection.
• Se ti interessa l'elaborazione del linguaggio naturale, guarda Bag of Words Meets Bags of Popcorn.

3. Non usare solo Kaggle 

Dopo aver provato una delle competition di base elencate sopra, avrai un po' più di esperienza e potrebbe esserti utile cercare competition su piattaforme diverse. 

Su DataCamp puoi partecipare a competition di data science come “Designing a promo strategy for a drinks company”, che richiederà di fare ricerca e spingerti oltre secondo le tue capacità. Ciò che rende speciale questa competition è che non è focalizzata solo sul machine learning, ma sfida anche i partecipanti a migliorare in modo significativo le capacità di analisi, storytelling e visualizzazione. Puoi consultare i notebook condivisi per questa competition nella scheda entries.

Per massimizzare le probabilità di successo e ottenere il massimo da questa competition, si consiglia prima di completare i seguenti corsi:

• Exploratory Data Analysis in Python
• Statistical Thinking in Python
• Data Manipulation with Pandas
• Customer Segmentation in Python
• Cluster Analysis in Python

4. Concentrati sull'apprendimento

I premi in denaro nelle Kaggle Competitions sono significativi. Questo potrebbe tentarti a deviare dal tuo obiettivo di apprendere. Non concentrarti sul premio, ma dai priorità all'apprendimento e al miglioramento. Una volta che avrai abbastanza esperienza, ci sarà tempo per pensare a come arrivare in cima.

5. Studia altri notebook pubblici

Studiare i notebook condivisi nelle competition ti aiuterà a imparare modi diversi di risolvere lo stesso problema.

6. Leggi le regole della competition

Leggi le informazioni e le regole della competition prima di decidere di partecipare e assicurati di averle comprese appieno prima di iscriverti.

7. Condividi le tue soluzioni

Condividere le tue soluzioni aumenterà l'interazione con altri data scientist e potrai ottenere feedback dagli altri. Aprendo discussioni sulle tue soluzioni, guadagnerai medaglie più velocemente e potrai aumentare rapidamente il tuo ranking su Kaggle. Ulteriori informazioni sul Kaggle Ranking sono fornite nella sezione 6.

8. Segui questo corso su DataCamp

Il corso di DataCamp Winning a Kaggle Competition in Python ti insegnerà come affrontare e strutturare qualsiasi partecipazione a una competition di data science. Seguendo questo corso imparerai tutte le tecniche fondamentali usate nelle competition, come validare i modelli di machine learning ed evitare l'overfitting. 

Cosa sono i Kaggle Rankings?

Il sistema di ranking di Kaggle è una classifica live che ordina data scientist di tutti i livelli di esperienza, che danno diversi tipi di contributi a Kaggle, dai commenti alla partecipazione alle competition. 

Oltre alla classifica principale, ci sono altri quattro tipi di ranking: “Competition”, “Dataset”, “Notebook” e “Discussion”. Puoi vedere il tuo livello in ciascuna di queste categorie nel tuo profilo. Man mano che ottieni medaglie nelle categorie sopra, aumentano il tuo rank e il tuo tier. Ricorda che le medaglie si ottengono tramite punteggi nelle competition e upvote.

Su Kaggle ci sono cinque tier principali: “Novice”, “Contributor”, “Expert”, “Master” e “Grandmaster”. Al momento, ci sono solo 241 data scientist nel tier “Kaggle Grandmaster”, che è la massima lega. Questo dimostra quanto sia difficile farne parte. Per il resto, al momento ci sono 1.668 master, 7.206 expert, 64.668 contributor e 92.747 novice. Il tier in cui ti trovi, così come il numero di medaglie che guadagni, si rivelerà molto vantaggioso per far avanzare la tua carriera.

Medaglie di Kaggle

Le medaglie rappresentano un singolo risultato in una categoria. Questo risultato può essere un ottimo piazzamento in una competition, un notebook popolare, un dataset utile o un commento illuminante, per citarne alcuni. I tuoi risultati vengono standardizzati e viene creato un sistema di ranking confrontando i contributi con quelli di altri data scientist.

Medaglie delle Competitions

Le medaglie delle competition sono determinate dalla tua posizione in classifica. Ricorda che non si ottengono medaglie dalle competition nelle categorie InClass, Playground e Getting Started.

Nelle competition con 0-99 team, rientrare nel top 40% ti darà una medaglia di bronzo. Otterrai l'argento se sei nel top 20% e l'oro se sei nel top 10%. All'aumentare del numero di team, cambia anche la distribuzione delle medaglie. Ad esempio, partecipando a una competition con 1000 o più team, il top 10% riceverà una medaglia di bronzo, il top 5% una medaglia d'argento e le prime 10 squadre una medaglia d'oro.

Medaglie dei Datasets

Più i dataset che condividi sono popolari, più upvote riceverai dagli altri. Le medaglie dei dataset sono determinate dal numero di questi upvote. I dataset con 5-20 voti ricevono una medaglia di bronzo, quelli con 20-50 voti una medaglia d'argento e quelli con 50 o più voti una medaglia d'oro. I voti dati dagli utenti di livello novice non sono inclusi nel calcolo.

Medaglie dei Notebooks

Alle medaglie dei notebook si applicano le stesse regole delle medaglie dei dataset. I notebook con 5-20 voti ricevono una medaglia di bronzo, quelli con 20-50 voti una medaglia d'argento e quelli con 50 o più voti una medaglia d'oro. I voti dati dagli utenti di livello novice non sono inclusi nel calcolo. 

Medaglie delle Discussions

Le medaglie delle discussioni si ottengono calcolando i voti netti, che si ottengono sottraendo i downvote dagli upvote. I voti ai tuoi vecchi post e i voti dei livelli novice non sono inclusi nel calcolo. Un voto netto è sufficiente per ottenere una medaglia di bronzo. Se ottieni tra 5 e 10 voti netti, riceverai l'argento e con 10 o più voti netti otterrai l'oro.

Livelli di performance

Ti viene assegnato un tier di performance per ciascuna categoria di ranking (“Competitions”, “Datasets”, “Notebooks” e “Discussions”). Il tuo tier più alto tra tutte le categorie è mostrato come tier principale sul tuo profilo.

Novice

Ricevi automaticamente questo tier quando ti registri sulla piattaforma.

Contributor

Le condizioni per diventare “Contributor” sono le seguenti:

• Eseguire un notebook o uno script
• Effettuare un invio per una competition o un task
• Lasciare un commento
• Dare un upvote

Expert

Per diventare “Expert”, devi vincere almeno 2 medaglie di bronzo nelle competition; almeno 3 medaglie di bronzo nei dataset; almeno 5 medaglie di bronzo nei notebook; e almeno 50 medaglie di bronzo nelle discussioni.

Master

Per raggiungere il tier “Master”, devi vincere almeno 1 medaglia d'oro e 2 d'argento nelle competition; almeno 1 medaglia d'oro e 4 d'argento nei dataset; almeno 10 medaglie d'argento nei notebook; e almeno 200 medaglie nelle discussioni, di cui almeno 50 devono essere d'argento.

Grandmaster

Per diventare “Grandmaster”, devi vincere almeno 5 medaglie d'oro nelle competition, di cui almeno 1 deve essere un oro da solista; almeno 5 medaglie d'oro e 5 d'argento nei dataset; almeno 15 medaglie d'oro nei notebook; e almeno 500 medaglie nelle discussioni, di cui 50 devono essere d'oro.

Quanto tempo ci vuole per passare da Contributor a Expert?

Dipende tutto da quanto perseveri e contribuisci su Kaggle. In media, ci vuole circa 1 anno per passare da contributor a expert, secondo questa analisi. Questa tempistica dipende dai diversi livelli di impegno che ogni data scientist è disposto a investire su Kaggle. Ad esempio, se stai investendo tempo per imparare e migliorare, potresti impiegare più tempo per ottenere il badge di expert, ma se stai solo cercando di guadagnare quante più medaglie possibile nel minor tempo, allora potrebbe volerci meno.

Di solito è meglio investire tempo nel fare progressi reali e non solo nel collezionare medaglie. Per migliorare conoscenze e competenze e far avanzare la tua carriera, è l'esperienza reale che conta. 

Consigli per scalare il Kaggle Ranking

Come accennato, il tuo obiettivo dovrebbe essere usare Kaggle o DataCamp per ampliare il network, migliorare le competenze e imparare il più possibile. 

Tuttavia, ottenere medaglie è anche prezioso, naturalmente, e poiché le condizioni per guadagnarle dipendono anche da un alto numero di upvote, dovresti considerare di aumentare il numero di upvote che ricevi. I seguenti consigli ti aiuteranno ad aumentare il conteggio delle medaglie:

• Non chiedere upvote. Se ti impegni a fornire informazioni utili, gli upvote dovrebbero arrivare naturalmente. In effetti, chiedere upvote potrebbe essere controproducente e probabilmente ti porterà dei downvote.
• Potresti ottenere più upvote se citi gli autori. Ma usa queste informazioni con criterio e solo quando aggiungono reale valore al post, così da non rischiare di fare spam.
• Ricorda: concentrati unicamente sul migliorare le tue competenze e le medaglie arriveranno di conseguenza.

 I tier e le medaglie di Kaggle sono manifestazioni tangibili dei tuoi risultati reali. Man mano che progredisci, vedere i risultati materializzarsi probabilmente ti motiverà.

Conclusione

Competere nelle competition di data science su Kaggle o DataCamp è divertente ed è uno degli strumenti per motivarti nel tuo percorso in data science. Sebbene esistano data scientist straordinari che includono i premi delle competition nei loro modelli di reddito, l'obiettivo della maggior parte dei data scientist è imparare il più possibile dalle competition e fare esperienza reale. 

L'elemento più utile qui è l'ambizione di scalare le classifiche. Con questa ambizione, i data scientist possono guardare i notebook degli altri e studiare diversi codici e strategie. I suggerimenti che riceverai sul tuo codice dopo la competition possono persino essere considerati una forma di mentoring gratuito.

Per una guida passo dopo passo su come analizzare un dataset per una competition, dai un'occhiata al nostro Kaggle Competition Tutorial.