5 sfide comuni della data science e soluzioni efficaci

Questo articolo è un prezioso contributo della nostra community ed è stato modificato da DataCamp per chiarezza e accuratezza.

Ti piacerebbe condividere la tua esperienza? Ci farebbe piacere sentirti! Invia i tuoi articoli o idee tramite il nostro modulo per i contributi della community.

La data science è il processo di studio dei dati per ricavarne insight utili a supporto delle decisioni. Copre tutto, dalla statistica e dalla matematica all’intelligenza artificiale e all’ingegneria informatica.

Per quanto sia importante, la data science incontra diversi ostacoli che rendono difficile per le aziende sprigionarne tutto il potenziale. In questo articolo vedrai cinque principali sfide della data science che devi superare per ottenere il massimo dall’analisi dei dati e migliorare il decision-making aziendale.

1. Gestire più fonti di dati

Ottenere i dati giusti per l’analisi è un compito impegnativo, soprattutto quando accedi a dati provenienti da fonti diverse. Ecco perché, per una data science efficace, è fondamentale consolidare i dati da più fonti.

Tuttavia, consolidare dati provenienti da sorgenti eterogenee e semi-strutturate è un processo complesso e dispendioso in termini di tempo.

Una soluzione rapida a questa sfida di data science è usare strumenti di integrazione dei dati o un sistema di data management come Informatica e Oracle. Queste soluzioni software ti aiutano a raccogliere e aggregare dati da varie fonti e a filtrarli per facilitarne l’accesso.

Lo fanno agendo come una piattaforma centralizzata che si integra con le fonti dei dati. Il risultato è una visione olistica di tutti i tuoi dati, che ti consente di generare insight più accurati e significativi.

Puoi anche usare soluzioni di business AI per analizzare rapidamente i dati e suggerire decisioni aziendali utili. Sebbene esistano rischi dell’AI generativa come le allucinazioni dell’AI, questi possono essere agevolmente superati con contromisure come il fact-checking.

2. Carenza di professionisti qualificati

Il mondo dipende sempre più dalla data science per prendere decisioni. Ben il 59% delle aziende utilizza la data science in modi diversi per migliorare le proprie performance. Questo ha generato una domanda elevata di professionisti qualificati in data science che supera l’offerta. Pensa a questo: ci sono tre volte più annunci di lavoro per la data science rispetto alle ricerche di lavoro.

Fonte

Ma non è tutto. Anche alcuni data scientist attuali non hanno le competenze aggiornate necessarie per gestire i dati nel mondo moderno. Il modo tradizionale di lavorare con i dati non è più applicabile nell’ambiente odierno a causa di tecnologie emergenti come l’AI generativa. Inoltre, ci sono altri due sviluppi che richiedono upskilling o reskilling dei professionisti dei dati: l’esplosione dei dati e i progressi nella capacità di calcolo.

L’upskilling e il reskilling degli esperti di data science non si limitano alle competenze tecniche. Gli esperti di data science hanno anche bisogno di migliorare le capacità di problem solving e comunicazione. La massa di dati oggi disponibile porta con sé nuove sfide e problemi da affrontare.

Le soluzioni a questi problemi devono essere comunicate correttamente ai membri del team e al management, che potrebbero non avere le competenze per interpretare i dati in autonomia. Lo approfondiremo più avanti.

Per affrontare la sfida di un bacino di data scientist più piccolo rispetto alla domanda, devi semplicemente distinguerti come potenziale datore di lavoro e attrarre alcuni di quei professionisti che fanno parte di quel bacino. Quindi, offri stipendi e benefit competitivi. Negli Stati Uniti, secondo Glassdoor, la retribuzione base media per i data scientist è di 146.422 $, e se puoi offrire di più, tanto meglio.

Che tu assuma nuovi data scientist o abbia già professionisti dei dati in organico, devi investire in workshop e formazione sulla data science. Queste iniziative possono aiutare a garantire che le competenze del tuo team siano al passo con i tempi e in linea con pratiche e standard attuali del settore.

3. Privacy e sicurezza dei dati

Il passaggio agli ambienti cloud ha contribuito all’aumento delle violazioni della sicurezza dei dati nel XXI secolo. Si stima che il 60% dei dati aziendali sia archiviato nel cloud. Nel solo 2020, l’FBI ha ricevuto oltre 2.000 denunce di crimini informatici al giorno. Ransomware, attacchi ai sistemi di dati e furto di dati sono alcune forme comuni di violazioni della sicurezza.

Di conseguenza, le aziende si avvalgono ora di esperti di cybersecurity, inclusi hacker etici che usano ChatGPT per il hacking, per garantire che i dati dei clienti restino al sicuro. Questo ethical hacking aiuta a identificare potenziali rischi per la sicurezza dei dati e a risolverli in anticipo.

Con così tanti dati che possono finire nelle mani sbagliate, anche entità come l’Unione Europea sono intervenute.

Il General Data Protection Regulation, ad esempio, entrato in vigore nel 2018, mira a proteggere i dati delle persone nell’UE. Prevede sanzioni e multe che possono arrivare a milioni di euro per le organizzazioni che violano gli standard di privacy e sicurezza del GDPR.

Fonte

Come azienda, quindi, devi garantire la sicurezza e la privacy non solo della tua organizzazione ma anche dei tuoi consumatori.

Per proteggere efficacemente questi dati, devi innanzitutto sapere quali dati possiedi e dove si trovano attualmente, un processo chiamato data discovery. Puoi utilizzare strumenti di data discovery automatizzati come Tableau e IBM Cognos Analytics per identificare rapidamente i dati sensibili in tuo possesso.

Poi, scegli una soluzione di archiviazione dati affidabile che funga da ulteriore livello di sicurezza. Inoltre, esegui sempre il backup dei dati in modo da poterli recuperare facilmente in caso di perdita o corruzione.

Assicurati di avere controlli di accesso granulari. Qualunque sia la natura della tua attività, non ha davvero senso concedere a tutti gli stessi diritti di accesso.

Fonte

Prendiamo come esempio un’azienda software. I dati necessari al team finance per le attività quotidiane sarebbero molto diversi da quelli di cui il reparto marketing ha bisogno per eseguire le sue strategie di marketing SaaS. Allo stesso modo, il team sales e l’assistenza clienti necessiterebbero di set di dati differenti per operare.

Ancora più importante, controlli di accesso granulari impediranno accessi non autorizzati e ridurranno il rischio di violare la privacy e la sicurezza dei dati dei tuoi clienti. Questo è essenziale perché organizzazioni ed esperti di dati devono bilanciare la tutela dei dati riservati dei clienti con la condivisione dei dataset necessari con i membri del team pertinenti. Valuta l’uso di un data catalog per aiutarti a restringere l’accesso ai dati sensibili concedendo al contempo agli esperti di dati l’accesso necessario ai dataset rilevanti.

4. Data cleansing

Rimuovere i dati indesiderati dai tuoi dataset è una delle sfide principali che affronterai. I dati di scarsa qualità costano caro alle aziende, con alcune che perdono fino a 12,1 milioni di dollari all’anno per questo motivo. È l’incubo di ogni data scientist lavorare con dati inaccurati, duplicati, incoerenti o inappropriati. Può portare a conclusioni errate e, di conseguenza, a decisioni sbagliate.

Come azienda, è essenziale conoscere le quattro V del big data per aiutarti nel data cleansing. Includono:

• Velocity - È la velocità con cui i dati vengono trasferiti. Poiché il trasferimento avviene in tempo reale, devi analizzare questi dataset anch’essi in tempo reale.
• Veracity - Devi scegliere i dati rilevanti per il tuo business, così che le persone possano fidarsi delle decisioni che ne derivano.
• Volume - Lo scambio di dati cresce in modo significativo di giorno in giorno. Questo significa che dovrai usare la tecnologia per farvi fronte.
• Variety - Incontrerai molte forme di dati, tra cui dati strutturati, non strutturati e semi-strutturati. È fondamentale definire un formato standardizzato per gestire la varietà dei dati.

Considerando i volumi e la varietà enormi di dati su cui devi lavorare, ripulire dati incoerenti può richiedere ore.

Prendi in considerazione la data governance come modo per risolvere questo problema di data science. Si riferisce alle procedure stabilite da un’azienda per gestire i propri asset di dati. Esistono moderni strumenti di data governance che ti aiutano a ripulire, formattare e mantenere l’accuratezza dei tuoi dataset. IBM Data Governance, OvalEdge e Collibra sono buoni esempi di strumenti di data governance.

Inoltre, assumi professionisti dei dati incaricati di garantire la qualità dei dati in ogni reparto. Questo ti aiuterà a ottenere dataset di alta qualità su cui lavorare, risparmiando tempo e denaro.

5. Report per stakeholder non tecnici

Aumentare la capacità di un’organizzazione di prendere decisioni informate è un obiettivo principale della data science. Queste decisioni dovrebbero essere allineate al piano aziendale. Solo così l’azienda può raggiungere i suoi obiettivi.

L’abbiamo accennato poco fa. Poiché la data science è un campo altamente tecnico, può essere difficile comunicare le scoperte dei data scientist a manager e dirigenti che non parlano il linguaggio tecnico. Molti responsabili e leader organizzativi non hanno familiarità con gli strumenti e i modelli di machine learning usati nella data science.

C’è poi il fatto che alcune organizzazioni non hanno termini di business e KPI chiaramente definiti. Questo può essere una sfida per i tuoi data scientist in fase di reportistica. Se ogni reparto interpreta i termini di business in modo diverso e usa misure differenti per calcolare i KPI, i tuoi data scientist avranno molto lavoro da fare.

Dovranno spiegare l’impatto del loro lavoro in relazione ai KPI specifici di ogni reparto. Di conseguenza, potrebbe essere difficile arrivare a una decisione aziendale olistica che vada a beneficio di ciascun reparto.

La soluzione a queste grandi sfide? Ne abbiamo menzionata una: effettuare reskilling e upskilling dei tuoi data scientist così da affinare le loro capacità comunicative. Puoi formarli nello storytelling dei dati per aiutare il pubblico a visualizzare efficacemente i risultati. Il data storytelling assicura che l’analisi dei dati sia facilmente comprensibile. Può essere usato per convincere il pubblico del perché la decisione aziendale presa sia adeguata.

Un’altra soluzione è dare al personale non tecnico – il pubblico dei data scientist — una buona base di data science.

Dovresti anche definire chiaramente i KPI della tua organizzazione e assicurarti che tutti i reparti abbiano una comprensione comune di ogni termine di business. Questo rende più semplice per i data scientist comunicare i principali insight derivanti dalle loro analisi.

Un modo per garantire questa coerenza è, ancora una volta, usare un data catalog. Funziona come fonte unica di verità per i termini di business e i KPI, assicurando che tutti li interpretino allo stesso modo.

Conclusione

In sintesi, molte sfide della data science continuano a emergere man mano che le aziende adottano la tecnologia per portare a termine le attività. Fonti di dati multiple o inaffidabili rendono difficile per i data scientist estrarre insight azionabili da grandi quantità di dati. Esiste anche un gap di talenti che rende difficile trovare esperti di data science con esperienza pratica.

Le preoccupazioni relative alla privacy e alla sicurezza dei dati continuano a rendere complicato per le aziende accedere ai dati necessari per l’analisi. Il data cleansing richiede tempo e denaro mentre le organizzazioni cercano di identificare e scartare i dati errati. Infine, può essere difficile fare report a stakeholder non tecnici poiché la data science è un campo tecnico.

Per risolvere queste sfide di data science, offri stipendi competitivi per attrarre data scientist moderni da un bacino di talenti apparentemente ridotto rispetto alla domanda. Fai upskilling e reskilling dei tuoi professionisti dei dati così che possano tenere il passo con le tecnologie in evoluzione e le nuove esigenze della data science. Forma anche gli altri dipendenti affinché abbiano una comprensione di base della data science. Valuta inoltre l’uso di strumenti come data catalog e software di data governance.

Segui questi consigli e sprigionerai tutto il potenziale della data science per la tua azienda, scoprendo opportunità entusiasmanti.