Big data: cosa sono, come utilizzarli, soluzioni ed esempi applicativi

1. Home
2. Big Data
3. Big data: cosa sono, come utilizzarli, soluzioni ed esempi applicativi

La sfida più grande per la maggior parte delle aziende oggi è nella capacità di acquisire un vantaggio competitivo lavorando sui dati.

Tutte le aziende e tutte le Pubbliche amministrazioni stanno diventando grandi fabbriche di dati. Noi stessi contribuiamo costantemente, consapevolmente e spesso anche inconsapevolmente, alla produzione di dati.

Big data vuol dire (letteralmente) grandi dati, ovvero grandi quantità di dati, che presi insieme occupano molto spazio di archiviazione, nell’ordine dei Terabyte (unità di misura multipla del byte, corrispondente a 2 alla quarantesima byte, ovvero a 1.048.576 megabyte, il simbolo è TB).

I processi nella tua azienda sono efficaci? I dati possono aiutarti.  Scopri tutto quello che c’è da sapere sul Process Mining!

Ma in cosa consistono i dati/informazioni?  Da una ricerca su Google a un nostro acquisto al supermercato, da una foto a un messaggio vocale a un tweet. Tutti questi sono dati.

La maggior parte delle nostre attività quotidiane, oggi, crea dei dati, che possono essere raccolti, analizzati e monetizzati.

Che cosa si intende per Big Data? La definizione

I big data sono dati informatici di grosse dimensioni che non possono essere analizzati e archiviati con strumenti tradizionali.

L’analisi dei big data richiede competenze specifiche, e tecnologie avanzate in grado di supportare l’elaborazione di file di dimensioni così grandi, per poterne estrarre informazioni utili, nascoste.

I dati che vengono prodotti da ognuno di noi e in ogni piattaforma digitale sono molteplici, come ad esempio i dati degli utenti di un sito web, dei loro post su Facebook, o dell’utilizzo di un’app, dagli oggetti collegati alla rete, e così via.

Super computer e algoritmi ci permettono di analizzare la sempre crescente mole di dati generati ogni giorno. Le CPU dei computer potrebbero a breve arrivare alla potenza di calco del cervello umano.

L’intelligenza artificiale potrebbe in poco tempo far sostituire ai robot molti dei lavori che facciamo oggi grazie alla enorme quantità di dati che oggi vengono generati, che possono essere facilmente analizzati dalle macchine, rivelando percorsi e connessioni tra le molte attività umane, oltre a creare dei profili dettagliati su di noi.

Entra in gioco però, anche la tutela della privacy legata alla sicurezza dei dati, procedura che come stiamo imparando nel corso di questi anni, non è per niente banale.

Il fenomeno dei big data, o meglio il fenomeno di immagazzinare, gestire e analizzare grandi quantità di dati non è in realtà un fenomeno recente, anzi è un fenomeno che fa parte della lunga storia dell’evoluzione del genere umano.

Così come è avvenuto per innovazioni quali internet, data center o cellulari, anche i big data sono uno step verso un modo diverso di gestire il business e la società.

Secondo il report How Much Information  pare che ognuno di noi generi in media 12 gigabyte di dati ogni giorno, e il numero è in costante crescita. Pensiamo ad esempio a tutti i post che vengono creati ogni giorno su Facebook. Un numero incredibile di dati generati dagli utenti, che verranno salvati da qualche parte e, forse, un giorno analizzati.

Oggi è possibile raccogliere un’innumerevole quantità di dati, come conseguenza di internet, dell’Internet delle Cose e del dilagare di applicazioni che funzionano collegandosi a una connessione internet.

In questo articolo cercheremo di spiegare cosa sono i big data, a cosa servono, alcuni degli utilizzi e ambiti applicati dei big data, e qual è il vantaggio per le aziende che decidono di applicare l’analisi dei big data al proprio business.

Perché i Big Data sono importanti?

L’obiettivo dell’analisi dei Big data è quello di sfruttare grandi quantità di dati per aiutare le aziende a identificare nuove opportunità di business.

I big data analytics sono importanti perché aiutano a semplificare i movimenti aziendali, rendere più efficienti le operazioni, aumentare i profitti, e avere clienti più soddisfatti.

Quali sono i tre principi fondamentali dei Big Data?

Le 3 “V” chiave dei Big data vanno a comporre la carta d’identità dei dati: 3 “V” che nel corso del tempo sono poi diventate le 5v dei big data:

1. 1. Volume, la grande quantità di dati di un’attività;
   2. Velocità, l’acquisizione dei dati alla velocità in cui arrivano;
   3. Varietà, catturare dati eterogenei per ottenere informazioni dettagliate;
   4. Veridicità, l’affidabilità dei dati della fonte;
   5. Valore, l’importanza del valore dei dati per i processi aziendali.

Alle basi dei Big data e della Data science

Per comprendere lo sviluppo dei Big data occorre anche saper individuare i modelli di utilizzo degli analytics nelle imprese e ancora una volta è necessaria una distinzione duale nelle tipologie di dati:

• dati strutturati
• dati destrutturati

Nel caso dei dati destrutturati si tratta poi tipicamente di:

• testo
• immagini
• video
• audio
• elementi di calcolo.

Se si considera la capacità di gestire e governare i dati con l’obiettivo di rendere accessibile e valorizzare l’intero patrimonio informativo e non soltanto con finalità di sicurezza e integrità, soltanto il 18% appare proattiva sul tema, con tecnologie e competenze presenti e ben distribuite.

Il 55% delle grandi aziende mostra invece una diffusa immaturità nella gestione dei dati, mentre le rimanenti stanno adottando nuove tecnologie o identificando figure di responsabilità in questo ambito.

Come si generano i Big Data?

Dietro a questi “segni particolari” ci sta la funzione centrale dei Big data che è quella di fornire la miglior rappresentazione possibile della realtà attraverso i dati. Ma per rappresentare in modo verosimile prima e veritiero poi la realtà con i dati è necessario sviluppare metodiche e logiche di rappresentazione con processi di verifica e di controllo.

Con questo approccio si va a collocare l’impresa all’interno di uno scenario di tipo data driven costituito da 4 grandi tipologie di Data analysis: 

1 – Descriptive analytics

Si parte dall’analisi descrittiva che è costituita da tutti i tool che permettono di rappresentare e descrivere anche in modo grafico la realtà di determinate situazioni o processi. Nel caso delle imprese parliamo ad esempio della rappresentazione di processi aziendali. La descriptive analytics permette la visualizzazione grafica dei livelli di performance.

2 – Predictive analytics

Si passa poi all’analisi predittiva basata su soluzioni che permettono di effettuare l’analisi dei dati al fine di disegnare scenari di sviluppo nel futuro. Le predictive analytics si basano su modelli e tecniche matematiche come appunto i modelli predittivi, il forecasting e altri.

3 – Prescriptive analytics

Con le Analisi prescrittive si entra nell’ambito di strumenti che associano l’analisi dei dati alla capacità di assumere e gestire processi decisionali. Le prescriptive analytics sono tool che mettono a disposizione delle indicazioni strategiche o delle soluzioni operative basate sia sull’analisi descrittiva sia sulle analisi predittive.

4 – Automated analytics

Il quarto punto scenario è rappresentato dalle Automated analytics che permettono di entrare nell’ambito dell’automazione con soluzioni di analytics. A fronte dei risultati delle analisi descrittive e predittive le Automated analytics sono nella condizione di attivare delle azioni definite sulla base di regole. Regole che possono essere a loro volta il frutto di un processo di analisi, come ad esempio lo studio dei comportamenti di una determinata macchina a fronte di determinate condizioni oggetto di analisi.

Clicca qui e scopri 10 step per creare una dashboard d’effetto ed efficace

Esempi di Big data nella vita quotidiana

Quasi tutti i settori produttivi utilizzano i big data per prevedere gli scenari futuri come ad esempio: cosa compreranno le persone? Quale sarà il loro stato di salute tra 5 anni?

Tuttavia i dati monitorati per decenni o secoli hanno un potere predittivo maggiore rispetto ai dati di un solo anno.

Ecco alcuni esempi applicativi dei big data:

• scoprire le abitudini di acquisto dei consumatori,
• marketing personalizzato,
• monitorare le condizioni di salute attraverso dispositivi indossabili
• manutenzione predittiva
• piani sanitari personalizzati,
• mappe stradali per veicoli,
• protocolli di sicurezza informatica,
• programmare le macchine.

Big data in azienda: asset come leva per il business

Se si guarda oggi ai principali fenomeni che caratterizzano lo sviluppo dell’economia e del sociale come l’industria 4.0, l’Impresa 4.0, il Digital banking, le Smart city, la Smart agrifood e tantissimi altri, si deve osservare che la vera base di questi fenomeni è tutta chiaramente polarizzata sui dati e sulla capacità di lavorare su una visione che è nello stesso tempo più alta e ampia, ma anche più precisa, dei dati.

Più cresce l’orientamento delle aziende a sviluppare e attuare forme di data driven innovation più acquistano importanza le due parole chiave che accompagnano questo processo, parole potenti, che racchiudono da sole il vero significato di questa trasformazione digitale basata sui dati: conoscenza e precisione.

Il lavoro sui dati e in particolare sui Big data allarga da una parte i confini della conoscenza delle imprese e delle Pubbliche Amministrazioni anche ad ambiti un tempo inesplorati o impraticabili. E sempre il lavoro sui Big data permette contemporaneamente di aumentare esponenzialmente la precisione di questa conoscenza e la precisione delle decisioni e delle azioni che si appoggiano su questa conoscenza.

Oggi nelle imprese l’utilizzo dei dati è spesso parziale e contingente, utilissimo certamente per raggiungere determinati obiettivi, ma limitato. Mentre appare evidente che il vero valore di questo patrimonio e la vera ricchezza si possono esprimere nel momento in cui si mette in atto un processo di valorizzazione di tutti i dati aziendali partendo da una visione di insieme di tutte le fonti.

In questo scenario il tema dei dati non deve più essere visto o letto come un tema solo tecnologico, ma come un vettore di business e per questo la definizione di una strategia aziendale legata a Big data e Data science non deve essere limitata ai soli “tavoli tecnici“.

Big data e Data science: i protagonisti in azienda

Prima di entrare nel merito delle figure che sono chiamate a lavorare in tutte quelle imprese che sono destinate a diventare  fabbriche di dati è utile vedere il concetto stesso di Big data e Data science.

I temi di riferimento per inquadrare le opportunità e le caratteristiche del tema analytics si focalizzano su alcuni ambiti:

• Big data
• Data science
• Business intelligence
• Real time analytics
• Data analytics
• Data mining
• Data literacy

Letteralmente con Big data si vuole descrivere la capacità di sviluppare attività di calcolo e di intelligenza su grandissimi volumi di dati e di sviluppare più forme di lettura, di interpretazione e di conoscenza.

Sia quelle più contingenti, finalizzate a un utilizzo specifico e perimetrato (come ad esempio possono essere i dati relativi ai pagamenti digitali dei flussi di cassa di un supermercato), sia poi l’analisi di tutti i fenomeni che si possono individuare, leggere e schematizzare attraverso una lettura più “alta”, sempre di grandissimi volumi di dati (come ad esempio i riflessi a livello di customer experience legati alla introduzione di un nuovo sistema di pagamento digitale tanto a livello del singolo supermercato quanto a livello di area o di catena.

O ancora, per fare un altro esempio, nella identificazione delle relazioni che questo tipo di servizi di payment ha saputo sviluppare in termini di percezione del brand nei social o in termini di maggiore utilizzo del proprio smartphone nel punto vendita).

Come fare Big data e cosa si intende per Data science e Data scientist

Se la figura del data scientist nasce, almeno come identità nel 2008, per opera di D.J.Patill e di Jeff Hammerbacher, è nel 2012 che inizia a essere oggetto di attenzione anche della pubblica opinione. Si è già detto dell’articolo Data Scientist: The sexiest job of 21Th Century di Harward Business Review, accanto a questa tappa va ricordato che nel 2015 Obama riconosce ufficialmente il ruolo e la figura del Data Scientist nominando DJ Patill come primo US Chief Data Scientist.

Una prima carta d’identità del Data scientist

Stiamo parlando di un lavoro bellissimo, come ha anche autorevolmente ricordato l’Harward Business Review che, anticipando i tempi, già nel 2012, aveva titolato un proprio servizio su questa professione: Data Scientist: The Sexiest Job of the 21st Century.

Un lavoro appunto affascinante che si concentra sul valore della conoscenza per generare nuova conoscenza. Un lavoro che richiede una fortissima concentrazione sui dati per esercitare una grande capacità di intuizione e di sintesi, di immaginazione per sviluppare teorie, per una sfida costante alla ricerca di “schemi” che permettano di individuare, interpretare, capire la realtà e poi gestire comportamenti e fenomeni.

Un lavoro che chiede nello stesso tempo anche tantissima creatività, anche nella gestione degli strumenti di lavoro che il Data Scientist è chiamato a plasmare, adattare, sviluppare.

Il Data scientist è a tutti gli effetti una figura professionale ancora  in via di definizione. Alcuni aspetti di questa professione appaiono già molto chiari e definiti, altri sono e saranno un derivato di esperienze e sperimentazioni.

La certezza oggi più solida riguarda il fatto che il Data scientist non può non avere forti competenze interdisciplinari, deve padroneggiare gli advanced analytics e i Big data e dunque deve dimostrare solide competenze informatiche, ma deve saper leggere oltre il dato per estrarre studi sociologici, individuando i pattern con competenze a livello di statistica e di matematica, deve poi saper dialogare con le aree di business e deve avere un quadro dei modelli di business attuali e potenziali che si “appoggiano” o meglio sono condotti (driven) dai dati.

Le attività di base del Data scientist

Per cogliere le opportunità dei Big data, servono chiaramente nuove competenze, così come nuovi modelli di governance. Il Data scientist è la figura che oggi meglio corrisponde al profilo di competenze e di esigenze di sviluppo che arriva dalle aziende che si collocano su un percorso di Data Driven Innovation.

Nello stesso tempo però è anche necessaria la figura del Chief data officer (CDO) ruolo manageriale chiamato ad assumere la responsabilità di definire lo sviluppo delle strategie per la valorizzazione dei dati e per la gestione del ciclo di vita del dato, dal momento della sua raccolta fino alla fase di distribuzione, di conservazione ed eventualmente di vendita o trasferimento.

I Data Scientist e i CDO per definizione sono figure con una fortissima vocazione multidisciplinare: matematica e tecnologia, statistica e sociologia, business e capacità di rappresentazione grafica sono alcuni dei requisiti di questa professione.

Partendo da una forte schematizzazione la giornata di lavoro del Data scientist si sviluppa su queste tipologie di attività:

• Mappatura, organizzazione e controllo delle fonti di dati aziendali.
• Creazione, organizzazione e verifica dei flussi dei dati aziendali.
• Modellizzazione dei dati grazie allo sviluppo di algoritmi matematico-statistici –Trasformazione e traduzione dei dati raccolti in informazioni.
• Studio e analisi del “valore dei dati” per ogni area di business.
• Studio e analisi delle metodiche di “valorizzazione” dei dati per ogni area di business attuale o potenziale.
• Capacità di analisi della customer experience e dei dati relativi ai clienti in funzione alle attività che costituiscono il core business dell’azienda.
• Capacità di individuare, creare e sviluppare forme di interazione tra le varie linee di business aziendali allo scopo di individuare e creare nuove occasioni di sviluppo sia tattico (cross selling) sia strategico (nuovi prodotti).
• Capacità di analisi dei dati relativi ai clienti in funzione dello sviluppo di nuovi servizi o nuovi prodotti.

Quali skill sono necessarie per essere un buon analista di dati?

Per svolgere queste attività le competenze specifiche richieste a un Data Science possono essere così articolate:

• Informatica – conoscenza dei linguaggi di programmazione e conoscenza di strumenti per la gestione dei Big Data.
• Project Management – capacità digestione dei progetti, di coordinamento e di controllo di tutte le attività finalizzate al raggiungimento di specifici obiettivi con determinate risorse
• Matematica e analisi – capacità di analisi dei dati e di creazione di modelli unitamente alla capacità di interpretazione dei risultati.
• Statistica – da intendere come attività di lavoro sui dati stessi, validazione e data cleaning, data profiling, utilizzo di strumenti e di linguaggi statistici e conoscenza delle tecniche statistiche come regressione, clustering, risoluzione di problemi di ottimizzazione.
• Conoscenza di business – intesa come conoscenza del core business aziendale, dei mercati nei quali opera e delle criticità e opportunità che rappresentano le principali dinamiche dell’impresa.
• Comunicazione e rappresentazione grafica – capacità di rappresentazione dei risultati in forma grafica, per favorire la comprensione e l’interpretazione dei risultati in particolare alle figure di business.
• Soft skill – intesa come capacità di gestire le relazioni (molto importante soprattutto nella logica interdisciplinare del ruolo e delle competenze) e dunque anche di teamwork.

Anche dal punto di vista della “collocazione” in azienda il Data scientist riflette il suo profilo”interdisciplinare”. Come “posizione” questa figura fa da ponte tra il mondo IT e le LOB (Line of business), ma con forme di collaborazione e con un dialogo costante anche con l’area R&D.

Il ruolo del Chief data officer (CDO)

Il Chief data officer (CDO) è una figura di tipo manageriale che è chiamata a guidare le risorse destinate al lavoro sulla Data Science e ha il compito di definire, presentare e attuare le strategie di Data Driven Innovation, Data analytics e big data.

In concreto il CDO è la figura che ha la delega per gestire l’acquisizione, l’analisi, l’intelligenza e l’azione sui dati aziendali. In termini di skill si tratta di una figura che deve unire competenze tecniche, manageriali, di business, ma che nello stesso tempo deve possedere una serie di soft skill per dialogare, conoscere e interpretare le esigenze “Data Driven” di tutte le aree aziendali.

In termini di compiti e di attività il CDO si occupa di tutti gli aspetti che compongono la Data Driven Strategy aziendale.

Si parte ovviamente dalla definizione della Data Driven Strategy aziendale che si attua mettendo a disposizione dell’azienda una visione globale e completa del patrimonio di dati aziendali con idee e progetti per sviluppare progetti e azioni volte alla valorizzazione di questo patrimonio. In uno scenario che vede sempre di più i dati come asset il CDO è colui che ha il compito di far crescere questo asset con una specifica strategia del dato, che si appoggia sulla organizzazione e gestione di un team (CDO Team) composto da diverse figure tra cui i Data Scientist.

Il CDO ha anche il compito strategico di sviluppare e attuare una strategia per il controllo e la verifica della Data quality. Più cresce la quantità di dati presente nelle aziende più cresce l’esigenza di un controllo di qualità sui dati stessi.

La data quality può incidere direttamente sull’azione di business e proprio per questo sono tante le imprese che stanno lavorando per assicurare e aumentare la qualità del dato.

Sulla Data quality insistono diversi fattori (controllo delle fonti, controllo dei flussi, aspetti tecnologici, metodiche di analisi e “qualità” delle tecnologie e altre ancora) che vanno gestite attraverso la definizione e lo sviluppo di standard sia metodologici sia di tipo tecnologico. Per la qualità del dato un tema fondamentale è rappresentato dalla responsabilità del CDO di estendere la propria responsabilità su tutto il ciclo di vita dei dati aziendali.

La Data science è come uno sport di squadra

Nelle imprese che scelgono un approccio Data driven la data science è prima di tutto e soprattutto da vivere in team. Una delle domande da porsi è proprio quella di valutare se si hanno le competenze, gli skill, le motivazioni giuste per “giocare” in un Data science team.

Sul tema arriva il contributo di analisi di IBM che si pone l’obiettivo di individuare e comprendere le competenze necessarie per svolgere al meglio le attività di Data science e per capire in quale modo i professionisti dei Big Data interagiscono tra loro, lavorando in team, al fine di investire nelle personalità più idonee a questo “sport” e nelle tipologie di formazione e di training più adatte.

Il documento Data science is a team sport. Do you have the skills to be a team player?  definisce le caratteristiche dei team di lavoro che si occupano di Data Science, ponendo una particolare attenzione ai compiti, alle abilità e alle competenze tecniche delle professioni del Data Scientist, data engineer, developer e del business analyst e sottolineando l’importanza di costruire e potenziare conoscenze e competenze per il futuro della scienza dei Big Data attraverso piani di supporto per i lavoratori come quelli che offre IBM.

Il white paper è diviso in sei parti (1. Introduction; 2. The data scientist; 3. The data engineer; 4. The developer; 5. The business analyst; 6. Data science teams: The new agents of change); la sezione finale (7. Resources) mette a disposizione una serie di risorse sul tema.

Il Data science is a team sport. Do you have the skills to be a team player? accenna al cambiamento portato dalla Big data revolution nell’ambito della Digital economy e alle implicazioni che comporta l’interazione con i Big data (come si fa a dare valore a questa grande massa di informazioni? perché è importante saper analizzare i dati in modo intelligente e veloce?). Partendo dal presupposto che la maggior parte delle persone che producono dati lavorano in team, vengono introdotte le qualità richieste ai team di Data science. Per ognuna delle figure sono indicate le attività di competenza, le caratteristiche, le abilità e viene presentata una sintesi delle top skill.

Quella del Data scientist è una professione in continua evoluzione, che richiede competenze in svariati ambiti disciplinari.

Un esperto Data scientist è in grado di esaminare dati che provengono da fonti multiple e disparate, guardandoli da diverse angolazioni. L’attività di analisi svolta dal Data Scientist, attraverso il collegamento di nuove informazioni a dati storici, ha lo scopo di individuare una relazione o una linea di tendenza che può indirizzare il lavoro del team. Le competenze tecniche spaziano dalla conoscenza dei linguaggi di programmazione alla capacità di utilizzo di strumenti di analisi come Hadoop e Spark.

Il data engineer a sua volta aiuta a raccogliere, organizzare e riordinare i dati che il Data scientist utilizza per costruire le analisi. I data engineer hanno familiarità con le tecnologie di base di Hadoop come MapReduce, Apache Hive e Apache Pig. Hanno inoltre esperienza nell’utilizzo degli strumenti di base di SQL e NoSQL e nelle attività di data wharehousing ed ETL.

Nel team la figura del developer entra in gioco tipicamente in una seconda fase dell’attività del Data scientist. A lui è affidato il compito di trasformare l’operato del team Data Science in un prodotto o in un servizio. I developer devono ovviamente avere forti competenze nell’ambito della programmazione.

Il business analyst, infine, ha il compito di comprendere le esigenze del business; non deve avere necessariamente forti competenze tecniche ma necessita di un background tecnologico che gli permette di sviluppare analisi dettagliate, usando le tecnologie disponibili senza dover necessariamente svolgere attività di coding.

Quelle della Data science sono professioni in continua evoluzione che, completandosi l’un l’altra, costituiscono il «cuore pulsante» della Big Data Economy. Per costruire un team di lavoro valido e solido è necessario prevedere dei percorsi di formazione e aggiornamento continui per i professionisti della Data science.

Secondo la ricerca dell’Osservatorio Big Data Analytics del Politecnico di Milano, l’accelerazione del mercato e l’aumento delle sperimentazioni richiedono nuove competenze. Nel 2021 il 49% delle grandi aziende ha in organico almeno un Data scientist e il 59% almeno un Data engineer. I numeri in termini di diffusione sono stabili rispetto al 2020, ma le realtà che avevano già introdotto questi profili in precedenza hanno continuato a investire: il numero di Data scientist è cresciuto nel 28% del campione.

Big Data, tema prioritario per il top management

Ma se tutte le aziende sono destinate a diventare “fabbriche di dati” la cultura del dato è destinata a entrare stabilmente nella cultura del pop management.

Lo stesso Osservatorio big data analytics & business intelligence della School of Management del Politecnico di Milano mette in evidenza che quello dei Big Data è un tema prioritario per gli imprenditori e per il top management che si stanno ponendo nella condizione di affrontarlo sia in termini organizzativi sia sotto il profilo delle piattaforme, ovvero nella analisi e nella identificazione di soluzioni espressamente dedicate all’analisi di dati e allo sviluppo di azioni in grado di incidere sul business, sulla riduzione dei costi, sulla conoscenza dei clienti o sullo sviluppo di nuovi e servizi.

O, tanto per citare un fenomeno di grande attualità nell’ambito dell’Industry 4.0, della trasformazione da prodotto a servizio. Il concetto stesso di servitizzazione passa attraverso la totale rappresentazione digitale di prodotti fisici, al punto da rendere fruibili in forma digitale i servizi resi disponibili dai prodotti fisici. Si tratta in questo caso di un passaggio che necessita del contributo fondamentale degli scienziati dei dati.

E così pure uno degli esempi più concreti dell’Industry 4.0, quello della manutenzione predittiva, che ha saputo trasformare in risultati e azioni concrete le progettualità dell’Industria 4.0, è il frutto del lavoro dei Data Scientist.

Ma uno dei principali punti focali sulla Data Science, sui dati e sui servizi legati ai dati è oggi da individuare nel CRM e in tutte le progettualità che concorrono alla gestione dei rapporti con i clienti e alla customer experience.

Si può certamente dire che oggi uno dei motori principali dell’attenzione sui temi degli Analytics e dei Big Data è rappresentato dal marketing e dalle vendite. A conferma che una delle principali spinte allo sviluppo di queste soluzioni e di questa professione arriva dalla capacità di mettere il più rapidamente possibile a terra i risultati di queste innovazioni: in termini di nuovi clienti o di migliori vendite sui clienti esistenti.

Un’altra grande area di sviluppo arriva dalla spinta dei social media o meglio ancora dalla “capacità di ascolto” dei social media. Ancora una volta sono i dati che si possono mettere in relazione con il CRM e che permettono leggere al di là dei dati più “superficiali” per estendere e approfondire la conoscenza della clientela.

Il rapporto tra Internet of Things, Big data e Data science

Un’area più recente di sviluppo, ma incredibilmente importante dal punto di vista dei volumi di dati generati è rappresentata dall’Internet of Things. Solo oggi si riesce ad apprezzare la ricchezza e la complessità di un fenomeno che non solo sa far parlare le cose, ma le sa mettere in relazione e, se accompagnato da una vera strategia di analisi e di interpretazione dei dati, consegna nuove forme di conoscenza attraverso lo sviluppo di ambienti intelligenti, di un nuovo rapporto uomo-macchina, di connected machine, di sistemi di produzione e di stabilimenti integrati, di nuove soluzioni di sicurezza e di nuove forme di prevenzione basate sullo studio dei comportamenti.

Ambienti intelligenti nella forma di Building automation che adattano la loro morfologia e i loro servizi in funzione del comportamento delle persone che frequentano gli ambienti e che lavorano in quelle aree aprono nuove prospettive tanto in termini di produttività quanto di rapporto tra persone e strumenti di produzione. Sono temi che attengono alla Data science e ai Big data che si concretizzano, ad esempio, in maggiore sicurezza per le persone e in forme di risparmio per il Facility Management.

Le direzioni aziendali hanno iniziato a intuire il valore di business di questi dati ed esprimono la necessità di trasformarlo in realtà. Appare a loro e a tutti chiaro che non è solo un tema di tecnologie, in molti casi pronte e consolidate.

È un problema di organizzazione, che va indirizzata, modellata e costruita ed è un tema culturale, di consapevolezza dei propri dati, di costruzione di modelli in grado di “non farsi travolgere” dai dati selezionando esattamente ed effettivamente quello che serve.

La sfida è nel passaggio da una situazione in cui prevale il tema della gestione della quantità di dati a una situazione in cui la centralità è nella qualità e nella precisione del dato.

Monetizzare i Big data: da Data driven a Data monetization

Concepire e attuare una strategia Data driven significa anche consegnare alla Data science la responsabilità per ideare, individuare e attuare nuove forme di “monetizzazione” dei dati. Con questo approccio si entra nel campo della data monetization ovvero di studio di progettualità che riescono a estrarre un valore inedito e un tempo impensabile dai dati.

Mobile, Internet of Things, Social Media, apparati intelligenti nelle Smart city e nella Smart home, solo per fermarci a questi esempi, mettono a disposizione delle aziende quantità enormi di dati. In buona misura vengono generati e utilizzati per uno o più finalità ben precise, espressamente legate ai servizi che hanno messo in moto il processo di sviluppo dei dati stessi. Ma quegli stessi dati, adeguatamente interpretati e analizzati, possono essere utilizzati e monetizzati anche per altri scopi che solo una visione di insieme dei comportamenti e delle criticità e opportunità legate a questi comportamenti permette di individuare.

La monetizzazione dei dati si può esprimere, semplificando molto, nella vendita o nello scambio dei dati o ancora nella capacità di sfruttare il valore dei dati per generare nuovi prodotti o nuovi servizi.

La Data monetization è uno dei vettori di sviluppo nelle aziende che dopo aver scelto un approccio di tipo Data driven si organizzano per sviluppare nuove forme di valore espressamente basate sui dati. Possono essere aziende di qualsiasi tipo e la Data monetization può affiancare, complementare o assistere il contemporaneo sviluppo dei core business tradizionali.

Anche in ragione del posizionamento delle aziende la Data monetization si esprime in diverse forme e modalità, ancora una volta per semplificare si può suddividere in

• Data monetization diretta
• Data monetization indiretta

Data monetization diretta

La datamonetizzazione diretta si concretizza con la vendita o lo scambio di dati, come può accadere a un’azienda del retail che raccoglie dati dai propri clienti sulle preferenze di pagamento e trasferisce ad esempio a una società di digital payment, nel rispetto delle regole della privacy, i dati di coloro che possono essere potenzialmente interessanti a una proposta di servizi innovativi di payment.

A sua volta la monetizzazione diretta si può attuare con diversi livelli di sofisticazione.

Dalla vendita nuda e cruda dei dati intonsi”così come sono”, ma in questo caso il digitale potrebbe non essere un fattore discriminante.

Alla vendita di dati trattati, ovvero che sono in grado di esprimere una conoscenza, una forma di interpretazione della realtà sottostante e di chi li acquista.

E l’acquisto stesso avviene sulla base del valore di conoscenza che questi dati sono già in grado di lasciare intuire. In questi casi il Data Scientist è la figura che con la sua capacità di lettura dei dati è in grado di incidere direttamente sulla loro “vendibilità”.

Si può dire che la Data monetization è una vendita che attiene tanto ai dati quanto alla capacità di lettura dei dati da parte del Data scientist.

Data monetization indiretta

Con la Data monetization indiretta ci si riferisce invece allo sfruttamento economico dei dati per altre attività. I dati legati al comportamento di un determinato tipo di gomma per pneumatici possono essere utilizzati per esplorare l’utilizzo della stessa tipologia di materie prime in altri ambiti.

La vendita o il trasferimento di quei dati può da una parte aprire nuovi scenari applicativi e dall’altra accelerare il lavoro di chi intende sviluppare quella nuova forma di business. Ancora una volta la strategia è tutta nella capacità di contare su Data scientist capaci di leggere al di là del valore “primario” del dato, ma di metterlo in relazione con altri dati e altri scenari. Il servizio che arriva dalla Data monetization è il risultato di una sintesi tra le competenze legate al core business dell’impresa e la capacità di interpretazione dei dati e dei mercati possibili.

Data monetization: chi vende e chi acquista

Se si guarda poi dal lato cliente la Data monetization chiama ancora una volta in causa i Data scientist. Chi acquista dati lo fa a sua volta per monetizzarli e quando in azienda arrivano dati esterni il processo è quello dell’integrazione con i dati già in possesso all’interno dell’azienda, di arricchimento del dataset a disposizione sia in termini di volume sia di qualità.

Se ci sono aziende espressamente e interamente dedicate a questa attività come i Data provider ci sono anche organizzazioni che affiancano questa attività al core business, mettendo a valore gli investimenti in Data Driven Innovation primariamente indirizzati al core business, ma comunque in grado di attivare nuove forme di business. Ecco che in queste aziende prendono a loro volta forma attività di Data providing.

Molti esempi di questa “diversificazione” del business arrivano dal mondo telco e dal retail, imprese che, grazie ai loro business, hanno la possibilità di raccogliere elevate moli di dati sui comportamenti dei loro consumatori che se adeguatamente interpretati e messi in relazione con altri dati possono permettere anche ad altri attori di sviluppare nuove forme di business.

Big Data e privacy: una partita aperta

Una importante competenza in capo al team Data science è quella della privacy. Nel momento in cui si entra nell’ambito della Data monetization ecco che occorre affrontare il tema normativo e nella fattispecie l’autorizzazione del trattamento per le finalità dichiarate. Stiamo parlando dell’Articolo 6 del General Data Protection Regulation (GDPR) che delibera proprio sulle condizioni che permettono o non permettono il trattamento. Non è questa la sede, ma il principio normativo in base al quale si lavora sui dati solo se l’interessato ha espresso il consenso al trattamento dei propri dati personali per una o più specifiche finalità è un vero e proprio “faro” nell’attività del Data scientist.

Questo significa che la definizione del trattamento dati rappresenta un momento chiave, durante il quale è necessario avere chiaro lo scopo per cui si andrà a realizzare analisi sui dati. Una volta iniziata la raccolta dei dati, non è possibile sottoporli ad analisi e utilizzi non specificati a priori.

Ecco un altro tassello del mosaico del lavoro del Data scientist che è bene sia chiamato a esprimere la sua visione e la sua competenza anche nella fase di sviluppo di tutte le azioni che portano alla raccolta dei dati, sia quando questi sono chiaramente dati legati al comportamento delle persone fisiche sia quando sono legati al comportamento di ambienti, vetture o sistemi di produzione che possono però comprendere anche dati legati, magari non consapevolmente, a persone coinvolte (perché presenti negli ambienti, perché alla guida delle vetture, perché operative accanto ai sistemi di produzione).

Storia e futuro dei Big data, gli ambiti applicativi in Italia

Quando si parla di “Big data”, può essere opportuno raccontare la storia dei Big data, della raccolta di dati in generale, e della loro evoluzione nel tempo, di come si è passati da “Data” a “Big data”, mappando alcune delle date più significative per l’evoluzione dei Big data. L’utilizzo dei dati e la loro conservazione è infatti molto antica.

Già in Babilonia, con la creazione dell’abaco, la biblioteca di Alessandria, così come molti altri episodi e luoghi storici, ci dimostrano come l’uomo abbia da sempre avuto interesse a conservare informazioni, per poterle poi consultare in seguito. Il digitale aumenta questa possibilità, che comunque era già utilizzata in passato.

XIX secolo e Business intelligence

Nel 1865 si inizia a parlare di Business intelligence, vista come un modo di ottenere vantaggio competitivo sui competitor collezionando e analizzando in maniera strutturata informazioni rilevanti per il business.

Nel 1880 un dipendente dell’ufficio di censimento USA mette a punto un sistema per classificare e organizzare i dati raccolti dal censimento. In questo modo riesce a ridurre il lavoro preventivano di catalogazione di questi dati da 10 anni a soli 3 mesi. Nasce il primo sistema di computazione automatica. L’inventore, Herman Hollerith, poco più avanti fonda un’azienda. L’azienda è oggi conosciuta come IBM.

XX secolo e database relazionali

Quasi un secolo dopo IBM continua le ricerche verso la business intelligence, che viene definita come la abilità di apprendere le relazioni tra eventi, in modo tale da guidare le scelte future del business.

Nel 1965 viene creato il primo data center in USA, e soltanto pochi anni dopo uno sviluppatore in IBM crea il primo framework per un database relazionale, ovvero un “magazzino” di dati dove le varie tabelle che contengono i dati sono collegate tra loro attraverso chiavi di lettura (ad esempio la colonna “ID prodotto” sta sia nella tabella “Prodotti venduti” che in quella “informazioni prodotto”; posso quindi collegare il numero di unità vendute per un particolare prodotto e le informazioni di quel prodotto). Questo tipo di database relazionale è lo standard (ad es. MySQL) su cui si basano oggi la maggior parte dei database per la raccolta dei dati.

Alla fine del XX secolo (1991) nasce internet, come la possibilità di rendere i dati accessibili a tutti ovunque nel mondo. È sempre in questo periodo che il digitale diventa per la prima volta più economico della carta.

XXI secolo, la nascita dei Big data

È soltanto nel 1999 che si legge per la prima volta la parola “Big data”. Ancora in questo periodo è molto sentito il problema di avere una così vasta quantità di dati immagazzinati, però con l’impossibilità di avere software sufficientemente elaborati per poter gestire e analizzare tali quantità di dati.

È in questo periodo che si inizia anche a parlare di Internet of Things, e della possibilità di collegare gli oggetti connessi a internet tra loro.

Quanto vale il mercato italiano dei Big data analytics nel 2022

Il mercato Data Management e Analytics raggiungerà i 2,41 miliardi di euro, +20% rispetto al 2021. Una crescita trainata soprattutto dalla componente software (54% del mercato, +25% rispetto al 2021), mentre la spesa in risorse infrastrutturali cresce in maniera meno sostenuta, al di sotto della media del mercato. Un buon andamento che coinvolge tutti i settori merceologici ma, in controtendenza con gli anni precedenti, nel 2022 sono GDO/Retail, Pubblica Amministrazione (PA) e Sanità i comparti che segnano la crescita più marcata.

Sono i risultati della ricerca dell’Osservatorio Big Data & Business Analytics della School of Management del Politecnico di Milano, presentata a novembre 2022 durante il convegno “Data-driven culture: connettere algoritmi e persone”.

Il Data Strategy Index

La ricerca 2022 ha costruito un indice di maturità complessivo comprensivo di tre ambiti:

1. Data Management & Architecture (strumenti, competenze e processi per la gestione tecnologica, integrazione dei dati e governo del patrimonio informativo),
2. Business Intelligence e descriptive analytics (strumenti e competenze di base per una Business Intelligence pervasiva)
3. Data Science (attività che contemplano analisi predittive e di ottimizzazione a partire dall’analisi dei dati).

È possibile definire “avanzate” il 15% delle grandi imprese. Ma anche per queste ci sono ampi margini di miglioramento, come l’inserimento di figure executive a capo della strategia di valorizzazione dei dati o la capacità di valutare i dati come asset, in grado di porsi alla base di nuove forme di collaborazione extra-aziendali.

Le aziende intraprendenti (30%) sono realtà che hanno già sviluppato una buona esperienza con gli advanced analytics ma lamentano alcune carenze lato gestione e governo dell’intero patrimonio informativo. Le prudenti (22%) sono organizzazioni che hanno approcciato in maniera parziale o stanno per approcciare l’utilizzo della Data Science, ma hanno una buona gestione e qualità dei dati a disposizione. In entrambe le situazioni ci sono benefici e rischi, che i decisori aziendali dovranno essere in grado di riconoscere. Infine, per le aziende immature (18%) o ai primi passi (15%), la priorità rimane il consolidamento dell’attività di Business Intelligence, ossia il completo superamento dell’utilizzo di fogli elettronici e l’introduzione pervasiva di strumenti di data visualization & Reporting avanzati.

Big data: i machine builder del manufacturing come esempio di trasformazione digitale

Sono tantissimi gli esempi di settori, industrie e imprese che hanno vissuto e stanno vivendo una radicale trasformazione grazie all’utilizzo dei Big data, ma un esempio che più altri appare oggi rilevante per qualificare i vantaggi di questa trasformazione e per comprendere quanto di questi vantaggi possono arrivare alle imprese del tessuto produttivo italiano è rappresentato dal mondo dei Machine builder.

Le imprese conosciute anche come machinery builder che operano nel comparto definito “produttori di macchinari e attrezzature industriali” (Industrial Machinery & Equipment) e che sono impegnate nella ideazione, progettazione e produzione di macchinari, di sistemi di produzione, di sistemi di automazione, di utensili elettrici o meccanici e più in generale di hardware e di altri componenti industriali. Queste imprese hanno avviato da tempo un percorso di arricchimento delle loro macchine con apparati IoT e IIoT in grado di generare dati e conoscenza e con questo processo si configurano come aziende che sono nella condizione di portare all’interno di altre aziende del mondo della produzione un patrimonio sempre più ricco di contenuti digitali.

Grazie a questo patrimonio di Big data queste aziende stanno cambiando radicalmente il manifatturiero ovvero stanno permettendo di raccogliere dati e conoscenza sulle macchine, su come vengono utilizzate, sul loro funzionamento, sui carichi di lavoro, sulle esigenze delle imprese che li utilizzano e su come cambiano nel tempo. Grazie alla gestione dei dati il rapporto si sta trasformando da un modello che prevedeva la fornitura di macchine e di una successiva manutenzione alla vendita del servizio erogato dalle macchine stesse in forma che sono conosciute come servitizzazione o come Equipment as a service. Una vera e propria rivoluzione in termini di modelli di business e di relazione tra produttore e cliente la cui base è rappresentata dalla disponibilità di dati e da strumenti che permettono di trasformarli in valore.

Big data: alcuni case study ed esempi

Data science case history: AMC Networks punta sui Big Data per conoscere meglio il pubblico

Negli ultimi dieci anni il settore della TV via cavo negli Stati Uniti ha vissuto un periodo di forte crescita, una vera e propria «golden age» che ha portato alla realizzazione di contenuti creativi di alta qualità. In questa fase AMC Networks ha prodotto alcune serie TV di grande successo come Breaking Bad, Mad Men e The Walking Dead.

La compagnia, però, non ha voluto «adagiarsi sugli allori»: ha sentito il bisogno di sfruttare le potenzialità dei Big data proprio per studiare i gusti dei propri utenti e per approfondire al meglio il comportamento dei propri clienti.

Un piano per organizzare le fonti di dati

AMC Networks ha prima di tutto sviluppato un piano per “ordinare” tutte le fonti di dati. A partire da veri e propri data provider come Nielsen e comScore, a dati che arrivano dai canali come AMC’s TV, e poi le piattaforme di vendita come iTunes e Amazon e dalle piattaforme di streaming on demand come Netflix e Hulu.

Da tutte queste fonti arriva una grandissima quantità di informazioni, che è possibile sfruttare per capire più chiaramente chi sono i propri visualizzatori, cosa desiderano, come vivono e come usufruiscono dei programmi allo scopo di comprendere come si può catturare meglio loro attenzione e dunque come si può sviluppare meglio il core business dell’azienda.

Analisi e modellazione dei dati al servizio delle strategie di marketing

La decisione di AMC di utilizzare le soluzioni IBM è arrivata con la necessità di capire le esigenze del pubblico sfruttando l’analisi dei Big data per programmazioni e decisioni di marketing e di creare una soluzione che fosse disegnata sulle specifiche esigenze e tipicità di mercato di AMC Networks. Per questo sono stati realizzati specifici modelli statistici che permettono all’azienda di raffinare le proprie strategie di marketing e di prendere decisioni più precise riguardo alla promozione dei propri programmi.

Da IBM Cognos a SPSS Modeler a InfoSphere

La tecnologia adottata per raggiungere questi obiettivi è composta dai software IBM PureData System for Analytics, IBM Cognos Business Intelligence, IBM SPSS Modeler, IBM InfoSphere master data management e IBM InfoSphereDataStage e permette di focalizzare tutta l’attenzione e tutte le risorse sulla conoscenza con un metodo di lavoro che consente a AMC di “fare tutto internamente” riducendo drasticamente costi e tempi, e di disporre di una capacità di analisi in pochi minuti o persino secondi anche per attività che sino a poco tempo fa richiedevano giorni o settimane e il supporto di partner esterni.

Big Data al servizio di clienti e partner

A trarre beneficio dalla scelta di AMC sono state anche le compagnie pubblicitarie partner: il passo successivo infatti, ha fornito agli inserzionisti un accesso a questa ricca serie di dati e strumenti analitici, permettendo di ottimizzare le proprie campagne e di attirare un pubblico più ampio (sia attraverso canali lineari che digitali).

La tecnologia dei big data Ibm ha permesso dunque a AMC Networks di migliorare i propri rapporti con consumatori e inserzionisti, creare contenuti migliori, metterli sul mercato in modo più efficace raggiungendo un numero sempre maggiore di spettatori.

Servizio realizzato da Mauro Bellini il 10 novembre 2017

Aggiornato da Mauro Bellini il 15 settembre 2020

Aggiornato da Pierluigi Sandonnini il 28 febbraio 2021

Aggiornato da Pierluigi Sandonnini il 14 marzo 2023