La frase “big data” è apparsa nel 2008 con la mano leggera di Clifford Lynch. In un numero speciale della rivista Nature, l’esperto ha definito la crescita esplosiva dei flussi di informazioni: i big data. In esso, ha preso qualsiasi array di dati eterogenei oltre 150 GB al giorno.

Dai calcoli statistici delle agenzie analitiche nel 2005 il mondo ha operato con 4-5 exabyte di informazioni (4-5 miliardi di gigabyte), dopo 5 anni il volume dei big data è salito a 0,19 zettabyte (1 ZB = 1024 EB). Nel 2012, le cifre sono aumentate a 1,8 ZB e nel 2015 a 7 ZB. Gli esperti prevedono che entro il 2020 i sistemi di big data gestiranno 42-45 zettabyte di informazioni.

Fino al 2011, le tecnologie dei big data erano considerate solo come analisi scientifiche e non avevano soluzioni pratiche. Tuttavia, la quantità di dati è cresciuta in modo esponenziale e il problema delle enormi quantità di informazioni non strutturate ed eterogenee è diventato rilevante all’inizio del 2012. L’aumento dell’interesse per i big data è chiaramente visibile in Google Trends.

I mastodonti del business digitale – Microsoft, IBM, Oracle, EMC e altri – si sono uniti allo sviluppo della nuova direzione. Dal 2014, i big data sono stati studiati nelle università, implementati nelle scienze applicate: ingegneria, fisica, sociologia.

Cosa sono i Big Data?

I big data sono una tecnologia di elaborazione delle informazioni che supera le centinaia di terabyte e cresce in modo esponenziale nel tempo.

Tali dati sono così grandi e complessi che nessuno dei tradizionali strumenti di gestione dei dati può archiviarli o elaborarli in modo efficiente. Una persona non è in grado di analizzare questo volume. Per questo, sono stati sviluppati algoritmi speciali che, dopo aver analizzato i big data, danno a una persona risultati comprensibili.

I Big Data includono petabyte (1.024 terabyte) o exabyte (1.024 petabyte) di informazioni che costituiscono miliardi o trilioni di record di milioni di persone, tutte provenienti da fonti diverse (Internet, vendite, contact center, social media, dispositivi mobili). Di regola, le informazioni sono mal strutturate e spesso incomplete e non disponibili.

Quali aziende stanno facendo i big data

Gli operatori cellulari e i motori di ricerca sono stati i primi a lavorare con i big data, o con i “big data”. I motori di ricerca ricevevano sempre più query e il testo era più pesante dei numeri. Lavorare con un paragrafo di testo richiede più tempo rispetto a una transazione finanziaria. L’utente attende che il motore di ricerca elabori la richiesta in una frazione di secondo: è inaccettabile che funzioni anche per mezzo minuto. Pertanto, i motori di ricerca sono stati i primi a iniziare a lavorare con la parallelizzazione quando si lavora con i dati.

Un po ‘più tardi, si sono unite varie organizzazioni finanziarie e vendita al dettaglio. Le loro transazioni stesse non sono così grandi, ma i big data sembrano dovuti al fatto che ci sono molte transazioni.

La quantità di dati sta crescendo in generale per tutti. Ad esempio, le banche avevano molti dati prima, ma non sempre richiedevano principi operativi, come per quelli di grandi dimensioni. Poi le banche hanno iniziato a lavorare maggiormente con i dati dei clienti. Hanno iniziato a proporre depositi più flessibili, prestiti, tariffe diverse e hanno iniziato ad analizzare le transazioni più da vicino. Ciò richiedeva già metodi rapidi di lavoro.

Ora le banche vogliono analizzare non solo le informazioni interne, ma anche quelle di terze parti. Vogliono ricevere big data dalla stessa vendita al dettaglio, vogliono sapere in cosa spende una persona. Sulla base di queste informazioni, cercano di fare offerte commerciali.

Ora tutte le informazioni vengono collegate insieme. Il commercio al dettaglio, le banche, gli operatori di telecomunicazioni e persino i motori di ricerca sono ora tutti interessati ai dati l’uno dell’altro.

Quale dovrebbe essere uno specialista di big data

Poiché i dati si trovano su un cluster di server, per elaborarli viene utilizzata un’infrastruttura più complessa. Ciò pone molto stress sulla persona che ci lavora: il sistema deve essere molto affidabile.

Rendere affidabile un singolo server è facile. Ma quando ce ne sono diversi, la probabilità di una caduta aumenta in proporzione al numero e cresce anche la responsabilità dell’ingegnere dei dati che lavora con questi dati.

Un analista di big data deve capire che può sempre ricevere dati incompleti o addirittura errati. Ha scritto il programma, si è fidato dei suoi risultati e poi ha scoperto che a causa della caduta di un server su mille, parte dei dati era stata disattivata e tutte le conclusioni erano errate.

Prendiamo ad esempio la ricerca di testo. Diciamo che tutte le parole sono disposte in ordine alfabetico su più server (per dirla in modo molto semplice e condizionale). E poi uno di loro si è spento, tutte le parole con la lettera “K” sono scomparse. La ricerca ha smesso di dare la parola “Cinema”. Poi tutte le notizie scompaiono e l’analista fa la falsa conclusione che le persone non sono più interessate ai cinema.

Pertanto, uno scienziato dei big data deve conoscere i principi del lavoro dai livelli più bassi – server, ecosistemi, pianificatori di attività – ai programmi di livello più alto – librerie di machine learning, analisi statistiche e altro ancora. Deve comprendere i principi dell’hardware, delle apparecchiature informatiche e di tutto ciò che è configurato su di esso.

Per il resto, devi sapere tutto come quando lavori con piccoli dati. Hai bisogno di matematica, devi essere in grado di programmare e avere una particolare familiarità con gli algoritmi di calcolo distribuito, per essere in grado di applicarli ai soliti principi del lavoro con i dati e l’apprendimento automatico.

Quali strumenti e tecnologie per big data vengono utilizzati

Poiché i dati sono archiviati in un cluster, è necessaria un’infrastruttura speciale per lavorarci. L’ecosistema più popolare è Hadoop. Possono essere eseguiti molti sistemi diversi: librerie speciali, programmatori, strumenti di apprendimento automatico e molto altro. Ma prima di tutto, questo sistema è necessario per analizzare grandi quantità di dati attraverso il calcolo distribuito.

Ad esempio, stiamo cercando il tweet più popolare su un migliaio di server. Su un server, creeremmo solo un tavolo e basta. Qui possiamo trascinare tutti i dati su di noi e ricalcolarli. Ma questo non è corretto, perché richiede molto tempo.

Pertanto, c’è Hadoop con paradigmi Map Reduce e framework Spark. Invece di estrarre i dati a se stessi, inviano sezioni di programma a questi dati. Il lavoro procede parallelamente, in mille fili. Quindi ottieni un campione di migliaia di server, sulla base dei quali puoi selezionare il tweet più popolare.

Map Reduce è un vecchio paradigma, Spark è più recente. Con il suo aiuto, ottengono dati dai cluster e vi costruiscono modelli di machine learning.

Mercato dei big data in Russia

Il mondo intero, inclusa la Russia, utilizza la tecnologia Big Data nel settore bancario, nei servizi di comunicazione e nel commercio al dettaglio. Gli esperti ritengono che in futuro la tecnologia sarà utilizzata dall’industria dei trasporti, dal petrolio e dal gas e dalle industrie alimentari, nonché dall’energia.

Gli analisti di IDC hanno riconosciuto la Russia come il più grande mercato regionale per BDA. Si stima che quest’anno il fatturato si avvicini a 1,4 miliardi di dollari e rappresenterà il 40% degli investimenti totali nel settore dei big data e delle applicazioni di business intelligence.

Quali sono le professioni nel campo dei big data

Le due professioni principali sono analisti e ingegneri di dati.

L’analista lavora principalmente con le informazioni. È interessato ai dati tabulari, è impegnato nei modelli. Le sue responsabilità includono l’aggregazione, la pulizia, l’aumento e la visualizzazione dei dati. Cioè, l’analista di big data è il collegamento tra le informazioni grezze e il business.

L’analista ha due principali linee di lavoro. In primo luogo, può trasformare le informazioni ricevute, trarre conclusioni e presentarle in una forma comprensibile.

In secondo luogo, gli analisti sviluppano applicazioni che funzioneranno e produrranno risultati automaticamente. Ad esempio, fai una previsione per il mercato azionario ogni giorno.

L’ingegnere delle date è una specialità di livello inferiore. Questa è la persona che deve garantire l’archiviazione, l’elaborazione e la consegna delle informazioni all’analista. Ma dove c’è fornitura e pulizia, le loro responsabilità possono sovrapporsi.

L’ingegnere di Bigdata ottiene tutto il duro lavoro. Se i sistemi si sono guastati o uno dei server è scomparso dal cluster, si connette. Questo è un lavoro molto impegnativo e stressante. Il sistema può spegnersi nei fine settimana e fuori orario e l’ingegnere deve intervenire prontamente.

Queste sono due professioni principali, ma ce ne sono anche altre. Appaiono quando vengono aggiunti algoritmi di calcolo parallelo alle attività relative all’intelligenza artificiale. Ad esempio, un ingegnere della PNL. Si tratta di un programmatore che si occupa di elaborazione del linguaggio naturale, soprattutto nei casi in cui è necessario non solo trovare parole, ma cogliere il significato del testo. Tali ingegneri scrivono programmi per chat bot e sistemi di dialogo, assistenti vocali e call center automatizzati.

Ci sono situazioni in cui è necessario classificare miliardi di immagini, fare moderazione, filtrare cose non necessarie e trovarne di simili. Queste professioni si sovrappongono maggiormente alla visione artificiale.

Quanto dura la formazione

Ci alleniamo da un anno e mezzo. Sono suddivisi in sei quarti. Alcuni si concentrano sulla programmazione, altri sul lavoro con i database e altri ancora sulla matematica.

A differenza, ad esempio, della facoltà di intelligenza artificiale, qui c’è meno matematica. Non c’è un’enfasi così forte sul calcolo e sull’algebra lineare. La conoscenza degli algoritmi di calcolo distribuito è necessaria più dei principi del calcolo.

Ma un anno e mezzo è sufficiente per un lavoro reale con l’elaborazione dei big data solo se una persona ha esperienza di lavoro con dati ordinari e in generale nell’IT. Il resto degli studenti dopo la laurea presso la facoltà è incoraggiato a lavorare con dati di piccole e medie dimensioni. Solo dopo questo uno specialista può essere autorizzato a lavorare con quelli di grandi dimensioni. Dopo l’addestramento, vale la pena lavorare come data scientist per applicare l’apprendimento automatico a diverse quantità di dati.

Quando una persona trova un lavoro in una grande azienda – anche se ha avuto esperienza – molto spesso non sarà ammessa subito a grandi quantità di dati, perché lì il costo dell’errore è molto più alto. Gli errori negli algoritmi potrebbero non essere rilevati immediatamente e ciò comporterà grandi perdite.

Come funziona la tecnologia Big-Data?

Gli utenti del social network Facebook caricano foto, video ed eseguono azioni ogni giorno per centinaia di terabyte. Non importa quante persone partecipano allo sviluppo, non faranno fronte al flusso costante di informazioni. Per sviluppare ulteriormente il servizio e rendere i siti più confortevoli – per implementare consigli sui contenuti intelligenti, visualizzare annunci pertinenti per l’utente, centinaia di migliaia di terabyte vengono passati attraverso l’algoritmo e ricevono informazioni strutturate e comprensibili.

Confrontando un’enorme quantità di informazioni, le relazioni si trovano in essa. Queste relazioni con una certa probabilità possono predire il futuro. L’intelligenza artificiale aiuta a trovare e analizzare una persona.

La rete neurale scansiona migliaia di foto, video, commenti, centinaia di terabyte di big data e fornisce il risultato: quanti clienti soddisfatti lasciano il negozio, se ci sarà un ingorgo nelle prossime ore, quali discussioni sono popolari sui social network e molto altro ancora.

Metodi per lavorare con i big data:

Apprendimento automatico
Analisi del sentiment
Analisi dei social network
Associazione regole di apprendimento
Analisi dell’albero di classificazione
Algoritmi genetici
Analisi di regressione

Tecniche di analisi e lavorazione

I metodi principali per analizzare grandi quantità di informazioni includono quanto segue:

Analisi approfondita, classificazione dei dati. Queste tecniche derivano da tecnologie per lavorare con informazioni strutturate convenzionali in piccoli array. Tuttavia, il nuovo ambiente utilizza algoritmi matematici avanzati basati sui progressi nel campo digitale.
Crowdsourcing. Al centro di questa tecnologia c’è la capacità di ricevere ed elaborare flussi di miliardi di byte da più origini. Il numero finito di “fornitori” non è limitato da nulla. È solo il potere del sistema.
Test suddiviso. Dall’array vengono selezionati diversi elementi, che vengono confrontati tra loro alternativamente “prima” e “dopo” la modifica. I test AB aiutano a determinare quali fattori hanno il maggiore impatto sugli elementi. Ad esempio, utilizzando lo split test, è possibile eseguire un numero enorme di iterazioni avvicinandosi gradualmente a un risultato affidabile.
Previsione. Gli analisti cercano di impostare in anticipo determinati parametri al sistema e quindi di verificare il comportamento dell’oggetto in base all’arrivo di grandi quantità di informazioni.
Apprendimento automatico. L’intelligenza artificiale in futuro sarà in grado di assorbire ed elaborare grandi quantità di dati non sistematici, utilizzandoli successivamente per l’autoapprendimento.
Analisi dell’attività di rete. Le tecniche dei big data vengono utilizzate per ricercare i social network, le relazioni tra titolari di account, gruppi e comunità. Sulla base di ciò, il pubblico di destinazione viene creato da interessi, geolocalizzazione, età e altre metriche.

Data mining: come vengono raccolti ed elaborati i Big Data

Il caricamento di big data in un database relazionale tradizionale per l’analisi richiede molto tempo e denaro. Per questo motivo, sono apparsi approcci speciali per la raccolta e l’analisi delle informazioni. Per ricevere e quindi estrarre le informazioni, le combinano e le collocano in un “data lake”. Da lì, i programmi di intelligenza artificiale, utilizzando algoritmi complessi, cercano schemi ripetitivi.

La conservazione e la lavorazione avvengono con i seguenti strumenti:

Apache HADOOP è un sistema di elaborazione dati orientato ai batch. Il sistema memorizza e tiene traccia delle informazioni su più macchine e scala fino a diverse migliaia di server.
HPPC è una piattaforma open source sviluppata da LexisNexis Risk Solutions. HPPC è noto come Data Analytics Supercomputer (DAS), che supporta l’elaborazione dei dati sia in batch che in tempo reale. Il sistema utilizza supercomputer e cluster di computer convenzionali.
Storm: elabora le informazioni in tempo reale. Utilizza la licenza pubblica Eclipse open source.

A cosa serve?

Più sappiamo di un oggetto o fenomeno specifico, più accuratamente comprendiamo l’essenza e possiamo predire il futuro. Acquisendo ed elaborando flussi di dati da sensori, Internet e operazioni transazionali, le aziende possono prevedere in modo abbastanza accurato la domanda di prodotti ei servizi di emergenza possono prevenire disastri causati dall’uomo. Di seguito sono riportati alcuni esempi, al di fuori del business e del marketing, di come vengono utilizzate le tecnologie dei big data:

Assistenza sanitaria. Più conoscenza delle malattie, più opzioni di trattamento, più informazioni sui farmaci: tutto ciò ci consente di combattere malattie che erano considerate incurabili 40-50 anni fa.
Prevenzione delle catastrofi naturali e provocate dall’uomo. La previsione più accurata in quest’area salva migliaia di vite. Il compito delle macchine intelligenti è raccogliere ed elaborare una varietà di letture dei sensori e, sulla base, aiutare le persone a determinare la data e il luogo di un possibile cataclisma.
Le forze dell’ordine. I big data vengono utilizzati per prevedere i picchi di criminalità in diversi paesi e adottare misure deterrenti laddove la situazione lo richieda.

Big data nel business e nel marketing

Le strategie di sviluppo aziendale, le attività di marketing e la pubblicità si basano sull’analisi e lavorano con i dati disponibili. Gli array di grandi dimensioni consentono di “spalare” enormi quantità di dati e, di conseguenza, regolare la direzione di sviluppo di un marchio, prodotto, servizio nel modo più accurato possibile.

Ad esempio, l’asta delle offerte in tempo reale nella pubblicità contestuale funziona con i big data, il che consente di pubblicizzare in modo efficace offerte commerciali a un pubblico di destinazione dedicato e non a tutti.

Quali sono i vantaggi per l’azienda:

Creazione di progetti che molto probabilmente diventeranno richiesti da utenti e acquirenti.
Studio e analisi delle esigenze del cliente con il servizio esistente dell’azienda. Sulla base del calcolo, il lavoro del personale di servizio viene corretto.
Rivelare la lealtà e l’insoddisfazione della base di clienti analizzando una varietà di informazioni da blog, social network e altre fonti.
Attrarre e trattenere il pubblico di destinazione attraverso il lavoro analitico con grandi quantità di informazioni.

Le tecnologie vengono utilizzate per prevedere la popolarità dei prodotti, ad esempio utilizzando il servizio Google Trends e Yandex. Wordstat (per Russia e CSI).

I metodi dei big data sono utilizzati da tutte le grandi aziende – IBM, Google, Facebook e società finanziarie – VISA, Master Card, nonché dai ministeri di tutto il mondo. Ad esempio, in Germania, è stata ridotta l’emissione di sussidi di disoccupazione, calcolando che alcuni cittadini li percepiscono senza motivo. Così, è stato possibile restituire al bilancio circa 15 miliardi di euro.

Il recente scandalo di Facebook a causa della fuga di dati degli utenti suggerisce che i volumi di informazioni non strutturate stanno crescendo e anche i mastodonti dell’era digitale non possono sempre garantire la loro completa privacy.

Ad esempio, Master Card utilizza i big data per prevenire transazioni fraudolente con gli account dei clienti. In questo modo è possibile risparmiare annualmente più di 3 miliardi di dollari USA dal furto.

In ambito gaming, i big data consentono di analizzare il comportamento dei giocatori, identificare le preferenze di un pubblico attivo e, in base a ciò, prevedere il livello di interesse per il gioco.

Oggi le aziende conoscono meglio i loro clienti di quanto noi sappiamo di noi stessi, motivo per cui le campagne pubblicitarie per Coca-Cola e altre società sono un successo clamoroso.

Problemi con i big data

Big Date ci offre intuizioni e opportunità senza precedenti, ma solleva anche questioni e domande che devono essere affrontate:

Riservatezza dei dati – I Big-Data che generiamo oggi contengono molte informazioni sulla nostra vita personale, alla cui riservatezza abbiamo tutto il diritto. Sempre più spesso, ci viene chiesto di trovare un equilibrio tra la quantità di dati personali che divulghiamo e la comodità offerta dalle app e dai servizi di Big Date.
Protezione dei dati: anche se decidiamo di essere soddisfatti del fatto che qualcuno abbia i nostri dati per uno scopo specifico, possiamo fidarci della sicurezza e della protezione dei nostri dati?
Discriminazione dei dati: quando tutte le informazioni saranno note, sarà accettabile discriminare le persone sulla base dei dati della loro vita personale? Utilizziamo già i punteggi di credito per decidere chi può prendere in prestito denaro e anche l’assicurazione dipende fortemente dai dati. Dovremmo aspettarci di essere analizzati e valutati in modo più dettagliato, ma occorre prestare attenzione per garantire che ciò non complichi la vita di coloro che hanno meno risorse e un accesso limitato alle informazioni.

L’esecuzione di queste attività è una parte importante di Big Date e devono essere affrontate dalle organizzazioni che desiderano utilizzare tali dati. In caso contrario, l’azienda può essere vulnerabile, non solo in termini di reputazione, ma anche dal punto di vista legale e finanziario.

L’incredibile ascesa di Big Date

Tutto è iniziato con un’esplosione della quantità di dati che abbiamo creato dall’inizio dell’era digitale. Ciò è in gran parte dovuto allo sviluppo di computer, Internet e tecnologie in grado di “carpire” dati dal mondo che ci circonda. I dati da soli non sono una nuova invenzione. Anche prima dell’era dei computer e dei database, usavamo record di transazioni cartacee, record di clienti e file di archivio, che sono dati. I computer, in particolare fogli di calcolo e database, ci hanno facilitato l’archiviazione e l’organizzazione dei dati su larga scala. All’improvviso, le informazioni sono diventate disponibili con un solo clic del mouse.

Tuttavia, abbiamo fatto molta strada dalle tabelle e dai database originali. Oggi, ogni due giorni, creiamo tanti dati quanti ne abbiamo ricevuti dall’inizio fino al 2000. Esatto, ogni due giorni. E la quantità di dati che creiamo continua a crescere rapidamente; entro il 2020, la quantità di informazioni digitali disponibili aumenterà da circa 5 zettabyte a 20 zettabyte.

Al giorno d’oggi, quasi ogni azione che intraprendiamo lascia il segno. Generiamo dati ogni volta che andiamo online, quando trasferiamo i nostri smartphone dotati di un modulo di ricerca, quando parliamo con i nostri amici tramite social network o chat, ecc. Inoltre, anche la quantità di dati generati dalle macchine sta crescendo rapidamente. I dati vengono generati e distribuiti quando i nostri dispositivi per la casa intelligente comunicano tra loro o con i loro server domestici. Le apparecchiature industriali nelle fabbriche e negli stabilimenti sono sempre più dotate di sensori che accumulano e trasmettono dati.

Il termine “Big-Data” si riferisce alla raccolta di tutti questi dati e alla nostra capacità di utilizzarli a nostro vantaggio in un’ampia gamma di settori, compreso il business.

Prospettive per l’utilizzo di Big Date

Blockchain e Big Data sono due tecnologie in evoluzione e complementari. Dal 2016, la blockchain è stata ampiamente discussa nei media. È una tecnologia di database distribuita crittograficamente sicura per l’archiviazione e la trasmissione di informazioni. La protezione delle informazioni private e riservate è un problema urgente e futuro dei big data che la blockchain può risolvere.

Quasi tutti i settori hanno iniziato a investire nell’analisi dei Big Data, ma alcuni stanno investendo più di altri. Secondo IDC, spendono di più in banche, produzione discreta, produzione di processo e servizi professionali. Secondo la ricerca Wikibon, nel 2018 le entrate derivanti dalla vendita di programmi e servizi nel mercato globale sono ammontate a 42 miliardi di dollari e nel 2027 supereranno i 100 miliardi di dollari.

Neimeth stima che la blockchain rappresenterà fino al 20% del mercato totale dei big data entro il 2030, generando fino a 100 miliardi di dollari di entrate annuali. Questo supera i margini di PayPal, Visa e Mastercard combinati.

L’analisi dei Big Data sarà importante per tracciare le transazioni e consentirà alle aziende blockchain di scoprire schemi nascosti e capire con chi interagiscono sulla blockchain.

Sommario

Abbiamo imparato cosa sono i big data? Abbiamo esaminato come funziona questa tecnologia, per la quale vengono utilizzati array di informazioni. Abbiamo familiarizzato con i principi e i metodi per lavorare con i big data.

Consigliamo di leggere The Human Face of Big Data di Rick Smolan e Jennifer Erwitt e Introduction to Data Mining di Michael Steinbach, Vipin Kumar e Pang-Ning Tan.

Fonti utilizzate e link utili sull’argomento: https://www.calltouch.ru/glossary/big-data/ https://Mining-CryptoCurrency.ru/big-data/ https://geekbrains.ru/posts/gu_big_data_faculty https: //clubshuttle.ru/tehnologiya-big-data-prostymi-slovami

Fonte di registrazione: lastici.ru