Qu’est-ce que Big Date? Réponse simple pour tout le monde. Big Data – grande responsabilité, gros stress et argent

Une excursion dans l’histoire et les statistiques

L’expression «big data» est apparue en 2008 avec la main légère de Clifford Lynch. Dans un numéro spécial de la revue Nature, l’expert a appelé la croissance explosive des flux d’informations – le big data. Dans ce document, il a pris toutes les baies de données hétérogènes de plus de 150 Go par jour.

D’après les calculs statistiques des agences d’analyse en 2005, le monde fonctionnait avec 4 à 5 exaoctets d’informations (4 à 5 milliards de gigaoctets), après 5 ans, le volume de mégadonnées est passé à 0,19 zettaoctets (1 ZB = 1024 EB). En 2012, les chiffres sont passés à 1,8 ZB et en 2015 à 7 ZB. Les experts prévoient que d’ici 2020, les systèmes de Big Data exploiteront entre 42 et 45 zettaoctets d’informations.

Jusqu’en 2011, les technologies du big data n’étaient considérées que comme une analyse scientifique et n’avaient pas de solution pratique. Cependant, la quantité de données a augmenté de façon exponentielle et le problème des énormes quantités d’informations non structurées et hétérogènes est devenu pertinent au début de 2012. La montée en flèche de l’intérêt pour le Big Data est clairement visible dans Google Trends.

Les mastodontes du commerce numérique – Microsoft, IBM, Oracle, EMC et autres – ont rejoint le développement de la nouvelle direction. Depuis 2014, le big data est étudié dans les universités, mis en œuvre dans les sciences appliquées – ingénierie, physique, sociologie.

Qu’est-ce que le Big Data?

Le Big Data est une technologie de traitement de l’information qui dépasse des centaines de téraoctets et qui croît de façon exponentielle au fil du temps.

Ces données sont si volumineuses et complexes qu’aucun des outils de gestion de données traditionnels ne peut les stocker ou les traiter efficacement. Une personne n’est pas en mesure d’analyser ce volume. Pour cela, des algorithmes spéciaux ont été développés, qui, après analyse du big data, donnent à une personne des résultats compréhensibles.

Le Big Data comprend des pétaoctets (1024 téraoctets) ou des exaoctets (1024 pétaoctets) d’informations qui représentent des milliards ou des billions d’enregistrements par des millions de personnes, toutes issues de sources différentes (Internet, ventes, centre de contact, médias sociaux, appareils mobiles). En règle générale, les informations sont mal structurées et souvent incomplètes et indisponibles.

Ce que les entreprises font du Big Data

Les opérateurs cellulaires et les moteurs de recherche ont été les premiers à travailler avec le big data, ou avec le «big data». Les moteurs de recherche recevaient de plus en plus de requêtes et le texte était plus lourd que les chiffres. Un paragraphe de texte prend plus de temps à travailler qu’une transaction financière. L’utilisateur attend que le moteur de recherche traite la demande en une fraction de seconde – il est inacceptable que cela fonctionne même pendant une demi-minute. Par conséquent, les moteurs de recherche ont été les premiers à commencer à travailler avec la parallélisation lorsqu’ils travaillent avec des données.

Un peu plus tard, diverses organisations financières et détaillants se sont joints à eux. Leurs transactions elles-mêmes ne sont pas si importantes, mais le Big Data apparaît en raison du fait qu’il y a beaucoup de transactions.

La quantité de données augmente en général pour tout le monde. Par exemple, les banques disposaient de beaucoup de données auparavant, mais elles n’exigeaient pas toujours des principes de fonctionnement, comme pour les grands. Ensuite, les banques ont commencé à travailler davantage avec les données clients. Ils ont commencé à proposer des dépôts plus flexibles, des prêts, des tarifs différents et ont commencé à analyser les transactions de plus près. Cela exigeait déjà des méthodes de travail rapides.

Désormais, les banques souhaitent analyser non seulement les informations internes, mais également les informations de tiers. Ils veulent recevoir des données volumineuses du même commerce de détail, ils veulent savoir à quoi une personne dépense de l’argent. Sur la base de ces informations, ils essaient de faire des offres commerciales.

Désormais, toutes les informations sont liées entre elles. Le commerce de détail, les banques, les opérateurs télécoms et même les moteurs de recherche s’intéressent désormais aux données de chacun.

Que devrait être un spécialiste du Big Data

Les données étant situées sur un cluster de serveurs, une infrastructure plus complexe est utilisée pour les traiter. Cela met beaucoup de stress sur la personne qui travaille avec – le système doit être très fiable.

Rendre un serveur unique fiable est facile. Mais lorsqu’il y en a plusieurs, la probabilité d’une chute augmente proportionnellement au nombre, et la responsabilité de l’ingénieur de données qui travaille avec ces données augmente également.

Un analyste big data doit comprendre qu’il peut toujours recevoir des données incomplètes voire incorrectes. Il a écrit le programme, a fait confiance à ses résultats, puis a découvert qu’en raison de la chute d’un serveur sur mille, une partie des données avait été désactivée et toutes les conclusions étaient incorrectes.

Prenez la recherche de texte, par exemple. Disons que tous les mots sont classés par ordre alphabétique sur plusieurs serveurs (pour le dire très simplement et conditionnellement). Et puis l’un d’eux s’est éteint, tous les mots avec la lettre « K » ont disparu. La recherche a cessé de donner le mot «cinéma». Puis toutes les nouvelles disparaissent et l’analyste fait la fausse conclusion que les gens ne sont plus intéressés par les cinémas.

Par conséquent, un scientifique du Big Data doit connaître les principes de travail des niveaux les plus bas – serveurs, écosystèmes, planificateurs de tâches – aux programmes de plus haut niveau – bibliothèques d’apprentissage automatique, analyse statistique, etc. Il doit comprendre les principes du matériel, du matériel informatique et de tout ce qui y est configuré.

Pour le reste, vous devez tout savoir de la même manière que lorsque vous travaillez avec de petites données. Vous avez besoin de mathématiques, vous devez être capable de programmer et être particulièrement familiarisé avec les algorithmes de calcul distribué, pour pouvoir les appliquer aux principes habituels du travail avec des données et de l’apprentissage automatique.

Quels outils et technologies Big Data sont utilisés

Étant donné que les données sont stockées sur un cluster, une infrastructure spéciale est nécessaire pour les utiliser. L’écosystème le plus populaire est Hadoop. De nombreux systèmes différents peuvent y fonctionner: bibliothèques spéciales, planificateurs, outils d’apprentissage automatique et bien plus encore. Mais avant tout, ce système est nécessaire pour analyser de grandes quantités de données grâce à l’informatique distribuée.

Par exemple, nous recherchons le tweet le plus populaire sur un millier de serveurs. Sur un serveur, nous ferions simplement une table et c’est tout. Ici, nous pouvons faire glisser toutes les données vers nous et recalculer. Mais ce n’est pas correct, car cela prend beaucoup de temps.

Par conséquent, il existe Hadoop avec les paradigmes Map Reduce et le framework Spark. Au lieu de tirer des données vers eux-mêmes, ils envoient des sections de programme à ces données. Le travail se déroule en parallèle, en mille fils. Ensuite, vous obtenez un échantillon de milliers de serveurs, sur la base desquels vous pouvez sélectionner le tweet le plus populaire.

Map Reduce est un paradigme plus ancien, Spark est plus récent. Avec son aide, ils obtiennent des données à partir de clusters et y créent des modèles d’apprentissage automatique.

Marché du Big Data en Russie

Le monde entier, y compris la Russie, utilise la technologie Big Data dans les services bancaires, de communication et de vente au détail. Les experts estiment qu’à l’avenir, la technologie sera utilisée par l’industrie des transports, les industries pétrolière et gazière et alimentaire, ainsi que par l’énergie.

Les analystes d’IDC ont reconnu la Russie comme le plus grand marché régional pour le BDA. Les revenus sont estimés à près de 1,4 milliard de dollars cette année et représenteront 40% des investissements totaux dans le secteur des applications de big data et de business intelligence.

Quels métiers existe-t-il dans le domaine du Big Data

Les deux principales professions sont les analystes et les ingénieurs de données.

L’analyste travaille principalement avec des informations. Il s’intéresse aux données tabulaires, il est engagé dans les modèles. Ses responsabilités incluent l’agrégation, le nettoyage, l’augmentation et la visualisation des données. Autrement dit, l’analyste Big Data est le lien entre les informations brutes et l’entreprise.

L’analyste a deux axes principaux de travail. Premièrement, il peut transformer les informations reçues, tirer des conclusions et les présenter sous une forme compréhensible.

Deuxièmement, les analystes développent des applications qui fonctionneront et produiront des résultats automatiquement. Par exemple, faites une prévision pour le marché boursier tous les jours.

L’ingénieur dattier est une spécialité de niveau inférieur. C’est la personne qui doit assurer le stockage, le traitement et la livraison des informations à l’analyste. Mais là où il y a approvisionnement et nettoyage, leurs responsabilités peuvent se chevaucher.

L’ingénieur Bigdata obtient tout le travail acharné. Si les systèmes ont échoué ou si l’un des serveurs a disparu du cluster, il se connecte. C’est un travail très exigeant et stressant. Le système peut s’arrêter le week-end et après les heures, et l’ingénieur doit agir rapidement.

Ce sont deux professions principales, mais il y en a d’autres aussi. Ils apparaissent lorsque des algorithmes de calcul parallèle sont ajoutés à des tâches liées à l’intelligence artificielle. Par exemple, un ingénieur PNL. C’est un programmeur qui s’occupe du traitement du langage naturel, en particulier dans les cas où il est nécessaire non seulement de trouver des mots, mais de saisir le sens du texte. Ces ingénieurs écrivent des programmes pour les robots de discussion et les systèmes de dialogue, les assistants vocaux et les centres d’appels automatisés.

Il y a des situations où vous devez classer des milliards d’images, faire de la modération, filtrer les choses inutiles et trouver des images similaires. Ces professions recoupent davantage la vision par ordinateur.

Combien de temps dure la formation

Nous nous entraînons depuis un an et demi. Ils sont divisés en six quarts. Certains se concentrent sur la programmation, d’autres sur l’utilisation de bases de données et d’autres encore sur les mathématiques.

Contrairement, par exemple, à la faculté d’IA, il y a moins de mathématiques ici. Il n’y a pas une telle emphase sur le calcul et l’algèbre linéaire. La connaissance des algorithmes de calcul distribué est plus nécessaire que les principes du calcul.

Mais un an et demi suffit pour un vrai travail avec le traitement de Big Data uniquement si une personne a une expérience de travail avec des données ordinaires et en général dans l’informatique. Le reste des étudiants après avoir obtenu leur diplôme de la faculté est encouragé à travailler avec des données petites et moyennes. Ce n’est qu’après cela qu’un spécialiste peut être autorisé à travailler avec de grands. Après la formation, il vaut la peine de travailler en tant que data scientist – pour appliquer l’apprentissage automatique sur différentes quantités de données.

Lorsqu’une personne obtient un emploi dans une grande entreprise – même si elle a de l’expérience -, le plus souvent, elle ne sera pas admise tout de suite à de grandes quantités de données, car le coût de l’erreur y est beaucoup plus élevé. Les erreurs dans les algorithmes peuvent ne pas être détectées immédiatement, ce qui entraînera des pertes importantes.

Comment fonctionne la technologie Big-Data?

Les utilisateurs du réseau social Facebook téléchargent des photos, des vidéos et effectuent des actions chaque jour pour des centaines de téraoctets. Peu importe le nombre de personnes participant au développement, elles ne pourront pas faire face au flux constant d’informations. Pour développer davantage le service et rendre les sites plus confortables – pour mettre en œuvre des recommandations de contenu intelligentes, afficher des publicités pertinentes pour l’utilisateur, des centaines de milliers de téraoctets sont transmis à l’algorithme et reçoivent des informations structurées et compréhensibles.

En comparant une énorme quantité d’informations, on y trouve des relations. Ces relations avec une certaine probabilité peuvent prédire l’avenir. L’intelligence artificielle permet de trouver et d’analyser une personne.

Le réseau neuronal scanne des milliers de photos, vidéos, commentaires – ces centaines de téraoctets de big data et donne le résultat: combien de clients satisfaits quittent le magasin, s’il y aura un embouteillage dans les prochaines heures, quelles discussions sont populaires sur le réseau social, et bien plus encore.

Méthodes de travail avec le Big Data:

• Apprentissage automatique
• Analyse des sentiments
• Analyse des réseaux sociaux
• Association des règles d’apprentissage
• Analyse de l’arborescence de classification
• Algorithmes génétiques
• Analyse de régression

Techniques d’analyse et de traitement

Les principales méthodes d’analyse de grandes quantités d’informations sont les suivantes:

1. Analyse approfondie, classification des données. Ces techniques provenaient de technologies permettant de travailler avec des informations structurées conventionnelles dans de petits tableaux. Cependant, le nouvel environnement utilise des algorithmes mathématiques avancés basés sur les progrès dans le domaine numérique.
2. Crowdsourcing. Au cœur de cette technologie se trouve la capacité de recevoir et de traiter des flux de milliards d’octets provenant de sources multiples. Le nombre fini de « fournisseurs » n’est limité par rien. Est-ce juste la puissance du système.
3. Test fractionné. Plusieurs éléments sont sélectionnés dans le tableau, qui sont comparés les uns aux autres alternativement « avant » et « après » le changement. Les tests AB aident à déterminer quels facteurs ont le plus grand impact sur les éléments. Par exemple, en utilisant le test fractionné, vous pouvez effectuer un grand nombre d’itérations en s’approchant progressivement d’un résultat fiable.
4. Prévision. Les analystes essaient de définir à l’avance certains paramètres du système, puis vérifient le comportement de l’objet en fonction de l’arrivée de grandes quantités d’informations.
5. Apprentissage automatique. L’intelligence artificielle à l’avenir est capable d’absorber et de traiter de grandes quantités de données non systématiques, puis de les utiliser pour l’auto-étude.
6. Analyse de l’activité du réseau. Les techniques de Big Data sont utilisées pour rechercher les réseaux sociaux, les relations entre les titulaires de comptes, les groupes et les communautés. Sur cette base, les publics cibles sont créés par les intérêts, la géolocalisation, l’âge et d’autres paramètres.

Exploration de données – comment le Big Data est collecté et traité

Le chargement de données volumineuses dans une base de données relationnelle traditionnelle à des fins d’analyse prend beaucoup de temps et d’argent. Pour cette raison, des approches particulières sont apparues pour collecter et analyser les informations. Pour recevoir puis extraire des informations, ils les combinent et les placent dans un «lac de données». À partir de là, les programmes d’intelligence artificielle, utilisant des algorithmes complexes, recherchent des modèles répétitifs.

Le stockage et le traitement ont lieu avec les outils suivants:

• Apache HADOOP est un système de traitement de données orienté batch. Le système stocke et suit les informations sur plusieurs machines et s’adapte à plusieurs milliers de serveurs.
• HPPC est une plate-forme open source développée par LexisNexis Risk Solutions. HPPC est connu sous le nom de Data Analytics Supercomputer (DAS), prenant en charge le traitement des données par lots et en temps réel. Le système utilise des supercalculateurs et des grappes d’ordinateurs conventionnels.
• Storm – traite les informations en temps réel. Utilise la licence publique open source Eclipse.

A quoi cela sert?

Plus nous en savons sur un objet ou un phénomène spécifique, plus nous comprenons précisément l’essence et pouvons prédire l’avenir. En capturant et en traitant les flux de données provenant de capteurs, d’Internet et des opérations transactionnelles, les entreprises peuvent prédire avec assez de précision la demande de produits, et les services d’urgence peuvent prévenir les catastrophes d’origine humaine. Voici quelques exemples en dehors des affaires et du marketing de la façon dont les technologies de Big Data sont utilisées:

• Soins de santé. Plus de connaissances sur les maladies, plus d’options de traitement, plus d’informations sur les médicaments – tout cela nous permet de lutter contre des maladies considérées comme incurables il y a 40 à 50 ans.
• Prévention des catastrophes naturelles et causées par l’homme. Les prévisions les plus précises dans ce domaine sauvent des milliers de vies. La tâche des machines intelligentes est de collecter et de traiter une variété de lectures de capteurs et, sur leur base, d’aider les gens à déterminer la date et le lieu d’un éventuel cataclysme.
• Les organismes d’application de la loi. Les mégadonnées sont utilisées pour prédire les pics de criminalité dans différents pays et prendre des mesures de dissuasion là où la situation l’exige.

Big data dans les affaires et le marketing

Les stratégies de développement commercial, les activités de marketing, la publicité sont basées sur l’analyse et travaillent avec les données disponibles. Les grands tableaux permettent de «pelleter» d’énormes quantités de données et, en conséquence, d’ajuster la direction de développement d’une marque, d’un produit, d’un service aussi précisément que possible.

Par exemple, les enchères RTB dans la publicité contextuelle fonctionnent avec le Big Data, ce qui vous permet de diffuser efficacement des offres commerciales à un public cible dédié, et non à tout le monde.

Quels sont les avantages pour l’entreprise:

• Création de projets très susceptibles de devenir demandés par les utilisateurs et les acheteurs.
• Etude et analyse des besoins clients avec le service existant de l’entreprise. Sur la base du calcul, le travail du personnel de service est corrigé.
• Révéler la fidélité et l’insatisfaction de la clientèle en analysant une variété d’informations provenant de blogs, de réseaux sociaux et d’autres sources.
• Attirer et fidéliser le public cible grâce à un travail analytique avec de grandes quantités d’informations.

Les technologies sont utilisées pour prédire la popularité des produits, par exemple en utilisant le service Google Trends et Yandex. Wordstat (pour la Russie et la CEI).

Les méthodes Big Data sont utilisées par toutes les grandes entreprises – IBM, Google, Facebook et les sociétés financières – VISA, Master Card, ainsi que par les ministères du monde entier. Par exemple, en Allemagne, l’octroi des allocations de chômage a été réduit, en calculant que certains citoyens les reçoivent sans raison. Ainsi, il a été possible de revenir au budget d’environ 15 milliards d’euros.

Le récent scandale Facebook dû à la fuite de données des utilisateurs suggère que les volumes d’informations non structurées augmentent et même les mastodontes de l’ère numérique ne peuvent pas toujours garantir leur confidentialité totale.

Par exemple, Master Card utilise le Big Data pour empêcher les transactions frauduleuses avec les comptes clients. Ainsi, il est possible d’économiser plus de 3 milliards de dollars US de vol par an.

Dans le domaine du jeu, le big data permet d’analyser le comportement des joueurs, d’identifier les préférences d’un public actif et, sur cette base, de prédire le niveau d’intérêt pour le jeu.

Aujourd’hui, les entreprises en savent plus sur leurs clients que nous en savons sur nous-mêmes, c’est pourquoi les campagnes publicitaires pour Coca-Cola et d’autres entreprises sont un succès retentissant.

Problèmes avec le Big-Data

Big Date nous donne des perspectives et des opportunités sans précédent, mais cela soulève également des problèmes et des questions qui doivent être abordés:

• Confidentialité des données – Les Big-Data que nous générons aujourd’hui contiennent de nombreuses informations sur notre vie personnelle, à la confidentialité desquelles nous avons tous les droits. De plus en plus, il nous est demandé de trouver un équilibre entre la quantité de données personnelles que nous divulguons et la commodité qu’offrent les applications et services Big Date.
• Protection des données – même si nous décidons que nous sommes satisfaits du fait que quelqu’un dispose de nos données dans un but précis, pouvons-nous lui faire confiance pour la sûreté et la sécurité de nos données?
• Discrimination contre les données – lorsque toutes les informations seront connues, sera-t-il acceptable de discriminer des personnes sur la base de données de leur vie personnelle? Nous utilisons déjà les cotes de crédit pour décider qui peut emprunter de l’argent, et l’assurance dépend également fortement des données. Nous devrions nous attendre à être analysés et évalués plus en détail, mais il faut veiller à ce que cela ne complique pas la vie de ceux qui ont moins de ressources et un accès limité à l’information.

L’accomplissement de ces tâches est une partie importante des grandes dates, et elles doivent être traitées par les organisations qui souhaitent utiliser ces données. Ne pas le faire peut rendre l’entreprise vulnérable, non seulement du point de vue de sa réputation, mais également du point de vue juridique et financier.

L’essor incroyable de Big Date

Tout a commencé par une explosion de la quantité de données que nous avons créées depuis le début de l’ère numérique. Cela est en grande partie dû au développement des ordinateurs, d’Internet et des technologies capables de «capturer» des données dans le monde qui nous entoure. Les données à elles seules ne sont pas une nouvelle invention. Même avant l’ère des ordinateurs et des bases de données, nous utilisions des enregistrements de transactions papier, des enregistrements clients et des fichiers d’archives, qui sont des données. Les ordinateurs, en particulier les feuilles de calcul et les bases de données, nous ont facilité le stockage et l’organisation des données à grande échelle. Tout à coup, les informations sont devenues disponibles d’un simple clic de souris.

Cependant, nous avons parcouru un long chemin depuis les tables et bases de données d’origine. Aujourd’hui, tous les deux jours, nous créons autant de données que nous en avons reçues depuis le tout début jusqu’à l’an 2000. C’est vrai, tous les deux jours. Et la quantité de données que nous créons continue de croître rapidement; d’ici 2020, la quantité d’informations numériques disponibles passera d’environ 5 zettaoctets à 20 zettaoctets.

De nos jours, presque chaque action que nous entreprenons laisse sa marque. Nous générons des données à chaque fois que nous allons en ligne, lorsque nous transférons nos smartphones équipés d’un module de recherche, lorsque nous parlons avec nos amis via les réseaux sociaux ou les chats, etc. En outre, la quantité de données générées par la machine augmente également rapidement. Les données sont générées et distribuées lorsque nos appareils domestiques intelligents communiquent entre eux ou avec leurs serveurs domestiques. Les équipements industriels des usines et usines sont de plus en plus équipés de capteurs qui accumulent et transmettent des données.

Le terme «Big-Data» fait référence à la collecte de toutes ces données et à notre capacité à les utiliser à notre avantage dans un large éventail de domaines, y compris les affaires.

Perspectives d’utilisation de Big Date

La blockchain et le Big Data sont deux technologies évolutives et complémentaires. Depuis 2016, la blockchain est largement discutée dans les médias. Il s’agit d’une technologie de base de données distribuée sécurisée par cryptographie pour stocker et transmettre des informations. La protection des informations privées et confidentielles est un problème urgent et futur de Big Data que la blockchain peut résoudre.

Presque tous les secteurs ont commencé à investir dans l’analyse du Big Data, mais certains investissent plus que d’autres. Selon IDC, ils dépensent davantage en services bancaires, en fabrication discrète, en fabrication de processus et en services professionnels. Selon l’étude de Wikibon, les revenus provenant des ventes de programmes et de services sur le marché mondial en 2018 s’élevaient à 42 milliards de dollars et en 2027, ils dépasseront la barre des 100 milliards de dollars.

Neimeth estime que la blockchain représentera jusqu’à 20% du marché total du big data d’ici 2030, générant jusqu’à 100 milliards de dollars de revenus annuels. Cela surpasse les marges combinées de PayPal, Visa et Mastercard.

L’analyse du Big Data sera importante pour le suivi des transactions et permettra aux entreprises de blockchain de découvrir des schémas cachés et de déterminer avec qui elles interagissent sur la blockchain.

Résumé

Nous avons appris ce qu’est le Big Data? Nous avons examiné le fonctionnement de cette technologie, pour quels tableaux d’informations sont utilisés. Nous nous sommes familiarisés avec les principes et les méthodes de travail avec le Big Data.

Nous vous recommandons de lire The Human Face of Big Data par Rick Smolan et Jennifer Erwitt, et Introduction to Data Mining par Michael Steinbach, Vipin Kumar et Pang-Ning Tan.

Sources utilisées et liens utiles sur le sujet: https://www.calltouch.ru/glossary/big-data/ https://Mining-CryptoCurrency.ru/big-data/ https://geekbrains.ru/posts/gu_big_data_faculty https: //clubshuttle.ru/tehnologiya-big-data-prostymi-slovami