![\"Qu'est-ce](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/06\/cb096a3741400bff23e3611c62eedbb7-1.png\")
<\/a><\/p>\nLe monde entier, y compris la Russie, utilise la technologie Big Data dans les services bancaires, de communication et de vente au d\u00e9tail. Les experts estiment qu’\u00e0 l’avenir, la technologie sera utilis\u00e9e par l’industrie des transports, les industries p\u00e9troli\u00e8re et gazi\u00e8re et alimentaire, ainsi que par l’\u00e9nergie.<\/p>\n
Les analystes d’IDC ont reconnu la Russie comme le plus grand march\u00e9 r\u00e9gional pour le BDA. Les revenus sont estim\u00e9s \u00e0 pr\u00e8s de 1,4 milliard de dollars cette ann\u00e9e et repr\u00e9senteront 40% des investissements totaux dans le secteur des applications de big data et de business intelligence.<\/p>\n
Quels m\u00e9tiers existe-t-il dans le domaine du Big Data<\/h2>\n
Les deux principales professions sont les analystes et les ing\u00e9nieurs de donn\u00e9es.<\/p>\n
L’analyste travaille principalement avec des informations. Il s’int\u00e9resse aux donn\u00e9es tabulaires, il est engag\u00e9 dans les mod\u00e8les. Ses responsabilit\u00e9s incluent l’agr\u00e9gation, le nettoyage, l’augmentation et la visualisation des donn\u00e9es. Autrement dit, l’analyste Big Data est le lien entre les informations brutes et l’entreprise.<\/p>\n
L’analyste a deux axes principaux de travail. Premi\u00e8rement, il peut transformer les informations re\u00e7ues, tirer des conclusions et les pr\u00e9senter sous une forme compr\u00e9hensible.<\/p>\n
Deuxi\u00e8mement, les analystes d\u00e9veloppent des applications qui fonctionneront et produiront des r\u00e9sultats automatiquement. Par exemple, faites une pr\u00e9vision pour le march\u00e9 boursier tous les jours.<\/p>\n
L’ing\u00e9nieur dattier est une sp\u00e9cialit\u00e9 de niveau inf\u00e9rieur. C’est la personne qui doit assurer le stockage, le traitement et la livraison des informations \u00e0 l’analyste. Mais l\u00e0 o\u00f9 il y a approvisionnement et nettoyage, leurs responsabilit\u00e9s peuvent se chevaucher.<\/p>\n
L’ing\u00e9nieur Bigdata obtient tout le travail acharn\u00e9. Si les syst\u00e8mes ont \u00e9chou\u00e9 ou si l’un des serveurs a disparu du cluster, il se connecte. C’est un travail tr\u00e8s exigeant et stressant. Le syst\u00e8me peut s’arr\u00eater le week-end et apr\u00e8s les heures, et l’ing\u00e9nieur doit agir rapidement.<\/p>\n
Ce sont deux professions principales, mais il y en a d’autres aussi. Ils apparaissent lorsque des algorithmes de calcul parall\u00e8le sont ajout\u00e9s \u00e0 des t\u00e2ches li\u00e9es \u00e0 l’intelligence artificielle. Par exemple, un ing\u00e9nieur PNL. C’est un programmeur qui s’occupe du traitement du langage naturel, en particulier dans les cas o\u00f9 il est n\u00e9cessaire non seulement de trouver des mots, mais de saisir le sens du texte. Ces ing\u00e9nieurs \u00e9crivent des programmes pour les robots de discussion et les syst\u00e8mes de dialogue, les assistants vocaux et les centres d’appels automatis\u00e9s.<\/p>\n
Il y a des situations o\u00f9 vous devez classer des milliards d’images, faire de la mod\u00e9ration, filtrer les choses inutiles et trouver des images similaires. Ces professions recoupent davantage la vision par ordinateur.<\/p>\n
Combien de temps dure la formation<\/h2>\n
Nous nous entra\u00eenons depuis un an et demi. Ils sont divis\u00e9s en six quarts. Certains se concentrent sur la programmation, d’autres sur l’utilisation de bases de donn\u00e9es et d’autres encore sur les math\u00e9matiques.<\/p>\n
Contrairement, par exemple, \u00e0 la facult\u00e9 d’IA, il y a moins de math\u00e9matiques ici. Il n’y a pas une telle emphase sur le calcul et l’alg\u00e8bre lin\u00e9aire. La connaissance des algorithmes de calcul distribu\u00e9 est plus n\u00e9cessaire que les principes du calcul.<\/p>\n
Mais un an et demi suffit pour un vrai travail avec le traitement de Big Data uniquement si une personne a une exp\u00e9rience de travail avec des donn\u00e9es ordinaires et en g\u00e9n\u00e9ral dans l’informatique. Le reste des \u00e9tudiants apr\u00e8s avoir obtenu leur dipl\u00f4me de la facult\u00e9 est encourag\u00e9 \u00e0 travailler avec des donn\u00e9es petites et moyennes. Ce n’est qu’apr\u00e8s cela qu’un sp\u00e9cialiste peut \u00eatre autoris\u00e9 \u00e0 travailler avec de grands. Apr\u00e8s la formation, il vaut la peine de travailler en tant que data scientist – pour appliquer l’apprentissage automatique sur diff\u00e9rentes quantit\u00e9s de donn\u00e9es.<\/p>\n
Lorsqu’une personne obtient un emploi dans une grande entreprise – m\u00eame si elle a de l’exp\u00e9rience -, le plus souvent, elle ne sera pas admise tout de suite \u00e0 de grandes quantit\u00e9s de donn\u00e9es, car le co\u00fbt de l’erreur y est beaucoup plus \u00e9lev\u00e9. Les erreurs dans les algorithmes peuvent ne pas \u00eatre d\u00e9tect\u00e9es imm\u00e9diatement, ce qui entra\u00eenera des pertes importantes.<\/p>\n
Comment fonctionne la technologie Big-Data?<\/h2>\n
Les utilisateurs du r\u00e9seau social Facebook t\u00e9l\u00e9chargent des photos, des vid\u00e9os et effectuent des actions chaque jour pour des centaines de t\u00e9raoctets. Peu importe le nombre de personnes participant au d\u00e9veloppement, elles ne pourront pas faire face au flux constant d’informations. Pour d\u00e9velopper davantage le service et rendre les sites plus confortables – pour mettre en \u0153uvre des recommandations de contenu intelligentes, afficher des publicit\u00e9s pertinentes pour l’utilisateur, des centaines de milliers de t\u00e9raoctets sont transmis \u00e0 l’algorithme et re\u00e7oivent des informations structur\u00e9es et compr\u00e9hensibles.<\/p>\n En comparant une \u00e9norme quantit\u00e9 d’informations, on y trouve des relations. Ces relations avec une certaine probabilit\u00e9 peuvent pr\u00e9dire l’avenir. L’intelligence artificielle permet de trouver et d’analyser une personne.<\/p>\n Le r\u00e9seau neuronal scanne des milliers de photos, vid\u00e9os, commentaires – ces centaines de t\u00e9raoctets de big data et donne le r\u00e9sultat: combien de clients satisfaits quittent le magasin, s’il y aura un embouteillage dans les prochaines heures, quelles discussions sont populaires sur le r\u00e9seau social, et bien plus encore.<\/p>\n M\u00e9thodes de travail avec le Big Data:<\/strong><\/p>\n Le chargement de donn\u00e9es volumineuses dans une base de donn\u00e9es relationnelle traditionnelle \u00e0 des fins d’analyse prend beaucoup de temps et d’argent. Pour cette raison, des approches particuli\u00e8res sont apparues pour collecter et analyser les informations. Pour recevoir puis extraire des informations, ils les combinent et les placent dans un \u00ablac de donn\u00e9es\u00bb. \u00c0 partir de l\u00e0, les programmes d’intelligence artificielle, utilisant des algorithmes complexes, recherchent des mod\u00e8les r\u00e9p\u00e9titifs.<\/p>\n Le stockage et le traitement ont lieu avec les outils suivants:<\/p>\n Plus nous en savons sur un objet ou un ph\u00e9nom\u00e8ne sp\u00e9cifique, plus nous comprenons pr\u00e9cis\u00e9ment l’essence et pouvons pr\u00e9dire l’avenir. En capturant et en traitant les flux de donn\u00e9es provenant de capteurs, d’Internet et des op\u00e9rations transactionnelles, les entreprises peuvent pr\u00e9dire avec assez de pr\u00e9cision la demande de produits, et les services d’urgence peuvent pr\u00e9venir les catastrophes d’origine humaine. Voici quelques exemples en dehors des affaires et du marketing de la fa\u00e7on dont les technologies de Big Data sont utilis\u00e9es:<\/p>\n Les strat\u00e9gies de d\u00e9veloppement commercial, les activit\u00e9s de marketing, la publicit\u00e9 sont bas\u00e9es sur l’analyse et travaillent avec les donn\u00e9es disponibles. Les grands tableaux permettent de \u00abpelleter\u00bb d’\u00e9normes quantit\u00e9s de donn\u00e9es et, en cons\u00e9quence, d’ajuster la direction de d\u00e9veloppement d’une marque, d’un produit, d’un service aussi pr\u00e9cis\u00e9ment que possible.<\/p>\n Par exemple, les ench\u00e8res RTB dans la publicit\u00e9 contextuelle fonctionnent avec le Big Data, ce qui vous permet de diffuser efficacement des offres commerciales \u00e0 un public cible d\u00e9di\u00e9, et non \u00e0 tout le monde.<\/p>\n Quels sont les avantages pour l’entreprise:<\/p>\n Les technologies sont utilis\u00e9es pour pr\u00e9dire la popularit\u00e9 des produits, par exemple en utilisant le service Google Trends et Yandex. Wordstat (pour la Russie et la CEI).<\/p>\n Les m\u00e9thodes Big Data sont utilis\u00e9es par toutes les grandes entreprises – IBM, Google, Facebook et les soci\u00e9t\u00e9s financi\u00e8res – VISA, Master Card, ainsi que par les minist\u00e8res du monde entier. Par exemple, en Allemagne, l’octroi des allocations de ch\u00f4mage a \u00e9t\u00e9 r\u00e9duit, en calculant que certains citoyens les re\u00e7oivent sans raison. Ainsi, il a \u00e9t\u00e9 possible de revenir au budget d’environ 15 milliards d’euros.<\/p>\n Le r\u00e9cent scandale Facebook d\u00fb \u00e0 la fuite de donn\u00e9es des utilisateurs sugg\u00e8re que les volumes d’informations non structur\u00e9es augmentent et m\u00eame les mastodontes de l’\u00e8re num\u00e9rique ne peuvent pas toujours garantir leur confidentialit\u00e9 totale. Par exemple, Master Card utilise le Big Data pour emp\u00eacher les transactions frauduleuses avec les comptes clients. Ainsi, il est possible d’\u00e9conomiser plus de 3 milliards de dollars US de vol par an.<\/p>\n Dans le domaine du jeu, le big data permet d’analyser le comportement des joueurs, d’identifier les pr\u00e9f\u00e9rences d’un public actif et, sur cette base, de pr\u00e9dire le niveau d’int\u00e9r\u00eat pour le jeu. Aujourd’hui, les entreprises en savent plus sur leurs clients que nous en savons sur nous-m\u00eames, c’est pourquoi les campagnes publicitaires pour Coca-Cola et d’autres entreprises sont un succ\u00e8s retentissant.<\/p>\n Big Date nous donne des perspectives et des opportunit\u00e9s sans pr\u00e9c\u00e9dent, mais cela soul\u00e8ve \u00e9galement des probl\u00e8mes et des questions qui doivent \u00eatre abord\u00e9s:<\/p>\n L’accomplissement de ces t\u00e2ches est une partie importante des grandes dates, et elles doivent \u00eatre trait\u00e9es par les organisations qui souhaitent utiliser ces donn\u00e9es. Ne pas le faire peut rendre l’entreprise vuln\u00e9rable, non seulement du point de vue de sa r\u00e9putation, mais \u00e9galement du point de vue juridique et financier.<\/p>\n Tout a commenc\u00e9 par une explosion de la quantit\u00e9 de donn\u00e9es que nous avons cr\u00e9\u00e9es depuis le d\u00e9but de l’\u00e8re num\u00e9rique. Cela est en grande partie d\u00fb au d\u00e9veloppement des ordinateurs, d’Internet et des technologies capables de \u00abcapturer\u00bb des donn\u00e9es dans le monde qui nous entoure. Les donn\u00e9es \u00e0 elles seules ne sont pas une nouvelle invention. M\u00eame avant l’\u00e8re des ordinateurs et des bases de donn\u00e9es, nous utilisions des enregistrements de transactions papier, des enregistrements clients et des fichiers d’archives, qui sont des donn\u00e9es. Les ordinateurs, en particulier les feuilles de calcul et les bases de donn\u00e9es, nous ont facilit\u00e9 le stockage et l’organisation des donn\u00e9es \u00e0 grande \u00e9chelle. Tout \u00e0 coup, les informations sont devenues disponibles d’un simple clic de souris.<\/p>\n Cependant, nous avons parcouru un long chemin depuis les tables et bases de donn\u00e9es d’origine. Aujourd’hui, tous les deux jours, nous cr\u00e9ons autant de donn\u00e9es que nous en avons re\u00e7ues depuis le tout d\u00e9but jusqu’\u00e0 l’an 2000. C’est vrai, tous les deux jours. Et la quantit\u00e9 de donn\u00e9es que nous cr\u00e9ons continue de cro\u00eetre rapidement; d’ici 2020, la quantit\u00e9 d’informations num\u00e9riques disponibles passera d’environ 5 zettaoctets \u00e0 20 zettaoctets.<\/p>\n De nos jours, presque chaque action que nous entreprenons laisse sa marque. Nous g\u00e9n\u00e9rons des donn\u00e9es \u00e0 chaque fois que nous allons en ligne, lorsque nous transf\u00e9rons nos smartphones \u00e9quip\u00e9s d’un module de recherche, lorsque nous parlons avec nos amis via les r\u00e9seaux sociaux ou les chats, etc. En outre, la quantit\u00e9 de donn\u00e9es g\u00e9n\u00e9r\u00e9es par la machine augmente \u00e9galement rapidement. Les donn\u00e9es sont g\u00e9n\u00e9r\u00e9es et distribu\u00e9es lorsque nos appareils domestiques intelligents communiquent entre eux ou avec leurs serveurs domestiques. Les \u00e9quipements industriels des usines et usines sont de plus en plus \u00e9quip\u00e9s de capteurs qui accumulent et transmettent des donn\u00e9es.<\/p>\n Le terme \u00abBig-Data\u00bb fait r\u00e9f\u00e9rence \u00e0 la collecte de toutes ces donn\u00e9es et \u00e0 notre capacit\u00e9 \u00e0 les utiliser \u00e0 notre avantage dans un large \u00e9ventail de domaines, y compris les affaires.<\/p>\n La blockchain et le Big Data sont deux technologies \u00e9volutives et compl\u00e9mentaires. Depuis 2016, la blockchain est largement discut\u00e9e dans les m\u00e9dias. Il s’agit d’une technologie de base de donn\u00e9es distribu\u00e9e s\u00e9curis\u00e9e par cryptographie pour stocker et transmettre des informations. La protection des informations priv\u00e9es et confidentielles est un probl\u00e8me urgent et futur de Big Data que la blockchain peut r\u00e9soudre.<\/p>\n Presque tous les secteurs ont commenc\u00e9 \u00e0 investir dans l’analyse du Big Data, mais certains investissent plus que d’autres. Selon IDC, ils d\u00e9pensent davantage en services bancaires, en fabrication discr\u00e8te, en fabrication de processus et en services professionnels. Selon l’\u00e9tude de Wikibon, les revenus provenant des ventes de programmes et de services sur le march\u00e9 mondial en 2018 s’\u00e9levaient \u00e0 42 milliards de dollars et en 2027, ils d\u00e9passeront la barre des 100 milliards de dollars.<\/p>\n Neimeth estime que la blockchain repr\u00e9sentera jusqu’\u00e0 20% du march\u00e9 total du big data d’ici 2030, g\u00e9n\u00e9rant jusqu’\u00e0 100 milliards de dollars de revenus annuels. Cela surpasse les marges combin\u00e9es de PayPal, Visa et Mastercard.<\/p>\n L’analyse du Big Data sera importante pour le suivi des transactions et permettra aux entreprises de blockchain de d\u00e9couvrir des sch\u00e9mas cach\u00e9s et de d\u00e9terminer avec qui elles interagissent sur la blockchain.<\/p>\n Nous avons appris ce qu’est le Big Data? Nous avons examin\u00e9 le fonctionnement de cette technologie, pour quels tableaux d’informations sont utilis\u00e9s. Nous nous sommes familiaris\u00e9s avec les principes et les m\u00e9thodes de travail avec le Big Data.<\/p>\n Nous vous recommandons de lire The Human Face of Big Data par Rick Smolan et Jennifer Erwitt, et Introduction to Data Mining par Michael Steinbach, Vipin Kumar et Pang-Ning Tan.<\/p>\n Sources utilis\u00e9es et liens utiles sur le sujet: https:\/\/www.calltouch.ru\/glossary\/big-data\/<\/a> https:\/\/Mining-CryptoCurrency.ru\/big-data\/<\/a> https:\/\/geekbrains.ru\/posts\/gu_big_data_faculty<\/a> https: \/\/clubshuttle.ru\/tehnologiya-big-data-prostymi-slovami<\/a><\/p>\n<\/a><\/p>\n\n
Techniques d’analyse et de traitement<\/h3>\n
<\/a>
\nLes principales m\u00e9thodes d’analyse de grandes quantit\u00e9s d’informations sont les suivantes:<\/p>\n\n
Exploration de donn\u00e9es – comment le Big Data est collect\u00e9 et trait\u00e9<\/h2>\n
\n
A quoi cela sert?<\/h2>\n
\n
Big data dans les affaires et le marketing<\/h2>\n
\n
<\/a><\/p>\n<\/a><\/p>\nProbl\u00e8mes avec le Big-Data<\/h2>\n
\n
L’essor incroyable de Big Date<\/h2>\n
Perspectives d’utilisation de Big Date<\/h2>\n
R\u00e9sum\u00e9<\/h2>\n