Was ist Big Date? Einfache Antwort für alle. Big Data – große Verantwortung, großer Stress und Geld

Ein Ausflug in die Geschichte und Statistik

Der Ausdruck „Big Data“ erschien 2008 mit der leichten Hand von Clifford Lynch. In einer Sonderausgabe der Zeitschrift Nature nannte der Experte das explosive Wachstum des Informationsflusses – Big Data. Darin nahm er alle Arrays heterogener Daten über 150 GB pro Tag auf.

Nach den statistischen Berechnungen der Analyseagenturen im Jahr 2005 arbeitete die Welt mit 4 bis 5 Exabyte an Informationen (4 bis 5 Milliarden Gigabyte). Nach 5 Jahren stieg das Big-Data-Volumen auf 0,19 Zettabyte (1 ZB = 1024 EB). 2012 stiegen die Zahlen auf 1,8 ZB und 2015 auf 7 ZB. Experten sagen voraus, dass Big-Data-Systeme bis 2020 42-45 Zettabyte an Informationen verarbeiten werden.

Bis 2011 wurden Big-Data-Technologien nur als wissenschaftliche Analyse betrachtet und hatten keine praktische Lösung. Die Datenmenge wuchs jedoch exponentiell und das Problem großer Mengen unstrukturierter und heterogener Informationen wurde Anfang 2012 relevant. Der Anstieg des Interesses an Big Data ist in Google Trends deutlich sichtbar.

Digitale Geschäftsmastodons – Microsoft, IBM, Oracle, EMC und andere – haben sich der Entwicklung der neuen Richtung angeschlossen. Seit 2014 werden Big Data an Universitäten studiert und in den angewandten Wissenschaften – Ingenieurwesen, Physik, Soziologie – implementiert.

Was ist Big Data?

Big Data ist eine Informationsverarbeitungstechnologie, die Hunderte von Terabyte überschreitet und im Laufe der Zeit exponentiell wächst.

Solche Daten sind so groß und komplex, dass keines der herkömmlichen Datenverwaltungstools sie effizient speichern oder verarbeiten kann. Eine Person kann dieses Volumen nicht analysieren. Zu diesem Zweck wurden spezielle Algorithmen entwickelt, die nach der Analyse von Big Data einer Person verständliche Ergebnisse liefern.

Big Data umfasst Petabyte (1.024 Terabyte) oder Exabyte (1.024 Petabyte) an Informationen, die Milliarden oder Billionen von Datensätzen von Millionen von Menschen aus verschiedenen Quellen (Internet, Vertrieb, Contact Center, soziale Medien, mobile Geräte) ausmachen. Informationen sind in der Regel schlecht strukturiert und oft unvollständig und nicht verfügbar.

Welche Unternehmen machen Big Data?

Mobilfunkbetreiber und Suchmaschinen waren die ersten, die mit Big Data oder mit „Big Data“ arbeiteten. Die Suchmaschinen erhielten immer mehr Anfragen, und der Text war schwerer als Zahlen. Die Bearbeitung eines Textabschnitts dauert länger als bei einer Finanztransaktion. Der Benutzer wartet darauf, dass die Suchmaschine die Anfrage in Sekundenbruchteilen verarbeitet – es ist nicht akzeptabel, dass sie auch nur eine halbe Minute lang funktioniert. Daher waren Suchmaschinen die ersten, die mit der Parallelisierung begannen, wenn sie mit Daten arbeiteten.

Wenig später schlossen sich verschiedene Finanzorganisationen und der Einzelhandel an. Ihre Transaktionen selbst sind nicht so groß, aber Big Data erscheint aufgrund der Tatsache, dass es viele Transaktionen gibt.

Die Datenmenge wächst im Allgemeinen für alle. Zum Beispiel hatten Banken früher viele Daten, aber sie erforderten nicht immer Betriebsprinzipien, wie bei großen. Dann begannen die Banken mehr mit Kundendaten zu arbeiten. Sie begannen, flexiblere Einlagen, Kredite und unterschiedliche Tarife zu entwickeln und Transaktionen genauer zu analysieren. Dies erforderte bereits schnelle Arbeitsweisen.

Jetzt wollen Banken nicht nur interne Informationen, sondern auch Informationen von Drittanbietern analysieren. Sie möchten Big Data vom selben Einzelhandel erhalten, sie möchten wissen, wofür eine Person Geld ausgibt. Basierend auf diesen Informationen versuchen sie, kommerzielle Angebote zu machen.

Jetzt werden alle Informationen miteinander verknüpft. Einzelhandel, Banken, Telekommunikationsbetreiber und sogar Suchmaschinen sind jetzt alle an den Daten des jeweils anderen interessiert.

Was sollte ein Big-Data-Spezialist sein?

Da sich die Daten auf einem Cluster von Servern befinden, wird eine komplexere Infrastruktur verwendet, um sie zu verarbeiten. Dies stellt eine große Belastung für die Person dar, die damit arbeitet – das System muss sehr zuverlässig sein.

Es ist einfach, einen einzelnen Server zuverlässig zu machen. Wenn es jedoch mehrere davon gibt, steigt die Wahrscheinlichkeit eines Sturzes proportional zur Anzahl, und die Verantwortung des Dateningenieurs, der mit diesen Daten arbeitet, wächst ebenfalls.

Der Big-Data-Analyst muss verstehen, dass er immer unvollständige oder sogar falsche Daten erhalten kann. Er schrieb das Programm, vertraute seinen Ergebnissen und stellte dann fest, dass aufgrund des Ausfalls eines Servers von tausend ein Teil der Daten ausgeschaltet war und alle Schlussfolgerungen falsch waren.

Nehmen Sie zum Beispiel die Textsuche. Nehmen wir an, alle Wörter sind auf mehreren Servern in alphabetischer Reihenfolge angeordnet (um es ganz einfach und bedingt auszudrücken). Und dann schaltete sich einer von ihnen aus, alle Wörter mit dem Buchstaben „K“ verschwanden. Die Suche hörte auf, das Wort „Kino“ herauszugeben. Dann verschwinden alle Nachrichten und der Analyst kommt zu dem falschen Schluss, dass die Leute nicht mehr an Kinos interessiert sind.

Daher muss ein Big-Data-Wissenschaftler die Arbeitsprinzipien von den niedrigsten Ebenen – Servern, Ökosystemen, Taskplanern – bis zu den Programmen der höchsten Ebene – Bibliotheken für maschinelles Lernen, statistische Analysen und mehr – kennen. Er muss die Prinzipien von Hardware, Computerausrüstung und allem, was darauf konfiguriert ist, verstehen.

Im Übrigen müssen Sie alles genau so wissen wie bei der Arbeit mit kleinen Daten. Sie benötigen Mathematik, Sie müssen in der Lage sein, verteilte Computeralgorithmen zu programmieren und besonders vertraut zu sein, um sie auf die üblichen Prinzipien der Arbeit mit Daten und maschinellem Lernen anwenden zu können.

Welche Big-Data-Tools und -Technologien werden verwendet?

Da die Daten in einem Cluster gespeichert sind, ist eine spezielle Infrastruktur erforderlich, um damit arbeiten zu können. Das beliebteste Ökosystem ist Hadoop. Darin können viele verschiedene Systeme ausgeführt werden: spezielle Bibliotheken, Scheduler, Tools für maschinelles Lernen und vieles mehr. Zuallererst wird dieses System jedoch benötigt, um große Datenmengen durch verteiltes Rechnen zu analysieren.

Zum Beispiel suchen wir nach dem beliebtesten Tweet auf tausend Servern. Auf einem Server würden wir einfach eine Tabelle erstellen und das wars. Hier können wir alle Daten zu uns ziehen und neu berechnen. Dies ist jedoch nicht korrekt, da es sehr lange dauert.

Daher gibt es Hadoop mit Map Reduce-Paradigmen und Spark-Framework. Anstatt Daten zu sich selbst zu ziehen, senden sie Programmabschnitte an diese Daten. Die Arbeit läuft parallel in tausend Fäden. Dann erhalten Sie eine Auswahl von Tausenden von Servern, auf deren Grundlage Sie den beliebtesten Tweet auswählen können.

Map Reduce ist ein älteres Paradigma, Spark ist neuer. Mit ihrer Hilfe erhalten sie Daten aus Clustern und erstellen darin Modelle für maschinelles Lernen.

Big Data Markt in Russland

Die ganze Welt, einschließlich Russland, nutzt Big Data-Technologie im Bankensektor, in Kommunikationsdiensten und im Einzelhandel. Experten gehen davon aus, dass die Technologie in Zukunft von der Transportindustrie, der Öl- und Gas- und Lebensmittelindustrie sowie der Energiebranche eingesetzt wird.

IDC-Analysten haben Russland als den größten regionalen Markt für BDA anerkannt. Der Umsatz wird in diesem Jahr auf fast 1,4 Milliarden US-Dollar geschätzt und wird 40% der Gesamtinvestitionen in Big Data- und Business Intelligence-Anwendungen ausmachen.

Welche Berufe gibt es im Bereich Big Data?

Die beiden Hauptberufe sind Analysten und Dateningenieure.

Der Analyst arbeitet hauptsächlich mit Informationen. Er interessiert sich für tabellarische Daten, er beschäftigt sich mit Modellen. Zu seinen Aufgaben gehört das Sammeln, Bereinigen, Erweitern und Visualisieren von Daten. Das heißt, der Big-Data-Analyst ist die Verbindung zwischen Rohdaten und dem Geschäft.

Der Analyst hat zwei Hauptarbeitsbereiche. Erstens kann er die erhaltenen Informationen transformieren, Schlussfolgerungen ziehen und sie in verständlicher Form präsentieren.

Zweitens entwickeln Analysten Anwendungen, die automatisch funktionieren und Ergebnisse liefern. Machen Sie zum Beispiel jeden Tag eine Prognose für die Börse.

Der Datumsingenieur ist eine untergeordnete Spezialität. Dies ist die Person, die die Speicherung, Verarbeitung und Übermittlung von Informationen an den Analysten sicherstellen muss. Aber wo es Versorgung und Reinigung gibt – ihre Verantwortlichkeiten können sich überschneiden.

Der Bigdata-Ingenieur bekommt die ganze harte Arbeit. Wenn die Systeme ausgefallen sind oder einer der Server aus dem Cluster verschwunden ist, wird eine Verbindung hergestellt. Dies ist ein sehr anspruchsvoller und stressiger Job. Das System kann an Wochenenden und außerhalb der Geschäftszeiten heruntergefahren werden, und der Techniker muss umgehend Maßnahmen ergreifen.

Dies sind zwei Hauptberufe, aber es gibt auch andere. Sie erscheinen, wenn parallele Rechenalgorithmen zu Aufgaben im Zusammenhang mit künstlicher Intelligenz hinzugefügt werden. Zum Beispiel ein NLP-Ingenieur. Dies ist ein Programmierer, der sich mit der Verarbeitung natürlicher Sprache befasst, insbesondere in Fällen, in denen es nicht nur erforderlich ist, Wörter zu finden, sondern auch die Bedeutung des Textes zu erfassen. Solche Ingenieure schreiben Programme für Chat-Bots und Dialogsysteme, Sprachassistenten und automatisierte Call Center.

Es gibt Situationen, in denen Sie Milliarden von Bildern klassifizieren, moderieren, unnötige Dinge herausfiltern und ähnliche finden müssen. Diese Berufe überschneiden sich mehr mit Computer Vision.

Wie lange dauert das Training?

Wir trainieren seit anderthalb Jahren. Sie sind in sechs Viertel aufgeteilt. Einige konzentrieren sich auf die Programmierung, andere auf die Arbeit mit Datenbanken und wieder andere auf die Mathematik.

Anders als zum Beispiel die KI-Fakultät gibt es hier weniger Mathematik. Kalkül und lineare Algebra werden nicht so stark betont. Kenntnisse über verteilte Rechenalgorithmen sind mehr erforderlich als die Prinzipien der Analysis.

Eineinhalb Jahre reichen jedoch nur dann für eine echte Arbeit mit Big Data-Verarbeitung aus, wenn eine Person Erfahrung im Umgang mit normalen Daten und allgemein in der IT hat. Der Rest der Studierenden nach Abschluss der Fakultät wird aufgefordert, mit kleinen und mittleren Daten zu arbeiten. Erst danach darf ein Spezialist mit großen arbeiten. Nach der Ausbildung lohnt es sich, als Datenwissenschaftler zu arbeiten, um maschinelles Lernen auf verschiedene Datenmengen anzuwenden.

Wenn eine Person einen Job in einem großen Unternehmen bekommt – selbst wenn sie Erfahrung hat -, wird sie meistens nicht sofort zu großen Datenmengen zugelassen, da die Fehlerkosten dort viel höher sind. Fehler in Algorithmen werden möglicherweise nicht sofort erkannt, was zu großen Verlusten führt.

Wie funktioniert die Big-Data-Technologie?

Benutzer des sozialen Netzwerks Facebook laden täglich Fotos, Videos und Aktionen für Hunderte von Terabyte hoch. Unabhängig davon, wie viele Menschen an der Entwicklung beteiligt sind, werden sie den ständigen Informationsfluss nicht bewältigen können. Um den Service weiterzuentwickeln und Websites komfortabler zu gestalten – um Empfehlungen für intelligente Inhalte zu implementieren, Anzeigen anzuzeigen, die für den Benutzer relevant sind, werden Hunderttausende von Terabyte durch den Algorithmus geleitet und erhalten strukturierte und verständliche Informationen.

Wenn man eine große Menge an Informationen vergleicht, finden sich darin Beziehungen. Diese Beziehungen können mit einer bestimmten Wahrscheinlichkeit die Zukunft vorhersagen. Künstliche Intelligenz hilft, eine Person zu finden und zu analysieren.

Das neuronale Netzwerk scannt Tausende von Fotos, Videos und Kommentaren – diese Hunderte von Terabyte an Big Data – und liefert das Ergebnis: Wie viele zufriedene Kunden verlassen den Laden, ob es in den nächsten Stunden zu einem Stau kommt, welche Diskussionen sind beliebt im sozialen Netzwerk und vieles mehr.

Methoden zum Arbeiten mit Big Data:

• Maschinelles Lernen
• Stimmungsanalyse
• Analyse sozialer Netzwerke
• Vereinigung der Lernregeln
• Klassifikationsbaumanalyse
• Genetische Algorythmen
• Regressionsanalyse

Analyse- und Verarbeitungstechniken

Die wichtigsten Methoden zur Analyse großer Informationsmengen umfassen Folgendes:

1. Tiefenanalyse, Datenklassifizierung. Diese Techniken stammten von Technologien zum Arbeiten mit konventionellen strukturierten Informationen in kleinen Arrays. In der neuen Umgebung werden jedoch fortschrittliche mathematische Algorithmen verwendet, die auf Fortschritten im digitalen Bereich basieren.
2. Crowdsourcing. Das Herzstück dieser Technologie ist die Fähigkeit, Milliarden von Bytes aus mehreren Quellen zu empfangen und zu verarbeiten. Die endliche Anzahl von „Lieferanten“ ist durch nichts begrenzt. Ist es nur die Leistung des Systems.
3. Split-Test. Aus dem Array werden mehrere Elemente ausgewählt, die abwechselnd „vor“ und „nach“ der Änderung miteinander verglichen werden. Mithilfe von AB-Tests können Sie feststellen, welche Faktoren den größten Einfluss auf Artikel haben. Mithilfe von Split-Tests können Sie beispielsweise eine große Anzahl von Iterationen ausführen, die sich allmählich einem zuverlässigen Ergebnis nähern.
4. Prognose. Analysten versuchen, bestimmte Parameter im Voraus für das System festzulegen und dann das Verhalten des Objekts anhand des Eintreffens großer Informationsmengen zu überprüfen.
5. Maschinelles Lernen. Künstliche Intelligenz ist in der Lage, große Mengen unsystematischer Daten zu absorbieren und zu verarbeiten und sie anschließend zum Selbststudium zu verwenden.
6. Analyse der Netzwerkaktivität. Big-Data-Techniken werden verwendet, um soziale Netzwerke, Beziehungen zwischen Kontoinhabern, Gruppen und Communities zu untersuchen. Auf dieser Grundlage werden Zielgruppen anhand von Interessen, Geolokalisierung, Alter und anderen Kennzahlen erstellt.

Data Mining – wie Big Data gesammelt und verarbeitet wird

Das Laden von Big Data in eine herkömmliche relationale Datenbank zur Analyse kostet viel Zeit und Geld. Aus diesem Grund sind spezielle Ansätze zum Sammeln und Analysieren von Informationen erschienen. Um Informationen zu empfangen und dann zu extrahieren, kombinieren sie sie und legen sie in einem „Datensee“ ab. Von dort aus suchen Programme für künstliche Intelligenz unter Verwendung komplexer Algorithmen nach sich wiederholenden Mustern.

Die Lagerung und Verarbeitung erfolgt mit folgenden Werkzeugen:

• Apache HADOOP ist ein stapelorientiertes Datenverarbeitungssystem. Das System speichert und verfolgt Informationen auf mehreren Computern und skaliert auf mehrere tausend Server.
• HPPC ist eine Open Source-Plattform, die von LexisNexis Risk Solutions entwickelt wurde. HPPC ist als Data Analytics Supercomputer (DAS) bekannt und unterstützt sowohl die Stapel- als auch die Echtzeitdatenverarbeitung. Das System verwendet Supercomputer und Cluster von herkömmlichen Computern.
• Sturm – verarbeitet Informationen in Echtzeit. Verwendet die Open Source Eclipse Public License.

Was wird es verwendet?

Je mehr wir über ein bestimmtes Objekt oder Phänomen wissen, desto genauer verstehen wir die Essenz und können die Zukunft vorhersagen. Durch die Erfassung und Verarbeitung von Datenströmen von Sensoren, dem Internet und Transaktionsvorgängen können Unternehmen die Nachfrage nach Produkten ziemlich genau vorhersagen, und Rettungsdienste können von Menschen verursachte Katastrophen verhindern. Hier einige Beispiele außerhalb des Geschäfts und des Marketings für den Einsatz von Big-Data-Technologien:

• Gesundheitspflege. Mehr Wissen über Krankheiten, mehr Behandlungsmöglichkeiten, mehr Informationen über Medikamente – all dies ermöglicht es uns, Krankheiten zu bekämpfen, die vor 40-50 Jahren als unheilbar galten.
• Prävention von Naturkatastrophen und von Menschen verursachten Katastrophen. Die genaueste Prognose in diesem Bereich rettet Tausende von Menschenleben. Die Aufgabe intelligenter Maschinen besteht darin, eine Vielzahl von Sensorwerten zu erfassen und zu verarbeiten und auf ihrer Grundlage Menschen dabei zu helfen, Datum und Ort einer möglichen Katastrophe zu bestimmen.
• Strafverfolgungsbehörden. Big Data wird verwendet, um Kriminalitätsspitzen in verschiedenen Ländern vorherzusagen und abschreckende Maßnahmen zu ergreifen, wenn die Situation dies erfordert.

Big Data in Business und Marketing

Geschäftsentwicklungsstrategien, Marketingaktivitäten und Werbung basieren auf Analysen und arbeiten mit verfügbaren Daten. Große Arrays ermöglichen das „Schaufeln“ großer Datenmengen und passen dementsprechend die Entwicklungsrichtung einer Marke, eines Produkts oder einer Dienstleistung so genau wie möglich an.

Beispielsweise arbeitet die RTB-Auktion in kontextbezogener Werbung mit Big Data, wodurch Sie kommerzielle Angebote effektiv für eine bestimmte Zielgruppe und nicht für alle bewerben können.

Was sind die geschäftlichen Vorteile:

• Erstellung von Projekten, die bei Nutzern und Käufern mit hoher Wahrscheinlichkeit nachgefragt werden.
• Untersuchung und Analyse der Kundenanforderungen mit dem bestehenden Service des Unternehmens. Aufgrund der Berechnung wird die Arbeit des Servicepersonals korrigiert.
• Offenlegung der Loyalität und Unzufriedenheit des Kundenstamms durch Analyse einer Vielzahl von Informationen aus Blogs, sozialen Netzwerken und anderen Quellen.
• Gewinnung und Bindung der Zielgruppe durch analytische Arbeit mit großen Informationsmengen.

Technologien werden verwendet, um die Beliebtheit von Produkten vorherzusagen, beispielsweise mithilfe des Google Trends-Dienstes und von Yandex. Wordstat (für Russland und die GUS).

Big-Data-Methoden werden von allen großen Unternehmen – IBM, Google, Facebook und Finanzunternehmen – VISA, Master Card sowie Ministerien auf der ganzen Welt verwendet. In Deutschland wurde beispielsweise die Ausgabe von Arbeitslosengeld reduziert, wobei berechnet wurde, dass einige Bürger diese ohne Grund erhalten. So konnten rund 15 Milliarden Euro in den Haushalt zurückkehren.

Der jüngste Facebook-Skandal aufgrund von Benutzerdatenlecks deutet darauf hin, dass das Volumen unstrukturierter Informationen zunimmt und selbst die Mastodons des digitalen Zeitalters nicht immer ihre vollständige Privatsphäre gewährleisten können.

Beispielsweise verwendet Master Card Big Data, um betrügerische Transaktionen mit Kundenkonten zu verhindern. Somit ist es möglich, jährlich mehr als 3 Milliarden US-Dollar vor Diebstahl zu sparen.

Im Spielbereich können Sie mit Big Data das Verhalten von Spielern analysieren, die Vorlieben eines aktiven Publikums identifizieren und auf dieser Grundlage das Interesse an dem Spiel vorhersagen.

Unternehmen wissen heute mehr über ihre Kunden als über uns selbst. Deshalb sind Werbekampagnen für Coca-Cola und andere Unternehmen ein voller Erfolg.

Probleme mit Big Data

Big Date bietet uns beispiellose Einblicke und Möglichkeiten, wirft aber auch Probleme und Fragen auf, die angegangen werden müssen:

• Datenvertraulichkeit – Die Big-Data, die wir heute generieren, enthalten viele Informationen über unser persönliches Leben, auf deren Vertraulichkeit wir jedes Recht haben. Wir werden zunehmend gebeten, ein Gleichgewicht zwischen der Menge der von uns offengelegten personenbezogenen Daten und dem Komfort zu finden, den Big Date-Apps und -Dienste bieten.
• Datenschutz – können wir ihm die Sicherheit unserer Daten anvertrauen, auch wenn wir feststellen, dass wir mit der Tatsache zufrieden sind, dass jemand unsere Daten für einen bestimmten Zweck hat?
• Diskriminierung von Daten – Wenn alle Informationen bekannt sind, ist es dann akzeptabel, Personen aufgrund von Daten aus ihrem persönlichen Leben zu diskriminieren? Wir verwenden bereits Kredit-Scores, um zu entscheiden, wer Geld ausleihen kann, und die Versicherung ist auch stark von Daten abhängig. Wir sollten erwarten, dass wir genauer analysiert und bewertet werden, aber es sollte darauf geachtet werden, dass dies das Leben von Menschen mit weniger Ressourcen und eingeschränktem Zugang zu Informationen nicht erschwert.

Diese Aufgaben sind ein wichtiger Bestandteil von Big Dates und müssen von Organisationen angegangen werden, die solche Daten verwenden möchten. Andernfalls kann das Unternehmen nicht nur in Bezug auf seinen Ruf, sondern auch auf rechtlicher und finanzieller Seite verwundbar werden.

Big Dates erstaunlicher Aufstieg

Alles begann mit einer Explosion der Datenmenge, die wir seit Beginn des digitalen Zeitalters erstellt haben. Dies ist hauptsächlich auf die Entwicklung von Computern, Internet und Technologien zurückzuführen, die Daten aus der Welt um uns herum „entreißen“ können. Daten allein sind keine neue Erfindung. Schon vor der Ära der Computer und Datenbanken verwendeten wir Papiertransaktionsaufzeichnungen, Kundendatensätze und Archivdateien, bei denen es sich um Daten handelt. Computer, insbesondere Tabellenkalkulationen und Datenbanken, haben es uns leicht gemacht, Daten in großem Umfang zu speichern und zu organisieren. Plötzlich wurden Informationen mit einem einzigen Mausklick verfügbar.

Wir sind jedoch weit von den ursprünglichen Tabellen und Datenbanken entfernt. Heute erstellen wir alle zwei Tage so viele Daten, wie wir von Anfang an bis zum Jahr 2000 erhalten haben. Das stimmt, alle zwei Tage. Und die Datenmenge, die wir erstellen, wächst weiterhin rasant. Bis 2020 wird die Menge der verfügbaren digitalen Informationen von etwa 5 Zettabyte auf 20 Zettabyte steigen.

Heutzutage hinterlässt fast jede Aktion, die wir unternehmen, ihre Spuren. Wir generieren Daten, wenn wir online gehen, wenn wir unsere mit einem Suchmodul ausgestatteten Smartphones übertragen, wenn wir mit unseren Freunden über soziale Netzwerke oder Chats usw. sprechen. Darüber hinaus wächst auch die Menge der maschinengenerierten Daten rasant. Daten werden generiert und verteilt, wenn unsere Smart-Home-Geräte miteinander oder mit ihren Heimservern kommunizieren. Industrieanlagen in Fabriken und Fabriken werden zunehmend mit Sensoren ausgestattet, die Daten sammeln und übertragen.

Der Begriff „Big Data“ bezieht sich auf die Erfassung all dieser Daten und auf unsere Fähigkeit, sie in einer Vielzahl von Bereichen, einschließlich des Geschäfts, zu unserem Vorteil zu nutzen.

Perspektiven für die Verwendung von Big Date

Blockchain und Big Data sind zwei sich entwickelnde und ergänzende Technologien. Seit 2016 wird Blockchain in den Medien vielfach diskutiert. Es ist eine kryptografisch sichere verteilte Datenbanktechnologie zum Speichern und Übertragen von Informationen. Der Schutz privater und vertraulicher Informationen ist ein dringendes und zukünftiges Big-Data-Problem, das Blockchain lösen kann.

Fast jede Branche hat begonnen, in Big Data-Analysen zu investieren, aber einige investieren mehr als andere. Laut IDC wird mehr für Bankgeschäfte, diskrete Fertigung, Prozessfertigung und professionelle Dienstleistungen ausgegeben. Laut Wikibon-Forschung belief sich der Umsatz aus dem Verkauf von Programmen und Dienstleistungen auf dem Weltmarkt im Jahr 2018 auf 42 Milliarden US-Dollar und wird im Jahr 2027 die Marke von 100 Milliarden US-Dollar überschreiten.

Neimeth schätzt, dass Blockchain bis 2030 bis zu 20% des gesamten Big-Data-Marktes ausmachen und einen Jahresumsatz von bis zu 100 Milliarden US-Dollar generieren wird. Dies übertrifft die Margen von PayPal, Visa und Mastercard zusammen.

Big-Data-Analysen sind für die Verfolgung von Transaktionen von entscheidender Bedeutung und ermöglichen es Blockchain-Unternehmen, versteckte Schemata aufzudecken und herauszufinden, mit wem sie in der Blockchain interagieren.

Zusammenfassung

Wir haben gelernt, was Big Data ist. Wir haben uns angesehen, wie diese Technologie funktioniert und für welche Informationsfelder verwendet werden. Wir haben uns mit den Prinzipien und Methoden der Arbeit mit Big Data vertraut gemacht.

Wir empfehlen, das menschliche Gesicht von Big Data von Rick Smolan und Jennifer Erwitt sowie die Einführung in Data Mining von Michael Steinbach, Vipin Kumar und Pang-Ning Tan zu lesen.

Verwendete Quellen und nützliche Links zum Thema: https://www.calltouch.ru/glossary/big-data/ https://Mining-CryptoCurrency.ru/big-data/ https://geekbrains.ru/posts/gu_big_data_faculty https: //clubshuttle.ru/tehnologiya-big-data-prostymi-slovami