![\"Vad](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/06\/cb096a3741400bff23e3611c62eedbb7-1.png\")
<\/a><\/p>\nHela v\u00e4rlden, inklusive Ryssland, anv\u00e4nder Big Data-teknik inom banksektorn, kommunikationstj\u00e4nster och detaljhandel. Experter tror att tekniken i framtiden kommer att anv\u00e4ndas av transportindustrin, olje- och gas- och livsmedelsindustrin samt energi.<\/p>\n
IDC-analytiker har erk\u00e4nt Ryssland som den st\u00f6rsta regionala marknaden f\u00f6r BDA. Int\u00e4kterna ber\u00e4knas vara n\u00e4ra 1,4 miljarder dollar i \u00e5r och kommer att st\u00e5 f\u00f6r 40% av de totala investeringarna i big data och business intelligence-applikationer.<\/p>\n
Vilka yrken finns inom omr\u00e5det big data<\/h2>\n
De tv\u00e5 huvudyrken \u00e4r analytiker och dataingenj\u00f6rer.<\/p>\n
Analytikern arbetar fr\u00e4mst med information. Han \u00e4r intresserad av tabelldata, han \u00e4r engagerad i modeller. Hans ansvarsomr\u00e5den inkluderar aggregering, reng\u00f6ring, f\u00f6rst\u00e4rkning och visualisering av data. Det vill s\u00e4ga den stora dataanalytikern \u00e4r l\u00e4nken mellan r\u00e5 information och verksamheten.<\/p>\n
Analytikern har tv\u00e5 huvudlinjer. F\u00f6rst kan han f\u00f6rvandla den mottagna informationen, dra slutsatser och presentera den i en f\u00f6rst\u00e5elig form.<\/p>\n
F\u00f6r det andra utvecklar analytiker applikationer som fungerar och ger resultat automatiskt. Till exempel g\u00f6r en prognos f\u00f6r aktiemarknaden varje dag.<\/p>\n
Datumingenj\u00f6ren \u00e4r en specialitet p\u00e5 l\u00e4gre niv\u00e5. Det \u00e4r personen som m\u00e5ste s\u00e4kerst\u00e4lla lagring, bearbetning och leverans av information till analytikern. Men d\u00e4r det finns f\u00f6rs\u00f6rjning och reng\u00f6ring kan deras ansvar \u00f6verlappa varandra.<\/p>\n
Bigdata-ingenj\u00f6r f\u00e5r allt h\u00e5rt arbete. Om systemen misslyckas eller om n\u00e5gon av servrarna f\u00f6rsvinner fr\u00e5n klustret ansluter den. Detta \u00e4r ett mycket kr\u00e4vande och stressigt jobb. Systemet kan st\u00e4ngas av p\u00e5 helger och efter timmar, och ingenj\u00f6ren m\u00e5ste vidta \u00e5tg\u00e4rder omedelbart.<\/p>\n
Det h\u00e4r \u00e4r tv\u00e5 huvudyrken, men det finns andra ocks\u00e5. De visas n\u00e4r parallella ber\u00e4kningsalgoritmer l\u00e4ggs till uppgifter relaterade till artificiell intelligens. Till exempel en NLP-ingenj\u00f6r. Detta \u00e4r en programmerare som behandlar naturlig spr\u00e5kbehandling, s\u00e4rskilt i fall d\u00e4r det inte bara \u00e4r n\u00f6dv\u00e4ndigt att hitta ord utan att f\u00f6rst\u00e5 inneb\u00f6rden av texten. S\u00e5dana ingenj\u00f6rer skriver program f\u00f6r chattbots och dialogsystem, r\u00f6stassistenter och automatiserade callcenter.<\/p>\n
Det finns situationer n\u00e4r du beh\u00f6ver klassificera miljarder bilder, g\u00f6ra moderering, filtrera bort on\u00f6diga saker och hitta liknande. Dessa yrken \u00f6verlappar mer med datorsyn.<\/p>\n
Hur l\u00e5ng tid tar tr\u00e4ningen<\/h2>\n
Vi har tr\u00e4nat i ett och ett halvt \u00e5r. De \u00e4r uppdelade i sex fj\u00e4rdedelar. Vissa fokuserar p\u00e5 programmering, andra p\u00e5 att arbeta med databaser och andra p\u00e5 matematik.<\/p>\n
Till skillnad fr\u00e5n exempelvis AI-fakulteten finns det mindre matematik h\u00e4r. Det finns ingen s\u00e5 stark betoning p\u00e5 kalkyl och linj\u00e4r algebra. Kunskap om distribuerade datoralgoritmer beh\u00f6vs mer \u00e4n principerna f\u00f6r kalkyl.<\/p>\n
Men ett och ett halvt \u00e5r r\u00e4cker f\u00f6r verkligt arbete med stor databehandling endast om en person hade erfarenhet av att arbeta med vanlig data och i allm\u00e4nhet inom IT. Resten av studenterna efter examen fr\u00e5n fakulteten uppmuntras att arbeta med sm\u00e5 och medelstora data. F\u00f6rst d\u00e4refter kan en specialist f\u00e5 arbeta med stora. Efter utbildning \u00e4r det v\u00e4rt att arbeta som datavetare – att till\u00e4mpa maskininl\u00e4rning p\u00e5 olika datam\u00e4ngder.<\/p>\n
N\u00e4r en person f\u00e5r jobb i ett stort f\u00f6retag – \u00e4ven om han hade erfarenhet – kommer han oftast inte att f\u00e5 tillg\u00e5ng till stora m\u00e4ngder data direkt, eftersom kostnaden f\u00f6r fel \u00e4r mycket h\u00f6gre d\u00e4r. Fel i algoritmer kan inte uppt\u00e4ckas omedelbart, och detta leder till stora f\u00f6rluster.<\/p>\n
Hur fungerar Big-Data-teknik?<\/h2>\n
Anv\u00e4ndare av det sociala n\u00e4tverket Facebook laddar upp foton, videor och utf\u00f6r \u00e5tg\u00e4rder varje dag f\u00f6r hundratals terabyte. Oavsett hur m\u00e5nga m\u00e4nniskor som deltar i utvecklingen kommer de inte att klara det st\u00e4ndiga informationsfl\u00f6det. F\u00f6r att vidareutveckla tj\u00e4nsten och g\u00f6ra webbplatser mer bekv\u00e4ma – att implementera smarta inneh\u00e5llsrekommendationer, visa annonser som \u00e4r relevanta f\u00f6r anv\u00e4ndaren skickas hundratusentals terabyte genom algoritmen och f\u00e5r strukturerad och f\u00f6rst\u00e5elig information.<\/p>\n N\u00e4r man j\u00e4mf\u00f6r en enorm m\u00e4ngd information finns relationer i den. Dessa f\u00f6rh\u00e5llanden med viss sannolikhet kan f\u00f6ruts\u00e4ga framtiden. Artificiell intelligens hj\u00e4lper till att hitta och analysera en person.<\/p>\n Neurala n\u00e4tverket skannar tusentals bilder, videor, kommentarer – de mycket hundratals terabyte stora data och ger resultatet: hur m\u00e5nga n\u00f6jda kunder l\u00e4mnar butiken, om det kommer att bli trafikstockning de n\u00e4rmaste timmarna, vilka diskussioner \u00e4r popul\u00e4ra p\u00e5 det sociala n\u00e4tverket och mycket mer.<\/p>\n Metoder f\u00f6r att arbeta med big data:<\/strong><\/p>\n Att ladda stora data i en traditionell relationsdatabas f\u00f6r analys tar mycket tid och pengar. Av denna anledning har speciella tillv\u00e4gag\u00e5ngss\u00e4tt dykt upp f\u00f6r att samla in och analysera information. F\u00f6r att ta emot och sedan extrahera information kombinerar de och placerar den i en ”data-sj\u00f6”. D\u00e4rifr\u00e5n letar program f\u00f6r artificiell intelligens, med hj\u00e4lp av komplexa algoritmer, efter upprepande m\u00f6nster.<\/p>\n Lagring och bearbetning sker med f\u00f6ljande verktyg:<\/p>\n Ju mer vi vet om ett specifikt objekt eller fenomen, desto mer exakt f\u00f6rst\u00e5r vi k\u00e4rnan och kan f\u00f6ruts\u00e4ga framtiden. Genom att f\u00e5nga och bearbeta datastr\u00f6mmar fr\u00e5n sensorer, Internet och transaktionsoperationer kan f\u00f6retag ganska noggrant f\u00f6ruts\u00e4ga efterfr\u00e5gan p\u00e5 produkter och r\u00e4ddningstj\u00e4nster kan f\u00f6rhindra katastrofer som orsakats av m\u00e4nniskor. H\u00e4r \u00e4r n\u00e5gra exempel utanf\u00f6r aff\u00e4rsverksamhet och marknadsf\u00f6ring av hur big data-teknik anv\u00e4nds:<\/p>\n Aff\u00e4rsutvecklingsstrategier, marknadsf\u00f6ringsaktiviteter, reklam baseras p\u00e5 analys och arbete med tillg\u00e4nglig data. Stora matriser g\u00f6r det m\u00f6jligt att ”skotta” stora m\u00e4ngder data och justerar f\u00f6ljaktligen utvecklingsriktningen f\u00f6r ett varum\u00e4rke, en produkt, en tj\u00e4nst s\u00e5 exakt som m\u00f6jligt.<\/p>\n Till exempel fungerar RTB-auktion i kontextuell reklam med big data, vilket g\u00f6r att du effektivt kan marknadsf\u00f6ra kommersiella erbjudanden till en dedikerad m\u00e5lgrupp och inte till alla.<\/p>\n Vilka \u00e4r aff\u00e4rsf\u00f6rdelarna:<\/p>\n Teknik anv\u00e4nds f\u00f6r att f\u00f6ruts\u00e4ga produkternas popularitet, till exempel med hj\u00e4lp av Google Trends-tj\u00e4nsten och Yandex. Wordstat (f\u00f6r Ryssland och OSS).<\/p>\n Big data-metoder anv\u00e4nds av alla stora f\u00f6retag – IBM, Google, Facebook och finansiella f\u00f6retag – VISA, Master Card, liksom ministerier runt om i v\u00e4rlden. Till exempel i Tyskland minskade utf\u00e4rdandet av arbetsl\u00f6shetsf\u00f6rm\u00e5ner och ber\u00e4knade att vissa medborgare f\u00e5r dem utan anledning. S\u00e5 vi lyckades \u00e5terg\u00e5 till budgeten cirka 15 miljarder euro.<\/p>\n Den senaste Facebook-skandalen p\u00e5 grund av l\u00e4ckage av anv\u00e4ndardata antyder att volymerna av ostrukturerad information v\u00e4xer och till och med mastodonerna i den digitala tids\u00e5ldern inte alltid kan garantera deras fullst\u00e4ndiga integritet. Mastercard anv\u00e4nder till exempel stora data f\u00f6r att f\u00f6rhindra bedr\u00e4gliga transaktioner med kundkonton. Det \u00e4r s\u00e5ledes m\u00f6jligt att spara mer \u00e4n 3 miljarder dollar fr\u00e5n st\u00f6ld \u00e5rligen.<\/p>\n Inom spelf\u00e4ltet l\u00e5ter big data dig analysera spelarnas beteende, identifiera en aktiv publiks preferenser och p\u00e5 grundval av detta f\u00f6ruts\u00e4ga intresset f\u00f6r spelet. Idag vet f\u00f6retag mer om sina kunder \u00e4n vi vet om oss sj\u00e4lva, varf\u00f6r reklamkampanjer f\u00f6r Coca-Cola och andra f\u00f6retag \u00e4r en rungande framg\u00e5ng.<\/p>\n Big Date ger oss o\u00f6vertr\u00e4ffade insikter och m\u00f6jligheter, men det v\u00e4cker ocks\u00e5 fr\u00e5gor och fr\u00e5gor som m\u00e5ste behandlas:<\/p>\n Dessa uppgifter \u00e4r en viktig del av Big Dates, och de m\u00e5ste hanteras av organisationer som vill anv\u00e4nda s\u00e5dan information. Underl\u00e5tenhet att g\u00f6ra detta kan g\u00f6ra verksamheten s\u00e5rbar, inte bara n\u00e4r det g\u00e4ller dess rykte utan ocks\u00e5 fr\u00e5n den juridiska och ekonomiska sidan.<\/p>\n Allt b\u00f6rjade med en explosion i m\u00e4ngden data som vi har skapat sedan b\u00f6rjan av den digitala tids\u00e5ldern. Detta beror till stor del p\u00e5 utvecklingen av datorer, Internet och tekniker som kan ”snappa” data fr\u00e5n omv\u00e4rlden. Data enbart \u00e4r inte en ny uppfinning. Redan f\u00f6re era datorer och databaser anv\u00e4nde vi papperstransaktionsposter, kundposter och arkivfiler, som \u00e4r data. Datorer, s\u00e4rskilt kalkylblad och databaser, har gjort det enkelt f\u00f6r oss att lagra och organisera data i stor skala. Pl\u00f6tsligt blev information tillg\u00e4nglig med ett enda musklick.<\/p>\n Vi har dock kommit l\u00e5ngt fr\u00e5n de ursprungliga tabellerna och databaserna. Idag, varannan dag, skapar vi lika mycket data som vi fick fr\u00e5n b\u00f6rjan till \u00e5r 2000. Det st\u00e4mmer varannan dag. Och m\u00e4ngden data vi skapar forts\u00e4tter att v\u00e4xa snabbt; till 2020 kommer m\u00e4ngden tillg\u00e4nglig digital information att \u00f6ka fr\u00e5n cirka 5 zettabyte till 20 zettabyte.<\/p>\n Numera s\u00e4tter n\u00e4stan varje \u00e5tg\u00e4rd vi g\u00f6r sitt pr\u00e4gel. Vi genererar data n\u00e4r vi g\u00e5r online, n\u00e4r vi \u00f6verf\u00f6r v\u00e5ra smartphones utrustade med en s\u00f6kmodul, n\u00e4r vi pratar med v\u00e5ra v\u00e4nner via sociala n\u00e4tverk eller chatt etc. Dessutom \u00f6kar m\u00e4ngden maskingenererad data ocks\u00e5 snabbt. Data genereras och distribueras n\u00e4r v\u00e5ra smarta hemenheter kommunicerar med varandra eller med sina hemservrar. Industriell utrustning i fabriker och fabriker \u00e4r alltmer utrustad med sensorer som samlar och \u00f6verf\u00f6r data.<\/p>\n Termen ”Big-Data” h\u00e4nvisar till insamling av all denna information och v\u00e5r f\u00f6rm\u00e5ga att anv\u00e4nda den till v\u00e5r f\u00f6rdel inom ett brett spektrum av omr\u00e5den, inklusive f\u00f6retag.<\/p>\n Blockchain och Big Data \u00e4r tv\u00e5 teknologier som utvecklas och kompletterar varandra. Sedan 2016 har blockchain diskuterats allm\u00e4nt i media. Det \u00e4r en kryptografiskt s\u00e4ker distribuerad databasteknik f\u00f6r lagring och \u00f6verf\u00f6ring av information. Skyddet av privat och konfidentiell information \u00e4r ett br\u00e5dskande och framtida big data-problem som blockchain kan l\u00f6sa.<\/p>\n N\u00e4stan alla branscher har b\u00f6rjat investera i Big Data-analys, men vissa investerar mer \u00e4n andra. Enligt IDC spenderas mer p\u00e5 bank, diskret tillverkning, processtillverkning och professionella tj\u00e4nster. Enligt Wikibons forskning uppgick int\u00e4kterna fr\u00e5n f\u00f6rs\u00e4ljning av program och tj\u00e4nster p\u00e5 den globala marknaden 2018 till 42 miljarder dollar och kommer 2027 att \u00f6verstiga 100 miljarder dollar.<\/p>\n Neimeth uppskattar blockchain kommer att st\u00e5 f\u00f6r upp till 20% av den totala marknaden f\u00f6r stora data \u00e5r 2030 och generera upp till 100 miljarder dollar i \u00e5rliga int\u00e4kter. Detta \u00f6vertr\u00e4ffar marginalerna f\u00f6r PayPal, Visa och Mastercard tillsammans.<\/p>\n Big Data-analys kommer att vara viktigt f\u00f6r sp\u00e5rning av transaktioner och g\u00f6r det m\u00f6jligt f\u00f6r blockchainf\u00f6retag att avsl\u00f6ja dolda system och ta reda p\u00e5 vem de interagerar med i blockchain.<\/p>\n Vi har l\u00e4rt oss vad som \u00e4r big data? Vi tittade p\u00e5 hur denna teknik fungerar, f\u00f6r vilka matriser med information anv\u00e4nds. Vi blev bekanta med principerna och metoderna f\u00f6r att arbeta med big data.<\/p>\n Vi rekommenderar att du l\u00e4ser The Human Face of Big Data av Rick Smolan och Jennifer Erwitt, och Introduction to Data Mining av Michael Steinbach, Vipin Kumar och Pang-Ning Tan.<\/p>\n K\u00e4llor som anv\u00e4nds och anv\u00e4ndbara l\u00e4nkar om \u00e4mnet: https:\/\/www.calltouch.ru\/glossary\/big-data\/<\/a> https:\/\/Mining-CryptoCurrency.ru\/big-data\/<\/a> https:\/\/geekbrains.ru\/posts\/gu_big_data_faculty<\/a> https: \/\/clubshuttle.ru\/tehnologiya-big-data-prostymi-slovami<\/a><\/p>\n<\/a><\/p>\n\n
Analys- och bearbetningstekniker<\/h3>\n
<\/a>
\nDe viktigaste metoderna f\u00f6r att analysera stora m\u00e4ngder information inkluderar f\u00f6ljande:<\/p>\n\n
Data Mining – hur Big Data samlas in och behandlas<\/h2>\n
\n
Vad anv\u00e4nds det till?<\/h2>\n
\n
Big data inom aff\u00e4rer och marknadsf\u00f6ring<\/h2>\n
\n
<\/a><\/p>\n<\/a><\/p>\nProblem med Big-Data<\/h2>\n
\n
Big Date \u00e4r fantastisk uppg\u00e5ng<\/h2>\n
Utsikter f\u00f6r att anv\u00e4nda Big Date<\/h2>\n
Sammanfattning<\/h2>\n