![\"Hva](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/06\/cb096a3741400bff23e3611c62eedbb7-1.png\")
<\/a><\/p>\nHele verden, inkludert Russland, bruker Big Data-teknologi innen bank, kommunikasjonstjenester og detaljhandel. Eksperter mener at teknologien i fremtiden vil bli brukt av transportindustrien, olje- og gass- og matindustrien, samt energi.<\/p>\n
IDC-analytikere har anerkjent Russland som det st\u00f8rste regionale markedet for BDA. Inntektene ansl\u00e5s \u00e5 v\u00e6re n\u00e6r 1,4 milliarder dollar i \u00e5r og vil utgj\u00f8re 40% av totale investeringer i sektoren for big data og business intelligence.<\/p>\n
Hvilke yrker er det innen big data<\/h2>\n
De to hovedyrkerne er analytikere og dataingeni\u00f8rer.<\/p>\n
Analytikeren jobber prim\u00e6rt med informasjon. Han er interessert i tabelldata, han er engasjert i modeller. Hans ansvarsomr\u00e5der inkluderer aggregering, rengj\u00f8ring, utvidelse og visualisering av data. Det vil si at big data-analytikeren er koblingen mellom r\u00e5 informasjon og virksomheten.<\/p>\n
Analytikeren har to hovedlinjer for arbeidet. F\u00f8rst kan han transformere mottatt informasjon, trekke konklusjoner og presentere den i en forst\u00e5elig form.<\/p>\n
For det andre utvikler analytikere applikasjoner som fungerer og produserer resultater automatisk. Lag for eksempel en prognose for aksjemarkedet hver dag.<\/p>\n
Datoingeni\u00f8ren er en spesialitet p\u00e5 lavere niv\u00e5. Dette er personen som m\u00e5 s\u00f8rge for lagring, behandling og levering av informasjon til analytikeren. Men der det er forsyning og rengj\u00f8ring, kan deres ansvar overlappe hverandre.<\/p>\n
Bigdata-ingeni\u00f8r f\u00e5r alt det harde arbeidet. Hvis systemene har mislyktes, eller hvis en av serverne har forsvunnet fra klyngen, kobles den til. Dette er en veldig krevende og stressende jobb. Systemet kan sl\u00e5 seg av i helgene og etter timer, og ingeni\u00f8ren m\u00e5 ta grep omg\u00e5ende.<\/p>\n
Dette er to hovedyrker, men det er andre ogs\u00e5. De vises n\u00e5r parallelle databehandlingsalgoritmer legges til oppgaver relatert til kunstig intelligens. For eksempel en NLP-ingeni\u00f8r. Dette er en programmerer som arbeider med naturlig spr\u00e5kbehandling, spesielt i tilfeller der det ikke bare er n\u00f8dvendig \u00e5 finne ord, men \u00e5 forst\u00e5 tekstens betydning. Slike ingeni\u00f8rer skriver programmer for chatbots og dialogsystemer, stemmeassistenter og automatiserte telefonsentre.<\/p>\n
Det er situasjoner n\u00e5r du trenger \u00e5 klassifisere milliarder av bilder, gj\u00f8re moderering, filtrere ut un\u00f8dvendige ting og finne lignende. Disse yrkene overlapper mer med datasyn.<\/p>\n
Hvor lang tid tar trening<\/h2>\n
Vi har trent i halvannet \u00e5r. De er delt inn i seks kvartaler. Noen fokuserer p\u00e5 programmering, andre arbeider med databaser, og andre igjen p\u00e5 matematikk.<\/p>\n
I motsetning til for eksempel AI-fakultetet, er det mindre matematikk her. Det er ikke s\u00e5 sterk vekt p\u00e5 kalkulus og line\u00e6r algebra. Kunnskap om distribuerte databehandlingsalgoritmer trengs mer enn prinsippene for kalkulator.<\/p>\n
Men ett og et halvt \u00e5r er nok for ekte arbeid med stor databehandling bare hvis en person hadde erfaring med \u00e5 jobbe med ordin\u00e6r data og generelt innen IT. Resten av studentene etter endt utdannelse fra fakultetet oppfordres til \u00e5 jobbe med sm\u00e5 og mellomstore data. F\u00f8rst etter dette kan en spesialist f\u00e5 lov til \u00e5 jobbe med store. Etter oppl\u00e6ring er det verdt \u00e5 jobbe som dataforsker – \u00e5 bruke maskinl\u00e6ring p\u00e5 forskjellige datamengder.<\/p>\n
N\u00e5r en person f\u00e5r jobb i et stort selskap – selv om han hadde erfaring – vil han ofte ikke bli tatt opp i store datamengder med en gang, fordi kostnadene for feil er mye h\u00f8yere der. Feil i algoritmer kan ikke oppdages umiddelbart, og dette vil f\u00f8re til store tap.<\/p>\n
Hvordan fungerer Big-Data-teknologi?<\/h2>\n
Brukere av det sosiale nettverket Facebook laster opp bilder, videoer og utf\u00f8rer handlinger hver dag for hundrevis av terabyte. Uansett hvor mange mennesker som deltar i utviklingen, vil de ikke takle den konstante str\u00f8mmen av informasjon. For \u00e5 videreutvikle tjenesten og gj\u00f8re nettsteder mer komfortable – for \u00e5 implementere anbefalinger om smart innhold, vise annonser som er relevante for brukeren, sendes hundretusenvis av terabyte gjennom algoritmen og mottar strukturert og forst\u00e5elig informasjon.<\/p>\n Sammenligning av en enorm mengde informasjon, finnes relasjoner i den. Disse forholdene med en viss sannsynlighet kan forutsi fremtiden. Kunstig intelligens hjelper til med \u00e5 finne og analysere en person.<\/p>\n Nevrale nettverk skanner tusenvis av bilder, videoer, kommentarer – de hundrevis av terabyte med store data og gir resultatet: hvor mange forn\u00f8yde kunder forlater butikken, om det blir trafikkork de neste timene, hvilke diskusjoner som er popul\u00e6re p\u00e5 det sosiale nettverket, og mye mer.<\/p>\n Metoder for \u00e5 jobbe med big data:<\/strong><\/p>\n Det tar mye tid og penger \u00e5 laste inn store data i en tradisjonell relasjonsdatabase for analyse. Av denne grunn har spesielle tiln\u00e6rminger dukket opp for innsamling og analyse av informasjon. For \u00e5 motta og deretter hente ut informasjon, kombinerer de og plasserer den i en «datasj\u00f8.» Derfra ser kunstige intelligensprogrammer, ved hjelp av komplekse algoritmer, etter gjentatte m\u00f8nstre.<\/p>\n Lagring og prosessering skjer med f\u00f8lgende verkt\u00f8y:<\/p>\n Jo mer vi vet om et bestemt objekt eller fenomen, jo mer n\u00f8yaktig forst\u00e5r vi essensen og kan forutsi fremtiden. Ved \u00e5 fange opp og behandle datastr\u00f8mmer fra sensorer, Internett og transaksjonsoperasjoner kan bedrifter ganske n\u00f8yaktig forutsi ettersp\u00f8rselen etter produkter, og beredskapstjenester kan forhindre menneskeskapte katastrofer. Her er noen eksempler utenfor virksomheten og markedsf\u00f8ringen av hvordan big data-teknologier brukes:<\/p>\n Forretningsutviklingsstrategier, markedsf\u00f8ringsaktiviteter, annonsering er basert p\u00e5 analyse og arbeid med tilgjengelige data. Store matriser gj\u00f8r det mulig \u00e5 «skyve» store mengder data og justerer f\u00f8lgelig utviklingsretningen for et merke, produkt, tjeneste s\u00e5 n\u00f8yaktig som mulig.<\/p>\n For eksempel fungerer RTB-auksjon i kontekstuell reklame med store data, som lar deg effektivt annonsere kommersielle tilbud til en dedikert m\u00e5lgruppe, og ikke til alle.<\/p>\n Hva er fordelene for virksomheten:<\/p>\n Teknologier brukes til \u00e5 forutsi populariteten til produkter, for eksempel ved hjelp av Google Trends-tjenesten og Yandex. Wordstat (for Russland og SNG).<\/p>\n Big data-metoder brukes av alle store selskaper – IBM, Google, Facebook og finansielle selskaper – VISA, Master Card, s\u00e5 vel som departementer rundt om i verden. I Tyskland ble for eksempel utstedelsen av dagpenger redusert, og beregnet at noen borgere mottar dem uten grunn. Dermed var det mulig \u00e5 komme tilbake til budsjettet rundt 15 milliarder euro.<\/p>\n Den nylige Facebook-skandalen p\u00e5 grunn av lekkasje av brukerdata antyder at volumene av ustrukturert informasjon vokser, og til og med mastodonene i den digitale tidsalderen kan ikke alltid sikre fullstendig privatliv. For eksempel bruker Master Card store data for \u00e5 forhindre falske transaksjoner med kundekontoer. Dermed er det mulig \u00e5 spare mer enn 3 milliarder amerikanske dollar fra tyveri \u00e5rlig.<\/p>\n I spillfeltet lar big data deg analysere spillernes atferd, identifisere preferansene til et aktivt publikum og p\u00e5 basis av dette forutsi niv\u00e5et av interesse for spillet. I dag vet bedrifter mer om kundene enn vi vet om oss selv. Derfor er reklamekampanjer for Coca-Cola og andre selskaper en stor suksess.<\/p>\n Big Date gir oss enest\u00e5ende innsikt og muligheter, men det reiser ogs\u00e5 sp\u00f8rsm\u00e5l og sp\u00f8rsm\u00e5l som m\u00e5 l\u00f8ses:<\/p>\n \u00c5 oppfylle disse oppgavene er en viktig del av Big Dates, og de m\u00e5 tas opp av organisasjoner som \u00f8nsker \u00e5 bruke slike data. Unnlatelse av \u00e5 gj\u00f8re dette kan gj\u00f8re virksomheten s\u00e5rbar, ikke bare n\u00e5r det gjelder omd\u00f8mme, men ogs\u00e5 fra den juridiske og \u00f8konomiske siden.<\/p>\n Det hele startet med en eksplosjon i datamengden vi har skapt siden begynnelsen av den digitale tidsalderen. Dette skyldes i stor grad utviklingen av datamaskiner, Internett og teknologier som er i stand til \u00e5 «snappe» data fra verden rundt oss. Data alene er ikke en ny oppfinnelse. Allerede f\u00f8r datamaskiner og databaser brukte vi papirpapirer, kundeposter og arkivfiler som er data. Datamaskiner, spesielt regneark og databaser, har gjort det enkelt for oss \u00e5 lagre og organisere data i stor skala. Plutselig ble informasjon tilgjengelig med et enkelt museklikk.<\/p>\n Vi har imidlertid kommet langt fra de originale tabellene og databasene. I dag, annenhver dag, lager vi like mye data som vi mottok helt fra begynnelsen til 2000. Det stemmer, annenhver dag. Og datamengden vi lager fortsetter \u00e5 vokse raskt; innen 2020 vil mengden digital informasjon tilgjengelig \u00f8ke fra omtrent 5 zettabyte til 20 zettabyte.<\/p>\n I dag setter nesten alle handlinger vi tar spor. Vi genererer data n\u00e5r vi g\u00e5r online, n\u00e5r vi overf\u00f8rer smarttelefonene v\u00e5re utstyrt med en s\u00f8kemodul, n\u00e5r vi snakker med vennene v\u00e5re via sosiale nettverk eller chatter, etc. I tillegg vokser mengden maskingenerert data ogs\u00e5 raskt. Data genereres og distribueres n\u00e5r v\u00e5re smarte hjemmeenheter kommuniserer med hverandre eller med hjemmeserverne sine. Industrielt utstyr i fabrikker og fabrikker er i \u00f8kende grad utstyrt med sensorer som samler og overf\u00f8rer data.<\/p>\n Begrepet «Big-Data» refererer til innsamling av alle disse dataene og v\u00e5r evne til \u00e5 bruke dem til v\u00e5r fordel p\u00e5 et bredt spekter av omr\u00e5der, inkludert virksomhet.<\/p>\n Blockchain og Big Data er to utviklende og komplement\u00e6re teknologier. Siden 2016 har blockchain blitt diskutert mye i media. Det er en kryptografisk sikker distribuert databaseteknologi for lagring og overf\u00f8ring av informasjon. Beskyttelsen av privat og konfidensiell informasjon er et presserende og fremtidig big data-problem som blockchain kan l\u00f8se.<\/p>\n Nesten alle bransjer har begynt \u00e5 investere i Big Data-analyse, men noen investerer mer enn andre. If\u00f8lge IDC bruker de mer p\u00e5 bank, diskret produksjon, prosessproduksjon og profesjonelle tjenester. If\u00f8lge Wikibon-unders\u00f8kelsen utgjorde inntektene fra salg av programmer og tjenester i det globale markedet i 2018 42 milliarder dollar, og i 2027 vil de overstige 100 milliarder dollar.<\/p>\n Neimeth ansl\u00e5r at blockchain vil utgj\u00f8re opptil 20% av det totale big data-markedet innen 2030, og generere opptil 100 milliarder dollar i \u00e5rlig omsetning. Dette overg\u00e5r PayPal, Visa og Mastercards marginer til sammen.<\/p>\n Big Data-analyse vil v\u00e6re viktig for sporing av transaksjoner og vil gj\u00f8re det mulig for blockchain-selskaper \u00e5 avdekke skjulte ordninger og finne ut hvem de kommuniserer med p\u00e5 blockchain.<\/p>\n Vi har l\u00e6rt hva som er big data? Vi s\u00e5 p\u00e5 hvordan denne teknologien fungerer, for hvilke matriser med informasjon som brukes. Vi ble kjent med prinsippene og metodene for \u00e5 jobbe med big data.<\/p>\n Vi anbefaler \u00e5 lese The Human Face of Big Data av Rick Smolan og Jennifer Erwitt, og Introduction to Data Mining av Michael Steinbach, Vipin Kumar og Pang-Ning Tan.<\/p>\n Kilder som brukes og nyttige lenker om emnet: https:\/\/www.calltouch.ru\/glossary\/big-data\/<\/a> https:\/\/Mining-CryptoCurrency.ru\/big-data\/<\/a> https:\/\/geekbrains.ru\/posts\/gu_big_data_faculty<\/a> https: \/\/clubshuttle.ru\/tehnologiya-big-data-prostymi-slovami<\/a><\/p>\n<\/a><\/p>\n\n
Analyse og prosesseringsteknikker<\/h3>\n
<\/a>
\nDe viktigste metodene for \u00e5 analysere store mengder informasjon inkluderer f\u00f8lgende:<\/p>\n\n
Data Mining – hvordan Big Data samles inn og behandles<\/h2>\n
\n
Hva brukes det til?<\/h2>\n
\n
Big data innen virksomhet og markedsf\u00f8ring<\/h2>\n
\n
<\/a><\/p>\n<\/a><\/p>\nProblemer med Big-Data<\/h2>\n
\n
Big Date er fantastisk oppgang<\/h2>\n
Utsiktene til \u00e5 bruke Big Date<\/h2>\n
Sammendrag<\/h2>\n