![\"Mik\u00e4](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/06\/cb096a3741400bff23e3611c62eedbb7-1.png\")
<\/a><\/p>\nKoko maailma, Ven\u00e4j\u00e4 mukaan lukien, k\u00e4ytt\u00e4\u00e4 Big Data -tekniikkaa pankkitoiminnassa, viestint\u00e4palveluissa ja v\u00e4hitt\u00e4iskaupassa. Asiantuntijat uskovat, ett\u00e4 tulevaisuudessa tekniikkaa k\u00e4ytt\u00e4v\u00e4t liikenneteollisuus, \u00f6ljy-, kaasu- ja elintarviketeollisuus sek\u00e4 energia.<\/p>\n
IDC-analyytikot ovat tunnustaneet Ven\u00e4j\u00e4n BDA: n suurimmaksi alueelliseksi markkinaksi. Liikevaihdon arvioidaan olevan t\u00e4n\u00e4 vuonna l\u00e4hes 1,4 miljardia dollaria, ja sen osuus on 40% kokonaisinvestoinneista big data- ja business intelligence -sovelluksiin.<\/p>\n
Mit\u00e4 ammatteja on big data -alalla<\/h2>\n
Kaksi p\u00e4\u00e4ammattia ovat analyytikot ja datainsin\u00f6\u00f6rit.<\/p>\n
Analyytikko ty\u00f6skentelee ensisijaisesti tietojen kanssa. H\u00e4n on kiinnostunut taulukkotiedoista, h\u00e4n harjoittaa malleja. H\u00e4nen teht\u00e4viins\u00e4 kuuluu tietojen kokoaminen, puhdistaminen, lis\u00e4\u00e4minen ja visualisointi. Toisin sanoen big data -analyytikko on linkki raakatiedon ja liiketoiminnan v\u00e4lill\u00e4.<\/p>\n
Analyytikolla on kaksi p\u00e4\u00e4linjaa. Ensinn\u00e4kin h\u00e4n voi muuttaa saadut tiedot, tehd\u00e4 johtop\u00e4\u00e4t\u00f6kset ja esitt\u00e4\u00e4 ne ymm\u00e4rrett\u00e4v\u00e4ss\u00e4 muodossa.<\/p>\n
Toiseksi analyytikot kehitt\u00e4v\u00e4t sovelluksia, jotka toimivat ja tuottavat tuloksia automaattisesti. Tee esimerkiksi ennuste osakemarkkinoille joka p\u00e4iv\u00e4.<\/p>\n
P\u00e4iv\u00e4m\u00e4\u00e4r\u00e4insin\u00f6\u00f6ri on alemman tason erikoisuus. T\u00e4m\u00e4n henkil\u00f6n on varmistettava tietojen tallentaminen, k\u00e4sittely ja toimittaminen analyytikoille. Mutta miss\u00e4 on tarvikkeita ja siivousta, heid\u00e4n vastuunsa voivat olla p\u00e4\u00e4llekk\u00e4isi\u00e4.<\/p>\n
Bigdata-insin\u00f6\u00f6ri saa kaiken kovan ty\u00f6n. Jos j\u00e4rjestelm\u00e4t ovat ep\u00e4onnistuneet tai jokin palvelimista on kadonnut klusterista, se muodostaa yhteyden. T\u00e4m\u00e4 on eritt\u00e4in vaativa ja stressaava ty\u00f6. J\u00e4rjestelm\u00e4 voi sammua viikonloppuisin ja tuntien j\u00e4lkeen, ja insin\u00f6\u00f6rin on ryhdytt\u00e4v\u00e4 toimiin nopeasti.<\/p>\n
N\u00e4m\u00e4 ovat kaksi p\u00e4\u00e4ammattia, mutta on muitakin. Ne ilmestyv\u00e4t, kun rinnakkaislaskennan algoritmeja lis\u00e4t\u00e4\u00e4n teko\u00e4lyyn liittyviin teht\u00e4viin. Esimerkiksi NLP-insin\u00f6\u00f6ri. T\u00e4m\u00e4 on ohjelmoija, joka k\u00e4sittelee luonnollista kielenk\u00e4sittely\u00e4, etenkin tapauksissa, joissa sanojen l\u00f6yt\u00e4misen lis\u00e4ksi tekstin merkitys on ymm\u00e4rrett\u00e4v\u00e4. T\u00e4llaiset insin\u00f6\u00f6rit kirjoittavat ohjelmia chat-botteihin ja valintaj\u00e4rjestelmiin, \u00e4\u00e4ni-avustajiin ja automaattisiin puhelinkeskuksiin.<\/p>\n
On tilanteita, joissa sinun on luokiteltava miljardeja kuvia, teht\u00e4v\u00e4 maltillisuutta, suodattaa tarpeettomat asiat ja l\u00f6yt\u00e4\u00e4 vastaavia. N\u00e4m\u00e4 ammatit ovat enemm\u00e4n p\u00e4\u00e4llekk\u00e4isi\u00e4 tietokonen\u00e4\u00f6n kanssa.<\/p>\n
Kuinka kauan koulutus kest\u00e4\u00e4<\/h2>\n
Olemme harjoittaneet puolitoista vuotta. Ne on jaettu kuuteen nelj\u00e4nnekseen. Jotkut keskittyv\u00e4t ohjelmointiin, toiset ty\u00f6skentelyyn tietokantojen kanssa ja toiset matematiikkaan.<\/p>\n
Toisin kuin esimerkiksi teko\u00e4lyn tiedekunnassa, matematiikkaa on v\u00e4hemm\u00e4n. Laskennassa ja lineaarisessa algebrassa ei ole niin voimakasta painotusta. Hajautettujen laskenta-algoritmien tuntemusta tarvitaan enemm\u00e4n kuin laskennan periaatteet.<\/p>\n
Mutta puolitoista vuotta riitt\u00e4\u00e4 todelliseen ty\u00f6h\u00f6n suurten tietojenk\u00e4sittelyjen kanssa vain, jos henkil\u00f6ll\u00e4 on kokemusta tavallisten tietojen ja yleens\u00e4 IT: n kanssa ty\u00f6skentelyst\u00e4. Muita opiskelijoita tiedekunnasta valmistuttuaan kannustetaan ty\u00f6skentelem\u00e4\u00e4n pienten ja keskisuurten tietojen kanssa. Vasta t\u00e4m\u00e4n j\u00e4lkeen asiantuntija voidaan sallia ty\u00f6skentelem\u00e4\u00e4n suurten kanssa. Koulutuksen j\u00e4lkeen kannattaa ty\u00f6skennell\u00e4 datatieteilij\u00e4n\u00e4 – soveltaa koneoppimista erilaisiin tietom\u00e4\u00e4riin.<\/p>\n
Kun henkil\u00f6 saa ty\u00f6paikan suuressa yrityksess\u00e4 – vaikka h\u00e4nell\u00e4 olisi kokemusta – useimmiten h\u00e4n ei p\u00e4\u00e4se heti suuriin tietom\u00e4\u00e4riin, koska virhekustannukset ovat siell\u00e4 paljon korkeammat. Algoritmien virheit\u00e4 ei v\u00e4ltt\u00e4m\u00e4tt\u00e4 havaita v\u00e4litt\u00f6m\u00e4sti, mik\u00e4 johtaa suuriin menetyksiin.<\/p>\n
Kuinka Big-Data-tekniikka toimii?<\/h2>\n
Sosiaalisen verkoston Facebook-k\u00e4ytt\u00e4j\u00e4t lataavat valokuvia, videoita ja suorittavat toimintoja p\u00e4ivitt\u00e4in sadoille teratavuille. Riippumatta siit\u00e4, kuinka monta ihmist\u00e4 osallistuu kehitykseen, he eiv\u00e4t selviydy jatkuvasta tiedonkulusta. Palvelun edelleen kehitt\u00e4miseksi ja sivustojen mukavuuden lis\u00e4\u00e4miseksi – \u00e4lykk\u00e4\u00e4n sis\u00e4ll\u00f6n suositusten toteuttamiseksi, k\u00e4ytt\u00e4j\u00e4lle osuvien mainosten n\u00e4ytt\u00e4miseksi satoja tuhansia teratavuja kulkee algoritmin l\u00e4pi ja ne saavat j\u00e4sennelty\u00e4 ja ymm\u00e4rrett\u00e4v\u00e4\u00e4 tietoa.<\/p>\n Verrattaessa valtavaa m\u00e4\u00e4r\u00e4\u00e4 tietoa siit\u00e4 l\u00f6ytyy suhteita. N\u00e4m\u00e4 suhteet tietyll\u00e4 todenn\u00e4k\u00f6isyydell\u00e4 voivat ennustaa tulevaisuuden. Teko\u00e4ly auttaa l\u00f6yt\u00e4m\u00e4\u00e4n ja analysoimaan henkil\u00f6n.<\/p>\n Neuraaliverkko skannaa tuhansia valokuvia, videoita, kommentteja – n\u00e4m\u00e4 hyvin satoja teratavuja suurta dataa ja antaa tuloksen: kuinka moni tyytyv\u00e4inen asiakas l\u00e4htee kaupasta, onko ruuhkaa l\u00e4hikuukausina, mitk\u00e4 keskustelut ovat suosittuja sosiaalisessa verkostossa ja paljon muuta.<\/p>\n Menetelm\u00e4t big datan kanssa ty\u00f6skentelyyn:<\/strong><\/p>\n Suurten tietojen lataaminen perinteiseen relaatiotietokantaan analysointia varten vie paljon aikaa ja rahaa. T\u00e4st\u00e4 syyst\u00e4 tiedon ker\u00e4\u00e4miseen ja analysointiin on ilmestynyt erityisi\u00e4 l\u00e4hestymistapoja. Saadakseen ja sitten poimia tietoja he yhdist\u00e4v\u00e4t ja sijoittavat sen ”dataj\u00e4rvelle”. Sielt\u00e4 teko\u00e4lyohjelmat etsiv\u00e4t monimutkaisia \u200b\u200balgoritmeja k\u00e4ytt\u00e4en toistuvia malleja.<\/p>\n Varastointi ja k\u00e4sittely tapahtuu seuraavilla ty\u00f6kaluilla:<\/p>\n Mit\u00e4 enemm\u00e4n tied\u00e4mme tietyst\u00e4 kohteesta tai ilmi\u00f6st\u00e4, sit\u00e4 paremmin ymm\u00e4rr\u00e4mme olemuksen ja voimme ennustaa tulevaisuuden. Sieppaamalla ja k\u00e4sittelem\u00e4ll\u00e4 datavirtoja antureista, Internetist\u00e4, transaktiotoiminnasta yritykset voivat ennustaa melko tarkasti tuotteiden kysynn\u00e4n, ja h\u00e4t\u00e4palvelut voivat est\u00e4\u00e4 ihmisen aiheuttamia katastrofeja. T\u00e4ss\u00e4 muutamia esimerkkej\u00e4 liiketoiminnan ja markkinoinnin ulkopuolella siit\u00e4, kuinka suuria tietotekniikoita k\u00e4ytet\u00e4\u00e4n:<\/p>\n Liiketoiminnan kehitt\u00e4misstrategiat, markkinointitoimet, mainonta perustuvat analyyseihin ja ty\u00f6skentelyyn k\u00e4ytett\u00e4viss\u00e4 olevien tietojen kanssa. Suuret matriisit mahdollistavat valtavan m\u00e4\u00e4r\u00e4n tietojen ”lapioinnin” ja siten mukauttavat tuotemerkin, tuotteen, palvelun kehityssuunnan mahdollisimman tarkasti.<\/p>\n Esimerkiksi kontekstuaalisen mainonnan RTB-huutokauppa toimii isojen tietojen kanssa, mink\u00e4 avulla voit tehokkaasti mainostaa kaupallisia tarjouksia omistetulle kohderyhm\u00e4lle eik\u00e4 kaikille.<\/p>\n Mitk\u00e4 ovat liiketoiminnan edut:<\/p>\n Tuotteiden suosion ennustamisessa k\u00e4ytet\u00e4\u00e4n tekniikoita, esimerkiksi Google Trends -palvelun ja Yandexin avulla. Wordstat (Ven\u00e4j\u00e4lle ja IVY-maille).<\/p>\n Suurten tietojen menetelmi\u00e4 k\u00e4ytt\u00e4v\u00e4t kaikki suuret yritykset – IBM, Google, Facebook ja rahoituslaitokset – VISA, Master Card sek\u00e4 ministeri\u00f6t ymp\u00e4ri maailmaa. Esimerkiksi Saksassa ty\u00f6tt\u00f6myysetuuksien my\u00f6nt\u00e4mist\u00e4 v\u00e4hennettiin laskemalla, ett\u00e4 jotkut kansalaiset saavat niit\u00e4 ilman syyt\u00e4. Siten oli mahdollista palauttaa talousarvioon noin 15 miljardia euroa.<\/p>\n K\u00e4ytt\u00e4j\u00e4tietovuodon aiheuttama \u00e4skett\u00e4inen Facebook-skandaali viittaa siihen, ett\u00e4 j\u00e4sentelem\u00e4tt\u00f6m\u00e4n tiedon m\u00e4\u00e4r\u00e4 kasvaa, eik\u00e4 edes digitaalisen aikakauden mastodonit voi aina varmistaa heid\u00e4n t\u00e4ydellist\u00e4 yksityisyytt\u00e4\u00e4n. Esimerkiksi Master Card k\u00e4ytt\u00e4\u00e4 suuria tietoja est\u00e4\u00e4kseen vilpilliset maksutilit asiakastileill\u00e4. Siten on mahdollista s\u00e4\u00e4st\u00e4\u00e4 varkaudelta yli 3 miljardia dollaria vuodessa.<\/p>\n Pelikent\u00e4ll\u00e4 isojen tietojen avulla voit analysoida pelaajien k\u00e4ytt\u00e4ytymist\u00e4, tunnistaa aktiivisen yleis\u00f6n mieltymykset ja ennustaa t\u00e4m\u00e4n perusteella pelin kiinnostuksen tason. Nyky\u00e4\u00e4n yritykset tiet\u00e4v\u00e4t enemm\u00e4n asiakkaistaan \u200b\u200bkuin me itsest\u00e4mme, mink\u00e4 vuoksi mainoskampanjat Coca-Colalle ja muille yrityksille ovat eritt\u00e4in menestyvi\u00e4.<\/p>\n Big Date antaa meille ennenn\u00e4kem\u00e4tt\u00f6mi\u00e4 oivalluksia ja mahdollisuuksia, mutta se her\u00e4tt\u00e4\u00e4 my\u00f6s kysymyksi\u00e4 ja kysymyksi\u00e4, joihin on puututtava:<\/p>\n N\u00e4m\u00e4 teht\u00e4v\u00e4t ovat t\u00e4rke\u00e4 osa Big Dates -ohjelmaa, ja organisaatioiden, jotka haluavat k\u00e4ytt\u00e4\u00e4 t\u00e4llaisia \u200b\u200btietoja, on puututtava niihin. T\u00e4m\u00e4n tekem\u00e4tt\u00e4 j\u00e4tt\u00e4minen voi tehd\u00e4 yrityksest\u00e4 haavoittuvan paitsi maineensa, my\u00f6s juridisen ja taloudellisen puolensa suhteen.<\/p>\n Kaikki alkoi digitaalikauden alusta l\u00e4htien luomamme datam\u00e4\u00e4r\u00e4n r\u00e4j\u00e4hdyksest\u00e4. T\u00e4m\u00e4 johtuu suurelta osin tietokoneiden, Internetin ja tekniikoiden kehityksest\u00e4, jotka pystyv\u00e4t ”sieppaamaan” tietoja ymp\u00e4r\u00f6iv\u00e4st\u00e4 maailmasta. Tiedot yksin\u00e4\u00e4n eiv\u00e4t ole uusi keksint\u00f6. Jo ennen tietokoneiden ja tietokantojen aikakautta k\u00e4ytimme paperitransaktiotietoja, asiakastietueita ja arkistotiedostoja, jotka ovat tietoja. Tietokoneet, erityisesti laskentataulukot ja tietokannat, ovat helpottaneet tietojen tallentamista ja j\u00e4rjest\u00e4mist\u00e4 suuressa mittakaavassa. Yht\u00e4kki\u00e4 tiedot tulivat saataville yhdell\u00e4 hiiren napsautuksella.<\/p>\n Olemme kuitenkin edenneet pitk\u00e4lle alkuper\u00e4isist\u00e4 taulukoista ja tietokannoista. Luomme t\u00e4n\u00e4\u00e4n joka toinen p\u00e4iv\u00e4 niin paljon tietoja kuin saimme alusta asti vuoteen 2000. Aivan, joka toinen p\u00e4iv\u00e4. Ja luomiemme tietojen m\u00e4\u00e4r\u00e4 kasvaa edelleen nopeasti; vuoteen 2020 menness\u00e4 k\u00e4ytett\u00e4viss\u00e4 olevan digitaalisen tiedon m\u00e4\u00e4r\u00e4 kasvaa noin viidest\u00e4 zettatavusta 20 zettatavuun.<\/p>\n Nyky\u00e4\u00e4n melkein jokainen tekem\u00e4mme toiminta j\u00e4tt\u00e4\u00e4 j\u00e4lkens\u00e4. Luomme tietoja aina, kun siirrymme verkkoon, siirr\u00e4mme \u00e4lypuhelimet, joissa on hakumoduuli, kun puhumme yst\u00e4viemme kanssa sosiaalisten verkostojen tai chattien kautta. Lis\u00e4ksi koneellisesti tuotetun datan m\u00e4\u00e4r\u00e4 kasvaa nopeasti. Tiedot syntyv\u00e4t ja jaetaan, kun \u00e4lykk\u00e4iden kodin laitteemme ovat yhteydess\u00e4 toisiinsa tai heid\u00e4n kotipalvelimiinsa. Tehtaiden ja tehtaiden teollisuuslaitteet on yh\u00e4 enemm\u00e4n varustettu antureilla, jotka ker\u00e4\u00e4v\u00e4t ja v\u00e4litt\u00e4v\u00e4t tietoja.<\/p>\n Termi ”Big-Data” viittaa kaikkien n\u00e4iden tietojen ker\u00e4\u00e4miseen ja kykyyn k\u00e4ytt\u00e4\u00e4 niit\u00e4 hy\u00f6dyksi monilla aloilla, mukaan lukien liiketoiminta.<\/p>\n Blockchain ja Big Data ovat kaksi kehittyv\u00e4\u00e4 ja t\u00e4ydent\u00e4v\u00e4\u00e4 tekniikkaa. Vuodesta 2016 l\u00e4htien blockchainista on keskusteltu laajalti tiedotusv\u00e4lineiss\u00e4. Se on kryptografisesti turvallinen hajautettu tietokantatekniikka tietojen tallentamiseen ja siirt\u00e4miseen. Yksityisten ja luottamuksellisten tietojen suojaaminen on kiireellinen ja tuleva big data-ongelma, jonka blockchain voi ratkaista.<\/p>\n L\u00e4hes jokainen ala on alkanut investoida Big Data -analytiikkaan, mutta jotkut sijoittavat enemm\u00e4n kuin toiset. IDC: n mukaan he k\u00e4ytt\u00e4v\u00e4t enemm\u00e4n pankkitoimintaan, erilliseen valmistukseen, prosessituotantoon ja asiantuntijapalveluihin. Wikibon-tutkimuksen mukaan ohjelmien ja palvelujen myynnist\u00e4 maailmanmarkkinoilla tuotot vuonna 2018 olivat 42 miljardia dollaria, ja vuonna 2027 ne ylitt\u00e4v\u00e4t 100 miljardin dollarin rajan.<\/p>\n Neimethin arvion mukaan lohkoketjun osuus on jopa 20% kokonaisdatamarkkinoista vuoteen 2030 menness\u00e4, mik\u00e4 tuottaa jopa 100 miljardia dollaria vuotuista tuloa. T\u00e4m\u00e4 ylitt\u00e4\u00e4 PayPalin, Visa: n ja Mastercardin marginaalit yhdess\u00e4.<\/p>\n Big Data -analytiikka on t\u00e4rke\u00e4\u00e4 tapahtumien seurannassa ja antaa blockchain-yrityksille mahdollisuuden paljastaa piilotetut mallit ja selvitt\u00e4\u00e4, kenen kanssa he ovat vuorovaikutuksessa blockchainissa.<\/p>\n Olemme oppineet, mik\u00e4 on big data? Tarkastelimme, miten t\u00e4m\u00e4 tekniikka toimii, johon k\u00e4ytet\u00e4\u00e4n tietojoukkoja. Tutustuimme big datan kanssa ty\u00f6skentelyn periaatteisiin ja menetelmiin.<\/p>\n Suosittelemme lukemaan Rick Smolanin ja Jennifer Erwittin Big Datain ihmisen kasvot ja Michael Steinbachin, Vipin Kumarin ja Pang-Ning Tanin johdannon tiedonlouhintaan.<\/p>\n K\u00e4ytetyt l\u00e4hteet ja hy\u00f6dyllisi\u00e4 linkkej\u00e4 aiheesta: https:\/\/www.calltouch.ru\/glossary\/big-data\/<\/a> https:\/\/Mining-CryptoCurrency.ru\/big-data\/<\/a> https:\/\/geekbrains.ru\/posts\/gu_big_data_faculty<\/a> https: \/\/clubshuttle.ru\/tehnologiya-big-data-prostymi-slovami<\/a><\/p>\n<\/a><\/p>\n\n
Analyysi- ja prosessointitekniikat<\/h3>\n
<\/a>
\nT\u00e4rkeimm\u00e4t menetelm\u00e4t suurten tietom\u00e4\u00e4rien analysoimiseksi ovat seuraavat:<\/p>\n\n
Data Mining – kuinka suuria tietoja ker\u00e4t\u00e4\u00e4n ja k\u00e4sitell\u00e4\u00e4n<\/h2>\n
\n
Mihin sit\u00e4 k\u00e4ytet\u00e4\u00e4n?<\/h2>\n
\n
Suuret tiedot liiketoiminnassa ja markkinoinnissa<\/h2>\n
\n
<\/a><\/p>\n<\/a><\/p>\nBig-Data-ongelmat<\/h2>\n
\n
Big Date on h\u00e4mm\u00e4stytt\u00e4v\u00e4 nousu<\/h2>\n
Big Daten k\u00e4yt\u00f6n mahdollisuudet<\/h2>\n
Yhteenveto<\/h2>\n