![\"O](\"https:\/\/inform.com.de\/wp-content\/uploads\/2021\/06\/cb096a3741400bff23e3611c62eedbb7-1.png\")
<\/a><\/p>\nO mundo inteiro, incluindo a R\u00fassia, usa a tecnologia de Big Data em servi\u00e7os banc\u00e1rios, de comunica\u00e7\u00f5es e varejo. Especialistas acreditam que, no futuro, a tecnologia ser\u00e1 utilizada pela ind\u00fastria de transportes, petr\u00f3leo e g\u00e1s e ind\u00fastrias aliment\u00edcias, al\u00e9m de energia.<\/p>\n
Os analistas da IDC reconheceram a R\u00fassia como o maior mercado regional para BDA. A receita \u00e9 estimada em cerca de US $ 1,4 bilh\u00e3o este ano e ser\u00e1 respons\u00e1vel por 40% do total de investimentos no setor de big data e aplicativos de intelig\u00eancia de neg\u00f3cios.<\/p>\n
Quais profiss\u00f5es existem na \u00e1rea de Big Data<\/h2>\n
As duas principais profiss\u00f5es s\u00e3o analistas e engenheiros de dados.<\/p>\n
O analista trabalha principalmente com informa\u00e7\u00f5es. Ele est\u00e1 interessado em dados tabulares, ele est\u00e1 engajado em modelos. Suas responsabilidades incluem agregar, limpar, aumentar e visualizar dados. Ou seja, o analista de big data \u00e9 o elo entre as informa\u00e7\u00f5es brutas e o neg\u00f3cio.<\/p>\n
O analista tem duas linhas principais de trabalho. Primeiro, ele pode transformar as informa\u00e7\u00f5es recebidas, tirar conclus\u00f5es e apresent\u00e1-las de uma forma compreens\u00edvel.<\/p>\n
Em segundo lugar, os analistas desenvolvem aplicativos que funcionar\u00e3o e produzir\u00e3o resultados automaticamente. Por exemplo, fa\u00e7a uma previs\u00e3o para o mercado de a\u00e7\u00f5es todos os dias.<\/p>\n
O engenheiro de encontros \u00e9 uma especialidade de n\u00edvel inferior. \u00c9 a pessoa que deve garantir o armazenamento, processamento e entrega das informa\u00e7\u00f5es ao analista. Mas onde h\u00e1 abastecimento e limpeza, suas responsabilidades podem se sobrepor.<\/p>\n
O engenheiro da Bigdata fica com todo o trabalho duro. Se os sistemas falharam ou um dos servidores desapareceu do cluster, ele se conecta. Este \u00e9 um trabalho muito exigente e estressante. O sistema pode desligar nos finais de semana e ap\u00f3s o expediente, e o engenheiro deve agir imediatamente.<\/p>\n
Essas s\u00e3o duas profiss\u00f5es principais, mas tamb\u00e9m existem outras. Eles aparecem quando algoritmos de computa\u00e7\u00e3o paralela s\u00e3o adicionados a tarefas relacionadas \u00e0 intelig\u00eancia artificial. Por exemplo, um engenheiro de PNL. Este \u00e9 um programador que lida com o processamento da linguagem natural, principalmente nos casos em que \u00e9 necess\u00e1rio n\u00e3o s\u00f3 encontrar palavras, mas captar o significado do texto. Esses engenheiros escrevem programas para bots de bate-papo e sistemas de di\u00e1logo, assistentes de voz e call centers automatizados.<\/p>\n
Existem situa\u00e7\u00f5es em que voc\u00ea precisa classificar bilh\u00f5es de fotos, fazer modera\u00e7\u00e3o, filtrar coisas desnecess\u00e1rias e encontrar outras semelhantes. Essas profiss\u00f5es se sobrep\u00f5em mais \u00e0 vis\u00e3o computacional.<\/p>\n
Quanto tempo leva o treinamento<\/h2>\n
Estamos treinando h\u00e1 um ano e meio. Eles s\u00e3o divididos em seis quartos. Alguns se concentram em programa\u00e7\u00e3o, outros em trabalhar com bancos de dados e outros ainda em matem\u00e1tica.<\/p>\n
Ao contr\u00e1rio, por exemplo, do corpo docente de IA, h\u00e1 menos matem\u00e1tica aqui. N\u00e3o existe uma \u00eanfase t\u00e3o forte em c\u00e1lculo e \u00e1lgebra linear. O conhecimento de algoritmos de computa\u00e7\u00e3o distribu\u00edda \u00e9 mais necess\u00e1rio do que os princ\u00edpios de c\u00e1lculo.<\/p>\n
Mas um ano e meio \u00e9 suficiente para um trabalho real com processamento de big data apenas se a pessoa tiver experi\u00eancia em trabalhar com dados comuns e em geral em TI. O restante dos alunos, ap\u00f3s se formar no corpo docente, s\u00e3o incentivados a trabalhar com dados pequenos e m\u00e9dios. S\u00f3 depois disso um especialista pode trabalhar com grandes. Ap\u00f3s o treinamento, vale a pena trabalhar como cientista de dados – para aplicar o aprendizado de m\u00e1quina em diferentes quantidades de dados.<\/p>\n
Quando uma pessoa consegue um emprego em uma grande empresa – mesmo que ela tenha experi\u00eancia – na maioria das vezes ela n\u00e3o ser\u00e1 admitida imediatamente para grandes volumes de dados, porque o custo do erro \u00e9 muito maior l\u00e1. Os erros nos algoritmos podem n\u00e3o ser detectados imediatamente e isso levar\u00e1 a grandes perdas.<\/p>\n
Como funciona a tecnologia de Big Data?<\/h2>\n
Os usu\u00e1rios da rede social Facebook fazem upload de fotos, v\u00eddeos e realizam a\u00e7\u00f5es todos os dias por centenas de terabytes. N\u00e3o importa quantas pessoas participem do desenvolvimento, elas n\u00e3o v\u00e3o lidar com o fluxo constante de informa\u00e7\u00f5es. Para desenvolver ainda mais o servi\u00e7o e tornar os sites mais confort\u00e1veis \u200b\u200b- para implementar recomenda\u00e7\u00f5es de conte\u00fado inteligentes, exibir an\u00fancios relevantes para o usu\u00e1rio, centenas de milhares de terabytes s\u00e3o passados \u200b\u200bpelo algoritmo e recebem informa\u00e7\u00f5es estruturadas e compreens\u00edveis.<\/p>\n Comparando uma grande quantidade de informa\u00e7\u00f5es, os relacionamentos s\u00e3o encontrados nela. Essas rela\u00e7\u00f5es com certa probabilidade podem prever o futuro. A intelig\u00eancia artificial ajuda a encontrar e analisar uma pessoa.<\/p>\n A rede neural examina milhares de fotos, v\u00eddeos, coment\u00e1rios – aquelas centenas de terabytes de big data e d\u00e1 o resultado: quantos clientes satisfeitos saem da loja, se haver\u00e1 engarrafamento nas pr\u00f3ximas horas, quais discuss\u00f5es s\u00e3o populares na rede social e muito mais.<\/p>\n M\u00e9todos para trabalhar com big data:<\/strong><\/p>\n Carregar big data em um banco de dados relacional tradicional para an\u00e1lise exige muito tempo e dinheiro. Por esse motivo, surgiram abordagens especiais para coletar e analisar informa\u00e7\u00f5es. Para receber e extrair informa\u00e7\u00f5es, eles as combinam e as colocam em um “lago de dados”. A partir da\u00ed, programas de intelig\u00eancia artificial, usando algoritmos complexos, procuram padr\u00f5es repetidos.<\/p>\n O armazenamento e o processamento ocorrem com as seguintes ferramentas:<\/p>\n Quanto mais sabemos sobre um objeto ou fen\u00f4meno espec\u00edfico, com mais precis\u00e3o compreendemos a ess\u00eancia e podemos prever o futuro. Ao capturar e processar fluxos de dados de sensores, da Internet e de opera\u00e7\u00f5es transacionais, as empresas podem prever com bastante precis\u00e3o a demanda por produtos e os servi\u00e7os de emerg\u00eancia podem prevenir desastres provocados pelo homem. Aqui est\u00e3o alguns exemplos fora dos neg\u00f3cios e marketing de como as tecnologias de big data s\u00e3o usadas:<\/p>\n Estrat\u00e9gias de desenvolvimento de neg\u00f3cios, atividades de marketing, publicidade s\u00e3o baseadas na an\u00e1lise e trabalham com os dados dispon\u00edveis. Grandes matrizes permitem “escavar” grandes quantidades de dados e, consequentemente, ajustar a dire\u00e7\u00e3o do desenvolvimento de uma marca, produto ou servi\u00e7o com a maior precis\u00e3o poss\u00edvel.<\/p>\n Por exemplo, o leil\u00e3o RTB em publicidade contextual funciona com big data, o que permite que voc\u00ea anuncie ofertas comerciais de forma eficaz para um p\u00fablico-alvo dedicado, e n\u00e3o para todos.<\/p>\n Quais s\u00e3o os benef\u00edcios comerciais:<\/p>\n As tecnologias s\u00e3o usadas para prever a popularidade dos produtos, por exemplo, usando o servi\u00e7o Google Trends e Yandex. Wordstat (para a R\u00fassia e a CEI).<\/p>\n Os m\u00e9todos de big data s\u00e3o usados \u200b\u200bpor todas as grandes empresas – IBM, Google, Facebook e corpora\u00e7\u00f5es financeiras – VISA, Master Card, bem como por minist\u00e9rios em todo o mundo. Por exemplo, na Alemanha, a emiss\u00e3o de benef\u00edcios de desemprego foi reduzida, calculando-se que alguns cidad\u00e3os os recebem sem motivo. Conseguimos, assim, devolver ao or\u00e7amento cerca de 15 mil milh\u00f5es de euros.<\/p>\n O recente esc\u00e2ndalo do Facebook devido ao vazamento de dados do usu\u00e1rio sugere que o volume de informa\u00e7\u00f5es n\u00e3o estruturadas est\u00e1 crescendo e mesmo os mastodontes da era digital nem sempre podem garantir sua privacidade total. Por exemplo, o Master Card usa big data para evitar transa\u00e7\u00f5es fraudulentas com contas de clientes. Assim, \u00e9 poss\u00edvel economizar mais de 3 bilh\u00f5es de d\u00f3lares americanos em furtos anualmente.<\/p>\n No campo do jogo, o big data permite analisar o comportamento dos jogadores, identificar as prefer\u00eancias de um p\u00fablico ativo e, a partir disso, prever o n\u00edvel de interesse pelo jogo. Hoje, as empresas sabem mais sobre seus clientes do que n\u00f3s mesmos, e \u00e9 por isso que as campanhas publicit\u00e1rias da Coca-Cola e de outras empresas s\u00e3o um sucesso retumbante.<\/p>\n O Big Date nos d\u00e1 percep\u00e7\u00f5es e oportunidades sem precedentes, mas tamb\u00e9m levanta quest\u00f5es e quest\u00f5es que precisam ser abordadas:<\/p>\n Essas tarefas s\u00e3o uma parte importante do Big Dates e precisam ser realizadas por organiza\u00e7\u00f5es que desejam usar esses dados. N\u00e3o fazer isso pode tornar a empresa vulner\u00e1vel, n\u00e3o apenas em termos de reputa\u00e7\u00e3o, mas tamb\u00e9m do lado jur\u00eddico e financeiro.<\/p>\n Tudo come\u00e7ou com uma explos\u00e3o na quantidade de dados que criamos desde o in\u00edcio da era digital. Em grande parte, isso se deve ao desenvolvimento de computadores, da Internet e de tecnologias capazes de “roubar” dados do mundo ao nosso redor. Os dados por si s\u00f3 n\u00e3o s\u00e3o uma inven\u00e7\u00e3o nova. Mesmo antes da era dos computadores e bancos de dados, us\u00e1vamos registros de transa\u00e7\u00f5es em papel, registros de clientes e arquivos de arquivo, que s\u00e3o dados. Os computadores, especialmente planilhas e bancos de dados, tornaram mais f\u00e1cil para n\u00f3s armazenar e organizar dados em grande escala. De repente, as informa\u00e7\u00f5es ficaram dispon\u00edveis com um \u00fanico clique do mouse.<\/p>\n No entanto, evolu\u00edmos muito desde as tabelas e bancos de dados originais. Hoje, a cada dois dias, criamos tantos dados quantos recebemos desde o in\u00edcio at\u00e9 o ano 2000. Isso mesmo, a cada dois dias. E a quantidade de dados que criamos continua crescendo rapidamente; em 2020, a quantidade de informa\u00e7\u00f5es digitais dispon\u00edveis aumentar\u00e1 de cerca de 5 zetabytes para 20 zetabytes.<\/p>\n Hoje em dia, quase todas as a\u00e7\u00f5es que realizamos deixam sua marca. Geramos dados sempre que nos conectamos, quando transferimos nossos smartphones equipados com um m\u00f3dulo de pesquisa, quando conversamos com nossos amigos atrav\u00e9s de redes sociais ou chats, etc. Al\u00e9m disso, a quantidade de dados gerados por m\u00e1quina tamb\u00e9m est\u00e1 crescendo rapidamente. Os dados s\u00e3o gerados e distribu\u00eddos quando nossos dispositivos dom\u00e9sticos inteligentes se comunicam entre si ou com seus servidores dom\u00e9sticos. Os equipamentos industriais em f\u00e1bricas e f\u00e1bricas est\u00e3o cada vez mais equipados com sensores que acumulam e transmitem dados.<\/p>\n O termo “Big-Data” refere-se \u00e0 coleta de todos esses dados e \u00e0 nossa capacidade de us\u00e1-los em nosso benef\u00edcio em uma ampla gama de \u00e1reas, incluindo neg\u00f3cios.<\/p>\n Blockchain e Big Data s\u00e3o duas tecnologias em evolu\u00e7\u00e3o e complementares. Desde 2016, o blockchain tem sido amplamente discutido na m\u00eddia. \u00c9 uma tecnologia de banco de dados distribu\u00edda criptograficamente segura para armazenar e transmitir informa\u00e7\u00f5es. A prote\u00e7\u00e3o de informa\u00e7\u00f5es privadas e confidenciais \u00e9 um problema urgente e futuro de big data que o blockchain pode resolver.<\/p>\n Quase todos os setores come\u00e7aram a investir em an\u00e1lises de Big Data, mas alguns est\u00e3o investindo mais do que outros. De acordo com o IDC, mais \u00e9 gasto em servi\u00e7os banc\u00e1rios, manufatura discreta, manufatura de processos e servi\u00e7os profissionais. De acordo com a pesquisa da Wikibon, a receita das vendas de programas e servi\u00e7os no mercado global em 2018 foi de US $ 42 bilh\u00f5es e, em 2027, ultrapassar\u00e1 a marca de US $ 100 bilh\u00f5es.<\/p>\n Neimeth estima que o blockchain representar\u00e1 at\u00e9 20% do mercado total de big data at\u00e9 2030, gerando at\u00e9 US $ 100 bilh\u00f5es em receita anual. Isso supera as margens do PayPal, Visa e Mastercard combinadas.<\/p>\n A an\u00e1lise de Big Data ser\u00e1 importante para rastrear transa\u00e7\u00f5es e permitir\u00e1 que as empresas de blockchain descubram esquemas ocultos e descubram com quem interagem no blockchain.<\/p>\n Aprendemos o que \u00e9 big data? Vimos como essa tecnologia funciona, para os quais conjuntos de informa\u00e7\u00f5es s\u00e3o usados. Conhecemos os princ\u00edpios e m\u00e9todos de trabalho com big data.<\/p>\n Recomendamos a leitura de The Human Face of Big Data, de Rick Smolan e Jennifer Erwitt, e Introduction to Data Mining, de Michael Steinbach, Vipin Kumar e Pang-Ning Tan.<\/p>\n Fontes usadas e links \u00fateis sobre o assunto: https:\/\/www.calltouch.ru\/glossary\/big-data\/<\/a> https:\/\/Mining-CryptoCurrency.ru\/big-data\/<\/a> https:\/\/geekbrains.ru\/posts\/gu_big_data_faculty<\/a> https: \/\/clubshuttle.ru\/tehnologiya-big-data-prostymi-slovami<\/a><\/p>\n<\/a><\/p>\n\n
T\u00e9cnicas de an\u00e1lise e processamento<\/h3>\n
<\/a>
\nOs principais m\u00e9todos para analisar grandes quantidades de informa\u00e7\u00f5es incluem o seguinte:<\/p>\n\n
Minera\u00e7\u00e3o de dados – como Big Data \u00e9 coletado e processado<\/h2>\n
\n
Para que isso \u00e9 usado?<\/h2>\n
\n
Big data em neg\u00f3cios e marketing<\/h2>\n
\n
<\/a><\/p>\n<\/a><\/p>\nProblemas com Big-Data<\/h2>\n
\n
A incr\u00edvel ascens\u00e3o do Big Date<\/h2>\n
Perspectivas de uso do Big Date<\/h2>\n
Resumo<\/h2>\n