Minhas previsões para 2021 – Dados e análises

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

[ad_1]

[This article was first published on R – TomazTsql, and kindly contributed to R-bloggers]. (Você pode relatar problemas sobre o conteúdo desta página aqui)


Quer compartilhar seu conteúdo em R-bloggers? clique aqui se você tiver um blog, ou aqui se não tiver.

O ano de 2020 teve um impacto tremendo em nossas vidas e gerou muitas mudanças. Como o ano passado foi um ano de mudanças radicais (para as quais estávamos ou não preparados, mas tivemos que aceitá-las), estas certamente terão uma influência no que o ano de 2021 nos trará.

Fiz uma pequena lista (lista com curadoria) de previsões para 2021, onde os dados e análises podem chegar. Para maior clareza, agrupei algumas das áreas relevantes, cobrindo principalmente:
– Engenharia de Dados
– Análise de dados
– Aprendizado de máquina
– Tecnologia em nuvem
– Linguagens e funções
– Gestão de dados

Engenharia de Dados continuará a crescer e terá um boom adicional em 2021. A consolidação de dados fará com que essa função se expanda e dependerá ainda mais do sucesso de qualquer projeto de ML. Uma nova onda de ferramentas ETL surgirá, tornando a transição, transformação e disponibilidade de dados mais fácil, rápida e confiável. Dependendo da infraestrutura, mas eles podem se tornar jogadores ainda maiores para pipelining de dados, cadeias de ferramentas de dados e ETL: dbt, Panoply, Airflow, Matillion, Dataform e Alteryx. Todos são agnósticos de fornecedores, alguns também são ótimos para conectar diferentes ferramentas, plataformas, sistemas operacionais e alguns também são ótimas ferramentas para análise de dados. A exclusividade será adquirida através do desenvolvimento de drivers rápidos, API, conexões entre diferentes silos de dados.

Após a expansão das equipes de engenharia de dados, tarefas e operações, as pessoas se tornarão mais atentas a Estratégia de dados; termo que será cada vez mais usado. É amplamente utilizado para descrever uma forte visão de gerenciamento de dados, priorizando, alinhando dados com atividades analíticas de dados com as principais prioridades organizacionais. Com objetivos como: conceitos e padrões, colaboração, reutilização, maior precisão, acesso e compartilhamento em mente. Isso será conduzido – especialmente na Europa – em muitas das organizações devido ao crescimento dos dados e ao alinhamento com as equipes de dados às metas organizacionais.

Leia Também  Filtrar linhas do quadro de dados | R-bloggers

Análise de dados foram remodelados em certa medida em 2020 devido à mudança no local de trabalho, experiência do cliente e digitalização mais rápida da vida diária. A análise gráfica ganhará ainda mais força devido às causas da pandemia, segurança cibernética e necessidade de atividades de rastreamento. Os painéis em tempo real e a visualização de dados terão um papel adicional no segmento de informações, alimentando os consumidores com informações corretas e não tendenciosas, assim como a narração de histórias ganhará ainda mais popularidade, devido às mudanças na vida diária de cada indivíduo. Todos contribuirão para a compreensão dos fundamentos do que está acontecendo, para a tomada de decisões de negócios básicas e para a compreensão dos conceitos subjacentes de por que as mudanças aconteceram. Muitos aspectos da análise de dados desempenharão um papel fundamental nas mudanças dramáticas e no impacto da pandemia e eventos relacionados. Portanto, também podemos esperar mais logs sendo gerados, mantidos por um período mais longo e abrindo muitas novas oportunidades.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Aprendizado de Máquina (IA) continuará a crescer em organizações de médio a grande porte. E continuará a diminuir em pequenas organizações. Os cientistas de dados continuarão ansiosos por conjuntos de dados de treinamento significativos. Eles alimentarão seus algoritmos de ML para entender previsões, mudanças ao longo do tempo e resultados para serviços baseados em nuvem ou aplicativos SaaS. Oferecer mais poder de computação também criará mais pressão para que os cientistas de dados capturem e ingeram uma única alteração. Ambientes encapsulados impulsionarão ainda mais a expansão entre a ciência de dados. Plataformas como Databricks crescerão em popularidade, usabilidade e ajudarão o ecossistema DataOps em grandes empresas, tornando os dados mais acionáveis ​​para a ciência de dados.

CI / CD e MLOps continuarão a florescer e devem ganhar ainda mais força em 2021. O ano de 2020 foi o ano da explosão, oferecendo muitas ferramentas para cientistas de dados, com a explosão de muitas startups e muitas ofertas, pode haver alguma consolidação e apenas algumas fornecedores (pioneiros) permanecerão. Mais foco será colocado no desenvolvimento de soluções que requeiram mais e mais esforço devido às mudanças rápidas de dados, trazendo o modelo de previsão de construção / implantação para uma frequência mais alta. Isso também tornará o teste mais difícil e o controle de versão mais complexo.

Leia Também  Mutantes: um sistema de nomenclatura implausível para mutantes SARS-CoV-2

O processamento de linguagem natural crescerá ainda mais em 2021, principalmente para a digitalização de muitos dos processos diários e armazenamento de muitas das conversas. Além disso, a indústria da saúde (como outras indústrias) terá um grande ganho em PNL.

O aprendizado de máquina se tornará cada vez mais comoditizado, e muitos dos serviços e plataformas em nuvem estão oferecendo ML fora da caixa. Por outro lado, a necessidade de caixa branca (em comparação com algoritmos de ML de caixa preta) estará disponível em muitas das plataformas, desde interpretabilidade, explicabilidade até justiça e muito mais.

Tecnologias de nuvem terá vários jogadores que irão defender novos padrões. Snowflake se tornará o top 3 no campo de armazenamento de dados, trazendo novos conceitos de datawarehouse para a nuvem. Separar a computação do armazenamento, tornando-a multiplataforma e disponível em vários idiomas, ingerindo qualquer tipo de dados, em qualquer lugar, aproxima a nuvem e o uso diário de grandes organizações. A nuvem será ainda mais usada em 2021 devido às mudanças no local de trabalho e na forma como fazemos o trabalho, então serviços adicionais para facilitar o trabalho, para colaborar melhor, o trabalho de intercâmbio trará muitos fundos de investidores e muitas das pequenas start-ups irão florescer .

As gravações ao vivo do trabalho em empresas maiores impulsionarão o apetite nessa direção com a ajuda de armazenamento e serviços em nuvem. Fog Computação (com relação à computação de ponta) será a palavra da moda do ano entre as empresas que lidam com IoT ou organizações que adotam IoT.

Tudo como um código irá revolucionar o conceito de “como Código” em 2021, tornando-se uma parte maior das equipes de DevOps

Linguagens e funções também mudará em 2021. Trazendo novas funções de dados como: Cloud data Prep, Analytics Engineer, Data Trustee, Data-Lake engenheiros e funções mesh-up como DataOps Engineer aparecerá ainda mais em grandes organizações. A equipe de dados começará a alinhar suas metodologias com o desenvolvimento de software central para melhor compreensão dos dados, melhores serviços de dados para outras equipes orientadas a dados.

Leia Também  Société Générale entra em operação com as soluções Fusion Risk da Finastra

As práticas de Data-Ops se tornarão parte da equipe de dados, engenheiros de dados e, em 2022 ou mais tarde, de quase todas as equipes, porque as necessidades de negócios em rápido crescimento serão a adaptação de novos casos de uso de negócios e as tecnologias de nuvem levarão ainda mais a alfabetização em dados. Em 2021, ter conhecimento em Python, R, Scala, Julia, PowerShell, Spark ou Machine Learning não será mais uma vantagem, mas um pré-requisito para qualquer posição orientada a dados.

Muitas das funções que surgiram em 2019-2020 serão ainda mais estabilizadas e terão um crescimento contínuo.

R e Python, junto com Scala, Julia, permanecerão e terão uma posição ainda mais forte na ciência de dados. Mas a necessidade de compreensão geral de SQL, JavaScript, Bash / PowerShell, Java, C ++ se tornará ainda maior.

Spark será a linguagem chave para 2021, quando falaremos sobre ciência de dados e infraestrutura, ao lado de Presto e outros. Investir no Spark em 2021 terá retorno.

Gestão de dados terá um foco muito maior em 2021, como tem sido nos últimos 10 anos. Com o surgimento de equipes de dados, operadores de dados e oficiais de dados, a necessidade de catálogos, definições e regras de negócios será a pedra angular para a confiança de dados. Ter dados confiáveis ​​irá acelerar muitos dos processos posteriores de ingestão, preparação ou análise de dados, tornando os dados muito mais ágeis e operacionalizados para as necessidades de negócios. A governança será quase um componente-chave entre a limpeza inteligente de dados, melhores operações de ETL / encadeamento de dados / processamento de dados, criando e ajudando uma visão de gerenciamento de dados mais forte e construindo casos de negócios sólidos no topo.

Sinta-se à vontade para comentar, postar suas opiniões, concordar, discordar e debater. 🙂

Sei que somos ruins em fazer tais previsões, mas é sempre bom compartilhar a visão e ter um contra-argumento para incentivo e reflexão.

Como sempre, fique saudável e feliz com a codificação!



[ad_2]

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br