PessoALL, decidi criar essa série de posts rápidos com alguns quick tips relacionados a funções, códigos de otimização e ou facilitação em se tratando de pipelines criados no Databricks. Nesse primeiro post disponibilizarei duas funções que tenho muito…
PessoALL, nesses últimos quase 3 anos tenho me dedicado intensamente no desenvolvimento das skills e conhecimentos necessários para me tornar um Data Engineer. A primeira pergunta que talvez você me faça é porque eu, como arquiteto de BI, me movimentar…
Pessoal, no post anterior da série sobre Starburst Presto foi você aprendeu sobre como realizar a instalação do Starburst Presto dentro de um cluster de HDInsight em ambiente Azure Cloud. Neste post você aprenderá sobre como configurar novas conexões para que seja possível realizar integrações de dados de forma fácil e simples sem a necessidade …
Continue lendo Presto – Distributed Query Engine for Big Data Environment | Connectors
Pessoal, no post anterior da série foi possível descobrir em um passo a passo como realizar a configuração de um cluster de Starburst Presto em ambiente On-Premises. Neste post você aprenderá como realizar a mesma configuração em Azure Cloud dentro de uma infraestrutura de PaaS (Platform as a Services) do HDInsight. Platform as a Services …
Continue lendo Presto – Distributed Query Engine for Big Data Environment | Azure Cloud
Pessoal, no post anterior da série foi possível entender sobre os conceitos por detrás do Presto e também como funciona a arquitetura de um cluster da solução. Neste você entenderá o que é a Starburst e aprenderá a instalar a a ferramenta em ambiente On-Premises. O Presto foi criado, como já vimos no primeiro post …
Continue lendo Presto – Distributed Query Engine for Big Data Environment | On-Premises Installation
PessoALL, no post anterior da série conhecemos um pouco sobre o que é o Presto e, teoricamente, onde podemos usá-lo em um ambiente de Big Data. Neste post iremos adentrar em alguns conceitos que são necessários para que consigamos instalá-lo, usá-lo e configurá-lo. Aqui, Nesta etapa não falaremos somente de conceitos, entenderemos também sobre a …
Continue lendo Presto – Distributed Query Engine for Big Data Environment | Concepts
PessoALL, ontem tive o prazer de estar no 43˚ encontro do SQL Server DF Data Group. Dessa vez fizemos uma imersão no passo a passo para criar um cenário de Big Data do zero. Foram 3 horas de conversa onde passamos pelas principais configurações o observações para instalar e utilizar o Hortonworks HDP e Confluent Kafka e …
Continue lendo PASS Chapter DF – Arquitetura Lambda na prática – On-Premise e Azure Cloud | Parte 1
Pessoal, esse post irá iniciar uma série de posts sobre o Presto. A ideia é que demos início a um conjunto de séries com conteúdo exclusivamente voltado para Big Data. Iniciaremos com essa série sobre Presto e logo em seguida, começaremos uma outra sobre Apache Kafka. Pretendo abordar também o Apache Drill, e algumas outras tecnologias …
Continue lendo Presto – Distributed Query Engine for Big Data Environment | Concepts
Quanto mais tenho me dedicado a estudar e me especializar, mais tenho visto e percebido que, um dos principais problemas na grande maioria dos projetos, é o não uso dos conceitos corretos para situações e problemas específicos. Com o avanço e constante evolução das tecnologias, mais os profissionais são forçados a focar em ferramentas. Porém, …
Pessoal, tem algum tempo que não escrevo e gostaria de, com esse post, retomar a constância no post de novidades / eventos / novas dicas técnicas. Este post será para falarmos acerca dos próximos eventos que irão ocorrer na comunidade Brasil e um pouco a respeito dos que já ocorreram. SQL Saturday #676 – São Paulo …
Pessoal, recentemente finalizei a carreira de certificações (por enquanto) em SQL Server. Gostaria de através desse post compartilhar com vocês como está atualmente a carreira de certificações da Microsoft, com relação à plataforma de dados, e também dar algumas dicas de como vocês podem também alcançar um ou vários dos titulo de Microsoft Certified Professional. …
Continue lendo Microsoft Certified Solutions Associate & Expert – SQL Server 2016
Pessoal, recentemente finalizei a carreira de certificações (por enquanto) em SQL Server. Gostaria de através desse post compartilhar com vocês como está atualmente a carreira de certificações da Microsoft, com relação à plataforma de dados, e também d…
Pessoal, tenho estado em uma grande correria com as obrigações profissionais, porém, não poderia deixar passar a oportunidade de compartilhar o material relacionado às duas últimas palestras que fiz pela comunidade. Realizei no dia 31/03 realizei para o BI and Analytics Summit uma sessão com o tema Por Detrás dos Relatórios de BI onde expliquei …
Continue lendo BI and Analytics Week & SQL Saturday #580 – Joinville
Pessoal, na última quarta feira tive a honra de participar novamente de mais um evento do SQL Maniacs a convite do MVP em SQL Server Vitor Fava. Dessa vez estive falando sobre a mais nova feature do SQL Server 2016 denominada Temporal Tables. – Desde já agradeço ao Vitor pela sua disponibilidade e predisposição em …
Continue lendo SQL Maniacs – SQL Server 2016 Temporal Tables
No último sábado tive mais uma vez a honra de participar de mais um grande evento da comunidade PASS, o SQL Saturday em Brasília. Essa foi a última edição do evento no ano de 2016 no Brasil. Grandes nomes da comunidade Microsoft palestraram sobre os mais variados temas para mais de 250 pessoas (dentre alunos e …
No último dia 15/11 participei de mais um evento da comunidade PASS denominado 24 Hours Global PASS Portuguese falando sobre as novidades do SQL Server Reporting Services 2016 e suas integrações com o antigo Microsoft Datazen e o Power BI Desktop e Cloud. O evento foi composto por uma série de 24 palestras durante 5 …
Pessoal, ao realizar alguns testes com o SQL Server 2016 encontrei alguns erros na versão que foram corrigidos com alguns hotfix de correção e gostaria de compartilhar com vocês para ajudá-los, caso tenham o mesmo problema. Ao habilitar o Change Data Capture em uma tabela no SQL Server é possível que você selecione as colunas …
Continue lendo Critical Update & Cumulative Update 2 – Resolução de Problemas no SQL Server 2016
Na semana passada alguns alunos de um curso de Integration Services que ministrei me trouxeram um questionamento bem interessante sobre um problema com relação à criação de processos de ETL. Eles trabalham na Caixa Econômica Federal e lá possuem uma situação onde necessitam extrair de um diretório de rede – onde vários arquivos são armazenados …
Pessoal, nas duas semanas anteriores tive a oportunidade de passar por alguns eventos como comunidade Microsoft e gostaria de compartilhar com vocês minhas impressões, Slides e Arquivos de testes dos conteúdos ministrados. Primeiramente, agradeço de todo coração à coordenação da faculdade Projeção por me permitirem participar no dia 06/10 do início das comemorações do dia do …
Continue lendo Últimos Eventos e Participações – #SQLSat570 [São Paulo]
Na última terça feira (Dia 13/09) estive na Faculdade Projeção – Polo de Sobradinho-DF palestrando sobre carreira profissional de TI, certificações e desafios dessa área tão gratificante e ao mesmo tempo desafiadora na qual estou inserido. Alem de mim, palestrou uma outra companheira de trabalho, a Nayara. Ela atua atualmente, assim como eu, atua na área …
Continue lendo Palestra sobre Carreira de TI – Faculdade Projeção