Acesso ao Big Query: manipulação programático linguagens

Instalação e confguração do ambiente - Apresentação

Oi, gente, tudo bem? Para quem não me conhece, meu nome é Victorino Vila e eu vou ser o instrutor desse curso Big Query Acesso Externo. O que significa acesso externo?

O acesso externo significa acessar recursos do Big Query através de instrumentos que estão fora da nuvem Google.

Vou dar ênfase, nesse acesso, à linguagem de programação, ou seja, eu posso embutir dentro do programa que estou desenvolvendo, seja qual for a linguagem, comandos para poder manipular o Big Query.

Estou desenvolvendo, por exemplo, uma aplicação de vendas, uma aplicação de custos dentro de uma empresa onde os dados estão dentro do Big Query. Então, nessa aplicação eu posso construir uma interface amigável em que eu possa conseguir incluir dados dentro da tabela, consultar dados da tabela do Big Query e assim por diante.

Então o tema desse curso é acesso ao Big Query através de programação. E, claro, não vamos entrar a fundo nesse assunto, nem escolher uma linguagem de programação específica, mas sim, vamos escolher quatro linguagens.

Vamos fazer todos os nossos exemplos desse curso utilizando o C#, o Python, o Node.js e o Java. Nós elegemos essas quatro linguagens como exemplo porque elas são as mais populares hoje em dia, mas poderíamos estar fazendo todos esses exemplos usando uma série de outras linguagens de programação além dessas quatro.

O nosso curso vai começar, inicialmente, construindo nosso ambiente de trabalho. Eu estou supondo que você esteja no computador em que você não tenha a interface para desenvolvimento dessas quatro linguagens.

Então, vamos baixar o Visual Studio Community, que eu elegi como sendo a interface para nós desenvolvermos os programas em C#, em Python e em Node.js.

E vou baixar o Eclipse e instalá-lo para podermos fazer os programas em Java. Depois, vamos configurar esses IDEs e vamos construir o famoso programa “Hello World” nessas quatro linguagens só para vermos se estará tudo legal e instalado.

Depois de cumprirmos esses passos, precisamos entender como fazer a segurança entre a minha máquina local, onde estão rodando todos esses programas dessas quatro linguagens e o ambiente de nuvem da Google.

Vamos configurar essa segurança e ativar essa segurança dos nossos programas, também instalando bibliotecas externas que permitem que possamos chamas funções da API do Big Query dentro do nosso programa.

Vamos perder 1/3 do nosso treinamento, talvez um pouco menos, setando esse ambiente. Com o ambiente pronto, vamos fazer quatro exemplos utilizando as quatro linguagens que eu já mencionei.

Vamos primeiro fazer uma consulta no nosso ambiente do Big Query, ou seja, vamos saber como, pela linguagem de programação, conseguimos fazer um comando de SQL, basicamente um select, para fazermos uma consulta de dado e trazermos esse dado para o nosso programa.

Vamos ver que o que desenvolvermos para o select vale para qualquer comando SQL dentro do Big Query. Depois vamos aprender a criar uma tabela.

Vamos usar essas quatro linguagens de programação para criarmos tabelas dentro do nosso conjunto de dados do nosso Big Query. O próximo exemplo vai ser incluir dados dentro dessa tabela, mas não por SQL, porque, inclusive o exemplo 1, quando for mostrar para vocês o select eu poderei estar rodando inserts.

Nós vamos nesse exemplo, fazer o upload de um arquivo CSV dentro de tabelas do nosso conjunto de dados utilizando as linguagens C#, Python, Node.js e Java.

Para terminarmos, vamos ver como que através dessas quatro linguagens nós apagamos tabelas. Eu coloquei quatro exemplos apenas porque, imagine que para cada exemplo desses eu tenha que fazer quatro vídeos. Então, só nos exemplos, eu teria dezesseis vídeos desse curso. Se colocássemos outros exemplos, teríamos um curso muito longo.

Esses quatro exemplos vão dar para vocês uma noção de como é que, através de linguagem de programação, nós conseguimos interagir com o Big Query.

Claro, depois você vai escolher a linguagem de programação que você mais domina, aquela que você vai trabalhar e você pode se aprofundar e entender melhor tudo que você pode fazer no Big Query através de linguagem de programação – ou, como estou chamando no curso, através de um acesso externo.

Espero que vocês gostem muito desse curso e que eu consiga contribuir com o conhecimento de vocês. Vamos seguir em frente, um abraço e até o próximo vídeo!

Instalação e confguração do ambiente - Acesso externo

Nessas carreiras de Data Studio e de Big Query, nós vimos que conseguimos acessar os dados que estão dentro do banco de dados Big Query, no caso do Data Studio, através da API Big Query, quando faço uma conexão e consigo trazer para o meu dashboard os dados do Big Query.

Ou então através do IDE, aquela interface em que eu coloco os comandos de SQL do próprio Big Query para acessar o banco. Através daquela interface eu consigo criar tabelas, consigo carregar dados de um CSV externo para dentro do banco de dados e assim por diante.

Então foi o que vimos até agora em vários cursos dentro dessa carreira, mas os instrumentos nos quais vou visualizar os dados do Big Query não necessariamente precisam estar todos dentro da nuvem Google.

Eu posso ter alguma coisa externa ao ambiente da nuvem Google na qual eu queira visualizar dados que estão dentro da base de dados do Big Query.

Estou chamando isso de acessos externos. Os acessos externos podem ser através de uma ferramenta de ETL externa. Através, por exemplo, de uma outra ferramenta de dashboard – como o PowerBI da Microsoft, que consegue ler dados do Big Query.

Mas, nesse treinamento eu vou ser um pouco mais específico, eu vou estar falando de como consigo acessar dados do Big Query através de um programa que estou desenvolvendo em uma linguagem de programação fora da nuvem Google. Então, estou dizendo isso daqui.

Estou utilizando qualquer uma dessas linguagens. Dei aqui alguns exemplos de linguagem com as quais eu quero fazer uma aplicação, aplicação web, aplicação para telefone celular, aplicação para desktop e para tablet, não importa, eu vou estar manipulando, nessa minha aplicação, dados do Big Query, seja para consultar ou até mesmo para atualizar as tabelas do Big Query.

Como faço isso? Dentro do meu programa que vou estar construindo eu vou estar fazendo algum tipo de acesso ao banco Big Query. Isso é feito através desse trajeto.

Vamos ver posteriormente que temos uma camada de segurança da nuvem Google e as minhas ferramentas externas vão estar acessando essa camada de segurança conversando com a API Big Query para chegar no banco de dados para eu obter o dado.

Então o tema do curso vai ser esse. Vamos ver alguns exemplos de conectividade através de algumas dessas linguagens de programação que estão sendo exibidas aqui.

Tentamos cobrir um espectro de várias linguagens de programação e nosso objetivo vai utilizar as linguagens de programação mais utilizadas, mas o princípio de acesso vai ser muito parecido.

Então, caso nesse treinamento nós consigamos te mostrar o acesso do Big Query em uma linguagem de programação que você está acostumado a trabalhar, tente fazer uma analogia com o que vamos mostrar nesse treinamento para você poder realizar esse acesso também através da ferramenta de desenvolvimento que você melhor está adaptado.

Um abraço e até o próximo vídeo!

Instalação e confguração do ambiente - Instalação Visual Studio Community

Vamos começar fazendo a instalação do Visual Studio Community. Vou estar utilizando o Visual Studio Community para mostrar a vocês como eu consigo acessar uma base do Big Query através do C#.

Antes de começar, você pode me perguntar “Victorino, posso utilizar também o Visual Studio Code?”, a minha resposta é sim. Tudo que fizermos aqui no Community, vamos fazer programas em C#, você pode estar fazendo também através do Visual Studio Code.

Talvez as configurações dos acessos externos do Visual Studio Code sejam um pouco diferentes das do Community. Vou estar usando Community porque estou mais familiarizado em usá-lo e é onde eu preparei todas as minhas aulas.

Estou com uma máquina limpa que não tem nada instalado, e vou mostrar para vocês a instalação do Visual Studio Community. Eu gosto de colocar esses passos nos meus treinamentos porque eu sempre suponho que o aluno que está assistindo esses treinamentos, não tem nada instalado na máquina.

A primeira coisa é mostrar ao aluno como se instala todos os pré-requisitos necessários para estarmos fazendo esse treinamento. Se você já tem o Visual Studio Community ou outra versão qualquer do Visual Studio, você não precisa estar assistindo esse vídeo.

Desde que você tenha habilitado no seu Visual Studio o C#, isso é importante. Se você usar o Visual Studio Code, já está familiarizado com ele e já tem o C# pronto, ok, você também não precisa assistir esse vídeo.

Minha máquina está limpa, a primeira coisa que vou fazer é ir ao browser e procurar por “Visual Studio Community”. Vou instalar a versão 2019. Inclusive, um pouco antes de fazer a gravação desse curso, eu já vi que foi lançado o Visual Studio 2022, mas como ele está muito inicial e eu ainda nem testei essa nova interface, vamos trabalhar com o 2019.

Vou clicar em “Baixar o Visual Studio” e vou escolher o “Community 2019”. Ele vai instalar no meu canto inferior esquerdo um instalador, vou clicar aqui, vou dar “Sim”, ele vai perguntar algumas definições e políticas de segurança, vou clicar em “Continuar” e ele vai abrir uma ferramenta chamada “Visual Studio Installer”, em que ele me mostra essa interface.

Vamos escolher o que vamos estar instalando no Visual Studio. No caso, vou escolher essa opção aqui, “Desenvolvimento para desktop com .NET”. Vou clicar, no canto inferior direito, no botão “Instalar”. Ele vai começar a minha instalação.

Depois de alguns minutos, eu tenho essa tela, e tenho do outro lado já aberta essa área de entrada do Visual Studio versão Community 2019. Já tenho a interface instalada. Por enquanto, vou parar por aqui e continuamos no próximo vídeo.

Sobre o curso Acesso ao Big Query: manipulação programático linguagens

O curso Acesso ao Big Query: manipulação programático linguagens possui 258 minutos de vídeos, em um total de 68 atividades. Gostou? Conheça nossos outros cursos de NoSQL em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Instalação e confguração do ambiente
• Adicionando bibliotecas externas de acesso
• Fazendo uma consulta SQL
• Criando tabela
• Carregando dados de um CSV
• Apagando a tabela