[00:00] Então vamos partir do código do curso anterior onde desenvolvemos um modelo de machine learning e colocamos dentro de uma API flask. Então esse é o material do curso, ele vai estar disponível na atividade, mas também sugiro que você dê uma olhada lá no curso, nos vídeos e no código que criamos lá.
[00:18] Beleza, qual é o nosso primeiro trabalho? Imagina que você desenvolveu esse modelo, essa API e agora você precisa trabalhar com outras pessoas nesse projeto. Uma das coisas que precisamos melhorar nisso é a estrutura do nosso repositório para que outras pessoas consigam entender nossa estrutura, saber onde estão os notebooks do nosso projeto, onde está o arquivo do flask, onde estão as bases de dados, e assim por diante.
[00:45] Então precisamos melhorar um pouco a estrutura do nosso código, assim vamos garantir também quando formos tentar trabalhar com automação, vamos saber em que pasta está cada um dos arquivos. Então vai ficar bem mais legal, bem mais maduro o nosso projeto.
[01:00] Vamos precisar de uma estrutura, de um template para o nosso repositório. Estamos falando de um repositório que envolve tanto data Science quanto flask, então o que vamos fazer? Não vamos criar uma estrutura do zero, vamos nos basear em alguma estrutura já aceita pela comunidade, uma estrutura padrão.
[01:17] Para isso vamos utilizar o Cookiecutter. Primeiro o Cookicutter vai ser a ferramenta para ajudar a criar o template do repositório. O legal dele é que ele não só te ajuda a criar um template, mas você pode utilizá-lo também para usar templates criados por outras pessoas.
[01:36] Ele é um pacote do Python, e assim como qualquer outro pacote, instalamos com pip install. Uma coisa importante para anotar para esse curso, eu estou trabalhando numa máquina Windows, mas meu terminal é um terminal Linux, estou com o Ubuntu.
[01:53] No meu ponto de vista eu achei mais fácil para esse curso, vamos trabalhar com Docker, com variáveis de ambientes e acho um pouco mais fácil fazer essa parte no Linux do que no Windows. Mas se sinta à vontade para trabalhar no sistema operacional de sua preferência e adaptar um comando ou outro para funcionar.
[02:08] Então vamos lá. Estou naquela mesma pasta que vimos e vou agora então instalar o Cookiecutter. Assim como eu disse, qualquer outro pacote do Python você instala com pip install, então vou colocar pip install cookiecutter. Ele vai verificar. No meu caso eu já tenho instalado então ele não instalou nada porque as dependências já estão satisfeitas. Caso você não tenha, ele vai instalar.
[02:38] Estou com o Cookiecutter instalado, vou só digitar > cookiecutter para testar, ele vai ficar identificado. Ele deu erro porque eu preciso passar alguma coisa, mas ele está instalado.
[02:49] Bom, qual template vamos usar então? Como eu disse, é um projeto de data Science então se eu for numa página do Google e pesquisar “cookiecutter data science” , vou clicar, no meu caso, no primeiro link onde está escrito “Home - Cookiecutter Data Science - GitHub Pages” . Então esse é um template de repositório feito pela drivendata para projetos de data Science.
[03:08] Então já é um template famoso na comunidade, já é um template aceito e vai nos atender no que precisamos. Na página já temos toda a documentação do motivo de cada passo, a descrição da estrutura de diretório, então tem todas as pastas, o que você deve ou não colocar dentro de cada pasta e assim por diante. Também se você quiser contribuir para a estrutura de repositório, eles deixam abertos essas contribuições.
[03:36] Então vamos lá, como eu faço para gerar esse repositório? Eu vou pegar o comando cookiecutter https://github.com?drivendata/cookiecutter-data-science . Notem que o Cookiecutter vai ficar identificado no começo, eu passo esse comando do Cookiecutter, e na frente vai ser qual repositório eu vou querer copiar.
[03:53] Então vou passar o Cookiecutter. Vou copiar o comando e colar no nosso código. E escolher o repositório do git que eu vou querer pegar. Então o que é o repositório do git? Se eu der uma olhada nele, se eu copiar “https://github.com?drivendata/cookiecutter-data-science” e colar no meu navegador, vai aparecer o template que a drivendata criou.
[04:15] Então você pode criar seu template também, compartilhar pelo próprio GitHub, assim por diante. Está aqui um exemplo de como criar um template do Cookiecutter. Aqui já ́está o drivendata, passamos o Cookiecutter e o template que queremos pegar. Dou o “Enter”.
[04:34] Ele vai falar para mim que ele já baixou o repositório, perguntar se eu quero baixar de novo, vou dizer que sim “yes” e ele vai começar a fazer umas perguntas. Primeiro, qual o nome do repositório do projeto, vou chamar de “mlops-deploy”. Ele me pergunta o nome do repositório e ele já me dá uma dica de deixar no mesmo nome do projeto, então vou deixar e é só dar “Enter”. Me pergunta o nome do autor. Essas perguntas são customizações que foram feitas pela drivendata neste repositório.
[05:05] Quando você cria o repositório do Cookiecutter, quando você cria um template, você pode customizar essas configurações. Essa é uma das partes bem legais do Coockiecutter, você consegue customizar e criar seu repositório de acordo com as perguntas que você vai respondendo.
[05:21] Ele me pede uma descrição, vou chamar de “curso mlops deploy alura”. De novo, aqui são customizações feitas pela drivendata, ele me pergunta sobre licença, não temos licença. Embaixo ele fala sobre bucket da s3, e ele também já deixa algumas configurações prontas para isso. Não precisamos configurar então é só dar “Enter”. ´Profile aws´ também não, o interpretador do Python é o Python 1 que estamos usando.
[05:50] Então finalizei, só dar um LS agora e está lá o mlops-deploy, que é o nome que dei para o repositório. Ele criou. Se formos no nosso computador e entrarmos dentro da pasta onde está o mlops-deploy o repositório vai estar lá, seguindo aquele template, aquela estrutura que eles deixaram, que está lá na documentação.
[06:10] Vamos começar a trabalhar então esse novo repositório que criamos. Vou abrir o repositório no VScode, para ficar mais fácil de trabalharmos, de fazermos as alterações no código que forem necessárias. Conforme falei, estou trabalhando no WSL, então vou abrir meu VScode no WSL para ficar toda a parte de programação, de código, dentro do Linux mesmo.
[06:36] Já estou dentro do WLS Ubuntu 18.94. Criamos o repositório, mas ele está vazio, não copiamos nada para dentro dele, ele criou um repositório vazio para nós, mas já configurado. Se olharmos no “MLOPS-DEPLOY>README.md” eu tenho uma documentação já básica do meu repositório. Ele pegou o nome, a descrição que demos e criou um README já com tudo isso.
[07:03] Vamos pegar então o código que temos do curso anterior e colocar para dentro dessa estrutura nova. Começando pelos notebooks, então, esses arquivos com final “ipynb”. Vou selecionar todos, o “analise_sentimento.ipynb”, “House_Prices.ipynb” e “requests.ipynb” e dar "Ctrl + X” para irmos monitorando os que já copiamos ou não. Então vou em “código > mlops-deploy > notebooks” e vou colocar dentro desta pasta.
[07:28] Vamos voltar lá no código. O que mais temos? A base de dados. Já temos a base de dados, “casas.csv” e se olharmos na estrutura do mlops-deploy, desse nosso template dentro da pasta “data”, temos alguns tipos de pastas para a base de dados para armazenarmos. Tudo isso está explicado na documentação, o que é cada uma.
[07:52] Como essa nossa base de dados já é uma base de dados bem trabalhada, bem tratada vou colocar dentro da pasta “processed”. Porque é onde eu imagino que faz mais sentido e isso cabe interpretação.
[08:06] O que mais temos? Tenho um arquivo meu do flask, o main.py , que executa a nossa API. Como esse é um repositório para projetos de data Science, não temos nada específico para falar: “sua API tem que ficar em tal lugar” Então vamos fazer uma adaptação dentro da pasta “src” eu vou criar uma pasta chamada “app”..
[08:33] Normalmente, o nome que usamos para colocar esses arquivos do flask. Então vou criar a pasta “app” e dentro dela vou colocar o meu script. Então dentro de “Scr” normalmente estão os scripts, o arquivo flask normalmente está dentro da pasta “app”. Uma pequena customização que vamos fazer. De novo, cabe interpretação de como você acha que fica melhor para organizar o código.
[08:54] O que mais temos? Temos um arquivo “modelo.sav”, é o nosso arquivo do Pickle serializado. E dentro da pasta “mlops-deploy” temos uma pasta já para colocar esse tipo de arquivo, dentro da pasta “models”. Vou colocar o “modelo.sav” dentro de “models”.
[09:12] Bom, essas duas pastas “novoenv” e “venv” são ambientes virtuais. Não precisamos copiar e colar um ambiente virtual de um lugar para o outro, o ambiente virtual é feito exatamente para criarmos conforme demanda esses ambientes virtuais. Então vamos deixar eles aqui, se precisarmos vamos criar um ambiente virtual.
[09:30] Dentro do nosso código já temos o gitignore bem mais complexo do que temos lá no outro, então ele vai ajudar bastante. É só mandar para o git o que gostaríamos. Então não vamos copiar ele.
[09:44] E o “requirements.txt” precisamos copiá-lo para dentro do código. Então vou selecionar ele, dar um “Ctrl + X” e vou colar dentro da pasta “mlops-deploy” com “Ctrl + V” . Ele já tem um “requirements.txt” do template desse repositório da drivendata e vamos substituir pelo nosso porque é o que precisamos das nossas bibliotecas para rodar nossa aplicação flask.
[10:07] Pronto, já copiamos tudo e agora podemos começar a configurar a nossa aplicação.