Discutindo a importância da engenharia de software em projetos de dados
Olá, pessoal! Dando continuidade ao nosso curso, vamos discutir a importância de aplicar a engenharia de software em projetos de dados. Para começar, vamos trazer algumas definições. O que é a engenharia de software? A engenharia de software é um conjunto de princípios que orientam ações para auxiliar no planejamento, aplicação de metodologias e uso de ferramentas, sempre com foco na qualidade do desenvolvimento do software.
Talvez nos perguntemos: qual é a relação entre o desenvolvimento de software tradicional e sistemas de machine learning (aprendizado de máquina)? Para responder a essa dúvida, apresentamos três casos reais que demonstram como a engenharia de software e seus princípios podem auxiliar sistemas de machine learning a evitar falhas e alcançar sucesso em produção.
Analisando o caso Google FluTrends
O primeiro caso é o Google FluTrends. Por volta do final de 2018 e início de 2019, a Google desenvolveu um sistema de machine learning focado em prever surtos de gripe com base nas buscas realizadas em diferentes regiões. Como bons cientistas, sabemos que de todo dado gerado podemos extrair algum valor ou entendimento. O objetivo do Google era identificar padrões de comportamento de pessoas com gripe ao redor do mundo e prever onde os surtos ocorreriam, permitindo que o sistema de saúde atuasse com antecedência para evitar a propagação de uma epidemia de gripe, especialmente nas épocas do ano em que isso ocorre com maior frequência.
No entanto, em meados de 2013, o sistema previu casos de gripe muito acima do que o sistema de saúde dos Estados Unidos, o CDC (Centro de Controle e Prevenção de Doenças), estava prevendo. O modelo previu uma quantidade muito maior de casos do que realmente estava acontecendo. É importante lembrar que esse modelo funcionava em tempo real, adaptando-se e aprendendo padrões à medida que as buscas eram realizadas.
Identificando falhas no Google FluTrends
O sistema Google FluTrends estava sendo considerado um sucesso, mas acabou aprendendo dois tipos de comportamento: o comportamento do paciente, que realmente estava doente, e o comportamento da pessoa curiosa, que buscava mais informações sobre o assunto. Isso acabou enviesando o modelo. Além disso, durante o período dessa falha, houve um conflito de informações entre o que o Google FluTrends mostrava e o que o sistema de saúde registrava. Os desenvolvedores identificaram também um problema de entendimento da doença e de como adaptar essas características e comportamentos de gripe ao meio dinâmico das buscas. O sistema de busca está em constante mudança; o que é uma tendência hoje pode não ser amanhã. Compreender a complexidade desse problema foi uma grande falha.
Outro ponto importante foi a questão da validação. Havia um entendimento até certo ponto, mas faltou uma compreensão mais aprofundada da sazonalidade e das características da gripe. Faltou uma validação mais detalhada. Além disso, houve um problema de entendimento do negócio. Os desenvolvedores da época reconheceram que faltou uma compreensão melhor da sazonalidade específica da gripe e de como se adaptar a esse meio dinâmico, considerando que o comportamento humano é imprevisível. Podemos buscar informações sobre o Google FluTrends e, ao mesmo tempo, procurar um curso na Alura. O comportamento é muito dinâmico.
Explorando a relação entre requisitos e validação
Aqui, temos uma associação clara com requisitos, um ponto importante dentro da engenharia de software, que exploraremos mais adiante no curso. A questão da validação envolve testes, verificação e a validação de que os dados estão funcionando corretamente e prontos para serem colocados em produção.
Junto com a complexidade dos problemas, temos o entendimento do negócio. Por que estamos fazendo isso? Isso faz sentido para o nosso usuário final? Esses tipos de questionamento estão muito relacionados à questão da engenharia de software.
Examinando o caso Amazon Hiring Tool
O próximo caso que trazemos é o Amazon Hiring Tool. Um grupo de engenheiros da Amazon estava trabalhando neste projeto, que tinha como ideia um sistema de recrutamento para a seleção dos melhores currículos. No entanto, em 10 anos de currículos, a grande maioria era de homens. O que aconteceu? O modelo começou a apresentar um problema e penalizar todos os currículos associados a mulheres ou que tinham alguma palavra feminina presente, que poderia ter esse direcionamento ao gênero feminino. O modelo não chegou a ir para a produção; o projeto começou em torno de 2014 e foi abandonado em 2018.
Vemos vários problemas. O primeiro deles é o viés dos dados. Precisamos entender não só o problema, mas o cenário em que estamos presentes. Não houve equilíbrio, não houve um estudo adequado. Como eles tentaram contornar? Chegaram a criar uma pontuação mais neutra para o sistema, porém, a quantidade de dados ainda era muito desproporcional. O modelo não tinha padrões suficientes para diferenciar os currículos femininos e masculinos, embora isso nem devesse ser considerado. Também vemos uma questão de entendimento do negócio.
Abordando a interpretabilidade e explicabilidade no Amazon Hiring Tool
Outro ponto importante, que os próprios engenheiros trouxeram, é a interpretabilidade e a explicabilidade desses modelos. Eles não estavam conseguindo entender por que o modelo de IA desenvolvido estava indo na direção de penalizar o gênero feminino, não apenas pela quantidade, pois desenvolveram uma pontuação neutra, mas ainda não estava sendo justo o suficiente. Faltou entendimento, interpretabilidade, código limpo e organização da informação, que também são problemas que devemos ter muita atenção.
Investigando o caso McDonald's e IA no drive-thru
O terceiro e último caso que apresentamos é o do McDonald's e IA no drive-thru. Em torno de 100 drive-thrus nos Estados Unidos foram desativados em 2024, porque o sistema de IA que eles estavam tentando automatizar nesses drive-thrus estava com dificuldade de compreensão e reconhecimento de voz. Esse caso ganhou grandes proporções, aparecendo até no TikTok, porque os clientes estavam tentando fazer pedidos e coisas absurdas aconteciam. Por exemplo, um casal que foi comprar nuggets acabou pedindo 260 nuggets. Outra pessoa queria um sorvete com calda de caramelo, mas o sistema colocou bacon com sorvete.
Foi identificada a falta de entendimento dos sotaques, a falta de reconhecimento dos diferentes tons de voz e a questão do ruído. Havia muito barulho no drive-thru, como de carros e da rua, e o sistema não conseguia diferenciar esse ruído. Vemos que é um problema de qualidade dos dados no treinamento. Faltou um entendimento maior dessas peculiaridades que, quando trabalhamos com a voz, exigem muita atenção.
Destacando a importância da validação e robustez no McDonald's
Outra questão é a validação. Como os drive-thrus já estavam funcionando, consideramos que estavam em produção. O usuário final estava tendo contato, mesmo que em testes. Faltou uma validação mais aprofundada desses pontos, das questões dos dados e do projeto, considerando essas minúcias em relação ao reconhecimento de voz. Por fim, houve falta de robustez. Não houve testes adicionais, planejamento ou um plano B. Estando em produção, como lidar com isso?
Concluindo com a aplicação dos princípios de engenharia de software
Todos esses problemas que apresentamos, com casos reais de sistemas de Machine Learning e IA, poderiam ser resolvidos e evitar falhas com uma boa aplicação dos princípios de engenharia de software. Veremos isso nas próximas aulas.