Apenas complementando a dúvida do Ricardo sobre como eu consegui economizar tokens através da escolha dinâmica do contexto:
Ocasião 1 - Dividindo o arquivo de contexto
Como a requisição da IA generativa em "selecionar_documento.py" é teoricamente mais simples, eu escolhi o modelo de GPT 3.5 turbo que é mais econômico(cerca de 20x mais barato) . E para o app.py mantive o modelo mais performático do momento"gpt-4-0125-preview".
Nessa ocasião, para selecionar o arquivo abri cerca 1,798 token no modelo "gpt-3.5-turbo" em selecionar_documento.py equivalente a aproximadamente $0,000899
E para o app.py mantive a versão mais recente e mais cara do gpt no momento "gpt-4-0125-preview". Dessa maneira quando o contexto chega nessa requisição, os números de tokens foi reduzido para 882 dos 1798 que é o documento inteiro. Valor: $0,00882
Gasto total com essa aplicação = $ 0,009719 por requisição (desconsiderando a mensagem do aluno que pode variar).
Ocasião 2 - mantendo tudo em um arquivo no app.py
Nessa ocasião, os 1798 tokens seriam todos gastos na aplicação principal com o modelo de maior performance.
Gasto total da aplicação = $0,01798 por requisição (desconsiderando a mensagem do aluno que pode variar).
resultado:
Economia de 46% por requisição.
Em operações de grande escala essa economia ainda pode ser maior.
