Este trabalho investiga o impacto do uso de ferramentas baseadas em IA, utilizando um clone do ChatGPT com o modelo GPT-4o no aprendizado de estudantes da disciplina de Engenharia de Software II do curso de Bacharelado em Ciências da Computação da Universidade Federal do Piauí, nas atividades de Levantamento de Requisitos e Testes. Os dados de uso dos 16 participantes foram coletados e analisados por meio de testes estatísticos, processamento de linguagem natural e resposta de formulários. Os resultados indicam que, embora o tamanho dos prompts tenha impacto na satisfação dos alunos, o seu conteúdo, aliado a respostas mais longas, tiveram uma influência muito maior na probabilidade de uma interação ser avaliada positivamente. Além disso, os alunos com experiência profissional demonstraram uma tendência maior de incluir trechos de código nas suas interações. A percepção dos alunos foi mais positiva em relação à tarefa de Testes, devido à maior necessidade de inserir contexto e de ajuste das respostas geradas pela IA no Levantamento de Requisitos. Este estudo contribuiu para o desenvolvimento de metodologias de coleta e análise de dados relacionados ao uso de IAs Generativas no Ensino de Engenharia de Software.