O seminário foi incrível! O prof Rodrigo Nogueira, um dos responsáveis pela geração de modelos como BERTimbau e Sabiá-65B, compartilhou conosco sobre sua experiência e trajetória na geração dos modelos de linguagem.
————————————
Participe do próximo seminário do BPLN que será na sexta-feira 23/06 às 10:00. Nesse seminário, o Prof. Rodrigo Nogueira, um dos responsáveis pela geração de modelos como BERTimbau e Sabiá-65B, falará sobre sua experiência e trajetória na geração dos modelos de linguagem. Imperdível!
Seguem os dados para ampla divulgação:
O seminário virtual do dia 23/06/2023 às 10:00 será “Adaptando Modelos de Linguagem para o Português: Passado, Presente e Futuro” ministrado pelo Prof. Dr. Rodrigo Nogueira (UNICAMP).
Resumo: Com o avanço e sucesso contínuos de modelos de linguagem cada vez maiores e mais poderosos fica a impressão de que o futuro se direcionará para o de um grande modelo monolítico, dotado de um vasto conhecimento e capaz de resolver uma grande quantidade de tarefas de diversos domínios. Especialmente no cenário multilíngue, essa abordagem é atraente, pois promete um único sistema que entende centenas de idiomas e culturas. No entanto, nesta apresentação, argumentarei que essa abordagem não é a mais eficiente em termos de custo computacional, e que modelos treinados em línguas e domínios específicos, derivados de modelos generalistas “fundacionais”, trazem grandes ganhos com custo comparativamente baixo. Discutirei, particularmente, as técnicas e lições aprendidas na construção de modelos de linguagem adaptados para o Português, como o BERTimbau, PTT5 e, mais recentemente, o Sabiá-65B, cujo desempenho é comparável ao ChatGPT-3.5 em tarefas em Português. Por fim, discutirei possíveis soluções para problemas atuais desses modelos, como mitigar o problema das alucinações, e desafios em se construir modelos que aprendem continuamente.
O seminário também será aberto a não integrantes do BPLN. Neste caso, as inscrições devem ser feitas por meio desse formulário: https://forms.gle/2XeYpX6rvLSE1g2J9