Generative Pre-trained Transformer

Um transformador pré-treinado gerativo (GPT) é um tipo de modelo de linguagem grande (LLM) que é amplamente utilizado em chatbots de inteligência artificial gerativa. Os GPTs são baseados em uma arquitetura de aprendizagem profunda chamada transformador. Eles são pré-treinados em grandes conjuntos de dados de conteúdo não marcado, e capazes de gerar conteúdo novo. O OpenAI foi o primeiro a aplicar pré-treinamento gerativo à arquitetura do transformador, introduzindo o modelo GPT-1 em 2018. O chatbot ChatGPT, lançado no final de 2022 (usando GPT-3.5), foi seguido por muitos chatbots concorrentes usando seus próprios transformadores generativos pré-treinados para gerar texto, como Gemini, DeepSeek e Claude. GPTs são usados principalmente para gerar texto, mas podem ser treinados para gerar outros tipos de dados. GPTs multimodais podem processar ou gerar vários tipos de dados, como texto, imagens e áudio. Para melhorar o desempenho em tarefas complexas, o raciocínio GPTs aloca mais tempo de computação analisando o problema antes de gerar uma saída.