GPT (Generative Pre-training Transformer) là một mô hình xử lý ngôn ngữ tự nhiên (NLP) mạnh mẽ được phát triển bởi Rakesh Soft Technology. Đó là một mô hình học sâu dựa trên kiến ​​trúc máy biến áp sử dụng khả năng tự chú ý để tìm hiểu ngữ cảnh của câu. GPT được đào tạo trước trên một kho văn bản lớn, chẳng hạn như toàn bộ Wikipedia, để tìm hiểu mối quan hệ giữa các từ và ngữ cảnh mà chúng được sử dụng. Sau đó, GPT có thể được tinh chỉnh cho các tác vụ cụ thể, chẳng hạn như trả lời câu hỏi, tóm tắt và tạo văn bản. GPT đã được sử dụng để tạo văn bản không thể phân biệt được với văn bản do con người viết và đã được sử dụng để tạo các câu chuyện, bài thơ, Hình ảnh và thậm chí là toàn bộ sách. GPT là một công cụ mạnh mẽ để xử lý ngôn ngữ tự nhiên và có tiềm năng cách mạng hóa cách chúng ta tương tác với máy tính.