66b là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỷ tham số, được thiết kế để hiểu và tạo văn bản tự nhiên trong nhiều ngữ cảnh. Mô hình có thể trả lời câu hỏi, tóm tắt văn bản, và tham gia vào các tác vụ NLP khác.
Kiến trúc dựa trên một biến thể của transformer với nhiều lớp tự chú ý và các khối feed-forward. Việc điều chỉnh kích thước và thông số cho phép cân bằng giữa hiệu suất và chi phí tính toán, phù hợp cho nhiều ứng dụng khác nhau.
66b được huấn luyện trên tập dữ liệu đa nguồn, bao gồm văn bản từ web, sách và corpora chuyên ngành. Việc đa dạng hóa dữ liệu giúp cải thiện khả năng hiểu ngữ cảnh và khả năng sinh ngôn ngữ bằng tiếng Việt chuẩn và tự nhiên.
Với 66 tỷ tham số, 66b thể hiện khả năng trả lời câu hỏi, sinh văn bản, dịch tự động và tóm tắt tài liệu ở mức chất lượng ấn tượng. Các ứng dụng tiềm năng gồm trợ lý ảo, hệ thống hỗ trợ khách hàng và công cụ sáng tác nội dung.
Việc vận hành mô hình lớn đi kèm với rủi ro về sai lệch dữ liệu, thông tin gây hiểu lầm và khả năng sinh nội dung không phù hợp. Các biện pháp kiểm soát, giám sát và lọc đầu ra là cần thiết để bảo đảm an toàn và công bằng.