66B là một mô hình ngôn ngữ lớn (LLM) có sức chứa 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh.
Kiến trúc dựa trên mạng lưới transformer, dùng cơ chế attention để hiểu ngữ cảnh. 66B được huấn luyện trên một tập dữ liệu đa ngôn ngữ và đa lĩnh vực, kết hợp dữ liệu từ văn bản, mã nguồn và nội dung web để tăng tính đa dụng.
66B có thể trả lời câu hỏi, tóm tắt văn bản, viết văn bản sáng tạo, hỗ trợ viết mã và trợ giúp trong nghiên cứu. Tuy nhiên, nó có giới hạn về độ chính xác, có thể sinh thông tin sai, có thiên vị học dữ liệu và yêu cầu tài nguyên tính toán lớn. Người dùng nên kiểm tra đầu ra và triển khai có an toàn.
Trong doanh nghiệp và giáo dục, 66B có thể được tích hợp vào chat bot phục vụ khách hàng, hệ thống hỗ trợ quyết định và công cụ viết nội dung. Nó cũng có thể hỗ trợ dịch thuật, tóm tắt văn bản dài và sinh mã mẫu cho các dự án phát triển phần mềm.