66B là một mô hình ngôn ngữ quy mô lớn do cộng đồng phát triển, có khoảng 66 tỷ tham số. Mô hình này được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và tham gia vào nhiều tác vụ AI khác với sự cân bằng giữa hiệu năng và chi phí.
66B sử dụng kiến trúc transformer với nhiều lớp self-attention và feed-forward. Việc huấn luyện trên dữ liệu đa dạng giúp nó nắm bắt ngữ cảnh rộng, cải thiện khả năng suy luận và sinh ngôn ngữ có ý nghĩa.
So với các mô hình lớn hơn như 175B, 66B có lợi thế về tốc độ suy diễn và tổng chi phí triển khai thấp hơn. Điều này làm cho nó phù hợp cho các tổ chức vừa và lớn muốn truy cập AI ở quy mô vừa.
66B đại diện cho một bước tiến giữa quy mô và khả năng thực thi, cho phép nhiều tổ chức khai thác AI ngôn ngữ ở mức trung bình đến cao mà vẫn kiểm soát chi phí và hiệu suất.