Tinh chỉnh mô hình Gemma

Việc tinh chỉnh mô hình trí tuệ nhân tạo (AI) tạo sinh như Gemma sẽ sửa đổi hành vi của mô hình. Thông thường, bạn sẽ tinh chỉnh Gemma với mục đích cải thiện hiệu suất của Gemma trên một tác vụ hoặc miền cụ thể, hoặc để thực hiện tốt hơn một vai trò, chẳng hạn như dịch vụ khách hàng. Các mô hình Gemma được phát hành với trọng số mở, nghĩa là bạn có thể sửa đổi các trọng số đó, sau đó thay đổi hành vi của mô hình. Sau đây là các bước chung để tinh chỉnh mô hình Gemma:

Chọn một khung

Các mô hình Gemma tương thích với nhiều khung điều chỉnh AI. Mỗi khung cung cấp nhiều ưu điểm và thường bị ràng buộc với một định dạng mô hình cụ thể. Dưới đây là hướng dẫn điều chỉnh mô hình Gemma bằng nhiều khung:

Đảm bảo rằng định dạng mô hình triển khai dự kiến (chẳng hạn như định dạng Keras, Safetensors hoặc GGUF) được khung bạn chọn hỗ trợ dưới dạng đầu ra.

Thu thập dữ liệu

Bạn cần có dữ liệu để điều chỉnh mô hình. Dữ liệu điều chỉnh thường bao gồm các cặp dữ liệu đầu vào với phản hồi dự kiến. Có nhiều tập dữ liệu công khai có sẵn trên mạng để huấn luyện cho nhiều nhiệm vụ hoặc đầu ra. Ví dụ: nếu bạn muốn huấn luyện mô hình Gemma để dịch nội dung mô tả bộ phận ô tô thành số bộ phận, thì tập dữ liệu của bạn có thể bao gồm những thông tin sau:

training_data = [
  {"input_text": "Part number for A4 brake caliper", "output_text": "4M0615107BS"},
  {"input_text": "Part number for Beetle fuel pump", "output_text": "6A127026H"},
  {"input_text": "Part number for Camaro cylinder head", "output_text": "12711770"},
]

Nếu muốn mô hình Gemma thực hiện một nhóm tác vụ hoặc vai trò cụ thể, bạn thường cần biên dịch một tập dữ liệu minh hoạ nhiều biến thể của tác vụ đó. Lượng dữ liệu bạn cần để điều chỉnh mô hình phụ thuộc vào mục tiêu của bạn, đặc biệt là mức độ thay đổi hành vi mà bạn muốn từ mô hình và mức độ hiệu quả mà bạn muốn mô hình hoạt động dựa trên nhiệm vụ cần hoàn thành và mức độ biến thiên trong dữ liệu đầu vào.

Nhìn chung, bạn nên bắt đầu với một tập dữ liệu nhỏ để điều chỉnh tác vụ, điều chỉnh các thông số huấn luyện và thêm dữ liệu cho đến khi đạt được hiệu suất tác vụ đáp ứng nhu cầu của bạn. Một số ứng dụng mẫu của chúng tôi cho thấy rằng bạn có thể ảnh hưởng đến hành vi của mô hình Gemma chỉ với 20 cặp câu lệnh và phản hồi. Để biết thêm thông tin chi tiết, hãy xem bài viết Tạo trợ lý AI cho email doanh nghiệp bằng Gemma và Thực hiện các tác vụ bằng ngôn ngữ nói với Gemma.

Điều chỉnh và kiểm thử mô hình

Sau khi có khung điều chỉnh và dữ liệu điều chỉnh, bạn có thể bắt đầu quy trình điều chỉnh mô hình Gemma. Khi điều chỉnh, bạn có một số lựa chọn về cách điều chỉnh sẽ ảnh hưởng đến các tài nguyên cần thiết để hoàn tất quá trình điều chỉnh. Bạn cũng nên có kế hoạch kiểm thử cho mô hình đã điều chỉnh để đánh giá xem mô hình đó có hoạt động theo cách bạn muốn sau khi điều chỉnh hay không.

Điều chỉnh thông số hiệu quả

Khi tinh chỉnh một mô hình trọng số mở như Gemma, bạn có thể điều chỉnh tất cả các tham số của mô hình hoặc sử dụng một kỹ thuật điều chỉnh tham số hiệu quả ít tốn tài nguyên hơn để cập nhật một tập hợp con của các tham số đó. Phương pháp điều chỉnh đầy đủ nghĩa là khi áp dụng dữ liệu điều chỉnh, bạn sẽ tính toán trọng số mới cho tất cả các tham số của mô hình. Phương pháp này đòi hỏi nhiều bộ nhớ và tính toán, vì bạn đang thực hiện các phép tính này cho hàng tỷ tham số. Việc sử dụng các phương pháp điều chỉnh ít tốn tài nguyên hơn, được gọi là điều chỉnh tham số hiệu quả (PEFT), bao gồm các kỹ thuật như điều chỉnh Bộ chuyển đổi thứ hạng thấp (LoRA) có thể mang lại kết quả tương tự với ít tài nguyên điện toán hơn. Để biết thông tin chi tiết về cách điều chỉnh bằng ít tài nguyên hơn bằng LoRA, hãy xem phần Điều chỉnh mô hình Gemma trong Keras bằng LoRA và Điều chỉnh mô hình Gemma trong Hugging Face.

Kiểm thử mô hình đã điều chỉnh

Sau khi điều chỉnh một mô hình cho một tác vụ cụ thể, bạn nên kiểm thử hiệu suất của mô hình đó dựa trên tập hợp tác vụ mà bạn muốn mô hình thực hiện. Bạn nên kiểm thử mô hình bằng các tác vụ hoặc yêu cầu mà mô hình chưa được huấn luyện cụ thể. Cách bạn kiểm thử mô hình đã điều chỉnh phụ thuộc vào tác vụ bạn muốn mô hình thực hiện và mức độ chặt chẽ bạn quản lý dữ liệu đầu vào và đầu ra cho mô hình. Một cách phổ biến để quản lý việc kiểm thử mô hình tạo sinh là sử dụng các trường hợp thành công, không thành công và trường hợp ranh giới:

  • Kiểm thử thành công: Yêu cầu mô hình đã điều chỉnh phải luôn có thể thực hiện thành công.
  • Kiểm thử lỗi: Yêu cầu mô hình đã điều chỉnh luôn không thể thực hiện hoặc từ chối thực hiện một cách rõ ràng nếu được yêu cầu.
  • Kiểm thử ranh giới: Yêu cầu mô hình đã điều chỉnh có thể thực hiện nếu chúng nằm trong một ranh giới hoặc tập hợp ranh giới đã xác định của hành vi đầu ra được chấp nhận.

Khi kiểm thử lỗi hoặc điều kiện biên cho ứng dụng AI tạo sinh, bạn cũng nên áp dụng các phương pháp, kỹ thuật và công cụ an toàn cho AI tạo sinh như mô tả trong Bộ công cụ AI tạo sinh có trách nhiệm.

Triển khai mô hình

Sau khi hoàn tất việc điều chỉnh và thử nghiệm thành công, đã đến lúc triển khai mô hình. Thông thường, bạn có thể tham khảo tài liệu về khung đã chọn để biết cách triển khai mô hình đã điều chỉnh.

Nếu bạn đang triển khai một mô hình có trọng số được điều chỉnh bằng LoRA, hãy lưu ý rằng với kỹ thuật này, bạn thường triển khai cả mô hình ban đầu và trọng số của mô hình đó với trọng số LoRA làm lớp tính toán bổ sung cho mô hình.