Contoh Toko memungkinkan Anda menyimpan dan mengambil secara dinamis contoh few-shot. Contoh few-shot memungkinkan Anda menunjukkan pola respons yang diharapkan ke LLM untuk meningkatkan kualitas, akurasi, dan konsistensi responsnya terhadap kueri serupa.
Apa yang dimaksud dengan contoh few-shot?
Contoh beberapa gambar adalah data berlabel khusus untuk kasus penggunaan LLM Anda. Contoh ini mencakup pasangan input-output yang menunjukkan respons model yang diharapkan untuk permintaan model. Anda dapat menggunakan contoh untuk menunjukkan perilaku atau pola respons yang diharapkan dari LLM.
Dengan hanya menggunakan beberapa contoh yang relevan, Anda dapat mencakup kumpulan kemungkinan hasil, perilaku yang diinginkan, dan input pengguna yang lebih besar tanpa meningkatkan ukuran atau kompleksitas perintah. Hal ini dilakukan dengan hanya menyertakan contoh yang relevan (mengurangi jumlah contoh yang disertakan) dan dengan "menunjukkan, bukan memberi tahu" perilaku yang diharapkan.
Menggunakan contoh beberapa tahap adalah bentuk pembelajaran dalam konteks. Contoh menunjukkan pola input dan output yang jelas, tanpa menjelaskan cara model menghasilkan konten. Anda dapat mencakup lebih banyak kemungkinan hasil atau kueri pengguna hanya dengan menggunakan contoh yang relatif sedikit, tanpa meningkatkan ukuran perintah atau kompleksitas kode. Penggunaan contoh tidak memerlukan pembaruan parameter model terlatih, dan tanpa memengaruhi cakupan pengetahuan LLM. Hal ini menjadikan pembelajaran dalam konteks dengan contoh sebagai pendekatan yang relatif ringan dan ringkas untuk menyesuaikan, mengoreksi, atau meningkatkan penalaran dan respons dari LLM ke perintah yang tidak terlihat.
Dengan mengumpulkan contoh relevan yang mewakili kueri pengguna, Anda membantu model mempertahankan perhatian, menunjukkan pola yang diharapkan, dan juga memperbaiki perilaku yang salah atau tidak terduga. Hal ini tidak memengaruhi permintaan lain yang menghasilkan respons yang diharapkan.
Seperti semua strategi rekayasa perintah, penggunaan contoh few-shot merupakan tambahan untuk teknik pengoptimalan LLM lainnya, seperti penyesuaian atau RAG.
Cara menggunakan Contoh Toko
Langkah-langkah berikut menguraikan cara menggunakan Example Store:
Buat atau gunakan kembali resource
ExampleStore, yang juga disebut "Instance Contoh Toko".- Untuk setiap region dan project, Anda dapat memiliki maksimal 50 instance Contoh Store.
Tulis dan upload contoh berdasarkan respons LLM. Ada dua kemungkinan skenario:
Jika perilaku dan pola respons LLM sesuai dengan yang diharapkan, tulis contoh berdasarkan respons ini dan upload ke instance Contoh Store.
Jika LLM menampilkan perilaku atau pola respons yang tidak terduga, tulis contoh untuk menunjukkan cara memperbaiki respons, lalu upload ke instance Example Store.
Contoh yang diupload akan segera tersedia untuk agen atau aplikasi LLM yang terkait dengan instance Example Store.
Jika agen berdasarkan Vertex AI Agent Development Kit ditautkan ke instance Example Store, agen akan otomatis mengambil contoh dan menyertakannya dalam permintaan LLM.
Untuk semua aplikasi LLM lainnya, Anda harus menelusuri dan mengambil contoh, lalu menyertakannya dalam perintah.
Anda dapat terus menambahkan contoh secara iteratif ke instance Example Store setiap kali mengamati performa yang tidak terduga dari LLM, atau menemukan kueri pengguna yang tidak terduga atau melawan. Anda tidak perlu mengupdate kode atau men-deploy ulang versi baru aplikasi LLM. Contoh akan tersedia untuk agen atau aplikasi begitu Anda menguploadnya ke instance Example Store.
Selain itu, Anda dapat melakukan hal berikut:
Ambil contoh dengan melakukan penelusuran kemiripan kosinus antara kunci penelusuran contoh yang disimpan dan kunci penelusuran dalam kueri Anda.
Filter contoh berdasarkan nama fungsi dan pertajam daftar contoh kandidat ke contoh yang mewakili kemungkinan respons dari LLM.
Tingkatkan aplikasi agen atau LLM Anda secara iteratif.
Membagikan contoh ke beberapa agen atau aplikasi LLM.
Panduan untuk menulis contoh few-shot
Dampak contoh terhadap performa model bergantung pada jenis contoh yang disertakan dalam perintah dan cara penyertaannya.
Berikut adalah praktik yang umumnya direkomendasikan untuk menulis contoh:
Relevansi dan kemiripan: Contoh harus terkait erat dengan tugas atau domain tertentu. Hal ini membantu model berfokus pada aspek pengetahuannya yang paling relevan, mengurangi penggunaan token, dan mempertahankan atau bahkan meningkatkan performa. Anda memerlukan lebih sedikit contoh jika contoh tersebut relevan dengan percakapan. Korpus contoh yang tersedia harus mewakili kemungkinan kueri pengguna. Selain itu, contoh harus relevan dengan kueri pengguna tertentu.
Kompleksitas: Untuk membantu LLM berperforma lebih baik, gunakan contoh yang memiliki kompleksitas rendah untuk menunjukkan penalaran yang diharapkan.
Mewakili kemungkinan hasil model: Respons yang diharapkan dalam contoh harus konsisten dengan kemungkinan hasilnya. Hal ini memungkinkan contoh menunjukkan penalaran yang konsisten dengan penalaran yang diharapkan dari LLM untuk perintah.
Format: Untuk performa terbaik, format contoh few-shot dalam perintah Anda dengan cara yang konsisten dengan data pelatihan LLM dan dibedakan dari histori percakapan. Format contoh dalam perintah dapat memengaruhi performa LLM secara signifikan.
Contoh kasus penggunaan: Panggilan fungsi
Anda dapat menggunakan contoh few-shot untuk meningkatkan performa panggilan fungsi.
Anda dapat menunjukkan panggilan fungsi yang diharapkan untuk kueri pengguna dalam pola
yang konsisten. Contoh ini dapat membuat model respons yang diharapkan terhadap permintaan dengan menyertakan fungsi yang perlu dipanggil dan argumen yang akan disertakan dalam panggilan fungsi. Pertimbangkan kasus penggunaan saat fungsi get_store_location menampilkan lokasi toko dan deskripsinya. Jika kueri tidak memanggil fungsi ini
seperti yang diharapkan atau menampilkan output yang tidak terduga, Anda dapat menggunakan contoh beberapa tembakan untuk
memperbaiki perilaku ini untuk kueri berikutnya.
Untuk informasi selengkapnya tentang panggilan fungsi, lihat Panggilan fungsi.
Untuk mempelajari lebih lanjut, lihat Contoh panduan memulai Store.
Langkah berikutnya
Pelajari cara membuat contoh toko.
Pelajari cara mengajari agen dengan contoh