Bergabunglah dengan buletin harian dan mingguan untuk mendapatkan pembaruan terbaru dan konten eksklusif untuk meliput kecerdasan buatan terkemuka di industri ini. Pelajari lebih lanjut
Model LLMS dapat mempelajari tugas berpikir yang kompleks tanpa mengandalkan koleksi data besar, menurut Studi baru Oleh para peneliti di University of Shanghai Jiao Tong. Hasil temuan mereka menunjukkan bahwa melalui serangkaian kecil contoh yang dikoordinasi dengan baik, Anda dapat melatih LLM pada tugas -tugas yang menurutnya diperlukan puluhan ribu rekan pelatihan.
Efisiensi ini disebabkan oleh pengetahuan yang mendasari yang didapat LLM modern selama tahap pra -pelatihan. Meskipun metode pelatihan baru menjadi lebih efisien dalam data dan akun mereka, lembaga mungkin dapat membuat model khusus tanpa perlu mencapai sumber daya laboratorium intelijen buatan yang besar.
Lebih sedikit lebih banyak (limusin)
Dalam studi mereka, para peneliti menantang asumsi bahwa Anda membutuhkan data dalam jumlah besar untuk melatih LLM pada tugas pemikiran. Mereka menawarkan konsep “lebih sedikit lebih banyak” (limusin). Pekerjaan mereka bekerja di kepalanya Penelitian sebelumnya Yang menunjukkan bahwa LLMS dapat disejajarkan dengan preferensi manusia dengan beberapa contoh.
Dalam pengalaman mereka, mereka telah membuktikan bahwa mereka dapat membuat pengumpulan data limusin untuk tugas pemikiran olahraga yang kompleks dengan beberapa ratus contoh pelatihan. LLM, yang dipenuhi dengan baik pada kumpulan data, berhasil membuat rantai berpikir kompleks dalam seri COT, yang memungkinkannya untuk menyelesaikan tugas dengan tingkat keberhasilan yang sangat tinggi.
Sebagai contoh, model qwen2.5-32b-instruct, yang disita dengan baik, telah mencapai 817 contoh pelatihan yang dipilih berdasarkan mobil limozine 57,1 % untuk akurasi pada standar AIMe yang sangat sulit dan 94,8 % dibandingkan matematika, mengungguli model yang telah dilatih dilatih pada seratus contoh ini. Dia juga mencatat standar model berpikir yang lebih tinggi seperti QWQ-32B-Preview (versi model QWEN yang telah dilatih untuk berpikir) dan preview OpenAI O1, yang keduanya dilatih dengan data yang lebih besar dan akun sumber daya.
Selain itu, mengedarkan formulir yang dilatih pada limusin ke contoh -contohnya sangat berbeda dari data pelatihan mereka. Misalnya, aktif Olympiadbench Standar ilmiah, model limusin mengungguli preview QWQ-32B, dan pada tantangan Standar GPQA66,7 %, dekat hasil utama dalam preview OpenAI-O1 sebesar 73,3 %.
Apa artinya bagi lembaga AI?
Kustomisasi LLMS adalah keadaan yang menarik dalam penggunaan aplikasi lembaga. Berkat teknologi seperti Generation (RAG) dan dalam konteksnya, LLMS dapat disesuaikan untuk menggunakan data terperinci atau melakukan tugas -tugas baru tanpa memiliki instalasi yang mahal.
Namun, tugas berpikir sering membutuhkan pelatihan dan kontrol LLMS. Keyakinan itu secara luas bahwa tugas -tugas seperti itu membutuhkan banyak contoh pelatihan dengan rantai berpikir dan solusi yang sangat rinci. Pembuatan koleksi data ini lambat dan tidak praktis untuk banyak aplikasi dan perusahaan.
Baru -baru ini, para peneliti telah menunjukkan bahwa metode pembelajaran menjadi penguatan murni dapat memungkinkan model untuk melatih diri mereka pada tugas berpikir dengan menghasilkan banyak solusi dan memilih mereka yang bekerja lebih baik. Meskipun pendekatan ini membutuhkan lebih sedikit upaya manual, masih membutuhkan perhitungan mahal yang jauh dari jangkauan banyak institusi.
Di sisi lain, perumusan beberapa ratus contoh adalah upaya yang dapat ditangani oleh banyak perusahaan, yang membuat model berpikir khusus dalam jangkauan berbagai organisasi.
“Penemuan ini memiliki efek mendalam pada penelitian kecerdasan buatan: ini menunjukkan bahwa bahkan kemampuan berpikir yang kompleks di tingkat kompetisi dapat dirancang secara efektif melalui sampel pelatihan minimum namun terkoordinasi.”
Mengapa Limusin Bekerja
Dalam pengalaman mereka, para peneliti mendefinisikan dua alasan utama di balik tugas -tugas pemikiran kompleks LLMS dengan lebih sedikit contoh.
Pertama, model dasar modern telah dilatih dalam jumlah konten dan simbol olahraga yang sangat besar selama pra -pelatihan. Ini berarti bahwa LLM ini sudah memiliki pengetahuan logis yang kaya dalam kriteria yang dapat diaktifkan melalui contoh yang dibuat dengan cermat.
Kedua, teknik pasca -pelatihan menunjukkan bahwa memungkinkan model untuk menghasilkan rantai berpikir yang diperluas sangat meningkatkan kemampuan mereka untuk berpikir. Intinya, formulir diberikan lebih banyak waktu untuk “berpikir” untuk mengosongkan dan menerapkan pengetahuan mereka sebelumnya lebih efektif.
“Kami berasumsi bahwa logika yang sukses menyoroti sinergi dari kedua faktor ini: Pengetahuan yang kaya yang sebelumnya dilatih dan sumber daya aritmatika yang cukup pada saat penalaran,” tulis para peneliti. “Perkembangan ini secara kolektif menunjukkan kemungkinan yang luar biasa: jika model memiliki pengetahuan logis yang kaya dan diberikan ruang matematika yang cukup, maka merangsang kemampuan berpikir mereka mungkin hanya memerlukan sejumlah kecil sampel pelatihan berkualitas tinggi yang mendorong pertimbangan yang diperluas, alih -alih data klik besar besar besar besar besar besar set.
Menurut hasil para peneliti, penciptaan kelompok data limusin yang berguna tergantung pada memilih masalah dan solusi yang tepat. Koordinator data harus memberikan prioritas untuk masalah sulit yang membutuhkan rantai berpikir yang kompleks, berbagai proses berpikir dan integrasi pengetahuan. Masalah juga harus menyimpang dari distribusi pelatihan model untuk mendorong metode berpikir baru dan memaksanya untuk menggeneralisasi.
Dengan demikian, solusi harus diatur dengan jelas dan terorganisir dengan baik, sambil mengadaptasi langkah -langkah untuk berpikir dengan kompleksitas masalah. Solusi berkualitas tinggi juga harus memberikan dukungan pendidikan strategis dengan secara bertahap membangun pemahaman melalui interpretasi yang terorganisir dengan cermat.
“Dengan berfokus pada sekelompok rantai pemikiran logis yang lebih rendah, tetapi, kami mewujudkan prinsip dasar kalsium: demonstrasi berkualitas tinggi, alih -alih data besar -besaran, adalah kunci untuk membuka kemampuan berpikir yang kompleks,” tulis para peneliti.
Para peneliti memiliki Memperkenalkan simbol dan data Digunakan untuk melatih model limusin dalam percobaan mereka. Di masa depan, mereka berencana untuk memperluas konsep ke bidang dan aplikasi lain.
Tautan sumber
