OpenAI telah meluncurkan alat baru yang disebut CriticGPT, model bahasa besar (LLM) kecerdasan buatan (AI) baru yang dirancang untuk membantu manusia menemukan kesalahan dalam kode yang ditulis oleh ChatGPT.
Dalam upaya meningkatkan akurasi dan kegunaan model GPT, OpenAI menggunakan teknik yang disebut Reinforcement Learning from Human Feedback (RLHF), di mana manusia meninjau dan mengkritik keluaran dari model AI. CriticGPT dirancang untuk membantu pelatih AI dalam proses RLHF.
Menurut OpenAI“Saat orang mendapat bantuan dari CriticGPT untuk meninjau kode ChatGPT, kinerja mereka 60% lebih baik daripada mereka yang tidak mendapat bantuan,” dalam eksperimen yang menunjukkan bahwa pelatih AI manusia lebih menyukai kritik dari tim human-plus-CriticGPT dibandingkan manusia tanpa AI alat 60% dari waktu.
Manfaat utama dari memasangkan manusia dan AI untuk memberikan umpan balik dalam proses RLHF adalah bahwa CriticGPT dapat menulis kritik yang lebih komprehensif dan menyeluruh daripada manusia yang bekerja sendiri, dan manusia dapat turun tangan ketika model melaporkan kesalahan yang tidak masuk akal, atau ketika CriticGPT melaporkan terlalu banyak “titik-titik kritis” yang tidak membantu.
Bagaimana CriticGPT dilatih?
CriticGPT juga dilatih menggunakan metodologi RLHF OpenAI. Pelatih mengambil kode yang ditulis oleh ChatGPT lalu memasukkan kesalahan ke dalam kode. Mereka kemudian menulis contoh umpan balik yang dapat diberikan model jika menemukan kesalahan yang dimasukkan.
Pelatih kemudian membandingkan keluaran dari model baru, melihat beberapa kritik terhadap segmen kode yang dimodifikasi dan melihat kapan model telah mengidentifikasi dan menjelaskan kesalahan yang disisipkan dengan benar.
Apa batasan CriticGPT?
Data pelatihan CriticGPT sejauh ini hanya berfokus pada jawaban singkat yang ditulis oleh ChatGPT dan penelitian serta pengembangan lebih lanjut akan diperlukan agar dapat menghasilkan keluaran yang lebih panjang dan kompleks. Selain itu, hal ini juga tidak lepas dari halusinasi AI yang menakutkan yang menjangkiti LLM.
Pekerjaan lebih lanjut juga perlu dilakukan sebelum model dapat mengidentifikasi dan mengkritik kesalahan yang tersebar – saat ini model hanya dapat menangani kesalahan diskret yang muncul di satu tempat.
Apa yang selanjutnya untuk CriticGPT?
OpenAI bermaksud untuk mengintegrasikan CriticGPT ke dalam pipeline RLHF-nya dan kemudian memperluas skala pekerjaan dan meningkatkan kegunaannya.
