Minta ChatGPT untuk menemukan puisi terkenal dan mungkin akan memuntahkan seluruh teks kata demi kata – terlepas dari undang-undang hak cipta – menurut sebuah studi baru yang dilakukan oleh peneliti Cornell University.
Penelitian menunjukkan bahwa ChatGPT mampu “menghafal” puisi, terutama puisi terkenal yang banyak ditemukan online. Temuan ini menimbulkan pertanyaan etis tentang bagaimana ChatGPT dan model kecerdasan buatan lainnya dilatih – kemungkinan besar menggunakan data yang diambil dari internet, kata para peneliti.
“Secara umum tidak baik bagi model bahasa besar untuk menghafal teks dalam jumlah besar, sebagian karena ini merupakan masalah privasi,” kata penulis pertama Lyra D'Souza, mantan jurusan ilmu komputer dan asisten peneliti musim panas. “Kami tidak tahu apa yang mereka dilatih, dan sering kali, perusahaan swasta dapat melatih model kepemilikan pada data pribadi kami.”
D'Souza mempresentasikan karya ini, “The Chatbot and the Canon: Poetry Memoriization in LLMs,” di Konferensi Penelitian Humaniora Komputasi.
“Kami memilih puisi karena beberapa alasan,” kata penulis senior David Mimno, profesor ilmu informasi. “Mereka cukup pendek untuk disesuaikan dengan ukuran konteks model bahasa. Statusnya rumit: banyak puisi yang kami pelajari secara teknis memiliki hak cipta, namun puisi-puisi tersebut juga tersedia secara luas dari sumber terpercaya seperti Poetry Foundation.”
D'Souza menguji kemampuan pengambilan puisi ChatGPT dan tiga model bahasa lainnya: PaLM dari Google AI, Pythia dari lembaga penelitian AI nirlaba EleutherAI, dan GPT-2, versi model sebelumnya yang pada akhirnya menghasilkan ChatGPT, keduanya dikembangkan oleh OpenAI. Dia menghasilkan serangkaian puisi dari 60 penyair Amerika dari periode waktu, ras, jenis kelamin, dan tingkat ketenaran yang berbeda, dan memberikan petunjuk kepada model untuk meminta teks puisi.
Alat prediksi hafalan yang paling bisa diandalkan adalah jika puisi tersebut pernah muncul di Norton Anthology of Poetry, khususnya edisi 1983.
D'Souza memperhatikan bahwa respons ChatGPT berubah seiring waktu seiring berkembangnya model. Ketika dia pertama kali menanyakan chatbot tersebut pada bulan Februari 2023, chatbot tersebut tidak dapat mengatakan bahwa chatbot tersebut tidak mengetahui sebuah puisi – melainkan akan membuat puisi atau mendaur ulang puisi dari penulis lain. Pada bulan Juli 2023, jika ChatGPT tidak mengetahui puisi tersebut, ia akan menanyakan apakah puisi tersebut ada – sehingga menyalahkan pengguna.
Selain itu, pada bulan Februari, ChatGPT tidak memiliki batasan karena hak cipta. Namun pada bulan Juli, terkadang mereka menjawab bahwa mereka tidak dapat menghasilkan puisi berhak cipta. Namun, biasanya puisi itu akan direproduksi jika ditanya lagi, menurut D'Souza.
Studi ini hanya mengamati penyair Amerika, namun langkah selanjutnya adalah melihat bagaimana chatbots menanggapi permintaan dalam berbagai bahasa dan apakah faktor-faktor seperti panjang, meteran, dan pola rima sebuah puisi membuatnya lebih atau kurang mungkin untuk dihafal, D 'ucap Souza
“ChatGPT adalah alat baru yang sangat kuat yang mungkin akan menjadi bagian dari kehidupan kita di masa depan,” katanya. “Mencari tahu bagaimana menggunakannya secara bertanggung jawab dan transparan akan menjadi sangat penting.”