OpenAI Sora membatasi penggambaran orang karena masalah keamanan

OpenAI Sora membatasi penggambaran orang sungguhan dan mengambil tindakan keamanan ketat lainnya untuk mencegah penyalahgunaan.

Generator video, yang diumumkan pada hari Senin sebagai bagian dari acara 12 Hari OpenAI, memiliki segala macam kemampuan pengeditan bagi pengguna untuk membuat dan menyesuaikan video yang dihasilkan AI. Namun ada hal-hal tertentu yang tidak boleh Anda lakukan dengan Sora, karena pengguna segera mengetahuinya.

Tweet mungkin telah dihapus

Menurut kartu sistemnya, “kemampuan untuk mengunggah gambar orang akan tersedia untuk sebagian pengguna,” yang berarti sebagian besar pengguna tidak dapat membuat video orang berdasarkan gambar yang diunggah. Pengguna tersebut adalah bagian dari “percontohan Likeness” yang sedang diuji OpenAI dengan beberapa orang terpilih. Seorang juru bicara OpenAI mengatakan video manusia yang dihasilkan oleh AI dibatasi untuk “mengatasi kekhawatiran seputar penyalahgunaan kemiripan dan deepfake.” OpenAI “akan secara aktif memantau pola penyalahgunaan, dan ketika kami menemukannya, kami akan menghapus konten tersebut, mengambil tindakan yang tepat dengan pengguna, dan menggunakan pembelajaran awal ini untuk mengulangi pendekatan kami terhadap keselamatan,” lanjut juru bicara tersebut.

Membatasi penggambaran orang dalam video Sora masuk akal dari sudut pandang tanggung jawab. Ada banyak kemungkinan penyalahgunaan alat ini: deepfake tanpa persetujuan, penggambaran anak di bawah umur, penipuan, dan misinformasi. Untuk mengatasi hal ini, Sora telah dilatih untuk menolak permintaan tertentu dari perintah teks atau unggahan gambar.

Pemerintah akan menolak permintaan konten NSFW (Not Safe For Work) dan NCII (Non-Consensual Intimate Imagery) serta generasi anak-anak yang realistis, meskipun gambar fiktif diperbolehkan. OpenAI telah menambahkan metadata C2PA ke semua video Sora dan menjadikan tanda air yang terlihat sebagai default, meskipun dapat dihapus, dan menerapkan pencarian gambar terbalik internal untuk menilai asal video tersebut.

Terlepas dari kenyataan bahwa banyak pagar pembatas telah dipasang untuk mencegah penyalahgunaan, pertanyaan tentang bagaimana Sora akan menanggapi stress-testing massal masih tetap ada. Saat ini, akses ke Sora tidak tersedia karena tingginya permintaan.