Reddit memiliki peringatan untuk perusahaan AI dan penipu lainnya: patuhi aturan kami atau diblokir. Kata perusahaan itu bahwa mereka berencana memperbarui Protokol Pengecualian Robot (file robots.txt), yang memungkinkannya memblokir pengikisan otomatis pada platformnya.
Perusahaan mengatakan akan terus memblokir dan membatasi crawler serta bot lain yang tidak memiliki perjanjian sebelumnya dengan perusahaan. Perubahan tersebut, katanya, tidak boleh mempengaruhi “aktor yang beritikad baik,” seperti Internet Archive dan peneliti.
Pemberitahuan Reddit muncul tak lama setelah beberapa laporan bahwa Perplexity dan perusahaan AI lainnya secara teratur menggunakan protokol robots.txt situs web, yang digunakan oleh penerbit untuk memberi tahu perayap web bahwa mereka tidak ingin konten mereka diakses. CEO Perplexity, baru-baru ini dengan Perusahaan Cepatmengatakan bahwa protokol tersebut “bukan kerangka hukum.”
Dalam sebuah pernyataan, juru bicara Reddit mengatakan kepada Engadget bahwa mereka tidak menargetkan perusahaan tertentu. “Pembaruan ini tidak dimaksudkan untuk memilih satu entitas saja; ini dimaksudkan untuk melindungi Reddit sekaligus menjaga internet tetap terbuka,” kata juru bicara tersebut. “Dalam beberapa minggu ke depan, kami akan memperbarui instruksi robots.txt kami agar sejelas mungkin: jika Anda menggunakan agen otomatis untuk mengakses Reddit, apa pun jenis perusahaan Anda, Anda harus mematuhi kebijakan kami. syarat dan kebijakan, dan Anda perlu berbicara dengan kami. Kami percaya pada internet terbuka, tapi kami tidak percaya pada penyalahgunaan konten publik.”
Ini bukan pertama kalinya perusahaan mengambil tindakan keras dalam hal akses data. Perusahaan tersebut mengutip penggunaan platform AI oleh perusahaan AI ketika mulai mengenakan biaya pada tahun lalu. Sejak itu, mereka telah mencapai kesepakatan lisensi dengan beberapa perusahaan AI, termasuk dan . Perjanjian tersebut memungkinkan perusahaan AI untuk melatih model mereka di arsip Reddit dan telah menjadi sumber pendapatan yang signifikan bagi Reddit yang baru dipublikasikan. Bagian “bicaralah dengan kami” dalam pernyataan tersebut kemungkinan besar merupakan pengingat yang tidak terlalu halus bahwa perusahaan tidak lagi berupaya membagikan kontennya secara gratis.