Perplexity, sebuah perusahaan yang menggambarkan produknya sebagai “mesin pencari AI gratis”, mendapat kecaman selama beberapa hari terakhir. Tak lama setelah Forbes menuduhnya mencuri ceritanya dan menerbitkannya ulang di berbagai platform, Kabel melaporkan bahwa Perplexity telah mengabaikan Protokol Pengecualian Robot, atau robots.txt, dan telah menghapus situs webnya serta publikasi Condé Nast lainnya. Situs web teknologi Jalan Pintas juga menuduh perusahaan menghapus artikelnya. Sekarang, Reuters telah melaporkan bahwa Perplexity bukan satu-satunya perusahaan AI yang melewati file robots.txt dan menyalin situs web untuk mendapatkan konten yang kemudian digunakan untuk melatih teknologi mereka.
Reuters mengatakan pihaknya melihat surat yang ditujukan kepada penerbit dari TollBit, sebuah startup yang memasangkan mereka dengan perusahaan AI sehingga mereka dapat mencapai kesepakatan lisensi, memperingatkan mereka bahwa “agen AI dari berbagai sumber (bukan hanya satu perusahaan) memilih untuk mengabaikan robots.txt protokol untuk mengambil konten dari situs.” File robots.txt berisi instruksi untuk web crawler tentang halaman mana yang dapat dan tidak dapat mereka akses. Pengembang web telah menggunakan protokol ini sejak tahun 1994, namun kepatuhannya sepenuhnya bersifat sukarela.
Surat TollBit tidak menyebutkan nama perusahaan mana pun, namun Orang Dalam Bisnis mengatakan pihaknya telah mempelajari hal itu OpenAI Dan Antropis — pembuat chatbots ChatGPT dan Claude — juga mengabaikan sinyal robots.txt. Kedua perusahaan sebelumnya menyatakan bahwa mereka menghormati instruksi “jangan merayapi” situs web yang dimasukkan ke dalam file robots.txt mereka.
Selama penyelidikannya, Kabel menemukan bahwa mesin di server Amazon “pasti dioperasikan oleh Perplexity” melewati instruksi robots.txt di situs webnya. Untuk mengonfirmasi apakah Perplexity menghapus kontennya, Kabel menyediakan alat bagi perusahaan dengan tajuk utama dari artikel-artikelnya atau petunjuk singkat yang menjelaskan kisah-kisahnya. Alat tersebut dilaporkan memberikan hasil yang memparafrasekan artikel-artikelnya dengan cermat “dengan atribusi minimal”. Dan terkadang, mereka bahkan menghasilkan ringkasan cerita yang tidak akurat — Kabel mengatakan chatbot tersebut secara keliru mengklaim bahwa mereka melaporkan tentang polisi California tertentu yang melakukan kejahatan dalam satu kejadian.
Dalam sebuah wawancara dengan Perusahaan Cepat, CEO Perplexity Aravind Srinivas mengatakan kepada publikasi bahwa perusahaannya “tidak mengabaikan Protokol Pengecualian Robot dan kemudian berbohong tentang hal itu.” Namun hal ini tidak berarti bahwa crawler tidak mendapatkan keuntungan dari crawler yang mengabaikan protokol. Srinivas menjelaskan bahwa perusahaan menggunakan perayap web pihak ketiga di atas perayapnya sendiri, dan perayap itu Kabel diidentifikasi adalah salah satunya. Kapan Perusahaan Cepat ditanya apakah Perplexity menyuruh penyedia perayap untuk berhenti menggores situs web Wired, dia hanya menjawab bahwa “itu rumit.”
Srinivas membela praktik perusahaannya, dengan mengatakan kepada publikasi bahwa Protokol Pengecualian Robot “bukan kerangka hukum” dan menyarankan agar penerbit dan perusahaan seperti miliknya mungkin harus menjalin hubungan baru. Dia pun kabarnya menyindir hal itu Kabel sengaja menggunakan petunjuk untuk membuat chatbot Perplexity berperilaku seperti itu, sehingga pengguna biasa tidak akan mendapatkan hasil yang sama. Mengenai ringkasan tidak akurat yang dihasilkan alat tersebut, Srinivas mengatakan: “Kami tidak pernah mengatakan bahwa kami tidak pernah berhalusinasi.”
