Home Uncategorized Tantangan terbesar AI Generatif adalah menunjukkan ROI – inilah alasannya

Tantangan terbesar AI Generatif adalah menunjukkan ROI – inilah alasannya

39
0
Tantangan terbesar AI Generatif adalah menunjukkan ROI – inilah alasannya

Gambar Robbie Goodall/Getty

Meskipun para eksekutif dan manajer mungkin tertarik dengan cara mereka dapat menerapkan kecerdasan buatan generatif (AI) dan model bahasa besar (LLM) pada pekerjaan mereka, inilah saatnya untuk mengambil langkah mundur dan mempertimbangkan di mana dan bagaimana keuntungan bisnis dapat diwujudkan. Hal ini masih merupakan bidang yang kacau dan disalahpahami, sehingga memerlukan pendekatan dan keahlian yang tidak banyak memiliki kemiripan dengan gelombang teknologi di masa lalu.

Selain itu: dampak AI terhadap lapangan kerja: 86% pekerja takut kehilangan pekerjaan, namun ada kabar baik di sini

Inilah tantangannya: Meskipun AI sering memberikan bukti konsep yang sangat menakjubkan, namun sulit untuk memonetisasinya, kata Steve Jones, Wakil Presiden eksekutif Capgemini, dalam presentasi di konferensi Databricks baru-baru ini di San Francisco. “Membuktikan ROI adalah tantangan terbesar dalam menghadirkan 20, 30, 40 solusi GenAI ke dalam produksi.”

Investasi yang perlu dilakukan meliputi pengujian dan pemantauan LLM yang dimasukkan ke dalam produksi. Pengujian khususnya sangat penting untuk menjaga LLM tetap akurat dan sesuai jalur. “Anda ingin menjadi sedikit jahat untuk menguji model ini,” saran Jones. Misalnya, dalam tahap pengujian, pengembang, perancang, atau pakar QA harus dengan sengaja “meracuni” LLM mereka untuk melihat seberapa baik mereka menangani informasi yang salah.

Untuk menguji keluaran negatif, Jones mengutip contoh bagaimana dia mendorong model bisnis bahwa sebuah perusahaan “menggunakan naga untuk pengangkutan jarak jauh”. Model tersebut merespons dengan tegas. Dia kemudian meminta model tersebut untuk memberikan informasi tentang pengangkutan jarak jauh.

“Jawaban yang diberikan adalah, ‘inilah yang perlu Anda lakukan untuk melakukan pengangkutan jarak jauh, karena Anda akan bekerja secara ekstensif dengan naga seperti yang telah Anda katakan kepada saya, maka Anda perlu mendapatkan pelatihan kebakaran dan keselamatan yang ekstensif,’” Jones terkait. “Kamu juga memerlukan pelatihan etiket untuk para putri, karena pekerjaan naga melibatkan bekerja dengan para putri. Dan kemudian banyak hal standar yang melibatkan pengangkutan dan pergudangan yang dikeluarkan dari solusi lainnya.”

Juga: Dari pelatih AI hingga ahli etika: AI mungkin menghilangkan beberapa pekerjaan tetapi menghasilkan pekerjaan baru

Intinya, lanjut Jones, adalah bahwa AI generatif “adalah sebuah teknologi yang tidak pernah semudah ini menambahkan teknologi ke aplikasi Anda yang sudah ada dan berpura-pura bahwa Anda melakukannya dengan benar. Gen AI adalah teknologi fenomenal yang hanya menambahkan beberapa fitur dan bersiul pada suatu aplikasi, namun benar-benar buruk dari sudut pandang keamanan dan risiko dalam produksi.”
AI generatif akan membutuhkan waktu dua hingga lima tahun lagi sebelum menjadi bagian dari adopsi arus utama, dan hal ini merupakan suatu hal yang sangat cepat dibandingkan dengan teknologi lainnya. “Tantangan Anda adalah bagaimana cara mengimbanginya,” kata Jones. Ada dua skenario yang diajukan saat ini: “Yang pertama adalah bahwa mereka akan menjadi model yang sangat besar, mereka akan mengetahui segalanya, dan tidak akan ada masalah. Hal ini dikenal sebagai optimisme yang liar dan tidak- teori yang akan terjadi.”

Apa yang sedang terjadi adalah “setiap vendor, setiap platform perangkat lunak, setiap cloud, ingin bersaing dengan penuh semangat dan agresif untuk menjadi bagian dari pasar ini,” kata Jones. “Itu berarti Anda akan menghadapi banyak sekali persaingan, dan banyak sekali variasi. Anda tidak perlu khawatir tentang infrastruktur multi-cloud dan harus mendukungnya, namun Anda harus memikirkan tentang hal-hal seperti pagar pembatas.”

Selain itu: 1 dari 3 tim pemasaran telah menerapkan AI dalam alur kerja mereka

Risiko lainnya adalah penerapan LLM pada tugas-tugas yang memerlukan lebih sedikit tenaga dan analisis — seperti pencocokan alamat, kata Jones. “Jika Anda menggunakan satu model besar untuk segalanya, pada dasarnya Anda hanya menghabiskan uang. Ini sama saja dengan pergi ke pengacara dan berkata, ‘Saya ingin Anda menulis kartu ulang tahun untuk saya.’ Mereka akan melakukannya, dan mereka akan mengenakan tarif pengacara kepada Anda.”

Kuncinya adalah mewaspadai cara-cara yang lebih murah dan efisien untuk memanfaatkan LLM, desaknya. “Jika terjadi kesalahan, Anda harus dapat menonaktifkan solusi secepat Anda dapat menugaskan solusi. Dan Anda perlu memastikan bahwa semua artefak terkait di sekitarnya ditugaskan sesuai dengan modelnya.”

Tidak ada yang namanya penerapan satu model — pengguna AI harus menerapkan kueri mereka terhadap beberapa model untuk mengukur performa dan kualitas respons. “Anda harus memiliki cara umum untuk menangkap semua metrik, untuk memutar ulang kueri, terhadap model yang berbeda,” lanjut Jones. “Jika ada orang yang menanyakan GPT-4 Turbo, Anda ingin melihat bagaimana kinerja kueri yang sama terhadap Llama. Anda harus dapat memiliki mekanisme yang dapat digunakan untuk memutar ulang kueri dan respons tersebut serta membandingkan metrik kinerja, sehingga Anda dapat memahami apakah Anda dapat melakukannya dengan cara yang lebih murah. Karena model ini terus diperbarui.”

Juga: ChatGPT vs. ChatGPT Plus: Apakah langganan berbayar masih layak dilakukan?

AI generatif “tidak melakukan kesalahan secara normal,” tambahnya. “GenAI adalah tempat Anda memasukkan faktur, dan tertulis, ‘Fantastis, ini esai 4.000 kata tentang Presiden Andrew Jackson. Karena saya telah memutuskan bahwa itulah yang Anda maksud.’ Anda perlu memiliki pagar pembatas untuk mencegahnya.”

Source link