BERT adalah kerangka pembelajaran mesin sumber terbuka yang digunakan untuk berbagai tugas pemrosesan bahasa alami (NLP). Ini dirancang untuk membantu komputer lebih memahami nuansa dalam bahasa dengan memahami arti kata-kata di sekitarnya dalam sebuah teks. Manfaatnya adalah konteks teks dapat dipahami daripada hanya arti kata-kata individual.

Bukan rahasia lagi bahwa kecerdasan buatan memengaruhi masyarakat dengan cara yang mengejutkan. Salah satu cara kebanyakan orang menggunakan AI tanpa sepengetahuan mereka adalah saat mencari di Google. Saat melakukannya, kemungkinan besar pencari tanpa sadar menggunakan BERT dalam bentuk algoritme kecerdasan buatan karena sekitar 10% dari semua pencarian menggunakannya. Kerangka kerja ini telah memungkinkan Google untuk mengenali bagaimana pengguna mencari dengan lebih memahami kata-kata dalam urutan dan konteks yang benar. BERT lebih dari sekedar bagian dari algoritma Google. Sebagai kerangka kerja sumber terbuka, siapa pun dapat menggunakannya untuk beragam tugas pembelajaran mesin.

Kantor pusat Google di Mountain View, California, AS, pada Senin, 30 Januari 2023. Alphabet Inc. diperkirakan akan merilis angka pendapatan pada 2 Februari. (Marlena Sloss/Bloomberg melalui Getty Images)

Apa itu BERT?

BERT, Bidirectional Encoder Representations from Transformers, adalah arsitektur model pembelajaran mesin yang dilatih sebelumnya untuk menangani berbagai tugas pemrosesan bahasa alami (NLP) dengan cara yang sebelumnya tidak mungkin dilakukan. Sejak dirilis sebagai makalah akademis berjudul BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2018), makalah ini telah merevolusi dunia pembelajaran mesin. Google Research kemudian merilisnya sebagai platform sumber terbuka. Itu berarti siapa pun dapat menggunakan BERT untuk melatih sistem mereka sendiri untuk melakukan tugas pemrosesan bahasa alami.

KECERDASAN BUATAN: HARUSNYA PEMERINTAH LANGKAH? AMERIKA MENIMBANG

BERT menjadi masalah besar dalam komunitas pembelajaran mesin karena alih-alih membaca teks secara berurutan, model BERT akan melihat semua kata di sekitarnya untuk memahami konteksnya. Ia memahami sebuah kata berdasarkan perusahaan yang dipertahankannya, seperti yang kita lakukan dalam bahasa alami. Misalnya, istilah “mawar” dapat memiliki arti yang berbeda tergantung pada apakah kata-kata di sekitarnya termasuk “duri”, “kursi”, atau “kekuatan”. BERT dapat memahami kata target berdasarkan kata lain dalam kalimat, baik sebelum maupun sesudahnya.

Apa yang bisa dilakukan BERT?

Bagian dari apa yang membuat BERT unik adalah bahwa ini adalah kerangka kerja pra-terlatih dua arah yang dapat memberikan pemahaman kontekstual tentang bahasa dan kalimat yang ambigu, terutama yang terdiri dari kata-kata dengan banyak makna. Oleh karena itu, berguna dalam tugas-tugas berbasis bahasa.

BERT digunakan dalam chatbots untuk membantu mereka menjawab pertanyaan. Ini dapat membantu meringkas dokumen panjang dan membedakan antara kata-kata dengan berbagai arti. Sebagai pembaruan algoritme di Google, ini mendistribusikan hasil yang lebih baik sebagai tanggapan atas permintaan pengguna.

Karena Google telah membuat model BERT pra-terlatih tersedia untuk orang lain, model sumber terbuka siap untuk digunakan, setelah penyempurnaan dilakukan, untuk berbagai tugas berbasis bahasa, seperti menjawab pertanyaan dan pengenalan entitas bernama.

Bagaimana BERT digunakan di mesin pencari Google?

Setahun setelah makalah penelitian dirilis, Google mengumumkan pembaruan algoritme untuk permintaan pencarian menggunakan bahasa Inggris. Saat peluncuran, Google mengatakan BERT akan memengaruhi 1 dari setiap 10 pencarian. Selain itu, BERT memengaruhi cuplikan unggulan, yang merupakan kotak berbeda yang memberikan jawaban kepada pencari secara langsung, bukan daftar URL.

Alih-alih mengganti RankBrain (metode algoritme AI pertama Google), ini merupakan tambahan untuk algoritme pencarian yang mendasarinya. BERT membantu mesin pencari memahami bahasa saat manusia berbicara satu sama lain.

Penandatangan surat tersebut berpendapat bahwa model bahasa seperti ChatGPT dan Bard didasarkan pada jaringan saraf otak hewan, tetapi dalam waktu dekat, sistem AI akan dibangun untuk meniru “aspek arsitektur dan fungsi otak tingkat tinggi.”

Pertimbangkan internet sebagai perpustakaan paling luas yang ada. Jika Google adalah pustakawan, pembaruan algoritme ini membantu mesin telusur menghasilkan hasil paling akurat berdasarkan permintaan yang dibuat oleh penelusur. Google menggunakan BERT dalam algoritmenya untuk membantu memahami tidak hanya definisi kata, tetapi juga arti kata-kata individual ketika disatukan dalam sebuah kalimat. BERT membantu Google memproses bahasa dan memahami konteks, nada, dan maksud frasa penelusuran seperti yang terlihat, memungkinkan algoritme untuk memahami maksud penelusur.

KILAS KEMBALI: STEPHEN HAWKING MEMPERINGATKAN AI BISA BERARTI ‘AKHIR UMAT MANUSIA’ DALAM TAHUN-TAHUN MENJELANG KEMATIANNYA

Lapisan algoritme baru ini juga membantu Google memahami nuansa dalam kueri, yang semakin penting karena orang melakukan penelusuran dengan cara berpikir dan berbicara.

Sebelum BERT, Google akan mengeluarkan kata-kata yang menurutnya paling penting dalam pencarian, sering kali memberikan hasil yang kurang optimal. Google menyempurnakan pembaruan algoritme BERT-nya pada tugas pemrosesan bahasa alami, seperti pertanyaan dan jawaban, untuk membantunya memahami nuansa linguistik dari kueri pencari. Nuansa dan kata yang lebih kecil ini, seperti “kepada” dan “untuk”, kini dianggap sebagai bagian dari permintaan penelusuran.

Selain itu, teknologi mengambil petunjuk dari urutan kata dalam kueri, serupa dengan cara manusia berkomunikasi. Sekarang, Google dapat lebih memahami arti dari sebuah pencarian daripada hanya arti dari kata-kata dalam frase.

BERT tidak digunakan di setiap pencarian. Google akan menggunakannya ketika dianggap bahwa algoritme dapat lebih memahami entri pencarian dengan bantuannya. Lapisan algoritme ini dapat dipanggil saat konteks kueri penelusuran perlu diperjelas, seperti jika penelusur salah mengeja kata. Dalam hal ini, ini dapat membantu menemukan kata yang menurutnya coba dieja oleh penelusur. Ini juga digunakan saat entri pencarian menyertakan sinonim untuk kata-kata yang ada di dokumen yang relevan. Google dapat menggunakan BERT untuk mencocokkan sinonim dan menampilkan hasil yang diinginkan.

Jenis tangan robot di komputer. AI mengubah cara kita berinteraksi dengan komputer dan data yang kita terima.

Bagaimana BERT dilatih?

BERT dilatih sebelumnya secara bersamaan pada dua tugas. Yang pertama adalah model bahasa bertopeng. Tujuannya adalah agar model belajar dengan mencoba memprediksi kata bertopeng secara berurutan. Metode pelatihan ini secara acak menutupi beberapa kata masukan dengan a [Mask] token, dan kemudian komputer memprediksi token apa yang akan keluar. Seiring waktu, model mempelajari arti yang berbeda di balik kata-kata berdasarkan kata-kata lain di sekitarnya dan urutan kemunculannya dalam kalimat atau frase. Pemodelan bahasa membantu kerangka mengembangkan pemahaman konteks.

APA SEJARAH AI?

Prediksi kalimat berikutnya kemudian pra-latih BERT. Dengan sistem pelatihan ini, komputer menerima sepasang kalimat sebagai input, dan harus memprediksi apakah yang kedua setelah yang pertama. Selama pelatihan ini, 50% dari waktu, kalimat adalah pasangan dimana kalimat kedua mengikuti yang pertama, sedangkan 50% dari waktu, kalimat kedua dipilih secara acak dari korpus teks.

Tahap pelatihan terakhir adalah penyempurnaan untuk berbagai tugas pemrosesan bahasa alami. Karena BERT dilatih sebelumnya pada banyak teks, BERT dibedakan dari model lain dan hanya membutuhkan lapisan keluaran akhir dan kumpulan data yang unik untuk tugas yang coba dilakukan pengguna. Siapa pun dapat melakukan ini, karena BERT adalah open source.

Apa yang membuat BERT ‘tanpa pengawasan’?

Proses pra-pelatihan BERT dianggap tidak diawasi karena telah dilatih sebelumnya pada kumpulan data mentah yang tidak berlabel, yang merupakan alasan lain mengapa ini adalah model bahasa yang canggih. Pra-pelatihan BERT menggunakan korpus teks biasa, seperti Wikipedia dan korpus buku teks biasa.

APA SAJA EMPAT JENIS UTAMA KECERDASAN BUATAN? CARI TAHU BAGAIMANA PROGRAM AI MASA DEPAN DAPAT MENGUBAH DUNIA

Apa arti dua arah dalam BERT?

BERT bertujuan untuk menyelesaikan batasan yang ada selama proses pra-pelatihan model bahasa standar sebelumnya. Sebelumnya, model ini hanya dapat melihat teks dari kiri ke kanan atau dari kanan ke kiri. Dalam hal itu, konteks tidak mempertimbangkan kata-kata selanjutnya dalam urutan.

Mesin pencari Google ditampilkan di komputer (Cyberguy.com)

BERT, lebih tepatnya, dapat mempelajari konteks sebuah kata berdasarkan kata-kata di sekitarnya sehingga ia dapat memahami seluruh kalimat, atau urutan input, sekaligus daripada satu kata pada satu waktu. Beginilah cara manusia memahami konteks sebuah kalimat. Pembelajaran dua arah ini dimungkinkan melalui cara kerangka kerja dilatih sebelumnya dengan arsitektur berbasis transformator.

Apa itu Transformer, dan bagaimana BERT menggunakannya?

Transformer adalah arsitektur encoder-decoder dimana BERT dapat lebih memahami hubungan kontekstual dari masing-masing kata dalam sebuah teks. Pada dasarnya, keuntungannya adalah model Transformer dapat belajar seperti manusia: mengidentifikasi bagian terpenting dari suatu urutan (atau kalimat).

APA ITU CHATGPT?

Penggunaan lapisan perhatian diri dalam arsitektur Transformer adalah bagaimana mesin dapat lebih memahami konteks dengan menghubungkan bagian masukan tertentu dengan yang lain. Seperti namanya, lapisan self-attention memungkinkan pembuat enkode untuk fokus pada bagian input tertentu. Dengan perhatian diri, representasi kalimat diuraikan dengan menghubungkan kata-kata dalam kalimat. Lapisan perhatian diri ini adalah elemen utama dari arsitektur transformator dalam BERT.

Dengan arsitektur ini, BERT dapat menghubungkan kata-kata yang berbeda dalam urutan yang sama sambil mengidentifikasi konteks kata-kata lain yang berhubungan satu sama lain. Teknik ini membantu sistem memahami kata berdasarkan konteks, seperti memahami kata-kata polisemis, kata-kata dengan banyak arti, dan homograf, kata-kata yang dieja sama tetapi memiliki arti yang berbeda.

Apakah BERT lebih baik dari GPT?

Generative Pre-trained Transformer (GPT) dan BERT adalah dua algoritme pra-terlatih paling awal yang melakukan tugas pemrosesan bahasa alami (NLP). Perbedaan utama antara BERT dan iterasi GPT sebelumnya adalah bahwa BERT bersifat dua arah sedangkan GPT bersifat autoregresif, membaca teks dari kiri ke kanan.

KLIK DI SINI UNTUK MENDAPATKAN APLIKASI FOX NEWS

Jenis tugas yang digunakan Google BERT dan ChatGPT-4 adalah perbedaan utama dalam model ini. ChatGPT-4 digunakan terutama untuk AI percakapan, seperti di dalam chatbot. BERT menangani tugas-tugas menjawab pertanyaan dan representasi entitas bernama, yang membutuhkan konteks untuk dipahami.

BERT itu unik karena melihat semua teks dalam urutan dan memahami dengan cermat konteks kata yang berhubungan dengan yang lain dalam urutan itu. Arsitektur Transformer, bersama dengan pra-pelatihan dua arah BERT, menyelesaikan pengembangan ini.