Halo gansis!

mumpung lagi rame nih mainan sama bot Kaskus si @replykgpt, sekalian ane coba bahas gimana cara kerja ChatGPT dari pemahaman ane yang pernah pake ChatGPT dari OpenAI.

Asumsi ane sih dari usernamenya, si bot pakai engine ChatGPT juga ya. tapi gatau juga kalo pake yang lain 


Pengertian GPT




Jadi GPT adalah salah satu LLM (Large Language Model) bikinan OpenAI. Ada banyak LLM lain selain GPT, misalnya PaLM dari Google, atau LLaMa punya si Meta.

LLM sendiri adalah sebuah model AI yang lebih ditujukan pada konteks tekstual (kan ada juga tuh AI yang khusus buat generate gambar seperti Midjourney atau Stable Diffusion -- kaskus ga bikin ginian juga nih? ).

Untuk proses trainingnya sendiri, dikumpulkan dari data tekstual yang sangat amat besar sekali. Entah itu dari buku digital, corpus, kumpulan informasi internet, paper yang dipublish, dll. Sumber data ini sebagian besar sudah diverifikasi untuk kebenarannya. Karena kalau sumber data untuk trainingnya sendiri jelek atau kebanyakan hoaks ya jadinya jawaban dari model AI-nya jadi kurang valid.

Tapi tentunya AI tidak selalu dapat menjawab dengan benar. Karena proses training dari data yang super besar ini memakan waktu juga, sehingga pengetahuan AI yang berasal dari data training tidak selalu up-to-date. Untuk OpenAI sendiri kalo ga salah data terakhir itu di bulan September 2021. Jadi kalau AI ditanya kejadian setelah tanggal tersebut, jadinya tidak tahu atau malah bisa jadi mengarang jawaban sendiri, kecuali diberikan konteks atau informasi sebelum ditanya. Makanya kita ga bisa telan mentah-mentah jawaban dari AI ini.


Lalu gimana sih cara si AI menjawab pertanyaan?

Jadi ketika training, AI akan mempelajari teks dan memetakan probabilitas atau kemungkinan "suku kata" apa (istilah lebih benarnya sih "token", tapi ane ganti jadi "suku kata" biar lebih mudah dicerna) yang akan muncul berikutnya dari kata yang sudah disebutkan.

Contoh nih, ketika kita bertanya "bagaimana cara large language model bekerja?"
Maka dia akan mencari suku kata dengan probabilitas paling tinggi yang tepat untuk melanjutkan / menjawab pertanyaan tersebut.

Dalam hal ini, kata "Large" adalah kata pertama yang memiliki probabilitas paling besar (97%). Tapi karena berupa probabilitas, ada kalanya kata pertama yang digunakan AI untuk menjawab pertanyaan tersebut adalah kata selain "Large" 



Setelah itu dia mengkalkulasi: setelah kata "Large", apa selanjutnya? Dalam konteks pertanyaan ini, maka kata berikutnya yang memiliki probabilitas yang besar adalah "language" (87%) dan "Language" (12%). Jadi ada kemungkinan AI akan melanjutkan jadi "Large language" atau "Large Language". Yah, meskipun menurut kita sama saja, tapi dari kacamata AI sih beda huruf kapital udah dianggep beda ya.



Lalu selanjutnya, dari hal yang sudah dipelajari dari training AI, kata-kata "Large language" hampir selalu diikuti dengan kata "models" (94%) atau "model" (5%)



Lalu apakah selalu suku kata dengan probabilitas paling tinggi yang dipilih? Ternyata nggak lho! Ini tergantung dari settingan-nya yang dinamakan "temperature" (ini lebih ke hal teknis sih wkwkw). Semakin kecil temperature (mendekati 0) maka dia akan lebih sering memilih kata yang probilitasnya paling tinggi, sehingga jawabannya lebih deterministik atau itu-itu saja (kurang bervariatif). Sebaliknya, kalau temperature tinggi, maka dia akan lebih sering memilih kata lain yang probabilitasnya lebih rendah.

Dapat dilihat di contoh ini, setelah kata "Large language models", suku kata berikutnya yang dia pilih adalah "ber" (4%), di mana probabilitasnya jauh lebih rendah dari "be" (91%) dan ditandai dengan warna merah.



Dengan settingan temperature lebih tinggi, ketika kita menanyakan hal yang sama bisa jadi AI akan memberikan jawaban yang berbeda.



Jika memilih "ber", dia akan melanjutkan menjadi "ber+fungsi". Sedangkan jika memilih "be", dia akan melanjutkan menjadi "be+kerja".

Begitu seterusnya, dia akan memilih kata-kata yang tepat untuk menjawab konteks pertanyaan sampai akhir.

---

Segitu gan penjelasan ane, semoga dapat dengan mudah dipahami dan bermanfaat. 

Atau kalau ada gansis yang lebih jago dan ingin mengoreksi ane, silakan saja. nanti ane update juga di postingan ane biar ga sesat

Thank you!


Sumur: Kaskus GPT x Opini Pribadi