Model bahasa besar
Model bahasa besar (bahasa Inggris: large language model, biasa disingkat LLM) adalah model bahasa berskala besar yang terkenal karena kemampuannya untuk mencapai tujuan umum dalam pemahaman dan pembangkitan bahasa. LLM memperoleh kemampuan ini dengan menggunakan data dalam jumlah besar untuk mempelajari miliaran parameter selama pelatihan dan mengkonsumsi sumber daya komputasi yang besar selama pelatihan dan pengoperasiannya. [1] LLM merupakan jaringan syaraf tiruan (umumnya menggunakan transformer [2]) dan telah dilatih sebelumnya atau di-(pre)trained dengan menggunakan pemelajaran terawasi mandiri dan pemelajaran semi terawasi.
Sebagai model bahasa yang bersifat autoregresif, LLM bekerja dengan menerima teks masukan dan memprediksi token atau kata selanjutnya secara berulang. [3] Sampai tahun 2020, fine tuning adalah satu-satunya cara suatu model bisa beradaptasi untuk bisa menyelesaikan tugas tertentu. Adapun model yang lebih besar, seperti GPT-3, dapat di-prompt-engineer untuk mencapai hasil yang sama. [4] LLM dianggap memiliki pengetahuan terkait sintaksis, semantik, dan ontologi yang melekat pada korpora bahasa manusia, tetapi LLM juga memiliki semacam ketidakakuratan dan bias yang ada dalam korpora. [5]
Contoh terkenal, termasuk model GPT oleh OpenAI (seperti, GPT-3.5 dan GPT-4, yang digunakan dalam ChatGPT), PaLM milik Google (digunakan dalam Bard), dan LLaMA milik Meta, serta BLOOM, Ernie 3. 0 Titan, dan Claude 2.
Referensi
- ^ "Better Language Models and Their Implications". OpenAI. 2019-02-14. Diarsipkan dari versi asli tanggal 2020-12-19. Diakses tanggal 2019-08-25. Parameter
|url-status=
yang tidak diketahui akan diabaikan (bantuan) - ^ Merritt, Rick (2022-03-25). "What Is a Transformer Model?". NVIDIA Blog (dalam bahasa Inggris). Diakses tanggal 2023-07-25.
- ^ Bowman, Samuel R. (2023). "Eight Things to Know about Large Language Models". arΧiv:2304.00612 [cs.CL].
- ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (Dec 2020). Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H., ed. "Language Models are Few-Shot Learners" (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. 33: 1877–1901.
- ^ Manning, Christopher D. (2022). "Human Language Understanding & Reasoning". Daedalus. 151 (2): 127–138. doi:10.1162/daed_a_01905
. Parameter
|s2cid=
yang tidak diketahui akan diabaikan (bantuan)
- l
- b
- s
- AI-komplit
- Bag-of-words
- n-gram
- Bigram
- Trigram
- Linguistik komputasi
- Pemahaman bahasa alami
- Stop words
- Text processing
- Collocation extraction
- Concept mining
- Coreference resolution
- Deep linguistic processing
- Distant reading
- Information extraction
- Named-entity recognition
- Ontology learning
- Parsing
- Part-of-speech tagging
- Semantic role labeling
- Semantic similarity
- Sentiment analysis
- Terminology extraction
- Text mining
- Textual entailment
- Truecasing
- Word-sense disambiguation
- Word-sense induction
Segmentasi teks |
|
---|
- Multi-document summarization
- Sentence extraction
- Text simplification
- Computer-assisted
- Berbasis contoh
- Berbasis aturan
- Statistik
- Berbasis transfer
- Neural
- BERT
- Document-term matrix
- Explicit semantic analysis
- fastText
- GloVe
- Language model
- Latent semantic analysis
- Seq2seq
- Word embedding
- Word2vec
datasets and corpora
Jenis dan standar |
|
---|---|
Data |
|
dan pengambilan data
- Pengenalan suara
- Segmentasi ucapan
- Sintesis ucapan
- Generasi bahasa alami
- Optical character recognition
- Document classification
- Latent Dirichlet allocation
- Pachinko allocation
dengan bantuan komputer
- Automated essay scoring
- Concordancer
- Grammar checker
- Predictive text
- Penilaian pengucapan
- Pemeriksa ejaan
- Sintaks menebak
antarmuka pengguna
- Chatbot
- Fiksi interaktif
- Menjawab pertanyaan
- Asisten virtual
- Antarmuka pengguna suara
- Hallucination
- Perangkat Bahasa Alami
- spaCy