ANALISIS SENTIMEN CHATGPT DATA SOSIAL MEDIA X(TWITTER) DENGAN MENGGUNAKAN FINE TUNING XL NET
Abstract
ChatGPT (Generative Pre-training Transformer) is an artificial intelligence technology designed to mimic human conversation in text form and has become an important tool in various fields, including education. This study aims to analyze public sentiment toward the use of ChatGPT, which can be categorized into positive and negative sentiments. The data for the study was obtained from 5,686 user reviews on the Twitter platform, collected through Google Colaboratory and processed with pre-processing steps. The data was labeled as positive and negative, then classified using fine-tuning on the XLNet model, a Transformer-based language model. The results show that the fine-tuned XLNet model achieved an accuracy of 88.45%, a precision of 89%, a recall of 88%, and an F1-score of 89%, as measured using the Confusion Matrix. This study demonstrates that fine-tuning XLNet is effective in classifying the sentiment of ChatGPT user reviews related to education.
ChatGPT (Generative Pre-training Transformer) adalah teknologi kecerdasan buatan yang dirancang untuk menirukan percakapan manusia dalam bentuk teks dan telah menjadi alat penting di berbagai bidang, termasuk pendidikan. Penelitian ini bertujuan untuk mengalisis akurasi kinerja model fine tuning XL Net dari sentimen masyarakat terhadap penggunaan ChatGPT, yang dapat dikategorikan menjadi sentimen positif dan negatif. Data penelitian diperoleh dari 5.686 ulasan pengguna di platform Twitter, dikumpulkan melalui Google Colaboratory dan diproses dengan tahap pre-processing. Data diberi label positif dan negatif, lalu diklasifikasikan menggunakan metode fine-tuning pada model XLNet, model bahasa berbasis Transformer. Hasil penelitian menunjukkan bahwa model fine-tuning XLNet mencapai akurasi 88,45%, precision 89%, recall 88%, dan F1-score 89%, yang diukur menggunakan Confusion Matrix. Penelitian ini membuktikan bahwa fine-tuning XLNet efektif dalam mengklasifikasikan sentimen ulasan pengguna ChatGPT terkait pendidikan
Full Text:
PDFReferences
Ainur Rahman, & Suroyo, H. (2021). Analisis Data Produk Elektronik Di E-Commerce Dengan Metode Algoritma K-Means Menggunakan Python. Journal of Advances in Information and Industrial Technology, 3(2), 11–18. https://doi.org/10.52435/jaiit.v3i2.158
Akbar, Y., & Sugiharto, T. (2023). Analisis Sentimen Pengguna Twitter di Indonesia Terhadap ChatGPT Menggunakan Algoritma C4.5 dan Naïve Bayes. Jurnal Sains Dan Teknologi, 5(1), 115–122.
Fazrin, F., Nurul Prastiwi, O., & Andeswari, R. (2022). Perbandingan Algoritma K-Nearest Neighbor dan Logistic Regression pada Analisis Sentimen terhadap Vaksinasi Covid-19 pada Media Sosial Twitter. EProceedings of Engineering, 10(2), 1596–1604.
Indrayuni, E. (2019). Klasifikasi Text Mining Review Produk Kosmetik Untuk Teks Bahasa Indonesia Menggunakan Algoritma Naive Bayes. Jurnal Khatulistiwa Informatika, 7(1), 29–36. https://doi.org/10.31294/jki.v7i1.1
Li, H., Zhang, X., Liu, Y., Zhang, Y., Wang, Q., Zhou, X., Liu, J., Wu, H., & Wang, H. (2019). D-net: A simple framework for improving the generalization of machine reading comprehension. MRQA@EMNLP 2019 - Proceedings of the 2nd Workshop on Machine Reading for Question Answering, 212–219.
Murcahyanto, H. (2023). Penerapan Media Chat GPT pada Pembelajaran Manajemen Pendidikan terhadap Kemandirian Mahasiswa. Edumatic: Jurnal Pendidikan Informatika, 7(1), 115–122. https://doi.org/10.29408/edumatic.v7i1.14073
Musfiroh, D., Khaira, U., Utomo, P. E. P., & Suratno, T. (2021). Analisis Sentimen terhadap Perkuliahan Daring di Indonesia dari Twitter Dataset Menggunakan InSet Lexicon. MALCOM: Indonesian Journal of Machine Learning and Computer Science, 1(1), 24–33. https://doi.org/10.57152/malcom.v1i1.20
Pasek, P., Mahawardana, O., Sasmita, G. A., Agus, P., & Pratama, E. (2022). Analisis Sentimen Berdasarkan Opini dari Media Sosial Twitter terhadap “Figure Pemimpin” Menggunakan Python. In JITTER-Jurnal Ilmiah Teknologi dan Komputer (Vol. 3, Issue 1).
Ratniasih, N. L., Jayanti, N. W. N., & ... (2023). Klasifikasi Kepuasan Mahasiswa Menggunakan Algoritma Support Vector Machine dan Metode Stemming Sastrawi. Prosiding CORISINDO, 373–378.
Santoso, D. P., & Wibowo, W. (2022). Analisis Sentimen Ulasan Aplikasi Buzzbreak Menggunakan Metode Naïve Bayes Classifier pada Situs Google Play Store. Jurnal Sains Dan Seni ITS, 11(2). https://doi.org/10.12962/j23373520.v11i2.72534
Singh, B., Olds, T., Brinsley, J., Dumuid, D., Virgara, R., Matricciani, L., Watson, A., Szeto, K., Eglitis, E., Miatke, A., Simpson, C. E. M., Vandelanotte, C., & Maher, C. (2023). Systematic review and meta-analysis of the effectiveness of chatbots on lifestyle behaviours. Npj Digital Medicine, 6(1), 1–10. https://doi.org/10.1038/s41746-023-00856-1
Taecharungroj, V. (2023). “What Can ChatGPT Do?” Analyzing Early Reactions to the Innovative AI Chatbot on Twitter. Big Data and Cognitive Computing, 7(1). https://doi.org/10.3390/bdcc7010035
Topal, M. O., Bas, A., & van Heerden, I. (2021). Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet.
Wandani, A. (2021). Sentimen Analisis Pengguna Twitter pada Event Flash Sale Menggunakan Algoritma K-NN, Random Forest, dan Naive Bayes. Jurnal Sains Komputer & Informatika (J-SAKTI, 5(2), 651–665.
DOI: https://doi.org/10.56486/jeis.vol5no2.782
Article Metrics
Abstract view : 46 timesPDF - 19 times
Refbacks
- There are currently no refbacks.
Copyright (c) 2025 Ni Luh Wiwik Sri Rahayu Ginantra, Theresia Hendrawati
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
TERINDEKS OLEH :
 
