Comparison of the Texts Selected from the Textbook and the Texts Produced by Artificial Intelligence Chatbots in terms of Vocabulary
Article Sidebar
Main Article Content
Abstract
Studies on text production by artificial intelligence are increasing. In this study, the vocabulary of five texts from different genres randomly selected from the 2nd-grade Turkish textbook and five texts on similar topics and genres written by three different artificial intelligence programs (ChatGPT 3.5, Gemini, Magic School) were examined. In the study where qualitative design was used, the data were analyzed by document analysis. The different words and types/token ratios of the texts were compared for this study. Additionally, the relationship between these variables was also examined. According to the findings of the study, while there was no obvious superiority between the texts selected from the textbook and the texts produced by ChatGPT and Magic School, it was noteworthy that the texts written by Gemini generally had the least word variety. In addition, it was determined that as the total words in the texts increased, the number of different words increased significantly, and as the total words increased, the types/token ratio decreased significantly. The findings of the study were discussed in the light of the literature.
Article Details
This work is licensed under a Creative Commons Attribution 4.0 International License.
References
AI Tools for Education. (2023). https://guides.libraries.uc.edu/ai-education/msa
Alkayış, A. (2021). Digitization and education 4.0 from the educationalphilosophy perspective. Bingöl Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 11(21), 221–237. https://doi.org/10.2020/Kabul
Altaş, Ö. (2023). 7. sınıf Türkçe ders kitaplarının söz varlığı açısından incelenmesi [Master thesis, Ağrı İbrahim Çeçen University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Anadolu, B. (2019). The impact of artificial intelligence on cinema in the context of digital storytelling: An analysis of sunspring and it’s no game. Journal of Erciyes Communication, 1, 39–56. https://doi.org/10.17680/erciyesiletisim.483510
Apaydın, N. (2010). 6. sınıf Türkçe ders kitaplarının söz varlığı açısından incelenmesi [Master thesis, Marmara University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Aydoğdu Çelik, M. (2023). Death of the author: A survey on artificial intelligence in literature. Journal of Communication Science Researches-IBAD, 3(2), 142–154. https://doi.org/10.5281/zenodo.7853093
Bayburtlu, Y. S. (2020). Turkish textbooks in terms of thematic vocabulary coefficient. Journal of Language and Linguistic Studies, 16(4), 1747–1759.
Bilge, H., & Demirel, İ. D. (2022). An investigation of vocabulary in written texts of Iraqi Arab students learning Turkish as a foreign language. Sakarya University Journal of Education, 12(4), 963–981. https://doi.org/10.19126/suje.1180384
Bilge, H., & Kalenderoğlu, İ. (2022). The relationship between reading fluency, writing fluency, speaking fluency, reading comprehension, and vocabulary. Education and Science, 47(209), 156–171. https://doi.org/10.15390/EB.2022.9609
Büyükhellaç, S. (2014). Ortaokul Türkçe ders kitaplarındaki söz varlığının incelenmesi [Master thesis, Karadeniz Teknik University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Ceran, D., & Çoban, M. (2017). 7. sınıf öğrencilerinin ders kitabındaki metinlerde geçen atasözü ve deyimleri öğrenme düzeyleri üzerine bir inceleme. Journal Of History School, 10(XXX), 393-417. https://doi.org/10.14225/joh1066
Coşkun, E., & Taş, S. (2008). Evaluation of Turkish curriculums in terms of text selection for textbooks. Mustafa Kemal University Journal of Social Sciences Institute, 5(10), 59–74.
Çeçen, M. A., Kurnaz, H., & Akaydin, Ş. (2014). A review on thematic words in texts of national culture themes. İnönü Üniversitesi Eğitim Bilimleri Dergisi, 1(2), 22–34.
Çınar Yağcı, Ş., & Aydın Yıldız, T. (2023). Is ChatGPT the foreign language student’s trusted artificial intelligence chat buddy? RumeliDE Journal of Language and Literature Studies, 37, 1315–1333. https://doi.org/10.29000/rumelide.1407539
Demir, C. (2016). Türkçe eğitim-öğretim programları ve kişisel söz varlığı. MillÎ Eğitim Dergisi, 45, 141–161.
Demir Dülger, E., & Gümüşeli, A. İ. (2023). Views of school principals and teachers on using artificial intelligence in education. ISPEC International Journal of Social Sciences & Humanities, 7(1), 133–153. https://doi.org/10.5281/zenodo.7766578
Dilidüzgün, Ş. (2014). Türkçe öğretiminde sözcük öğretme yöntemlerinin yeterliliği. Adıyaman University Journal of Social Sciences, 17, 233–258. https://doi.org/10.14520/adyusbd.771
Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education. McGraw-Hill.
Göçen, G. (2016). Yabancılar i̇çi̇n hazırlanan Türkçe ders ki̇taplarındaki̇ söz varlığı i̇le Türkçeyi̇ yabancı di̇l olarak öğrenenleri̇n yazılı anlatımlarındaki̇ söz varlığı. [Doktoral dissertation, Sakarya University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Gökçe, B. (2014). Türkçe ders kitaplarındaki “Toplum Hayatı” temalı metinlerin söz varlığı açısından değerlendirilmesi. International Journal of Languages’ Education and Teaching, 2, 150-164
Göker, S. D. (2021). Eğitim 4.0 temelinde tanımlanan yeni öğretmenlik yetkinlik alanları. In EYFOR-XII Uluslararası Eğtim Yönetimi Forumu “Okula Dönüş” (pp. 61–71). www.eyuder.org.
Gülsoy, T., & Uçgun, D. (2013). Impact of educational games on development of 6th grade students vocabulary. Turkish Studies - International Periodical For The Languages, Literature and History of Turkish or Turkic, 8(13), 943–952.
Gündoğdu, A. E. (2012). Investigation of vocabulary teaching activities in sixth grade levels of primary school Turkish lesson student workbook. International Journal of Turkish Literature Culture Education, 1(1), 201–217.
Güzeldemirci, İ. C. (2024). İçerik üretiminde yapay zekâ araçlarının kullanımı. Journal of Social Sciences, 3, 44–52. https://doi.org/10.5281/zenodo.10570855
Kara Özkan, N. (2021). Türkçe öğretmenlerinin ders kitaplarına bağlılıklarına yönelik öğretmen görüşleri. Journal of Mother Tongue Education, 9(1), 131–150.
Karadağ, Ö. (2013). Kelime öğretimi. Kriter.
Karadağ, Ö., & Kurudayıoğlu, M. (2010). The vocabulary stock of the first stage of elementary school Turkish course books prepared within the framework of 2005 Turkish Curriculum. TÜBAR, XXVII, 423–436.
Karagöl, E., & Tarakçı, R. (2019). Secondary school Turkish textbooks in terms of vocabulary. Milli Eğitim, 48, 149–171.
Kargın, F. (2019). 6, 7 ve 8. sınıf Türkçe ders kitaplarındaki söz varlığı ögeleri üzerine bir inceleme. [Master’s thesis, Van Yüzüncü Yıl University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Kayhan, S., & Serin, N. (2023). 6. sınıf Türkçe ders kitaplarının millî kültürümüz temasına ait tematik söz varlığı açısından karşılaştırılması. The Journal of International Turkish Language & Literature Research, Special İssue, 1000–1014. https://doi.org/10.51531/korkutataturkiyat.1360961
Keklik, S. (2011). The first thousand words in Turkish which can easily be combined should be taught until eleven year old children. ODÜ Sosyal Bilimler Enstitüsü Sosyal Bilimler Araştırmaları Dergisi, 2(4), 80–95. http://sobiad.odu.edu.tr
Kent, S., Wanzek, J., Petscher, Y., Al Otaiba, S., & Kim, Y. S. (2014). Writing fluency and quality in kindergarten and first grade: The role of attention, reading, transcription, and oral language. Reading and Writing, 27(7), 1163–1188. https://doi.org/10.1007/s11145-013-9480-1
Köroğlu, M., & Balcı, A. (2022). Determination of Turkish teachers’ commitment to textbooks. The Journal of International Turkish Language & Literature Research, 9, 41–52. https://doi.org/10.51531/korkutataturkiyat.1186790
Kuzey, M. (2021). The presence of Turkish in the 6th grade social studies textbook. International Journal of Society Researches, 18(41). https://doi.org/10.26466/opus.907263
Millî Eğitim Bakanlığı [M.N.E.]. (2019). Türkçe Dersi Öğretim Programı (İlkokul ve ortaokul 1, 2, 3, 4, 5, 6, 7 ve 8. sınıflar). Ministry of National Education.
Millî Eğitim Bakanlığı [M.N.E.]. (2023). Millî Eğitim Bakanlığı Ders Kitapları ve Eğitim Araçları Yönetmeliği [Ministry of National Education Regulation on Textbooks and Educational Tools]. http://mevzuat.meb.gov.tr/dosyalar/1605.pdf
Murat, A. (2014). İlköğretim 8. sınıf öğrencilerinin 6 ve 7. sınıf Türkçe ders kitaplarında yer alan kelime çalışmalarındaki kelimelere erişi düzeylerinin belirlenmesi [Master’s thesis, Gazi University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Murphy, K. A. (2016). Spelling and reading comprehension: Investigating unique relations in third grade. [Doctoral thesis, Ohio State University]. Ohio.
Muştu, G., & Karahisar, T. (2023). İlkokul Türkçe 2. Sınıf Ders Kitabı [Primary School Turkish 2nd Grade Textbook]. Ministry of National Education.
National Reading Panel. (2000). Teaching children to read: An evidence-based assessment of the scientific research literature on reading and its implications for reading instruction. National Institute of Child Health Human Development. https://www.nichd.nih.gov/sites/default/files/publications/pubs/nrp/Documents/report.pdf
Özmantar, M. F., Dapgın, M., Çırak Kurt, S., & İlgün, Ş. (2017). Mathematics teachers’ use of source books other than textbooks: reasons, results and implications. Gaziantep University Journal of Social Sciences, 16(3), 741–758. https://doi.org/10.21547/jss.322750
Quinn, J. (2012). Latent change score modeling of developmental relations between vocabulary and reading comprehension. [Master’s thesis, Florida State University]. Florida.
Rodríguez-Aranda, C. (2003). Reduced writing and reading speed and age-related changes in verbal fluency tasks. Clinical Neuropsychologist, 17(2), 203–215. https://doi.org/10.1076/clin.17.2.203.16508
Sarıca, A. (2014). İlköğretim II. kademe Türkçe ders kitaplarındaki sözcük çalışmalarının yöntem-teknik ve Türkçe öğretim programındaki kazanımlar açısından incelenmesi [Master’s thesis, Gazi University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Sarıoğlu, S. (2023). Predicting science process skills with artifiacial intelligence and its effectiveness in students and gifted students [Doctoral dissertation, Uludağ University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Sayın, H., & Doğan, Y. (2023). An examination of listening/watching texts in primary school Turkish texts in terms of vocabulary. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 65, 512–548. https://doi.org/10.21764/maeuefd.1161947
Sezer, H. N. (2022). A need analysis for trainer’s education. Uluslararası Türk Kültür Coğrafyasında Sosyal Bilimler Dergisi, 7(2), 215–227. https://doi.org/10.55107/turksosbilder.1188890
Şenocak, D. (2020). Açık ve uzaktan öğrenme ortamlarında yapay zekâ sunduğu fırsatlar ve yarattığı endişeler. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 6(3), 56–78.
Şenyaman, G. (2023). The future of artificial intelligence in Arabic as a foreign language teaching: The example of ChatGPT. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 33, 1057–1070. https://doi.org/10.29000/rumelide.1285940
Taş, H., & Minaz, M. B. (2018). Derslerde yardımcı kaynak kullanılmasının öğretmen, veli ve öğrenci görüşlerine göre değerlendirilmesi. SETSCI Conference Indexing System, 3, 582–589.
Tekşan, K., Çinpolat, E., & Uyar, Y. E. (2023). Text selections in Turkish textbooks used between 2000-2022. GUJGEF, 43(3), 2129–2023.
Temur, T. (2006). İlköğretim 4 ve 5. sınıf öğrencilerinin yazı dilindeki kelime hazinelerinin bazı değişkenler açısından incelenmesi. [Doctoral dissertation, Gazi University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Turhan, H. (2010). 8. sınıf Türkçe ders kitaplarındaki metinlerin söz varlığı açısından incelenmesi [Master’s thesis, Marmara University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Turkish Language Association. (2023). Türk Dil Kurumu Sözlüğü. https://sozluk.gov.tr/
Uçar, S. (2012). İlköğretim sınıf öğretmenlerinin kelime öğretiminde kullanılan yöntem ve tekniklerden haberdar olma ve kullanma sıklıkları düzeyleri [Master’s thesis, Uşak University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Uğur, F. (2014). Türkçe öğretmenlerinin kelime öğretim yöntem ve tekniklerini kullanma düzeyleri üzerine bir araştırma (Afyonkarahisar ili örneği). [Master’s thesis, Afyon Kocatepe University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Uluçay, M. (2011). İlköğretim 6, 7 ve 8. sınıf Türkçe ders kitaplarındaki söz varlığının ortaöğretim Türk dili ve edebiyatı ders kitaplarındaki metinlere altyapı oluşturmada yeterliliği [Master’s thesis, Erzincan University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Uludağ, Ç. (2010). 7. sınıf Türkçe ders kitaplarının söz varlığı açısından incelenmesi [Master’s thesis, Marmara University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Varışoğlu, B., Şeref, İ., Gedik, M., & Yılmaz, İ. (2014). Deyim ve atasözlerinin öğretilmesinde görsel bir araç olarak karikatürlerin başarıya etkisi. Karadeniz Araştırmaları, 41, 226–242.
Yalçın-Çelik, A., & Çoban, Ö. K. (2023). Investigating the performance of AI-based chatbots in answering chemistry questions. The Journal of Turkish Educational Sciences, 21(3), 1540–1561. https://doi.org/10.37217/tebd.1361401
Yavuz, M. (2020). Türkçe dersi öğretim programı ve 6. sınıf Türkçe ders kitaplarının söz varlığı açısından incelenmesi. [Master’s thesis, Akdeniz University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Yazbahar, Z. (2023). “I’m Digital Poet OpenAI”: Existentialism in poems written by artificial intelligence. Edebî Eleştiri Dergisi, 7(2), 442–456. https://doi.org/10.31465/eeder.1349203
Yıkar, G. (2023). An evaluation on artificial intelligence supported translation and text generation in Persian language education. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, 36, 1204–1221. https://doi.org/10.29000/rumelide.1369151
Yıldırım, A. F. (2006). A study on vocabulary teaching techniques in the Turkish course books and students’ workbooks for the second grades of primary schools. [Master’s thesis, Abant İzzet Baysal University]. Yükseköğretim Kurulu Başkanlığı Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Zileli, E. N. (2023). ChatGPT example in learning Turkish as a foreign language. Uluslararası Karamanoğlu Mehmetbey Eğitim Araştırmaları Dergisi, 5(1), 42–51. https://doi.org/10.47770/ukmead.1296013