|
Лицензионное соглашение об использовании научных материалов.
|
|
|
Практика английского языка в виртуальной реальности: анализ результатов и ошибок студентов инженерных специальностей
|
Корзин Андрей Сергеевич
Российский университет дружбы народов имени Патриса Лумумбы, г. Москва
Алексеева Наталия Александровна
Российский университет дружбы народов имени Патриса Лумумбы, г. Москва
Шалеева Елена Федоровна
Российский университет дружбы народов имени Патриса Лумумбы, г. Москва
Дмитриченкова Светлана Владимировна
Российский университет дружбы народов имени Патриса Лумумбы, г. Москва
Круглова Лариса Владимировна
Российский университет дружбы народов имени Патриса Лумумбы, г. Москва
|
|
Дата поступления рукописи в редакцию:
8 апреля 2026
г.
|
|
Аннотация.
Цель настоящего исследования состоит в выявлении факторов, затрудняющих прохождение студентами инженерных специальностей с уровнем владения английским языком A2-B1 учебного диалога на иностранном языке в виртуальной реальности (VR), на основе анализа структуры ошибок, выявленной по статистике выполнения сценария. В статье рассмотрены результаты прохождения сценария “Basic information about the company” в двух режимах (демонстрация и экзамен) и проведено сопоставление распределений пользователей с использованием описательной статистики и графического анализа (гистограммы, оценка плотности распределения (KDE-оценка), диаграмма размаха (box-plot)). В ходе анализа ошибок были выделены и рассмотрены два основных типа: ошибки, связанные с выбором обучающимися неправильного варианта ответа, и ошибки распознавания речи (система не принимает или не распознает корректно произнесенный ответ). Эти ошибки анализировались на каждом этапе диалога. Научная новизна исследования состоит в том, что в нем впервые на материале реальных результатов прохождения VR-диалога студентами инженерных специальностей Российского университета дружбы народов имени Патриса Лумумбы в рамках обучения английскому языку предложен и применен индекс доминирования ошибок распознавания (RDI), позволяющий оценить вклад технического фактора (системы автоматического распознавания речи, ASR) в общую структуру ошибок и отделить его от ошибок, связанных с выбором обучающимися неправильного варианта ответа. В результате установлено, что общая сложность заданий VR-диалогов в режимах «демонстрация» и «экзамен» является сопоставимой (медианные значения около 65-67%), однако результаты по прохождению режима «экзамен» сосредоточены в диапазоне 60-70%, тогда как в «демонстрации» наблюдаются более высокая вариативность результатов и наличие низких показателей успеваемости. Было продемонстрировано, что главной проблемой при прохождении обучения являются ошибки распознавания речи. Они встречаются чаще, чем ошибки, связанные с выбором обучающимися неправильного варианта ответа, – в среднем 41,8% по сравнению с 30,2%. Использование показателя RDI позволяет заключить, что ошибки в основном связаны с распознаванием речи и составляют около 76%. На уровне отдельных реплик максимальные ошибки в распознавании речи встречаются в формулах благодарности, завершающих диалог, и вопросах о специализации компании. Наибольшая доля неверных выборов связана с этапами диалога, где необходимо строго соблюдать речевой этикет и точные формулировки. Результаты показывают, что пользователи испытывают больше трудностей с VR-диалогами не из-за недостатка знаний, а из-за проблем с распознаванием речи и особенностей оформления ответов. Это указывает на необходимость улучшения модуля распознавания речи и дизайна сценариев для оценки коммуникативных навыков.
|
Ключевые слова и фразы:
изучение языков с помощью виртуальной реальности (VR)
обучение на основе диалогов
аналитика обучения
ошибки распознавания речи (ASR)
оценка эффективности
virtual reality (VR) language learning
dialogue-based training
learning analytics
speech recognition (ASR) errors
performance assessment
|
|
Открыть
полный текст статьи в формате PDF. Бесплатный просмотрщик PDF-файлов можно скачать здесь.
|
|
Список литературы:
- Baker R. S., Inventado P. S. Educational Data Mining and Learning Analytics // Learning Analytics: From Research to Practice / ed. by J. A. Larusson, B. White. Springer, 2014. https://doi.org/10.1007/978-1-4614-3305-7_4
- Bohus D. Error awareness and recovery in conversational spoken language interfaces: Doctoral dissertation. Pittsburgh: Carnegie Mellon University, 2007.
- Bohus D., Rudnicky A. Sorry and I didn’t catch that! – an investigation of non-understanding errors and recovery strategies // Proceedings of the 6th SIGdial Workshop on Discourse and Dialogue. Lisbon, 2005.
- Broussard K. M. Errors in Language Learning and Use: Exploring Error Analysis by Carl James // TESOL Quarterly. 1999. Vol. 33. No. 1. https://doi.org/10.2307/3588202
- Chen C., Yuan Y. Effectiveness of Virtual Reality on Chinese as a second language vocabulary learning: perceptions from international students // Computer Assisted Language Learning. 2023. Vol. 38 (3). https://doi.org/10.1080/09588221.2023.2192770
- De Araujo A., Papadopoulos P. M., Mckenney S., De Jong T. A learning analytics‐based collaborative conversational agent to foster productive dialogue in inquiry learning // Journal of Computer Assisted Learning. 2024. Vol. 40 (6). https://doi.org/10.1111/jcal.13007
- De Vries B. P., Cucchiarini C., Bodnar S., Strik H., Van Hout R. Spoken grammar practice and feedback in an ASR-based CALL system // Computer Assisted Language Learning. 2014. Vol. 28 (6). https://doi.org/10.1080/09588221.2014.889713
- Field A. Discovering Statistics Using IBM SPSS Statistics. 5th ed. Sage Publications, 2018.
- Frigge M., Hoaglin D. C., Iglewicz B. Some implementations of the Boxplot // The American Statistician. 1989. Vol. 43 (1).
- Graesser A., Jordan P., Vanlehn K., Rosé C., Harter D.Intelligent tutoring systems with conversational dialogue // AI Magazine. 2001. Vol. 22 (4). https://doi.org/10.1609/aimag.v22i4.1591
- Heift T., Schulze M. Errors and Intelligence in Computer-Assisted Language Learning: Parsers and Pedagogues. Routledge, 2007.
- James C. Errors in language learning and use: Exploring error analysis. Routledge, 2013.
- Jurafsky D., Martin J. H. Speech and Language Processing. 3rd ed. Pearson, 2020.
- Kang B. O., Jeon H., Lee Y. K. AI‐based language tutoring systems with end‐to‐end automatic speech recognition and proficiency evaluation // ETRI Journal. 2024. Vol. 46 (1). https://doi.org/10.4218/etrij.2023-0322
- Knill K., Gales M., Kyriakopoulos K., Malinin A., Ragni A., Wang Y., Caines A. Impact of ASR Performance on Free Speaking Language Assessment // Interspeech 2018 (Hyderabad, India, 2-6 September 2018). 2018. https://doi.org/10.21437/interspeech.2018-1312
- Lee A. Assessing Speaking Skills in Virtual Reality: Impacts and Implications // English Teaching. 2025. Vol. 80 (2).
- Lev-Ari S.Comprehending non-native speakers: theory and evidence for adjustment in manner of processing // Frontiers in Psychology. 2015. Vol. 5. https://doi.org/10.3389/fpsyg.2014.01546
- Lev-Ari S., Keysar B. Less-Detailed Representation of Non-Native Language: Why Non-Native Speakers’ Stories Seem More Vague // Discourse Processes. 2012. Vol. 49 (7). https://doi.org/10.1080/0163853x.2012.698493
- Li K.-C., Chang M., Wu K.-H. Developing a Task-Based Dialogue System for English Language Learning // Education Sciences. 2020. Vol. 10 (11). https://doi.org/10.3390/educsci10110306
- Palmas F., Cichor J., Plecher D. A., Klinker G. Acceptance and Effectiveness of a Virtual Reality Public Speaking Training // IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (Beijing, China). 2019. https://doi.org/10.1109/ismar.2019.00034
- Radzikowski K., Wang L., Yoshie O., Nowak R. Accent modification for speech recognition of non-native speakers using neural style transfer // EURASIP Journal on Audio, Speech, and Music Processing. 2021. Vol. 2021 (1). https://doi.org/10.1186/s13636-021-00199-3
- Sadigzade Z. Immersive and Gamified Approaches: VR/AR in Language Learning // Porta Universorum. 2025. Vol. 1 (6). https://doi.org/10.69760/portuni.0106002
- Scott D. W. Multivariate density estimation: Theory, practice, and visualization. Wiley, 2015.
- Silverman B. W. Density estimation for statistics and data analysis. Chapman and Hall, 1986.
- Thi-Nhu Ngo T., Hao-Jan Chen H., Kuo-Wei Lai K. The effectiveness of automatic speech recognition in ESL/EFL pronunciation: A meta-analysis // ReCALL. 2023. Vol. 36 (1). https://doi.org/10.1017/s0958344023000113
- Tobin J., Nelson P., Macdonald B., Heywood R., Cave R., Seaver K., Desjardins A., Jiang P.-P., Green J. R. Automatic Speech Recognition of Conversational Speech in Individuals with Disordered Speech // Journal of Speech, Language, and Hearing Research: JSLHR. 2024. Vol. 67 (11). https://doi.org/10.1044/2024_jslhr-24-00045
- Tukey J. W. Exploratory data analysis. Addison-Wesley, 1977.
- VanLehn K. The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems // Educational Psychologist. 2011. Vol. 46 (4).
- Wang Z., Schultz T., Waibel A.Comparison of acoustic model adaptation techniques on non-native speech // 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing (Hong Kong, China): Proceedings. 2003. https://doi.org/10.1109/icassp.2003.1198837
- Yang X., Chen Y.-N., Hakkani-Tur D., Crook P., Li X., Gao J., Deng L. End-to-end joint learning of natural language understanding and dialogue manager // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (New Orleans, LA, USA): Proceedings. 2017. https://doi.org/10.1109/icassp.2017.7953246
|
|