АНАЛИЗ ЭФФЕКТИВНОСТИ ГЛУБОКИХ ЯЗЫКОВЫХ МОДЕЛЕЙ ДЛЯ ЗАДАЧИ ОПРЕДЕЛЕНИЯ ТОНАЛЬНОСТИ РУССКОЯЗЫЧНЫХ ТЕКСТОВ

О журнале

Новости

Цели и сфера

Основатель и издатель

Редакционная коллегия

Условия лицензирования

Конфиденциальность

Отношение к плагиату

Публикационная этика

Политика архивирования

Подписка

Для авторов

Инструкции для авторов

Процесс рецензирования

Авторские права

Договор о передаче прав

Редакционные сборы

Архив

Все выпуски

Поиск

Контакты

Контакты

Бондаренко Виталий Иванович
кандидат технических наук, доцент кафедры компьютерных технологий физико-технического факультета
Федеральное государственное бюджетное образовательное учреждение высшего образования "Донецкий Государственный Университет"
Область научных интересов: искусственный интеллект, интеллектуальный анализ данных, машинное обучение, математическое моделирование гидро- и теплофизических процессов, разработка пользовательских интерфейсов для прикладных программ моделирования.

Елисеев Вадим Олегович
стажер-исследователь лаборатории интеллектуальных систем
Федеральное государственное бюджетное научное учреждение "Институт прикладной математики и механики"
Область научных интересов: искусственный интеллект, машинное обучение, нейронные сети, обработка естественного языка, генеративные и большие языковые модели.

Ермоленко Татьяна Владимировна
кандидат технических наук, доцент кафедры компьютерных технологий физико-технического факультета
Федеральное государственное бюджетное образовательное учреждение высшего образования "Донецкий Государственный Университет"
Область научных интересов: цифровая обработка сигналов, анализ данных, дискретная математика, теория алгоритмов, распознавание образов, обработка естественного языка, компьютерное зрение, машинное обучение, нейронные сети.

Скачать pdf

УДК 004.912
Язык: Русский
Аннотация: В статье проведено исследование качества работы глубоких нейросетей, полученных в результате тонкой настройки, для задачи определения тональности текстов на русском языке. В качестве базовых языковых моделей используются RuGPT-3 и RuBERT. Тонкая настройка осуществляется путем замены последнего линейного слоя на линейный классифицирующий с числом выходов, соответствующим числу классов (нейтральный, позитивный, негативный). Для анализа эффективности моделей в качестве метрик использованы точность классификации и средневзвешенная F1-мера. Численные исследования показали, что после тонкой настройки RuGPT-3 имеет более высокую качество классификации: в среднем точность на 8.45% больше по сравнению RuBERT, а усредненная F1-мера – на 10.95%. Однако, модели, использующие архитектуру GPT, имеют более низкую скорость работы.
Ключевые слова: языковая модель, обработка естественного языка, анализ тональности текстов, тонкая настройка нейронных сетей, GPT, BERT.

Список литературы:
1. Radford, A. Improving Language Understanding by Generative Pre-Training [Электронный ресурс]. URL: https://gwern.net/doc/www/s3-us-west-2.amazonaws.com/d73fdc5ffa8627bce44dcda2fc012da638ffb158. pdf.
2. Zmitrovich, D. A Family of Pretrained Transformer Language Models for Russian / D. Zmitrovich, A. Abramov, A. Kalmykov, M. Tikhonova, E. Taktasheva, D. Astafurov, M. Baushenko, A. Snegirev, T. Shavrina, S. Markov, V. Mikhailov, A. Fenogenova. 2023.
3. Kuratov Y. Adaptation of deep bidirectional multilingual transformers for Russian language / Y. Kuratov, M. Arkhipov. Komp’juternaja Lingvistika i Intellektual’nye Tehnologii. 2019. Тт. 2019-May.
4. Ермоленко, Т.В. Разработка алгоритмов и языковых моделей мультиязычной системы автоматического аннотирования текстов разных жанров / Т.В. Ермоленко, В.И. Бондаренко, Я.С. Пикалёв. Вестник ДонНУ. Серия Г: Технические науки. 2023. Т. 2. С. 22-43.
5. Humphrey A. Machine-learning classification of astronomical sources: estimating F1-score in the absence of ground truth / A. Humphrey, W. Kuberski, J. Bialek, N. Perrakis, W. Cools, N. Nuyttens, H. Elakhrass, P.A.C. Cunha. Monthly Notices of the Royal Astronomical Society: Letters. 2022. Т. 517. № 1.
6. Russian-language reviews | Kaggle [Электронный ресурс]. URL: https://www.kaggle.com/datasets/laytsw/reviews.
7. Sentiment Analysis in Russian | Kaggle [Электронный ресурс]. URL: https://www.kaggle.com/ competitions/sentiment-analysis-in-russian/data.
8. Ермоленко, Т.В. Классификация ошибок в тексте на основе глубокого обучения / Т.В. Ермоленко. Проблемы искусственного интеллекта. 2019. Т. 3. – № 14. – С. 47-57.
9. Пикалёв Я.С. Разработка системы нормализации текстовых корпусов / Я.С. Пикалёв. Проблемы искусственного интеллекта. 2022. Т. 2. № 25. С. 64-78.
10. Ryan Hoens T. Imbalanced datasets: From sampling to classifiers / T. Ryan Hoens, N. V. Chawla. Imbalanced Learning: Foundations, Algorithms, and Applications. 2013.
11. Бондаренко, В.И. Классификация научных текстов с помощью методов глубокого машинного обучения / В.И. Бондаренко. Вестник Донецкого национального университета. Серия Г. Технические науки. 2021. Т. 3. С. 69-77.
12. Webster J.J. Tokenization as the initial phase in NLP / J.J. Webster, C. Kit. 1992.
13. Пикалёв Я.С. Адаптация нейросетевой модели ALBERT для задачи языкового моделирования / Я.С. Пикалёв, Т.В. Ермоленко // Проблемы искусственного интеллекта. 2020. № 3(18). С. 111-122.
14. Wang, C. Neural machine translation with byte-level subwords / C. Wang, K. Cho, J. Gu. AAAI 2020 - 34th AAAI Conference on Artificial Intelligence. 2020.
15. Radford Alec. Language Models are Unsupervised Multitask Learners | Enhanced Reader [Электронный ресурс]. URL: https://life-extension.github.io/2020/05/27/GPT技术初探/language-models.pdf
16. Пикалёв, Я.С. Разработка автоматической системы трансформации английских вставок в русских текстах с применением глубокого обучения / Я.С. Пикалёв, Т.В. Ермоленко. Проблемы искусственного интеллекта. 2019. № 2 (13). С. 74-86.
17. Mao A. Cross-Entropy Loss Functions: Theoretical Analysis and Applications / A. Mao, M. Mohri, Y. Zhong. 2023.
18. Loshchilov I. Decoupled weight decay regularization / I. Loshchilov, F. Hutter. 7th International Conference on Learning Representations, ICLR 2019. 2019.
19. Xie Z. On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective / Z. Xie, Z. Xu, J. Zhang, I. Sato, M. Sugiyama. 2020.
20. Llama 2: Open Foundation and Fine-Tuned Chat Models / H. Touvron и др. 2023.
21. Takagi S. On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning / S. Takagi. Advances in Neural Information Processing Systems. 2022 Т. 35.
22. Eliseev Vadim. Sentiment Analysis Fine Tuned [Электронный ресурс]. URL: https://github.com/EliseevVadim/sentiment-analysis-fine-tuned.

Выпуск: 1(32)'2024
Раздел: Информатика, вычислительная техника и управление
Как цитировать: Бондаренко, В. И. АНАЛИЗ ЭФФЕКТИВНОСТИ ГЛУБОКИХ ЯЗЫКОВЫХ МОДЕЛЕЙ ДЛЯ ЗАДАЧИ ОПРЕДЕЛЕНИЯ ТОНАЛЬНОСТИ РУССКОЯЗЫЧНЫХ ТЕКСТОВ // В. И. Бондаренко, В. О. Елисеев, Т. В. Ермоленко // Проблемы искусственного интеллекта. - 2024. № 1 (32). - С. 51-62. - http://paijournal.guiaidn.ru/ru/2024/1(32)-4.html

Назад к выпуску 1(32)'2024