ИНТЕРПРЕТИРУЕМОСТЬ НЕЙРОСЕМАНТИЧЕСКИХ МОДЕЛЕЙ ПРИ ИХ ПРИМЕНЕНИИ В ПРИКЛАДНЫХ ОБЛАСТЯХ

О журнале

Новости

Цели и сфера

Основатель и издатель

Редакционная коллегия

Условия лицензирования

Конфиденциальность

Отношение к плагиату

Публикационная этика

Политика архивирования

Подписка

Для авторов

Инструкции для авторов

Процесс рецензирования

Авторские права

Договор о передаче прав

Редакционные сборы

Архив

Все выпуски

Поиск

Контакты

Контакты

Никитенко Кирилл Андреевич
аспирант кафедры компьютерных технологий ФГБОУ ВО «ДонГУ»
Область научных интересов: компьютерное зрение, машинное обучение, нейронные сети
Число научных публикаций – 5

Звягинцева Анна Викторовна
д.т.н., доцент, профессор кафедры компьютерных технологий ФГБОУ ВО «ДонГУ»
Область научных интересов: системный анализ, событийная и комплексная оценка; безопасность и управление социально-экономическими и техногенными системами; информационно-аналитические системы; обработка и анализ данных.
Число научных публикаций – более 150

Скачать pdf

УДК 04.8+004.912
DOI 10.24412/2413-7383-2025-2-37-79-90
Язык: Русский
Аннотация: В статье рассматриваются вопросы интерпретируемости нейросемантических моделей при их применении в прикладных областях, таких как медицина, право, финансы, образование и промышленная автоматизация. Обсуждаются ключевые сложности интерпретации высокоразмерных векторных представлений, контекстно-зависимых признаков и скрытых слоев трансформерных архитектур в реальных сценариях. Представлены современные встроенные и пост-хок методы объяснения, адаптированные к требованиям практических задач, а также анализ баланса между точностью и прозрачностью моделей. Статья завершается представлением перспективных направлений исследования, направленных на повышение доверия и безопасности ИИ-систем в прикладных приложениях.
Ключевые слова: интерпретируемость, нейросемантические модели, прикладные области, трансформер, объяснимость, практическое применение.

Список литературы:
1. Модели нейросетей: что такое и чем отличаются друг от друга // unisender:сайт - 2025 (24.05.2025).
2. Amodei D. Concrete Problems in AI Safety. arXiv. 2016. URL: https: arxiv.org/pdf/1606.06565.
3. Жарова, М. Модели BERT для машинного обучения. habr. 2024. URL: https: habr.com/ru/ companies/skillfactory/articles/862130.
4. ChatGPT 2025. habr - 2025, URL: https: habr.com/ru/companies/bothub/articles/887988.
5. BioBERT - модель обработки биомедицинских текстов. neurohive - 2019, URL: https://neurohive.io/ ru/novosti/biobert/ (28.05.2025).
6. ClinicBERT. HuggingFace - 2023, URL: https://huggingface.co/tdobrxl/ClinicBERT (accessed May 2, 2025).
7. RuT5, RuRoBERTa, RuBERT: как мы обучили серию моделей для русского языка. habr - 2021, URL: https: habr.com/ru/companies/sberdevices/articles/567776/ (28.05.2025).
8. DistilBERT: The compact NLP Powerhouse. opengenus - 2023, URL: https://iq.opengenus.org/distilbert/ (accessed May 28, 2025).
9. XLM-RoBERTa. huggingface, URL: https:huggingface.co/docs/transformers/model_doc/xlm-roberta (accessed May 28, 2025).
10. Beltagy L., Lo K., Cohan A., SciBERT: a pretrained languge model for scientific text. arXiv. 2019, URL: https: huggingface.co/docs/transformers/model_doc/xlm-roberta (accessed May 28, 2025).
11. T. Pires, E. Schlinger, D. Garrette, How multilingual is mBERT? arxiv. 2020, URL: https:arxiv.org/abs/2005.09093 (accessed May 28, 2025).
12. eformer - эффективный трансформер. habr. 2020, URL: https: habr.com/ru/articles/522622/ (29.05.2025).
13. L. Beltagy, M. Peters, A. Cohan, LongFormer: the long-document Transformer. arxiv. 2020, URL: https: arxiv.org/abs/2004.05150 (accessed May 29, 2025).
14. F. Landola, A. Shaw, R. Krishna, K. Keutzer, SqueezeBERT: what can computer vision teach NLP about efficient neural networks? arxiv. 2020, URL: https:arxiv.org/abs/2006.11316 (accessed May 29, 2025).
15. W. Wang, et al. MiniLM: Self Attention distillation for task-agnostic compression of pre-trained Transformers. arxiv. 2020, URL: https: arxiv.org/abs/2002.10957 (accessed May 29, 2025).
16. Google T5 1.1 model. metatext - 2024, URL: https:metatext.io/models/google-t5-v1_1-xxl (accessed May 29, 2025).
17. Новая языковая модель Google PalM. habr - 2022, URL: https: habr.com/ru/news/659603/ (28.05.2025).
18. Яндекс выложил YaLM - крупнейшая GPT-подобная нейросеть // habr - 2022, URL: https: habr.com/ru/companies/yandex/articles/672396/ (28.05.2025).
19. Lepikhin D., et al. GShard: Scaling giant models with conditional computation and automatic Sharding. arxiv. 2020, URL: https: arxiv.org/abs/2006.16668 (accessed May 29, 2025).
20. GODEL: может ли чатбот работать в коротких беседах? Майкрософт говорит да! analyticsindiamag 2022, URL: https: analyticsindiamag.com/global-tech/can-a-chatbot-indulge-in-small-talks-microsoft-says-yes/ (29.05.2025).
21. DialoGPT - a state of the art large-scale pretrained response generation model. huggingface, URL: https:huggingface.co/microsoft/DialoGPT-medium (accessed May 29, 2025).
22. Zhao H., et al. Explainability for Large Language Models: A Survey. arXiv preprint. 2024. arXiv: 2309.01029. URL: https: arxiv.org/pdf/2309.01029 (accessed May 29, 2025).
23. Räuker T., Ho A., Casper S., Hadfield-Menell D. Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks. arхiv. 2022, URL: https: arxiv.org/pdf/2207.13243 (accessed May 28, 2025).
24. Xia B., Wang X., Yamasaki T., Semantic Explanation for Deep Neural Networks Using Feature Interactions. ACM Transactions on Multimedia Computing, Communications, and Applications. V.17, no 2, 2021: 1-20. DOI: 10.1145/3474557
26. Смирнов И.В., Интеллектуальный анализ текстов на основе методов разноуровневой обработки естественного языка. - М.: ФИЦ ИУ РАН, 2023. - 354 с. EDN: VCDQEW
27. Sun X., et al. Interpreting Deep Learning Models in Natural Language Processing: A Review. arXiv, 2021. arXiv:2110.10470. URL: https: arxiv.org/pdf/2110.10470 (accessed May 29, 2025).
28. Ji Y., et al. A Comprehensive Survey on Self-Interpretable Neural Networks. arXiv, 2025. arXiv: 2501.15638. URL: https: arxiv.org/pdf/2501.15638.
29. Анцыферов С.С. Методология развития интеллектуальных систем / С.С. Анцыферов, А.С. Сигов, К.Н. Фазилова. Проблемы искусственного интеллекта, №2(25), 2022. С.42-47. EDN: CVKWLI
30. Bereska L., Gavves S. Mechanistic Interpretability for AI Safety // OpenReview:сайт, URL: https: arxiv.org/pdf/2501.15638.
31. Старченко С.Н., Рудаков А.В. Построение интерпретируемых моделей для анализа пользовательских отзывов // Информационные технологии и вычислительные системы. 2020. №3. С. 73-83.
32. Luber M., Thielmann A., Safken B. Structural Neural Aditive Models: enhanced Interpretable Machine Learning // arxiv:сайт, URL: https: arxiv.org/pdf/2302.09275.
33. Madsen A., Reddy S., Chandar S. Post-Hoc Interpretability for Neural NLP: A Survey // ACM Computing Surveys, no 55(155), 2022: 1-42.
34. Киселёв С.А. Архитектуры современных языковых моделей: от BERT до GPT-3 // Системы и средства информатики, Т.33, №2, 2023. С. 95-114.
35. Мельникова Н.Н., Шкляр В.Л. Методы интерпретации решений нейросетевых моделей в задачах анализа текста // Проблемы программирования, №5, 2021. С. 102-110.
36. Жураев И.И., Попов С.В. Интерпретируемость алгоритмов машинного обучения в задачах медицины // Искусственный интеллект и принятие решений, № 1, 2022. С. 54-64.
37. Чупров И.Ю., Фёдоров В.А. Интерпретируемость нейросетевых моделей: проблемы и подходы // Вестник Московского университета. Серия 1: Математика и механика, №6, 2023. С. 41-56.
38. Смирнов А.В., Кузнецова Е.П. Анализ композиционности в нейросетевых языковых моделях // Вестник компьютерных и информационных технологий, №2, 2024. С. 58-67.

Выпуск: 2(37)'2025
Раздел: СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ, СТАТИСТИКА
Как цитировать: Никитенко, К. А. Интерпретируемость нейросемантических моделей при их применении в прикладных областях / К. А. Никитенко, А. В. Звягинцева // Проблемы искусственного интеллекта. – 2025. – № 2(37). – С. 79-90. – DOI 10.24412/2413-7383-2025-2-37-79-90. – EDN VFRDWH.

Назад к выпуску 2(37)'2025