УЛУЧШЕНИЕ СТРУКТУРИЗАЦИИ ПОНЯТИЙ В ЯЗЫКОВЫХ МОДЕЛЯХ ПОСРЕДСТВОМ ДОМЕННОЙ АДАПТАЦИИ

Топпер А. М. Гончарова А. Б

Об авторах

Топпер А. М. Гончарова А. Б

Топпер Алина Михайловна – магистр 2 курса, Санкт -Петербургский государственный университет, программа магистратуры: прикладная математика и информатики в задачах медицинской диагностики. ORCID: 0009-0000-3313-5399. Область научных интересов: языковые модели, семантический анализ, искусственный интеллект в медицине.

Гончарова Анастасия Борисовна – к.ф.-м.н. доцент, Санкт-Петербургский государственный университет, кафедра Теории систем управления электрофизической аппаратурой, e -mail:. O RCID: 0000-0002-7980-1657. Область научных интересов: системы поддержки принятия решений для медицины, обработка медицинских данных, математическое моделирование в медицине, машинное обучение и ИИ.

Скачать PDF

УДК: 004.89
DOI: 10.24412/2413-7383-2026-1-40-89-100
Язык: Русский

Аннотация: Актуальность обусловлена необходимостью интерпретации семантических представлений в языковых моделях, особенно в медицинской области. Библиотека Semgeom разработана для анализа геометрии векторных представлений слов методом семантических осей. Проведен сравнительный анализ моделей RuBioRoBERTa и ruRoberta-large, показавший преимущество доменно-адаптированной модели в точности семантической структуризации медицинских понятий. Результаты демонстрируют практическую ценность метода для валидации языковых моделей в специфических профессиональных доменах.

Ключевые слова: языковые модели; семантические оси; доменная адаптация; медицинские эмбеддинги; интерпретируемость ИИ.

Список литературы

1. Attention is all you need / Vaswani A. Shazeer N. Parmar N. Uszkoreit J. Jones L. Gomez A.N. Kaiser L. Polosukhin I. //Advances in neural information processing systems. 2017. Vol. 30. P.1-11.
2. Imparting interpretability to word embeddings while preserving semantic structure / Senel L.K. Utlu ¸ I. ¸Sahinuç F. Ozaktas H.M. Koç A. // Natural Language Engineering. 2021. Vol. 27. No. 6. P. 721–746.
3. A survey of the state of explainable AI for natural language processing / Marina Danilevsky M. Qian K. Aharonov R. Katsis Y. Kawas B. Sen P.// Proceedings of AACL-IJCNLP 2020. 2020. P.1-13
4. Concept-based explainable artificial intelligence: A survey/ Poeta E. Ciravegna G. Pastor E. Cerquitelli T. Baralis E. // ACM Computing Surveys. 2025. P.1-42
5. From explainable to interpretable deep learning for natural language processing in healthcare: How far from reality? / Huang G. Li Y. Jameel S. Long Y. Papanastasiou G. //Computational and structural biotechnology journal. 2024. Vol. 24. P. 362-373.
6. Semantic structure in large language model embeddings / Kozlowski A. C. Dai C. Boutyline A. // URL: arXiv preprint arXiv:2508.10003. 2025. (Дата обращения: 31.08.2025)
7. SemAxis: A lightweight framework to characterize domain-specific word semantics beyond sentiment / An J. Kwak H. Ahn Y. Y. // Proceedings of ACL 2018. 2018. P. 1-12.
8. Mathematical features of semantic projections and word embeddings for auto matic linguistic analysis / de Córdoba P. F. Pérez C. A. R. Pérez E. A. S. //AIMS MATHEMATICS. 2025. Vol. 10. No. 2. P. 3961-3982.
9. Библиотека Semgeom 1.1 / Топпер А. // [Электронный ресурс] URL: https://pypi.org/project/semgeom/ (Дата обращения: 31.08.2025) Т Топпер А.М. Гончарова А. Б.
10. On convex decision regions in deep network representations/ Tětková L. Brüsch T. Dorszewski T. et al. //Nature Communications. 2025.Vol. 16. No. 1. P. 5419.
11. Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings / Grand G. Blank IA. Pereira F. Fedorenko E. // URL: arXiv preprint arXiv:1802.01241. 2018. (Дата обращения: 31.01.2025)
12. The polar framework: Polar opposites enable interpretability of pre -trained word embeddings / Mathew B. Sikdar S. Lemmerich F. Strohmaier M. // Proceedin gs of The Web Conference 2020. 2020. P. 1548 –1558.
13. SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings / Engler J. Sikdar S. Lutz M. Strohmaier M. // Findings of the Association for Computational Linguistics: EMNLP 2022. 2022. P. 4607–4619.
14. RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining / Yalunin A. Nesterov A. Umerenkov D. // URL: arXiv preprint arXiv:2204.03951. 2022. (Дата обращения: 31.01.2025)
15. A family of pretrained transformer language models for Russian / Zmitrovich D. Abramov A. Kalmykov A. Kadulin V. Tikhonova M. Taktasheva E. Astafurov D. Baushenko M. Snegirev A. Shavrina T. Markov S. Mikhailov V. Fenogenova A. //Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC -COLING 2024). 2024. P. 507-524.
16. Towards Domain Specification of Embedding Models in Medicine / Khodadad M. Kasmaee AS. Astaraki M. Mahyar H. // URL: arXiv preprint arXiv:2507.19407. 2025. (Дата обращения: 31.01.2025)
17. Discovering universal geometry in embeddings with ICA / Yamagiwa H. Oyama M. Shimodaira H. // URL: arXiv preprint arXiv:2305.13175. 2023. (Дата обращения: 31.01.2025)
18. Axis tour: Word tour determines the order of axes in ica-transformed embeddings / Yamagiwa H. Takase Y. Shimodaira H. // URL: arXiv preprint arXiv:2401.06112. 2024. (Дата обращения: 31.01.2025)
19. A systematic review of bias detection methods for non-English word embeddings and language models/ Puttick A. Ikae1 C. Rigotti C. Fosch-Villaronga E. Kharas M.W. Søraa R.A. Kurpicz-Briki M. // Artificial Intelligence Review. 2025. Vol. 58. No. 12. P. 1–56.
20. Visualization of medical concepts represented using word embeddings: a scoping review / Oubenali N. Messaoud S. Filiot A. Lamer A. Andrey P. // BMC Medical Inf ormatics and Decision Making. 2022. Vol. 22. No. 1. P. 83.
21. Evaluating semantic relations in neural word embeddings with biomedical and general domain knowledge bases / Chen Z. Liu, X. Bian J. // BMC Medical Informatics and D ecision Making. 2018. Vol. 18. No. S2. P. 65.
22. Визуальное мышление в виртуальном мире управления и принятия решений / Колесников А. В. Листопад С.В. Бенько А.И. Майтаков Ф.Г. // Пробл емы искусственного интеллекта. 2017. № 4 (7). С. 49–59.
23. Система автоматической адаптации русскоязычных текстов и ее практическая значимость / Большакова С. А. // Проблемы искусственного интеллекта. 2024. Т. 34. № 3. С. 45–54.

Выпуск: 1(40)'2026
Раздел: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И МАШИННОЕ ОБУЧЕНИЕ
Как цитировать: Топпер А. М. Гончарова А. Б. УЛУЧШЕНИЕ СТРУКТУРИЗАЦИИ ПОНЯТИЙ В ЯЗЫКОВЫХ МОДЕЛЯХ ПОСРЕДСТВОМ ДОМЕННОЙ АДАПТАЦИИ // Проблемы искусственного интеллекта. - 2026. - № 1 (40). - С. 89-100. - https://paijournal.guiaidn.ru/ru/2026/1(40)-8.html

Назад к выпуску 1(40)'2026