АВТОМАТИЧЕСКОЕ РАЗБИЕНИЕ ТЕКСТА НА СЕМАНТИЧЕСКИ ОДНОРОДНЫЕ ФРАГМЕНТЫ (АБЗАЦЫ)

А. В. Ниценко, В. Ю. Шелепов, С.А. Большакова

Об авторах

А. В. Ниценко, В. Ю. Шелепов, С.А. Большакова

Ниценко Артём Владимирович – к.т.н. старший научный сотрудник отдела распознавания речевых образов, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк. Область научных интересов: искусственный интеллект, обработка естественного языка, компьютерная лингвистика. адрес: 283048, г. Донецк, ул. Артема, д. 118 б.

Шелепов Владислав Юрьевич – д.ф.-м.н. профессор, главный научный сотрудник отдела распознавания речевых образов, Федеральное государственное бюджет- ное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк. Область научных интересов: искусственный интеллект, обработка естественного языка, компьютерная лингвистика. адрес: 283048, г. Донецк, ул. Артема, д. 118 б.

Большакова Светлана Анатольевна – младший научный сотрудник отдела распознавания речевых образов, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта». Область научных интересов: искусственный интеллект, компьютерная лингвистика, интеллектуальный анализ информации. адрес: 283048, г. Донецк, ул. Артема, д. 118 б.

Скачать PDF

УДК: 004.89
DOI: 10.24412/2413-7383-2025-3-38-113-123
Язык: Русский

Аннотация: Работа посвящена актуальной теме сегментации русскоязычного текста на семантически однородные фрагменты. В статье выполнен обзор ряда существующих подходов к задаче сегментации русского текста. Предложен алгоритм автоматического разбиения текста на абзацы, как тематически однородные фрагменты за счет использования отношения, учитывающего частоту встречаемости слова и длину отрезка текста, где оно встречается. С помощью разработанного программного обеспечения проведены эксперименты и сравнение предложенного алгоритма с другими методами сегментации. В результате установлено, что предложенный алгоритм демонстрирует лучшие показатели, нежели другие сравниваемые подходы.

Ключевые слова: семантическая сегментация текста, абзац, частота слова, отрезок встречаемости.

Список литературы

1. Чернобаев И.Д. Суркова А.С. Обзор методов тематической сегментации текстовых данных. Информационные системы и технологии ИСТ-2018: Материалы докладов XХIV Международной научно-технической конференции, посвященной 100-летию Нижегородской радиолаборатории (г. Нижний Новгород, 20 апреля 2018 года). Нижний Новгород: НГТУ им. Р.Е. Алексеева, 2018. С. 1079-1083.
2. Kirana R.P. Mukhrizal М. Jayanti F.G. Types of Lexical Cohesion and Grammatical Cohesion in Thesis Abstracts. Jadila: Journal of Development and Innovation in Language and Literature Education. 2020. vol. 1. no. 1. pp. 57-68. DOI: 10.52690/jadila.v1i1.14.
3. Мурай О.В. Когезия и когерентность в английской речи в публицистических текстах. Современная наука: актуальные проблемы теории и практики. Серия: Гуманитарные науки. 2021. №12-2. С. 171-
4. DOI: 10.37882/2223-2982.2021.12-2.28.
5. Hearst M. A. TextTiling: Segmenting text into multiparagraph subtopic passages. Computational linguistics. 1997. vol. 23. no. 1. pp. 33-64.
6. Malioutov I. Barzilay R. Minimum cut model for spoken lecture segmentation. Proceedings of the ACL. 2006. pp. 25-32.
7. Galley M. McKeown K. Fosler-Lussier E. Jing H. Discourse segmentation of multi-party conversation. Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics. 2003. pp. 562- 569.
8. Eisenstein J. Barzilay R. Bayesian unsupervised topic segmentation. Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2008. pp. 334-343.
9. Kharisudin I. Masri'an H. Topic Modeling on WhatsApp User Reviews Using Latent Dirichlet Allocation // Scandinavian Journal of Immunology. 2022. vol. 9. no. 1. pp. 51-62. DOI: 10.15294/sji.v9i1.34941.
10. Du L. Buntine W. Johnson M. Topic segmentation with a structured topic model. Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2013. pp. 190-200.
11. Авдеева З.К. Гаврилов М.С. Лемтюжникова Д.В. Шарафиев А.Ф. Методы решения задачи тематической сегментации текстов на основе графов знаний. Известия Российской академии наук. Теория и системы управления. 2024. № 4. С. 40-64. DOI: 10.31857/S0002338824040031.
12. Yu J. Shao H. Broadcast news story segmentation using sticky hierarchical Dirichlet process. Applied Intelligence. 2022. vol. 52. no. 11. pp. 12788-12800. DOI: 10.1007/s10489-021-03098-4.
13. Yu J. A DNN-HMM Approach to Story Segmentation //INTERSPEECH. 2016. pp. 1527-1531.
14. Vetráb M. Using Hybrid HMM/DNN Embedding Extractor Models in Computational Paralinguistic Tasks // Sensors. 2023. vol. 23, no. 11. pp. 5208. DOI: 10.3390/s23115208.
15. Баранов А. М. Юдина Т. А. Алгоритм сегментации научных статей, сочетающий принципы обучения с учителем и без учителя. Новые информационные технологии в автоматизированных системах. 2019. №22. URL: https://cyberleninka.ru/article/n/algoritm-segmentatsii-nauchnyh-statey- sochetayuschiy-printsipy-obucheniya-s-uchitelem-i-bez-uchitelya (дата обращения: 18.09.2025).
16. Javeed A. An LSTM model for extracting hierarchical relations between words for better topic modeling // Journal of Physics: Conference Series. 2021. vol. 1780, no. 1. pp. 12-19. DOI: 10.1088/1742- 6596/1780/1/012019.
17. Inzer S. Cheng K. Leung A. Shen X. Multi-scale Hybridized Topic Modeling: A Pipeline for Analyzing Unstructured Text Datasets via Topic Modeling. SIAM Undergraduate Research Online. 2023. vol. 16. DOI: 10.1137/22s1536832.
18. Lomakina L. S. Surkova A. S. Zhevnerchuk D. V. Chernobaev I. D. Text structures synthesis on the basis of their system-forming characteristics. IV International Research Conference "Information Technologies in Science, Management, Social Sphere and Medicine" (ITSMSSM 2017). Advances in Computer Science Research (ACSR). 2017. vol. 72. pp. 108-113.
19. Memon M. Q. Lu Yu. Chen P. An ensemble clustering approach for topic discovery using implicit text segmentation. Journal of Information Science. 2021. vol. 47, no. 4. pp. 431-457. DOI: 10.1177/0165551520911590.
20. Sonata I. Heryadi Ya. Tho C. Topic Segmentation using Transformer Model for Indonesian Text. Procedia Computer Science. 2023. vol. 227. pp. 159-167. DOI: 10.1016/j.procs.2023.10.513.
21. Iikura R. Okada M. Mori N. Improving BERT with Focal Loss for Paragraph Segmentation of Novels. Distributed Computing and Artificial Intelligence, 17th International Conference. DCAI 2020. Advances in Intelligent Systems and Computing. 2021. Vol. 1237. DOI: 10.1007/978-3-030-53036-5_3. Автоматическое разбиение текста на семантически однородные фрагменты (абзацы) 3Н
22. Solbiati A. Heffernan K. Damaskinos G. Poddar S. Modi S. Cali J. Unsupervised Topic Segmentation of Meetings with BERT Embeddings. arXiv preprint arXiv:2106.12978. 2021. DOI: 10.48550/arXiv.2106.12978.
23. Sokol V. Krykun V. Bilova M. Topic segmentation methods comparison on computer science texts // Вестник Национального технического университета "ХПИ". Серия Системный анализ, управление и информационные технологии. 2021. no. 2 (6). pp. 59-66. DOI: 10.20998/2079-0023.2021.02.10.
24. Хаген М. Полная парадигма. Морфология. URL: https://ru.z-lib.fm/book/3305205/3a85b7/ (дата обращения: 15.09.2025).
25. Choi F. Y. Y. Advances in domain independent linear text segmentation. 2000. arxiv preprint arXiv: cs/ 0003083.
26. Pevzner L. Hearst M. A. A critique and improvement of an evaluation metric for text segmentation //

Выпуск: 3(38)'2025
Раздел: СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ, СТАТИСТИКА
Как цитировать: А. В. Ниценко, В. Ю. Шелепов, С.А. Большакова. АВТОМАТИЧЕСКОЕ РАЗБИЕНИЕ ТЕКСТА НА СЕМАНТИЧЕСКИ ОДНОРОДНЫЕ ФРАГМЕНТЫ (АБЗАЦЫ) // Проблемы искусственного интеллекта. - 2025. - № 3 (38). - С. 113-123. - https://paijournal.guiaidn.ru/ru/2025/3(38)-10.html

Назад к выпуску 3(38)'2025