Использование веб-сервисов количественной и статистической оценки данных славянского исторического корпуса «Манускрипт» для лингвотекстологического анализа

Baranov, Victor
Kalashnikov Izhevsk State Technical University, Russian Federation
victor.a.baranov@istu.ru

Table of contents

1. Общая характеристика корпуса “Манускрипт”

Исторический корпус “Манускрипт: славянское письменное наследие” (manuscripts.ru) содержит машиночитаемые транскрипции более 140 полных кодексов и дошедших до настоящего времени отрывков средневековых письменных памятников X–XV веков общим объемом около 3,5 млн текстовых форм.

Технологической платформой корпуса является полнотекстовая база данных, модель которой предусматривает хранение любых структурных единиц рукописей, текстов, словарей, их характеристик и связей между ними.

Пользовательский интерфейс включает запросные веб-формы и интерфейсы визуализации выборок, которые, наряду со стандартными для корпусов параметрами запросов и режимами демонстрации (формирование подкорпуса, поиск по маске, поиск словосочетаний, вывод конкорданса и др.), имеют и нестандартные, позволяющие сформировать подкорпуса на основе аналитической разметки, вывести на экран любую часть рукописи по диапазону листов, просмотреть указатели лингвистических единиц или в максимально приближенной к оригиналу форме, или с максимальной ее унификацией, построить сопоставительные перечни нескольких кодексов и др. (Баранов 2015; Baranov 2018; Баранов 2019а).

2. Статистические модули корпуса

Известно, что количественные и статистические методы давно и очень успешно используются для решения большого количества прикладных и теоретических задач, в том числе в области лингвистики, филологии и истории (см., например, (Морозов 1915; Марусенко 1990; Милов и др. 1994; Шайкевич и др. 2013; Захаров / Хохлова 2014; Митрофанова 2015; Литвинова и др. 2016; Mimno / Blei 2011; Bing 2012; Blei 2012; Daud 2012; Guest et al. 2012; Jurafsky / Martin 2020: 325–415) и многие другие работы, посвященные общим и частным вопросам на стыке статистики и гуманитарных наук).

Наличие достаточно большой коллекции структурированных и размеченных текстов позволило поставить вопрос о разработке программ, процедур и веб-интерфейсов поиска и демонстрации сведений о количественных и статистических характеристиках лингвистических единиц. Такими специализированными модулями корпуса в настоящее время являются модуль статистики и модуль n-грамм. Первый позволяет увидеть распределение слов внутри рукописей, сопоставить количественные характеристики единиц текстов, оценить их с помощью статистических мер в сопоставлении с контрольным подкорпусом. Второй – построить перечни n-грамм отдельной рукописи или подкорпуса на основе статистических, формально-структурных и/или лингвистических параметров (Баранов 2016; Baranov / Gnutikov 2019).

3. Приемы сопоставительного статистического анализа канонов, стихир и седальнов славянской майской минеи

В докладе будут представлены результаты количественного и статистического анализа четырех славянских списков XI–XIII веков служебной минеи на май (РНБ, Соф. 202; РНБ, Соф. 203; РНБ, Соф. 204; ГИМ, Син. 166). Внимание будет уделено трем этапам работы: а) приемам построения подкорпусов на основе разметки больших и малых чтений (канонов, стихир и седальнов), б) предоставляемым статистическими модулями способам и параметрам извлечения и сопоставления данных, в) использованию подготовленных выборок в специализированных статистических пакетах. Кроме того, будут даны примеры лингвотекстологической интерпретации результатов количественной и статистической оценки текстов компилятивного состава, текстовые и языковые особенности которых должны исследоваться с учетом их состава и структуры.

Необходимость такого подхода диктуется сложной историей формирования структуры и состава служебных (повседневных) миней в греческой и славянской традициях (Нечунаева 2000; Кривко 2008; Йовчева 2014; Кривко 2016; Пентковский 2018), наличием нескольких историко-типологических групп миней, по терминологии Р. Н. Кривко (Кривко 2016: 15–16), отдельным существованием больших и малых чтений в составе особых книг как в палестинской гимнографической традиции (Кривко 2008: 90–92; Кривко 2016: 13), так и в славянской (Пентковский 2018: 258–259, 267), наличием в древнейших минеях разных редакций (переводов) одних и тех же последовательностей (Кривко 2016) и отдельных их жанров, например стихир (Пентковский 2018: 252, 267–269), которые могли делатьсяя в том числе и на основе различных исходных греческих текстов (Пентковский 2018: 267, 271) и др. Анализ текстологических, лексических, словообразовательных, морфологических разночтений позволяет систематизировать сохранившиеся списки, установить их преемственность, сделать выводы о характере влияния древнейших переводов и редакций на более поздние и т. д. (см., например, (Нечунаева 2000; Кривко 2015) и мн. др. работы).

Методика анализа разночтений предполагает сопоставление или отдельных лексем, словообразовательных или морфологических форм, или ряда разночтений разного типа в относительно небольшом по объему, содержащем один и тот же текст фрагменте нескольких списков.

Наличие полнотекстового размеченного корпуса средневековых славянских миней и компьютерного инструментария работы с ними позволяет поставить задачу выявления имеющихся в рукописях значимых лингвистических различий, которые могут быть обнаружены в результате количественного и статистического анализа тех или иных текстовых форм в полном объеме в ходе а) сопоставления рукописей друг с другом, б) сопоставления текстов разных жанров друг другу в пределах одного списка, в) сопоставления текстов одного жанра в разных рукописях с текстами другого жанра в тех же списках. Решение первой задачи представлено в работах (Баранов 2018; Баранов 2019б; Баранов 2019в), методика решения второй и третьей задач будет представлена в данном докладе.

Формирование подкорпусов. Аналитическая разметка на основе характеристик фрагментов миней позволяет сформировать подкорпуса канонов, стихир и седальнов как одной рукописи, так и нескольких, с помощью специализированных модулей извлечь из них ключевые слова или би- и триграммы и с помощью сопоставления их состава сделать выводы о лексико-тематических и лексико-семантических характеристиках.

Ключевые слова. Извлечение статистически значимых (ключевых) слов осуществляется в модуле статистики с помощью статистических мер Log-Likelihood, TF*ICTF, Weirdness (об этих мерах см., например, (Kwok 1995; Ahmad at al. 1999; Rayson / Garside 2000: 3; Roelleke / Wang 2006; Wu et al. 2008: 17; Ляшевская / Шаров 2011: 8–9; Клышинский / Кочеткова 2014: 368)) на основе сравнения частотности лингвистических единиц в анализируемых подкорпусах с их частотностью в контрольном подкорпусе, в качестве которого может быть выбран, например, подкорпус, включающий или только минеи, или все тексты исторического корпуса.

Статистически значимые сочетания. Модуль n-грамм обеспечивает извлечение из подкорпусов таких сочетаний текстовых форм (или лемм), которые претендуют на статус устойчивых. Помимо оценки дистрибуции с помощью статистических мер (Mutual Information и ее варианты, T-score, Log-Likelihood, Dice, Chi-squared, Log Ratio, Minimum Sensitivity, Inside, C-value) (об этих мерах см., например, (Evert 2010; Mima et al. 1998; Браславский / Соколов 2006; Ягунова / Пивоварова 2013; Кочеткова 2013)), модуль статистики предоставляет пользователям возможность указать расстояние между компонентами, учесть границы конструкций, разделенных пунктуационными знаками, порядок следования компонентов – закрепленный или свободный и другие характеристики сочетаний.

Унификация маски. При подготовке запросов пользователь может устранить графическую вариативность слов и форм и получить сведения не о их текстовых вариантах, а о собственно лингвистических единицах – словоформах и леммах. Вариативность снимается унификацией диакритики и титл и/или их устранением, заменой вариантных букв на основные, выполнением запроса на основе лемм, транслитерацией.

Эксперименты с текстовыми формами, леммами и их сочетаниями, извлеченными из подкорпусов канонов, стихир и седальнов, позволяют установить тематическую специфику малых и больших чтений.

Корреляционный и кластерный анализ. Извлеченные из подкорпусов соответствующие друг другу по характеристикам перечни могут быть проанализированы в специализированных статистических пакетах. В работе использован пакет Statistica (TIBCO Software Inc.), с помощью которого на основе ранговой статистики Спирмена исследуется степень корреляции подкорпусов друг другу (о методе см., например, (Фёрстер / Рёнц 1983: 160–163)) и анализируется степень их статистической близости с помощью кластерного анализа (см., например, (Tryon 1939; Cattell 1944; Sokal / Sneath 1963; Мандель 1988; Прикладная статистика 1989; Gore 2000; Маннинг и др. 2011: 383–396)).

С целью нивелирования влияния на результаты анализа тематики сопоставляемых подкорпусов в качестве материала выбраны служебные слова (предлоги, союзы, частицы), характеризующиеся тематической нейтральностью. Корреляция для каждой пары подкорпусов вычисляется на основе сведений о месте (рангах) соответствующих друг другу служебных слов в сортированных по их частотности перечнях. Набор значений попарных корреляций каждого из подкорпусов принимается за индивидуальную характеристику подкорпуса и используется на следующем этапе – при одномерном кластерном анализе.

Для подтверждения объективности результатов применяются различные сочетания приемов формирования кластеров (одиночной связи, полной связи, метода Варда и др.) и вычисления близости (Евклидово расстояние, Манхэттенское расстояние и др.). Эксперименты позволяют установить степень близости подкорпусов канонов, подкорпусов стихир и подкорпусов седальнов нескольких текстов друг другу.

4. Заключение

Эффективность и результативность использования больших хранилищ машиночитаемых размеченных средневековых текстов для лингвистического анализа во многом зависит от наличия специализированных инструментов доступа к данным и режимов демонстрации выборок. При этом специфические особенности точных транскрипций требуют соответствующих инструментов обработки, унификации, нормализации, разметки, извлечения и визуализации данных. В свою очередь специализированный инструментарий позволяет лингвисту-историку использовать новые приемы систематизации и сравнения данных, работать с полным массивом лингвистических единиц, ставить и решать задачи количественной и статистической оценки текстовых и языковых единиц сопоставляемых массивов (подкорпусов) данных.

Результативность такого взаимовлияния средневекового текстового материала, инструментария и статистических методик демонстрируется в докладе.

5. Благодарности

Работа выполняется при поддержке Российского фонда фундаментальных исследований (РФФИ) в рамках проекта “Лингвостатистический анализ однокомпонентных и многокомпонентных лексических единиц исторического корпуса “Манускрипт”” (грант № 18-012-00463).

6. Электронные интернет-ресурсы

Модуль статистики корпуса “Манускрипт” <http://manuscripts.ru/mns/!cred2.stat>

Модуль n-грамм корпуса “Манускрипт” <http://manuscripts.ru/mns/cred_ngr.stat>

7. Источники

Служебная минея на май (Путятина Минея), XI в. (РНБ, Соф. 202), 135 л. <http://manuscripts.ru/mns/main?p_text=16723192>

Служебная минея на май, XII в. (РНБ, Соф. 203), 136 л. http://manuscripts.ru/mns/main?p_text=27457098.

Служебная минея на май, XII в. (ГИМ, Син. 166), 176 л. <http://manuscripts.ru/mns/main?p_text=26361893>

Служебная минея на май, XIII в. (РНБ, Соф. 204), 133 л. <http://manuscripts.ru/mns/main?p_text=26513641>

8. Сокращения

ГИМ – Государственный исторический музей, г. Москва

РНБ – Российская национальная библиотека, г. Санкт-Петербург

РФФИ – Российский фонд фундаментальных исследований

Син. – Синодальное собрание рукописей Государственного исторического музея

Соф. – Софийское собрание рукописей Российской национальной библиотеки

Appendix A

Библиография
  1. Айвазян, Сергей А. / Бухштабер, Виктор М. / Енюков, Игорь С. / Мешалкин, Лев Д. (eds.) (1989): Прикладная статистика: классификация и снижение размерности. Москва: Финансы и статистика.
  2. Ahmad, Khurshid / Gillam, Lee / Tostevin, Lena (1999): “Weirdness indexing for logical document extrapolation and retrieval (WILDER)”, in: Proc. 8th Text Retrieval Conference TREC, Gaithersburg, USA 717‒724.
  3. Баранов, Виктор А. (2015): “Исторический корпус как цель и инструмент корпусной палеославистики”, in: Scripta & e-Scripta 14–15: 39–62.
  4. Баранов, Виктор А. (2016): “Модуль n-грамм исторического корпуса 'Манускрипт': структурные и лингвистические параметры”, in: Галиуллин, Камиль Р. / Горобец, Елена А. / Николаев, Геннадий А. (eds.): Научное наследие В. А. Богородицкого и современный вектор исследований Казанской лингвистической школы 1. Казань: Издательство Казанского университета 50–61.
  5. Баранов, Виктор А. (2018): “Количественный и статистический анализ средневековых текстов: ключевые слова славянских служебных миней XI–XIV вв.”, in: Пермский государственный национальный исследовательский университет (ed.): Естественнонаучные методы в цифровой гуманитарной среде. Пермь: Пермский государственный национальный исследовательский университет 73–77.
  6. Baranov, Victor A. (2018): “Text Corpus of Medieval Manuscripts as a Goal and a Tool for Linguistic Research”, in: Sels, Lara / Fuchsbauer, Jürgen / Tomelleri, Vittorio / Vos, Ilse de (eds.): Editing Mediaeval Texts from a Different Angle: Slavonic and Multilingual Traditions. To Honour Francis J. Thomson. Paris, Bristol, Ct.: Peeters Leuven 283–308.
  7. Баранов, Виктор А. (2019a): “Создание и использование исторических корпусов славянских письменных памятников”, in: Scripta & e-Scripta 19: 33–57.
  8. Баранов, Виктор А. (2019b): “Опыт применения количественных и статистических методов для поиска значимых слов в историческом корпусе (на материале средневековых славянских гимнографических и евангельских кодексов)”, in: Rothe, Hans / Schnell, Claudia (eds.): Studia Hymnographica II (= Patristica Slavica 24 / Abhandlungen der Nordrhein-Westfälischen Akademie der Wissenschaften und der Künste 131). Paderborn: Ferdinand Schöningh 149–201.
  9. Баранов, Виктор А. (2019c): “Статистически значимые слова четырех славянских служебных миней XI века”, in: Slavistica Vilnensis 64, 2: 10–30.
  10. Baranov, Victor A. / Gnutikov, Roman M. (2019): “The statistics and n-gram modules of the historical corpus “Manuscript”, in: Miltenova, Anisava / Baranov, Victor / Miklas, Heinz / Hawkins, Kevin / Fuchsbauer, Jürgen (eds.): Digital and Analytical Approaches to the Written Heritage. Textual Heritage and Information Technologies 2018. Sofia: Gutenberg Publishing House 9–28.
  11. Bing, Liu (2012): Sentiment Analysis and Opinion Mining. Williston / London: Morgan & Claypool Publishers.
  12. Blei, David (2012): “Probabilistic topic models”, in: Communications of the ACM 55, 4: 77–84.
  13. Браславский, Павел / Соколов, Евгений (2006): “Сравнение четырех методов автоматического извлечения двухсловных терминов из текста”, in: Труды международной конференции “Диалог 2006” 88–94 <http://www.dialog-21.ru/media/1935/braslavskiy.pdf> [14.02.2020].
  14. Cattell, Raymond B. (1944): “A note on correlation clusters and cluster search methods”, in: Psychometrica 9: 169–184.
  15. Daud, Ali (2012): “Using Time Topic Modeling for Semantics-Based Dynamic Research Interest Finding”, in: Knowledge-Based Systems 26: 154–163.
  16. Evert, Stefan (2010): “Association Measures”, in: Evert, Stefan: Computational Approaches to Collocations <http://collocations.de/AM/index.html> [12.02.2020].
  17. Gore, Paul A. Jr. (2000): “Cluster analysis”, in: Tinsley, Howard E. A. / Brown, Steven D. (eds.) Handbook of Applied Multivariate Statistics and Mathematical Modeling. San Diego, CA: Academic Press 297–321.
  18. Guest, Greg / MacQueen, Kathleen / Namey, Emily E. (2012): Applied thematic analysis. Thousand Oaks, California: Sage.
  19. Jurafsky, Dan / Martin, James H. (2020): Speech and natural language processing: An introduction to natural language processing, computational linguistics, and speech recognition <https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf> [12.02.2020].
  20. Захаров, Виктор П. / Хохлова, Мария В. (2014): “Автоматическое выявление терминологических словосочетаний”, in: Структурная и прикладная лингвистика 10: 182–200.
  21. Йовчева, Мария (2014): Старобългарският служебен миней. София: Издателски център «Боян Пенев», Институт за литература при БАН.
  22. Клышинский, Эдуард С. / Кочеткова, Наталия А. (2014): “Метод извлечения технических терминов с использованием меры странности”, in: Новые информационные технологии в автоматизированных системах 17: 365‒370 <https://elibrary.ru/download/elibrary_21527004_14693581.pdf> [08.02.2020].
  23. Кочеткова, Наталия А. (2013): “Статистические языковые методы. Коллокации и коллигации”, in: Новые информационные технологии в автоматизированных системах 16: 301‒305 <http://cyberleninka.ru/article/n/statisticheskie-yazykovye-metody-kollokatsii-i-kolligatsii> [12.02.2020].
  24. Кривко, Роман Н. (2008): “Синайско-славянские гимнографические параллели”, in: Вестник ПСТГУ III: Филология 1, 11: 56–102.
  25. Кривко, Роман Н. (2015): Очерки языка древних церковнославянских рукописей. Москва: Индрик.
  26. Кривко, Роман Н. (2016): Текстология и язык славянских служебных миней XI–XIV вв. Ph.D. thesis, Институт славяноведения РАН.
  27. Kwok, Kui-Lam (1995): “A network approach to probabilistic information retrieval”, in: ACM Transactions on Information Systems 13, 3: 325–354.
  28. Литвинова, Татьяна А. / Загоровская, Ольга В. / Середин, Павел В. (2016): “Диагностирование пола автора письменного текста на основе количественных параметров: когнитивный подход”, in: Вопросы когнитивной лингвистики 4, 49: 51–59.
  29. Ляшевская, Ольга Н. / Шаров, Сергей А. (2011): Новый частотный словарь русской лексики. Москва <http://dict.ruslang.ru/freq.php?> [08.02.2019].
  30. Мандель, Игорь Д. (1988): Кластерный анализ. Москва: Финансы и статистика.
  31. Маннинг, Кристофер Д. / Рагхаван, Прабхакар / Шютце, Хайнрих (2011): Введение в информационный поиск. Москва: ООО “И.Д. Вильямс”.
  32. Марусенко, Михаил А. (1990): Атрибуция анонимных и псевдонимных литературных произведений методами распознавания образов. Ленинград: Издательство Ленинградского университета.
  33. Mima, Hideki / Frantzi, Katerina T. / Ananiadou, Sophia (1998): “The C-value / Example-based Approach to the Automatic Recognition of Multi-Word Terms for Cross-Language Terminology”, in: The Pacific Rim International Conferences on Artificial Intelligence (PRICAI'98), Singapore <https://www.researchgate.net/publication/304254311> [22.02.2020].
  34. Mimno, David / Blei, David M. (2011): “Bayesian Checking for Topic Models”, in: John McIntyre Conference Centre (ed.): Conference on Empirical Methods in Natural Language Processing (EMNLP), Edinburgh, UK 227–237.
  35. Милов, Леонид В. / Бородкин, Леонид И. / Иванова, Татьяна В. и др. (eds.) (1994): От Нестора до Фонвизина: новые методы определения авторства. Москва: Прогресс.
  36. Митрофанова, Ольга А. (2015): “Тематическое моделирование корпуса 'Народных русских сказок А. Н. Афанасьева'”, in: Герд, Александр С. / Николаев Илья С. (eds.): Структурная и прикладная лингвистика 11: 146–154.
  37. Морозов, Николай А. (1915): “Лингвистические спектры: Средство для отличия плагиатов от истинных произведений того или другого известного автора: Стилеметрический этюд”, in: Известия Отделения рус. языка и словесности Императорской Академии наук 20, 4: 93–134.
  38. Нечунаева, Наталья А. (2000): Минея как тип славяно-греческого средневекового текста. Таллинн: Издательство Таллиннского университета.
  39. Пентковский, Алексей М. (2018): “Материалы для истории славянского богослужения в XI веке: I. Восточно- и южнославянские служебные Минеи”, in: Лингвистическое источниковедение и история русского языка. 2016–2017. Труды Института русского языка им. В. В. Виноградова 16: 245–295.
  40. Rayson, Paul / Garside, Rodger (2000): “Comparing corpora using frequency profiling”, in: Proceedings of the Comparing Corpora Workshop at ACL 2000, Hong Kong 1–6 <http://ucrel.lancs.ac.uk/people/paul/publications/rg_acl2000.pdf> [08.02.2020].
  41. Roelleke, Thomas / Wang, Jun (2006): “A parallel derivation of probabilistic information retrieval models”, in: Association for Computing Machinery (ed.): SIGIR '06: Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. Seattle, WA, August 2006: 107–114 DOI: 10.1145/1148170.1148192.
  42. Sokal, Robert R. / Sneath, Peter H. A. (1963): Principles of Numerical Taxonomy. San Francisco / London: W. H. Freeman and Co.
  43. Tryon, Robert Ch. (1939): Cluster analysis: correlation profile and orthometric (factor) analysis for the isolation of unities in mind and personality. Ann Arbor, Mich.: Edwards brothers, inc. <https://catalog.hathitrust.org/Record/001306510> [22.01.2020].
  44. Фёрстер, Эрхард / Рёнц, Бернд (1983): Методы корреляционного и регрессионного анализа. Руководство для экономистов. Москва: Финансы и статистика.
  45. Шайкевич, Анатолий Я. / Андрющенко, Владислав М. / Ребецкая, Наталья А. (2013): Дистрибутивно-статистический анализ языка русской прозы 1850–1870-х гг. 1. Москва: Языки славянской культуры.
  46. Ягунова, Елена В. / Пивоварова, Лидия М. (2013): “От коллокаций к конструкциям”, in: Сай, Сергей С. (ed.): Русский язык: конструкционные и лексико-семантические подходы. Санкт-Петербург: Институт лингвистических исследований <https://goo.gl/tIHeoR> [12.03.2020].
  47. Wu, Ho Chung / Luk, Robert Wing Pong / Wong, Kam Fai / Kwok, Kui Lam (2008): “Interpreting TF-IDF Term Weights as Making Relevance Decisions”, in: ACM Transactions on Information Systems 26, 3 <https://www.scss.tcd.ie/khurshid.ahmad/Research/Sentiments/tfidf_relevance.pdf> [08.02.2020] DOI: 10.1145/1361684.1361686.