Рогов Александр Александрович, к.ф.-м.н., 
Сидоров Юрий Владимирович, к.т.н., 
Король Александр Викторович,
Солопова Анна Ивановна
Петрозаводский государственный университет,
Петрозаводск

Компьютерная обработка текстов при помощи ИС «СМАЛТ»

В данной работе описывается информационная система «Статистические методы анализа литературных текстов» (ИС «СМАЛТ»), предназначенная для сбора, централизованного хранения литературных произведений вместе с их грамматической и синтаксической структурами, а также для статистической обработки и анализа этих структур для выявления закономерностей авторских стилей.
Задача обработки литературных текстов возникла достаточно давно, однако современные информационные технологии открывают для этого направления новые пути развития. Обработка литературных текстов в последнее время приобретает особую значимость в связи с появлением возможности обрабатывать большие объемы текстовой информации за приемлемое время. Под обработкой в данном случае понимаются такие действия как разбиение исходного текста на структурные единицы (абзац, предложение, слово), выделение морфологических и синтаксических признаков единиц текста, количественная обработка результатов.
На современном этапе задачи автоматизированной или автоматической обработки текстов встают в таких прикладных задачах как автоматическое индексирование и реферирование текстов, статистическая обработка специальных текстов, машинный перевод и многоязыковая генерация текстов, системы извлечения текстовой информации,  извлечение знаний из больших массивов информации, задачи интеллектуального поиска, задачи установления авторства и др.
Как и ранее, важную роль в методиках автоматической и автоматизированной обработки текстов играют сегодня параметры, которые выделяются для текстов. Однако, сама проблема разбора литературных текстов по различным параметрам (морфологическим, синтаксическим, лексическим) является достаточно трудоемкой. Как правило, для решения различных прикладных задач, связанных с разбором текстов по определенным параметрам, до недавнего времени исследователи редко когда подвергали ручной обработке литературное произведение полностью, ограничиваясь лишь выборками, которые в совокупности покрывали не более 10% текста. Естественно, что результаты таких исследований могли содержать невольно допущенные искажения и ошибки и могли подвергаться критике. Еще одним немаловажным фактором является то, что материал, накопленный в результате обработки одной группой исследователей, зачастую не мог быть использован другими, тогда как подобная возможность могла бы привести к пересмотру некоторых ранее полученных результатов и, вероятно, появлению новых интересных для научного сообщества фактов. Эти и ряд других сложностей в ручной обработке текстов привели к возникновению идеи о необходимости создания единой информационной системы автоматизированного сбора, обработки и хранения информации о литературных текстах.
Были сформулированы основные требования к информационной   системе:
1.	ИС должна включать в себя базу данных содержащую литературные тексты вместе с их морфологическими и синтаксическими параметрами, с тем, чтобы материал, накопленный многими исследователями, был унифицирован по единому стандарту и централизованно хранился и обрабатывался. 
2.	ИС должна содержать модули автоматического морфологического и синтаксического анализа с возможностью последующей корректировки произведенной разметки специалистами филологами.
3.	ИС должна предоставить возможность специалистам, желающим проводить текстологические исследования определенных произведений, получать доступ, в том числе и через сеть Интернет, к необходимым им данным, а также разработать эффективный инструментарий для работы с этими данными. (Реализовать набор статистических методов для проведения комплексного анализа опубликованных в базе данных литературных произведений). 
В Петрозаводском государственном университете работы по компьютерной обработке текстов велись с 1995 года, и их результатом явилась разработка информационной системы «Статистические методы анализа литературных текстов» (ИС «СМАЛТ»), имеющей в своей основе базу данных текстов (на первом этапе публицистических статей из журналов «Время» и «Эпоха» за период с 1861-1865 гг.).
ИС состоит из двух основных блоков: функционального блока, предназначенного для морфологического и синтаксического анализа текстов, пополнения БД литературных произведений, а также внесения исправлений; и аналитического блока, состоящего из модулей, реализующих разнообразные методики статистического анализа текстов. В качестве исходного источника данных для клиентского приложения используется текстовый файл в кодировке Unicode, что позволяет избежать проблем, связанных с использованием в отдельных текстах символов, специфичных как для отдельных языков, так и для орфографии разных периодов одного языка. 
Обработка текстов в информационной системе производится в несколько этапов. На первом шаге выполняется автоматизированное разбиения исходного текста на лексические единицы, среди которых выделяются часть (или раздел), абзац, предложение, слово. Разбиение осуществляется на основе аппарата регулярных выражений. Шаблон разбиения можно изменять от текста к тексту при этом он сохраняется вместе с данными о разбиении.
На втором этапе осуществляется автоматическая обработка текста и его морфологический разбор. Несмотря на то, что результаты морфологического разбора, в основе которого лежит словарь словоформ, на данный момент, насчитывающий более 20000 вхождений, являются по большей части удовлетворительными, после работы автоматического модуля результирующая информация может корректироваться специалистом филологом. При морфологическом разборе для отдельных частей речи выделяется до 20 морфологических признаков.
На базе построенного морфологического разбора производится третья стадия обработки текста – синтаксический анализ. На этой стадии для каждого предложения исходного текста выделяются в среднем около 15 признаков, среди которых, к примеру: его структура, способы осложнения, эмоциональная окраска. В данный момент синтаксический анализ выполняется вручную специалистом-филологом, однако в будущем планируется использовать методики частичной автоматизации процесса.
После проведения разбора морфологических и синтаксических конструкций входного текста он описывается набором характеристических векторов, описывающих каждое слово (в случае морфологического анализа) и предложение (синтаксис). В дальнейшем вся статистическая обработка текста ведется с использованием лишь этой информации. А это в свою очередь предоставляет пользователю возможность, изменяя правила атрибуции слов и предложений, адаптировать клиентский модуль для обработки текстов на любом языке с произвольной грамматикой и синтаксисом. 
На следующем этапе пользователь может выполнять операции по анализу текстов, находящихся в репозитории как с использованием клиентского программного обеспечения, так и частично через WEB используя предоставляемый web-узлом интерфейс. На этой стадии в  распоряжении пользователя – набор методов кластерного, компонентного и факторного анализов, ряд реализованных методик распознавания образов на основе нейронных сетей и группа методов, предоставляющих возможность проверки гипотез авторства на основе гипотез однородности распределения. Все используемые методы обработки БД реализуются в виде легко расширяемого набора динамических библиотек.
Кроме этого пользователям ИС СМАЛТ предоставляется возможность внесения изменений и поправок в опубликованные данные. Таким образом, можно просмотреть одни и те же данные в редакции различных специалистов,  а также сравнить результаты, получаемые при статистической обработке различных редакций.
ИС “СМАЛТ” реализована как клиент-серверное приложение на базе реляционной СУБД Interbase. В качестве среды разработки Windows – клиента была выбрана среда Borland Delphi 6.0. Доступ к единой БД литературных текстов находится на http://smalt.karelia.ru.
Литература
1.	Rogov A.A., Sidorov Yu. Vl. Statistical and Information-calculating Support of the Authorship Attribution of the Literary Works. Computer Data Analysis and Modeling: Robustness and Computer Intensive Methods: Proc. of the Sixth International Conference (September 10-14, 2001, Minsk). Vol.2: K-S/ Edited by Prof. Dr. S. Aivazian, Prof. Dr. Yu. Kharin and Prof. Dr. H. Rieder. Minsk: BSU, 2001. – P. 187-192.
2.	Захаров В.Н., Рогов А.А., Сидоров Ю.В. Проблема грамматического инварианта Достоевского и атрибуция анонимных и псевдонимных статей в журналах «Время» и «Эпоха» (1861-1865). Труды и материалы Международного конгресса «Русский язык: исторические судьбы и современность» (13-16 марта 2001 года). – Москва: МГУ, 2001. – С. 404-405.
3.	Рогов А.А., Сидоров Ю.В., Король А.В. Автоматизированная система обработки и анализа литературных текстов "СМАЛТ". Труды и материалы II-го Международного конгресса исследователей русского языка "Русский язык: исторические судьбы и современность" (18-21 марта 2004 года). - Москва: МГУ, 2004. - С. 485-486.