Рогов А.А., Сидоров Ю.В., Король А.В.
Россия, Петрозаводск, Петрозаводский государственный университет
«СМАЛТ» - ОТ ПОСТРОЕНИЯ КОРПУСА ТЕКСТОВ К СПОСОБАМ ИХ ОБРАБОТКИ СТАТИСТИЧЕСКИМИ И ЭВРИСТИЧЕСКИМИ МЕТОДАМИ 

Современные исследовательские и коммерческие проекты, связанные с обработкой текстов и относящиеся к областям автоматического индексирования и реферирования текстов, статистической обработки специальных текстов, машинного перевода и многоязыковой генерации текстов, систем извлечения текстовой информации все шире опираются на данные электронных корпусов текстов. Неслучайно, многими исследовательскими группами ведутся работы по созданию машинного фонда русского языка, однако этот фонд ориентирован в большей мере на тексты XX века современного русского языка, а также специальное внимание уделяется текстам средневековой Руси. 
Дополняя множество различных корпусов русских текстов корпусом публицистических текстов 60-70-х гг. XIX века на языке дореволюционной России, в Петрозаводском государственном университете началась разработка информационной системы «Статистические методы анализа литературного текста» (ИС «СМАЛТ»). Данный проект поддержан РГНФ (проект № 02-04-12015в, интернет адрес проекта: http://smalt.karelia.ru). ИС имеет в своей основе базу данных литературных произведений (публицистические статьи из журналов «Время», «Эпоха», «Современник», «Гражданин» и др.) и их морфологических и синтаксических параметров. Таким образом, построенный корпус текстов содержит не просто различные словоформы, но и более подробную информацию:  для слов – их морфологические параметры, а также их расположение и значение в предложениях, т.е. синтаксические параметры. Данное обстоятельство дает несомненные преимущества именно при анализе данных текстов, выявлению некоторых неявных закономерностей. ИС состоит из двух основных блоков: функционального блока, предназначенного для морфологического и синтаксического анализа текстов через этап преформатирования произведений, и для пополнения БД литературных произведений и внесения исправлений в записи через модуль ввода и редактирования данных; и аналитического блока, состоящего из модулей, реализующих некоторые методики (методы кластерного анализа: ближней связи, средней связи Кинга, Уорда; метод оценки парной связи грамматических  классов; статистические методы проверки гипотез: критерий Стьюдента, непараметрический критерий Колмогорова-Смирнова и некоторые др.) выявления стилистических особенностей различных авторов для решения задач атрибуции (установления авторства).
Для достижения поставленной цели решаются задачи:
•	автоматизация морфологического и синтаксического разборов текстов, что является очень сложной и нетривиальной задачей. Так морфологический разбор осуществляется на базе собственного словаря, насчитывающего на данный момент около 40000 словоформ, в дальнейшем планируется использование словарь А. А. Зализняка. Для синтаксического разбора  реализуется парсер нотации одной из современных теорий формального описания синтаксиса естественных языков HPSG (Head Driven Phrase Structure Grammar).
•	обеспечение корректной обработки и хранения информации на языке, используемом в России в XIX веке (использование шрифтов Unicode);
•	разработка инструментария сравнения текстов на основе различных лингвостатистических параметров и математических методах и алгоритмах.