Солопова А.И.

О некоторых особенностях автоматического анализа текста в информационной системе СМАЛТ. 
(Из опыта работы по лингво-стилистической атрибуции на материале
публицистических статей, изданных в журналах «Время» и «Эпоха» под редакцией М.М. и Ф.М. Достоевских.)

Мысль «поверить алгеброй гармонию» языка давно овладела умами исследователей, хотя сложность применения математических методов в этой области  не вызывает сомнений. Трудность состоит прежде всего в неоднозначности языковых единиц, функционирование которых в тексте определяется взаимодействием самых разнообразных лингвистических и экстралингвистических факторов. При попытке перевести языковую абстракцию в абстракцию математическую исследователь неизбежно наталкивается на то, что «исследуемое явление оказывается практически неразложимым на дискретные единицы, обнаружение которых – необходимое условие успешной статистической обработки.» Тем не менее необходимо искать методы, использование которых позволит максимально отразить те тончайшие нюансы семантико-грамматических связей, сочетание которых дает тот или иной эффект и составляет индивидуальные особенности творческой манеры автора и художественное своеобразие произведения. 
 В эпоху компьютерных технологий методы математической лингвистики получили новую перспективу развития. Поиск решения проблем лингвистического анализа  все активнее реализуется теперь на уровне информационных систем. Вместе с тем автоматизация процесса обработки языкового материала, предоставляя исследователю значительные возможности и преимущества, неизбежно выдвигает перед ним новые требования и задачи.  
В современной лингвистике  изучение текста как явления не только лингвистического, но в известном смысле экстралингвистического определяет интерес к исследованию «языковой личности», что делает актуальным внимание к «субъектной организации текста» и подтверждает справедливость слов акад. Виноградова о том, что «грамматика литературного языка должна быть стилистической». 
Создание информационной программы «Статистические методы анализа литературного текста» (ИС СМАЛТ) изначально было ориентировано на решение проблемы установления авторства анонимных и псевдонимных произведений. Однако подобная практика не может не затрагивать других специфических задач прикладной лингвистики, связанных с изучением естественного текста. 
Материалом для исследования послужили  публицистические статьи разной жанровой и тематической направленности, опубликованные в период с 1861 по 1865 год в петербургских журналах «Время» и «Эпоха», редактировавшихся братьями Достоевскими. Известно, что, являясь редактором этих изданий, Ф.М. Достоевский публиковал собственные статьи анонимно или под другим именем.  В.В. Виноградов, в статьях, посвященных описанию стиля Достоевского-публициста, назвал его «мастером языка и бытового фельетона» и отметил, что эта сторона его творчества мало исследована. 
В рамках крупномасштабной работы по изданию всех произведений Достоевского в их первоначальном виде, проводимой группой специалистов под руководством проф. В.Н. Захарова, воспроизводятся в цифровом формате также все периодические издания, выходившие под его редакцией. Это обусловило попытку решения проблемы возможного авторства Достоевского средствами компьютерного  статистического исследования. 
Анализируемые статьи представлены в оригинальной редакции с сохранением всех особенностей графики, орфографии и пунктуации. Это вызывает определенные сложности в выделении и атрибутировании языковых единиц, но вместе с тем может способствовать выявлению более тонких семантико-грамматических, ритмико-мелодических и смысловых отношений в тексте, а также служить стимулом к дальнейшему совершенствованию аппарата автоматического анализа.
Собственно лингвистическая обработка литературного текста в СМАЛТ производится на морфологическом и синтаксическом уровнях методом последовательного атрибутирования соответствующих грамматических единиц. На ступени морфологического анализа сформирован и постоянно пополняется словарь, который дает возможность до некоторой степени автоматизировать дальнейший процесс атрибутирования и вместе с тем  демонстрирует многообразие типов морфологической омонимии и представляет богатый лексико-грамматический материал. В целях автоматизации синтаксического анализа разрабатывается так называемый модуль предсинтаксического разбора, призванный решить проблему снятия морфологической многозначности. Данная статья содержит несколько замечаний по поводу работы с программой и о некоторых специфических особенностях исследуемых текстов, касающихся прежде всего их синтаксической организации.
 Прежде всего, представляется необходимым дать некоторые пояснения по поводу разработанной в СМАЛТ системы атрибуции и причин, обусловивших выбор грамматических значений на этапе морфологического разбора.
Естественно полагать, что основой автоматизированной статистической обработки текста  должны служить прежде всего строго объективные формальные параметры. Однако возникает вопрос: какие параметры в данном конкретном случае окажутся действительно показательны и важны? Следует помнить также о том, что языковые категории «имеют в каждую эпоху свои композиционные законы сцеплений словесных рядов», «свои нормы лексических колебаний, свои тенденции внутренней динамики слов, своеобразие семантики и синтаксиса.» 
Надо сказать, что выделение грамматической единицы в модуле морфологического анализа СМАЛТ производится автоматически по признаку ограничения ее с обеих сторон пробелами. Таким образом, атрибутированию последовательно подлежит всякое выделенное по этому принципу слово. В этом случае мы сталкиваемся с проблемой характеристики морфологем, выражающих свое грамматическое значение аналитически или в виде идиоматического сочетания. За рамками точного анализа могут остаться сложные формы глагольного времени, степеней сравнения, составные наречные, союзные, предложные, междометные сочетания, огромное количество разного вида фразеологизмов, части которых и вовсе невозможно рассматривать в отдельности.
В решении этой проблемы видится два пути. Первый путь предполагает строго формальный подход, т.е. атрибутирование каждого составного элемента структуры сложного морфологического целого как отдельной части речи с присущим ей набором  семантико-грамматических признаков. Но этот путь, во-первых, ведет к получению объективно неверной статистики количественного соотношения служебных и значимых частей речи и наличия аналитических форм; во-вторых, искажает картину существующих в тексте семантико-синтаксических и смысловых связей, что делает проблематичным последующий предсинтаксический анализ; а в-третьих – приглушает в некоторой степени стилистическую маркированность текста, поскольку игнорирует наличие в его морфологической структуре признаков аналитичности и фразеологичности. Кроме того, следует учитывать особенности орфографии в несовременных нам печатных материалах. Возможно ли атрибутировать, например, противительный союз «за то»(= зато) как предлог и местоимение? Безусловно, нет - в силу выше перечисленных причин. И подобных примеров в исследуемых нами текстах огромное множество. 
	Поэтому при разработке системы морфологического анализа в СМАЛТ был избран иной путь, который предполагает более корректную атрибуцию с использованием расширенного арсенала грамматических категорий. Таким образом, для каждой выделенной единицы предусмотрена наиболее близкая ей по контексту семантико-грамматическая характеристика, что позволяет точнее определить ее статус в морфологической иерархии текста. Т.е. в атрибуционной системе для элементов составных конструкций предусмотрены такие значения, как: «часть составного союза»(с дальнейшей характеристикой союза), «часть производного предлога»(с указанием его типа и значения), «часть сложной формы времени», «часть фразеологизма» и т.п. В процессе дальнейшей синхронизации данных разделенные элементы составных морфологем будут представлены как единая морфологическая единица текста. Кроме того, учитывается наличие в тексте неязыковых символов, цитат, афоризмов, иностранных слов и пр. 
Решая задачу выявления субъективного начала в объективном, СМАЛТ предлагает расширенную систему атрибуции разного рода переходных и переносных значений внутри грамматических парадигм, а также многозначности слов в общей парадигме частей речи. Подобный подход может значительно изменить общую статистическую картину  и дает возможность выделить более тонкие нюансы смысловых и лексико-грамматических отношений в тексте, «особые тенденции внутренней динамики слов» (Виноградов). 
Итак, на этапе морфологического разбора мы получаем достаточно полную информацию о регулярном и окказиональном функционировании лексико-грамматических языковых единиц, богатую парадигму омонимичных форм, закрепленную в словаре программы, и представление о порожденных этой омонимией оттенках смысловых и семантико-синтаксических связей.
 Далее, на уровне предсинтаксического анализа предполагается использование алгоритмов снятия морфологической неоднозначности для решения проблемы автоматизации синтаксического разбора. 
Имеющийся в современной научной практике опыт статистического анализа показал, что на уровне морфологического разбора средний показатель частоты функционирования в тексте основных грамматических категорий не может служить достаточно ярким показателем стилистической индивидуальности. В решении проблем выявления особенностей авторского стиля методами лингво-статистического анализа приоритетным, несомненно, является исследование синтаксической структуры текста. При этом важно помнить, что в информационно-поисковой системе компьютерной программы синтаксического анализа  «зачастую необходимо ранжирование элементов текста по некоторому критерию, который можно назвать их значимостью для решения определенного класса задач.» В связи с этим в данной статье будут затронуты проблемы выделения синтаксических единиц в аспекте их грамматической и стилистической значимости, а также с учетом особенностей пунктуационного оформления текстов  в их диахроническом изучении.
На этапе преформатирования текста в  ИС СМАЛТ производится автоматическая разбивка текстового материала на дискретные синтаксические единицы,  выделяемые по пунтуационному признаку конца предложения  и формально равные ему. Таким образом, основным структурным элементом автоматического анализа на уровне синтаксиса является предикативная единица, выделенная по указанному принципу. В модуле синтаксического разбора СМАЛТ заложен максимально возможный набор основных значений для характеристики  структурно-семантических и модально-интонационных типов предложений. Атрибутированию не подвергаются цитаты и афоризмы (в статистике они фигурируют с соответствующей пометой).
На выходе мы получаем статистические данные о точном количестве функционирующих в том или ином тексте типов простых и сложных предложений, об их структурном многообразии, степени осложненности, составе предикативных единств и т.д. Предстоящий подробный лингво-стилистический анализ этих данных покажет степень значимости  этих критериев в решении поставленной проблемы установления авторства. Однако нет небходимости доказывать, что текст «…не является лишь суммой свойств предложений» и что своеобразие авторского слога проявляется в выборе способов смыслового и грамматического сцепления предложений, в выявлении их семантических, экспрессивных, текстообразующих потенций. Для одного писателя важно выразить свою мысль наиболее компактно,  наиболее собранно и сконцентрированно, с четким выделением наиболее существенных и глубинных сторон предмета. Другой дает серию мимолетных, казалось бы, случайных впечатлений, каждое из которых умещается в одном предложении, а  существенное представление о предмете возникает лишь в результате суммирования, вернее, интерпретации этих впечатлений. Для такого писателя «контекст и переходы от одной фразы к другой, а иногда и перекличка далеко друг от друга стоящих предложений чуть ли не важнее, чем изучение отдельного изолированного предложения.» Таким образом, для решения задач стилистического плана следует обратиться к явлениям так называемого синтаксиса «большого контекста»(Т. И. Сильман).
 В отечественном языкознании  существует целое направление, связанное с развитием гипотезы, выдвинутой Н.С. Поспеловым ( а ранее к ней приближались А.А. Потебня, А.М.Пешковский и др.) о том, что собственно коммуникативная функция языка обслуживается не только (и не столько) отдельным предложением, сколько более сложным синтаксическим построением, характеризующимся семантическим и грамматическим единством. На сегодняшний день существует множество терминов, определяющих эту речевую единицу: «сверхфразное единство» (Булаховский), «прозаическая строфа» (Солганик), «синтаксический комплекс», «компонент текста», «группа предложений» т. п. Мы воспользуемся наиболее распространенным в научной и учебной практике термином Н.С. Поспелова: «сложное синтаксическое целое» (ССЦ)
 В толковании признаков и роли ССЦ  в организации текста есть некоторые разногласия. Так, одни ученые вовсе не признают самостоятельного предложения в тексте и считают единственным конституэнтом текста «…более крупное единство, объединяющее ряд предложений».
Другие исследователи точно определяют структурно-семантические признаки ССЦ, отграничивающие его от автосемантичного предложения.  Признавая грамматическое «равноправие» этих двух синтаксических единиц, они отмечают  особую стилистическую маркированность ССЦ. 
Третья точка зрения может быть интересна применительно к практике автоматического анализа. Так, Н.Д. Зарубина предлагает  строгое деление текста на разные виды конструктов по четко определенным формальным признакам. Используя понятия «твердого» и «мягкого начала» (Й. Мистрик), под которыми подразумевается способ грамматического выражения предиката и отнесенность предложений к тому или иному типу речи, она выделяет следующие типы синтаксических единиц:
1. сверхфразное единство
2. линейно-синтаксическая цепь 
3. группа предложений
4. одиночные предложения.
Структурированный таким образом текст,  обнаруживает, по мнению исследовательницы, дополнительные характеристики.
Идея отразить (хотя бы в некоторой степени) в статистическом исследовании особенности структурного построения текста, а также своеобразие синтаксической организации представленных к анализу материалов побудили создателей СМАЛТ включить в атрибутирующий комплекс параметр: «особый характер связи в контексте» со значениями: 1) «нет» (если предложение автосемантично), 2)«часть сложного синтаксического целого», 3)«присоединение» (если это единственный присоединяемый элемент) и некоторые другие. Так  реализуется попытка «ранжировать» единицы текста применительно к их структуре, объему, текстообразующей роли и степени самостоятельности. Таким образом, статистическая картина наряду с другими показателями продемонстрирует функционирование предикативных единиц с точки зрения их автосемантичности или синсемантичности в структуре текста. Следует уточнить, что автосемантия (смысловая достаточность) и синсемантия (смысловая недостаточность) понимается здесь в двух аспектах: в структурном и смысловом. Группа синсемантичных предложений будет представлять сложное синтаксическое целое.
Что же касается присоединения, то в СМАЛТ принято четкое разграничение этого понятия на разных уровнях структурных построений. Если это осложняющая синтагма в рамках предложения, то она квалифицируется как «присоединительная конструкция» в параметрах осложнений простого предложения. Если присоединительная конструкция выдвигается в парцеллят и выделяется в тексте как формально самостоятельное предложение, то ему в параметре «особый характер связи в контексте» будет присвоено значение: «присоединение». Если же присоединяемое предложение является компонентом более крупного структурного образования, то оно в этом же параметре определяется как «часть сложного синтаксического целого». Таким образом, в статистике проявляются и способы выражения структурно-синтаксической динамики на уровне разных компонентов текста.
В связи с этим работа по выделению подлежащих атрибуции синтаксических единиц в условиях автоматизированного анализа делает особенно важным внимание к   особенностям их пунктуационного оформления.  Автоматически членение текста на единицы анализа производится, как указывалось выше, по формальным показателям конца предложения, в качестве которых приняты точка, вопросительный и восклицательный знаки. Однако два последних не всегда следует рассматривать только в этом качестве. Например:
.«Отчего это? Если это вѣрное изображеніе нашего общества, то неужели въ нашемъ обществѣ только дураки остались? И могутъ ли дураки быть представителями общества? или авторы, въ высокомъ чувствѣ человѣколюбія, рѣшились заботиться только объ этихъ нищихъ міра сего? или они имъ кажутся очень умными? Какъ же это?» («Безцвѣтныя явленiя или Быль молодцу не укоръ») 
Подобная группа предложений составляет сложное синтаксическое целое. Однако, вероятно, не все предложения в нем имеют одинаковый статус, что подчеркивается строчной буквой начинающего их слова. Да и вопросительный знак выполняет здесь в большей степени  эмоционально-экспрессивную роль.
Сравните:
«Для кого же это пишутъ? И для чего наконецъ безобразятъ и пачкаютъ этой ни на что не нужной грязью только–что возникшій вопросъ, который и безъ того уже забросанъ ложнымъ и дикимъ пониманьемъ, разными излишествами, преувеличеніями, тупыми и близорукими взглядами? Для кого, говоримъ, пишутъ это? Для большинства? Для того, чтобы оно посмѣялось надъ новымъ вопросомъ, не успѣвши вникнуть въ него, и отвернулось бы отъ него, оставшись при добродушномъ убѣжденіи въ нормальности и безъукоризненности существовавшей до сихъ поръ системы женскаго воспитанія, опредѣляющаго и настоящее положеніе женщинъ въ обществѣ, и ихъ нравы и склонности?..» («Литературные антикварiи...»)
Такое различие в пунктуации представляется неслучайным, выражает особые смысловые отношения и не должно игнорироваться даже в практике автоматического анализа. На этапе преформатирования текста существует возможность изменить расположение специальных символов, выделяющих синтаксическую единицу для последующего анализа. В зависимости от поставленных задач, исследователь может, таким образом, атрибутировать всю конструкцию как единое целое или рассматривать  ее части как отдельные предложения, определяя их структурно-семантический статус в параметрах, о которых говорилось выше. Это позволит в какой-то мере проследить особенности структурной организации текста и, возможно, сыграет свою роль в выявлении авторской индивидуальности.
Говоря об особенностях пунктуации исследуемых нами текстов, приведем еще несколько примеров, убеждающих в необходимости пристального внимания к некоторым деталям. Так, например, интересным представляется различие в способах оформления предложений с прямой речью:
1. Впрочемъ можетъ быть это наша личная особенность, — мы никому ея не навязываемъ; можетъ быть вы въ такихъ случаяхъ съ улыбкой и съ удовольствіемъ думаете: по дѣломъ! пусть будет стыдно господину, — впередъ наука! («Литературные антикварiи или Большой вопросъ въ маленькихъ ручкахъ.»)
Или:
2.  Вѣдь поди, думаютъ они, съ этой честностью, вѣрностью самому себѣ, неподкупностью убѣжденій, насидишься голоднымъ; а кого удивишь? только самъ проголодаешь, когда другіе будутъ сыты. («Записки князя Талейрана.»)
Сравните:
3. Г. Лазаревъ создаетъ, какъ умѣетъ, а потомъ говоритъ: «Смотрите и судите; а мнѣ, говоритъ, кажется, что ничего лучше этого въ цѣломъ мірѣ нѣтъ!» («Нѣкоторыя размышленiя по поводу нѣкоторыхъ вопросовъ.»)
Некоторые наблюдения позволяют отметить следующую особенность: если   прямая речь в тексте действительно представляет собой слова другого лица (вымышленного или настоящего), то это подчеркивается разграничением планов  выражения автора и этого лица, что отражается в пунктуации (пример 3). Если же «прямая речь» представляет лишь предполагаемую автором мысль предполагаемого же оппонента, мы наблюдаем  как бы слияние их субъектно-речевых планов в единый полифоничный «комплекс мыслей» (Шахматов) одного человека, т.е. автора (примеры 1, 2).  Это только предположение, и оно требует более основательного исследования. Однако чтобы подчеркнуть эти различия, СМАЛТ может атрибутировать подобные типы предложений по-разному: один – как конструкцию с прямой речью, а другой – как сложную синтаксическую конструкцию, маркируя их таким образом по этому  признаку.

Работа по расширению потенциальных возможностей информационной системы СМАЛТ продолжается. Продолжается и поиск параметров, наиболее статистически показательных и значимых для решения поставленной задачи выявления авторского стиля. Предстоящая обработка полученных данных покажет, насколько верны эти усилия. Подробные статистические результаты и соответствующий литературоведческий и лингвистический комментарий могут стать темой последующих работ. В любом случае попытки решения проблем анализа литературного текста на уровне компьютерных технологий заставляют пристально и по-новому  вглядеться в это явление.

Использованная литература:

1.	Ахманова О.С., Натан Л.Н., Полторацкий А.И., Фатющенко Ф. И. О принципах и методах лингво-стилистического исследования. М., 1966.
2.	Виноградов В.В. Основные типы лексических значений слов. // Избр. труды. Лексикология и лексикография. М., 1977.
3.	Виноградов В.В. История русского литературного языка. М., 1978.
4.	Виноградов В.В. Проблема авторства и теория стилей. М., 1961.
5.	Гальперин И.Р. Текст как объект лингвистического исследования. М., 1981.
6.	Зарубина Н.Д. К вопросу о лингвистических единицах текста. // Сб. Синтаксис текста. М., 1979.
7.	Ермаков А.Е. Значимость элементов текста в свете теории синтаксической парадигмы. // Русский язык: исторические судьбы и современность./ Труды и материалы. Изд. МГУ, 2004.
8.	Поспелов Н.С. Сложное синтаксическое целое и основные особенности его структуры. // Доклады и сообщения Ин-та русского языка. Вып. 2. М.-Л., 1948.
9.	Солганик Г.Я. синтаксическая стилистика. (Сложное синтаксическое целое). М., 1973.