\article{83.3:681.3.06}%
{В.~Н.~Захаров, А.~А.~Рогов, Ю.~В.~Сидоров}%
{Поиск грамматического инварианта Ф.~М.~Достоевского 
методами статистического анализа}%
{Атрибуция статей Ф.М. Достоевскому}%
{Захаров~В.~Н., Рогов~А.~А., Сидоров~Ю.~В.}

\def\yy{$\!\!$}
\def\&{\yy&\yy}

\begin{abstract}
В данной работе исследуется стиль публицистических и литературно-критических
статей Ф.~М.~Достоевского с целью установления устойчивого авторского
инварианта для атрибуции анонимных и псевдонимных статей журнала ``Время'' (1861-1863).
Используются методы прикладного статистического анализа:
компонентный анализ, метод иерархического кластерного анализа,
метод корреляционных плеяд.
\end{abstract}


\section{Введение}

В нашем университете предприняты исследования по формально-грамматическому
и статистическому анализу текстов Ф.~М.~Достоевского, в частности, ставится
и решается проблема определения на основе данного анализа авторства некоторых
анонимных статей 60-х годов 19 века~\cite{dokl1, rogov, zah}.

Все известные сегодня методы атрибуции вызывают справедливые возражения
исследователей. Нет бесспорных методик определения авторства. Нередки
попытки, когда анонимные и псевдонимные статьи ошибочно приписываются
широко известным авторам. Подчас неправомерно устанавливаются параметры
распределения случайных величин в статистических методах~\cite{hetso}.

Целью нашей работы является, во-первых, поиск устойчивых инвариантов
авторского стиля в публицистических и литературно-критических статьях
Ф.~М.~Достоевского; во-вторых, сравнить полученный инвариант с результатами
формально-грамматического и статистического анализа анонимных и
псевдонимных текстов, опубликованных в журналах ``Время'' и ``Эпоха''
(1861-1865), и сделать предварительные выводы о принадлежности того или
иного литературного текста перу Ф.~М.~Достоевского.

\section{Исходные предположения и исходные данные}

На данном этапе исследования нами сделаны предположения, что инвариантом может
являться распределение частей речи на первых трех и последних трех позициях
предложений. Таким образом, при помощи специальных подпрограмм из базы данных
произведений для каждой статьи были получены частотные таблицы частей речи для
указанных 6 позиций предложения. Модуль ``Грамматический анализ'' позволяет
выявлять 16 частей речи, поэтому каждая статья в нашем исследовании имеет
96 признаков (6 позиций по 16 признаков).

Надо сказать, что отсутствуют четкие и однозначные статистические критерии
установления авторства, поэтому в целях экспериментальной проверки будут
использованы различные методы: экспертный метод, компонентный анализ, метод
ближайшего и дальнего соседа, метод корреляционных плеяд.

При помощи разработанных модулей программной системы ``Атрибуция''~\cite{dokl1} создана
электронная база данных, содержащая полный синтаксический и грамматический
анализ текстов статей из журналов ``Время'' и ``Эпоха''.

Выборочные характеристики из базы данных представлены в следующих четырех
таблицах: ``Тексты Ф.~М.~Достоевского''~(\ref{Sid-tab1}), ``Тексты для атрибуции''~(\ref{Sid-tab2}),
``Чужие тексты''~(\ref{Sid-tab3}), ``Дополнительные тексты''~(\ref{Sid-tab4}).

%\vspace{10mm}
\newpage

\begin{tabenv}{Тексты Ф.~М.~Достоевского}{!h!}{Sid-tab1}
\vspace{-5mm}

\begin{tabular}{|c|p{45mm}|c|c|c|c|}
\hline
\yy\&\&чис-\&сред-\&число\&средняя\yy\\
\yy\&\&ло\&няя\&пред-\&длина\yy\\
\yy\No\&Название статьи\&слов\&длина\&ложе-\&предло-\yy\\
\yy\&\&\&слова\&ний\&жения\yy\\
\hline
\yy001\&Введение\&13073\&5,55\&774\&16,89\yy\\
\hline
\yy002\&Г. -бов и вопрос об искусстве\&10937\&5,76\&529\&20,67\yy\\
\hline
\yy003\&Книжность и грамотность (ст. 1) (без цитат)\&5772\&5,71\&375\&15,37\yy\\
\hline
\yy004\&Книжность и грамотность (ст. 2) (без цитат)\&11666\&5,63\&672\&17,36\yy\\
\hline                  	
\yy005\&Последние литературные явления (ст. 5) (без цитат)\&3286\&5,49\&206\&15,89\yy\\
\hline
\yy006\&Петербургские сновидения в стихах и прозе\&6624\&5,53\&476 \&13,92\yy\\
\hline
\yy007\&Объявление об подписке на журнал ``Время'' на 1862г.\&1276\&5,43\&89 \&14,34\yy\\
\hline
\yy008\&Объявление об подписке на журнал ``Время'' на 1863г.\&2574\&5,45\&173\&14,88\yy\\
\hline
\yy009\&Объявление об издании журнала ``Время'' с 1861г. I\&1880\&6,08\&106\&17,74\yy\\
\hline
\yy010\&Заключение и чудесное бегство Жака Казановы\&405\&6,18\&32\&12,66\yy\\
\hline
\yy011\&Три рассказа Эдгара По\&564\&6,21\&34\&16,59\yy\\
\hline
\yy012\&Собор Парижской Богоматери. Роман В. Гюго (предисловие)\&646\&6,03\&31 \&20,84\yy\\
\hline
\yy013\&Литературная истерика\&329\&5,81\&21\&15,67\yy\\
\hline
\yy014\&Образцы чистосердечия\&3916\&5,84\&296\&13,23\yy\\
\hline
\yy015\&Ответ Русскому Вестнику\&5350\&5,85\&335\&15,97\yy\\
\hline
\yy016\&По поводу элегической заметки ``Русского Вестника''\&2805\&5,48\&186\&15,08\yy\\
\hline
\yy017\&Свисток и Русский Вестник\&4304\&5,66\&267\&16,12\yy\\
\hline
\yy018\&Щекотливый вопрос\&261\&6,13\&23\&11,35\yy\\
\hline
\end{tabular}
\vspace{-2mm}
\end{tabenv}

%\vspace{-7mm}

\newpage
\mbox{}\vspace{-15mm}
\begin{tabenv}{Тексты для атрибуции}{!h!}{Sid-tab2}
\vspace{-5mm}

\begin{tabular}{|c|p{55mm}|c|c|c|c|}
\hline
100\&Объявление о подписке журнала ``Время'' с 1861г. II\&337\&6,50\&61\&5,52\\
\hline
101\&Объявление от редакции журнала ``Время''\&128\&6,55\&6\&21,33\\
\hline
102\&Вопрос об университетах (без цитат)\&5517\&6,10\&336\&16,42\\
\hline
103\&Гаваньские чиновники в домашнем быту\&3232\&5,68\&201\&16,00\\
\hline
104\&Фельетон ``Разные разности''\&3602\&5,92\&231\&15,59\\
\hline
105\&Магдалина. Драма Ф. Геббеля. I&319\&6,42\&22\&14,50\\
\hline
106\&Магдалина. Драма Ф. Геббеля. II&185\&5,76\&12\&15,42\\
\hline
107\&Голос за петербургского Дон-Кихота&1316\&5,66\&72\&18,28\\
\hline
108\&Критические вариации на разные темы\&2764\&5,92\&136\&20,32\\
\hline
109\&Подводный камень\&3537\&5,70\&256\&13,82\\
\hline
110 \&Самоновейший отрицатель\&485\&5,86\&38\&12,76\\
\hline
111\&Мери Бартон. I\&63\&6,11\&3\&21,00 \\
\hline
112\&Мери Бартон. II\&402\&5,94\&16\&25,13\\
\hline
113\&Нечто о Шиллере. I\&119\&5,77\&9\&13,22\\
\hline
114\&Нечто о Шиллере. II\&309\&5,42\&24\&12,88\\
\hline
115\&Внутренние новости. I\&4370\&6,04\&168\&26,01\\
\hline
116\&Внутренние новости. II\&832\&6,21\&43\&19,35\\
\hline
117\&Задняя обложка\&425\&6,17\&25\&17,00\\
\hline
118\&Вместо фельетона\&4482\&5,36\&240\&18,67\\
\hline
119\&Рассказы Н.В. Успенского\&3358\&5,64\&174\&19,30\\
\hline
120\&Дворянин, желающий быть крестьянином\&2126\&5,98\&80\&26,24\\
\hline
121\&Девятнадцатый нумер ``Дня''\&1169\&5,69\&76\&15,38\\
\hline
122\&Полемический случай с ``Основой'' и ``Сионом''\&854\&5,99\&27\&31,63\\
\hline
123\&Два лагеря теоретиков\&2660\&5,84\&111\&23,44\\
\hline
124\&Выставка в Академии художеств за 1860-61 годы. I\&2517\&5,90\&142\&17,73\\
\hline
125\&Выставка в Академии художеств за 1860-61 годы. II\&2217\&6,20\&124\&17,88\\
\hline
126\&Выставка в Академии художеств за 1860-61 годы. III\&2019\&6,10\&107\&18,87\\
\hline
\end{tabular}
\vspace{-25mm}
\end{tabenv}

%\vspace{-7mm}

\newpage

\begin{tabenv}{Чужие тексты}{!h!}{Sid-tab3}
\vspace{-5mm}

\begin{tabular}{|c|p{55mm}|c|c|c|c|}
\hline
201\&Последние литературные явления (ст. 5)  (цитаты)\&935\&6,16\&55\&17,00\\
\hline
202\&Объявление об издании журнала ``Время'' с 1861г. II\&654\&6,33\&102\&6,41\\
\hline
203\&Объявление об издании журнала ``Время'' с 1861г. II\&429\&6,32\&61\&7,03\\
\hline
204\&Стихотворения А.С. Хомякова\&2~023\&6,04\&88\&22,94\\
\hline
\end{tabular}
\vspace{-2mm}
\end{tabenv}

%\vspace{-7mm}


\begin{tabenv}{Дополнительные тексты}{!h!}{Sid-tab4}
\vspace{-5mm}

\begin{tabular}{|c|p{55mm}|c|c|c|c|}
\hline
301\&Книжность и грамотность (ст. 1)\&5890\&5,71\&386\&15,26\\
\hline
302\&Последние литературные явления (ст. 5)\&4287\&5,65\&263\&16,30\\
\hline
303\&Вопрос об университетах\&5531\&6,10\&339\&16,32\\
\hline
304\&Книжность и грамотность (ст. 2)\&14094\&5,72\&777\&18,14\\
\hline
305\&Введение (первая половина)\&6698\&5,56\&343\&19,53\\
\hline
306\&Введение (вторая половина)\&6375\&5,55\&431\&14,79\\
\hline
307\&Г. -бов и вопрос об искусстве (первая половина)\&5423\&5,87\&261\&20,78\\
\hline
308\&Г. -бов и вопрос об искусстве (вторая половина)\&5514\&5,65\&268\&20,57\\
\hline
309\&Книжность и грамотность (ст. 1) (первая половина)\&3015\&5,66\&210\&14,36\\
\hline
310\&Книжность и грамотность (ст. 1) (вторая половина)\&2875\&5,76\&176\&16,34\\
\hline
311\&Книжность и грамотность (ст. 2) (первая половина)\&7162\&5,56\&379\&18,90\\
\hline
312\&Книжность и грамотность (ст. 2) (вторая половина)\&6932\&5,88\&398\&17,42\\
\hline
\end{tabular}
\vspace{-2mm}
\end{tabenv}

%\vspace{-7mm}

\medskip

Надо отметить, что последние 8 статей (с 305 по 312 номер) - это разделенные
примерно на 2 равные части 4 статьи с соответствующими названиями. Это сделано
для более точной оценки авторского инварианта, так как разумно предположить,
что внутри одной статьи инвариант должен соблюдаться - иначе не имеет смысла
рассуждать об инварианте между разными статьями. 

\section{Экспертный метод}

Естественно, что полученные данные требовали первичной обработки, чтобы
определиться с дальнейшей стратегией исследования. Для этой цели были
получены графики распределений частей речи для каждого произведения.
Далее экспертной группой было проведено визуальное исследование, результатом
которого является разбитие множества статей на группы, обладающими визуально
схожими признаками. К сожалению, данный метод не позволил различить
тексты Ф.~М.~Достоевского от текстов других авторов. Важным результатом данного
метода является то, что распределение частей речи на последней позиции
предложения одинаково практически на всех графиках, то есть последняя позиция
предложения может быть исключена из дальнейшего рассмотрения, так как она не
является индивидуальным стилистическим признаком. 

\section{Компонентный анализ}

Так как число признаков очень велико (96), то естественно подвергнуть исходные
статистические данные компонентному анализу, с целью снижения размерности
исходного признакового пространства. В основе компонентного анализа (анализа
главных компонент) лежат 2 идеи:

\begin{enumerate} 
\item Естественно рассматривать лишь те переменные, значения которых,
переходя от объекта к объекту, выявляют наибольшую изменчивость;
\item Вместо исходных, непосредственно измеренных признаков целесообразно
рассматривать меньшее количество новых признаков, которые являются
производными от исходных .
\end{enumerate}

В основном процедура выделения главных компонент подобна вращению, в котором
дисперсия исходного пространства переменных стремится к максимуму: критерий
(цель) вращения заключается в максимальной дисперсии (изменчивости) ``новой''
переменной (фактора) при минимальном разбросе вокруг нее. После того, как
найдена линия, для которой дисперсия максимальна, вокруг нее остается
некоторый разброс данных. Далее в анализе главных компонент после того, как
выделен первый фактор, определяется следующий фактор, ортогональный первому,
в которых остаточная
вариация (разброс данных вокруг первой прямой) максимальна, и т.д. Таким
образом, факторы последовательно выделяются один за другим. 

Метод компонентного анализа можно представить в виде следующего алгоритма:
\begin{enumerate} 
\item Ввод исходных данных.
\item Стандартизация (центрирование и нормирование) $X\longrightarrow Z$.
\item Расчет элементов матрицы Грамма $(\overrightarrow{Z_k},\overrightarrow{Z_s}),$ где $k,s = 1,\ldots,n$ - матрицы
 статистических оценок коэффициентов корреляции.
\item Расчет собственных чисел и собственных векторов матрицы Грамма.
\item Анализ главных компонент: $\lambda_1 \ge \lambda_2\ge \ldots \ge \lambda_n.$
\begin{enumerate} 
\item Главные компоненты:  $\overrightarrow{F_k}=\sum\limits_{s=1}^n\alpha_{sk}\cdot\overrightarrow{Z_s}, k = 1\ldots n.$
Где $\overrightarrow{\alpha_k}$  - собственные вектора матрицы Грамма. 
\item Вклады  главных компонент в общую дисперсию: $\mu_k=\frac{c_k}{n}\cdot 100\%.$ 
Обычно берут 2-3 главных компоненты так, чтобы их вклады были $> 95\%.$
\end{enumerate}
\item Интерпретация результатов.
\end{enumerate}

Исходными данными нашей задачи была матрица размеров 61х95, где 61 - число
обрабатываемых статей, а 95 -  число признаков. На самом деле число признаков
должно быть 96, но один из них был исключен из рассмотрения, так как  для
всех объектов его значение равнялось нулю.

Были получены следующие результаты. Для первых трех главных компонент  вклад
в общую дисперсию был равен 25\%, что не позволяет выявить те переменные,
которые проявляют изменчивость при переходе от одного объекта к другому.
Для сохранения в размере 95\% информативности статистических данных необходим
переход к учету 59 переменных. 

Результаты компонентного анализа без 16 последних признаков (части речи,
стоящих на последней позиции в предложениях) оказались также несущественны:
вклад первых трех главных компонент - чуть более 27\%.

Таким образом, результатом применения метода главных компонент является то,
что для того чтобы сохранить информативность данных, необходимо сократить
число признаков примерно на 30\%. Из этого следует, что  не существует единого
фактора, который бы мог существенно  влиять на результаты исследования,
которое будет продолжено с использованием других методик. 

\section{Метод иерархической кластеризации}

Метод иерархической кластеризации - один из методов кластерного анализа.
Назначение этого алгоритма состоит в объединении объектов в достаточно
большие кластеры, используя некоторую меру сходства или расстояние между
объектами. Типичным результатом такой кластеризации является иерархическое
дерево.

Рассмотрим горизонтальную древовидную диаграмму. Диаграмма начинается с каждого
объекта в классе (в левой части диаграммы). Теперь представим себе, что
постепенно (очень малыми шагами) ``ослабляется''  критерий того, какие объекты
являются уникальными, а какие нет. Другими словами, понижается порог,
относящийся к решению об объединении двух или более объектов в один кластер.
В результате, связывается вместе всё большее и большее число объектов и
агрегируется (объединяется) все больше и больше кластеров, состоящих из
различающихся элементов. На последнем шаге все объекты объединяются вместе.
На этих диаграммах горизонтальные оси представляют расстояние объединения
(в вертикальных древовидных диаграммах вертикальные оси представляют
расстояние объединения). Так, для каждого узла в графе (там, где формируется
новый кластер) можно видеть величину расстояния, для которого соответствующие
элементы связываются в новый единственный кластер. Когда данные имеют ясную
``структуру'' в терминах кластеров объектов, сходных между собой, тогда эта
структура, скорее всего, должна быть отражена в иерархическом дереве
различными ветвями. В результате успешного анализа методом объединения
появляется возможность обнаружить кластеры (ветви) и интерпретировать их.
Можно использовать различные формы расстояния между объектами.
В нашем исследовании мы использовали 2 меры:

\begin{enumerate}
\item Евклидова мера: $\rho(x,y)=\sqrt{\sum\limits_{i=1}^n(x_i-y_i)^2}.$ 
\item Мера Чебышева: $\rho(x,y)=\max\limits_{i\in 1\ldots n}|x_i-y_i|.$ 
\end{enumerate}

Для объединения двух кластеров можно использовать различные
способы~\cite{aivaz, mandel}: 

{\bf Метод ближайшего соседа.} В этом
способе расстояние между двумя кластерами определяется расстоянием между
двумя наиболее близкими объектами (ближайшими соседями) в различных
кластерах. Это правило должно, в известном смысле, нанизывать объекты вместе
для формирования кластеров. В итоге кластеры имеют тенденцию быть
представленными длинными ``цепочками''. 

{\bf Метод дальнего соседа.} В этом способе
расстояния между кластерами определяются наибольшим расстоянием между любыми
двумя объектами в различных кластерах (т.е. ``наиболее удаленными соседями'').
Этот метод хорошо разбивает объекты на группы, когда они происходят на самом
деле из различных ``рощ''. Если же кластеры имеют в некотором роде удлиненную
форму или их естественный тип является ``цепочечным'', то этот метод непригоден.

В нашем исследовании были использованы следующие методы: методы ближайшего
и дальнего соседа с евклидовой мерой и мерой Чебышева. Результаты можно
представить в виде следующей таблицы~\ref{Sid-tab5}:

\newpage
\mbox{}\vspace{-15mm}
\begin{tabenv}{Промежуточные шаги метода иерархической кластеризации}{!h!}{Sid-tab5}
\vspace{-5mm}
\begin{center}\small
\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|c|c|}
\hline
&\multicolumn{6}{|c|}{$\!\!$Ближайший сосед\yy}&\multicolumn{6}{|c|}{$\!\!$Дальний сосед\yy}\\
\cline{2-13}
$\!\!$ш\yy&\multicolumn{3}{|c|}{$\!\!$Евклидова мера\yy}&\multicolumn{3}{|c|}{$\!\!$Мера Чебышева\yy}&\multicolumn{3}{|c|}{$\!\!$Евклидова мера\yy}&\multicolumn{3}{|c|}{$\!\!$Мера Чебышева\yy}\\
\cline{2-13}
$\!\!$а\&Расс-\&C1\&C2\&Расс-\&C1\&C2\&Расс-\&C1\&C2\&Расс-\&C1\&C2\yy\\
$\!\!$г\&тояние&\&\&тояние\&\&\&тояние\&\&\&тояние\&&\yy\\
%\&яние&\&\&яние\&\&\&яние\&\&\&яние\&&\yy\\
\hline
\yy60\&0,0001\&303\&102\&0,0032\&303\&102\&0,0001\&303\&102\&0,0032\&303\&102\yy\\[-0.4mm]
\hline
\yy59\&0,0002\&301\&003\&0,0065\&301\&003\&0,0002\&301\&003\&0,0065\&301\&003\yy\\[-0.4mm]
\hline
\yy58\&0,0027\&304\&004\&0,0137\&304\&004\&0,0027\&304\&004\&0,0137\&304\&004\yy\\[-0.4mm]
\hline
\yy57\&0,0120\&001\&306\&0,0436\&004\&311\&0,0120\&001\&306\&0,0479\&003\&310\yy\\[-0.4mm]
\hline
\yy56\&0,0151\&004\&312\&0,0453\&003\&310\&0,0163\&004\&311\&0,0500\&302\&005\yy\\[-0.4mm]
\hline
\yy55\&0,0160\&311\&312\&0,0488\&311\&312\&0,0184\&003\&310\&0,0506\&001\&306\yy\\[-0.4mm]
\hline
\yy54\&0,0184\&003\&310\&0,0495\&309\&310\&0,0227\&302\&005\&0,0508\&004\&311\yy\\[-0.4mm]
\hline
\yy53\&0,0187\&305\&306\&0,0500\&302\&005\&0,0239\&002\&307\&0,0527\&002\&305\yy\\[-0.4mm]
\hline
\yy52\&0,0197\&309\&310\&0,0506\&001\&306\&0,0384\&102\&312\&0,0610\&016\&017\yy\\[-0.4mm]
\hline
\yy51\&0,0227\&302\&005\&0,0527\&002\&305\&0,0453\&016\&308\&0,0649\&015\&308\yy\\[-0.4mm]
\hline
\yy50\&0,0239\&002\&307\&0,0588\&305\&312\&0,0467\&006\&305\&0,0668\&307\&312\yy\\[-0.4mm]
\hline
\yy49\&0,0245\&307\&308\&0,0604\&102\&312\&0,0544\&306\&308\&0,0691\&006\&310\yy\\[-0.4mm]
\hline
\yy48\&0,0325\&306\&308\&0,0610\&016\&017\&0,0562\&307\&312\&0,0741\&119\&118\yy\\[-0.4mm]
\hline
\yy47\&0,0325\&308\&312\&0,0613\&310\&312\&0,0589\&017\&310\&0,0767\&102\&305\yy\\[-0.4mm]
\hline
\yy46\&0,0349\&006\&312\&0,0619\&006\&312\&0,0640\&015\&305\&0,0824\&103\&115\yy\\[-0.4mm]
\hline
\yy45\&0,0368\&102\&312\&0,0622\&017\&306\&0,0646\&115\&124\&0,0904\&204\&126\yy\\[-0.4mm]
\hline
\yy44\&0,0399\&310\&312\&0,0623\&306\&312\&0,0666\&119\&118\&0,0956\&108\&124\yy\\[-0.4mm]
\hline
\yy43\&0,0427\&016\&312\&0,0633\&307\&312\&0,0697\&109\&305\&0,0988\&017\&308\yy\\[-0.4mm]
\hline
\yy42\&0,0435\&015\&312\&0,0641\&308\&312\&0,0745\&103\&310\&0,0989\&305\&312\yy\\[-0.4mm]
\hline
\yy41\&0,0457\&017\&312\&0,0649\&015\&312\&0,0750\&104\&124\&0,1046\&109\&117\yy\\[-0.4mm]
\hline
\yy40\&0,0484\&005\&312\&0,0704\&005\&312\&0,0792\&005\&311\&0,1049\&005\&311\yy\\[-0.4mm]
\hline
%\yy39\&0,0524\&119\&312\&0,0741\&119\&118\&0,0818\&204\&126\&0,1049\&309\&310\yy\\[-0.4mm]
%\hline
%\yy38\&0,0535\&014\&312\&0,0780\&103\&312\&0,0821\&123\&312\&0,1060\&007\&306\yy\\[-0.4mm]
%\hline
%\yy37\&0,0552\&109\&312\&0,0783\&118\&312\&0,0831\&100\&202\&0,1074\&104\&126\yy\\[-0.4mm]
%\hline
%\yy36\&0,0583\&103\&312\&0,0799\&123\&312\&0,0896\&118\&308\&0,1219\&121\&123\yy\\[-0.4mm]
%\hline
%\yy35\&0,0598\&118\&312\&0,0824\&115\&312\&0,0969\&305\&310\&0,1220\&118\&306\yy\\[-0.4mm]
%\hline
%\yy34\&0,0637\&007\&312\&0,0829\&124\&312\&0,1040\&007\&308\&0,1230\&115\&125\yy\\[-0.4mm]
%\hline
%\yy33\&0,0646\&115\&124\&0,0852\&014\&312\&0,1115\&108\&312\&0,1274\&120\&124\yy\\[-0.4mm]
%\hline
%\yy32\&0,0661\&123\&312\&0,0883\&008\&312\&0,1155\&121\&009\&0,1348\&100\&202\yy\\[-0.4mm]
%\hline
%\yy31\&0,0663\&104\&124\&0,0890\&109\&312\&0,1158\&008\&309\&0,1367\&107\&012\yy\\[-0.4mm]
%\hline
\yy\dots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\&\ldots\yy\\[-0.4mm]
\hline
%если не будет влезать на страницу таблица, то можно раскомментировать строку с многоточиями, 
%и закомментировать шаги с 30 по 15.
%\yy30\&0,0686\&124\&312\&0,0904\&204\&126\&0,1234\&308\&309\&0,1382\&117\&310\yy\\[-0.4mm]
%\hline
%\yy29\&0,0775\&008\&312\&0,0914\&007\&312\&0,1236\&124\&126\&0,1383\&014\&312\yy\\[-0.4mm]
%\hline
%\yy28\&0,0791\&126\&312\&0,0924\&104\&126\&0,1304\&310\&311\&0,1464\&008\&308\yy\\[-0.4mm]
%\hline
%\yy27\&0,0818\&204\&312\&0,0956\&108\&312\&0,1439\&014\&311\&0,1492\&009\&311\yy\\[-0.4mm]
%\hline
%\yy26\&0,0831\&100\&202\&0,0972\&126\&312\&0,1481\&120\&125\&0,1522\&125\&126\yy\\[-0.4mm]
%\hline
%\yy25\&0,0865\&120\&312\&0,1046\&117\&312\&0,1592\&011\&312\&0,1555\&306\&308\yy\\[-0.4mm]
%\hline
%\yy24\&0,0890\&108\&312\&0,1096\&009\&312\&0,1712\&125\&126\&0,1600\&013\&122\yy\\[-0.4mm]
%\hline
%\yy23\&0,0902\&009\&312\&0,1152\&125\&312\&0,1812\&117\&309\&0,1609\&123\&124\yy\\[-0.4mm]
%\hline
%\yy22\&0,0956\&125\&312\&0,1179\&121\&312\&0,1817\&009\&312\&0,1655\&011\&116\yy\\[-0.4mm]
%\hline
%\yy21\&0,1107\&107\&312\&0,1208\&120\&312\&0,1842\&107\&311\&0,1738\&310\&311\yy\\[-0.4mm]
%\hline
%\yy20\&0,1133\&117\&312\&0,1249\&011\&312\&0,2091\&202\&203\&0,1822\&202\&203\yy\\[-0.4mm]
%\hline
%\yy19\&0,1155\&121\&312\&0,1264\&107\&312\&0,2486\&201\&126\&0,1933\&110\&312\yy\\[-0.4mm]
%\hline
%\yy18\&0,1179\&011\&312\&0,1277\&013\&312\&0,2634\&309\&311\&0,2068\&124\&126\yy\\[-0.4mm]
%\hline
%\yy17\&0,1612\&201\&312\&0,1348\&100\&202\&0,2693\&311\&312\&0,2086\&010\&012\yy\\[-0.4mm]
%\hline
%\yy16\&0,1818\&202\&203\&0,1359\&012\&312\&0,3087\&018\&012\&0,2129\&308\&311\yy\\[-0.4mm]
%\hline
%\yy15\&0,2008\&012\&312\&0,1407\&122\&312\&0,3660\&012\&116\&0,2325\&116\&311\yy\\[-0.4mm]
%\hline
\yy14\&0,2141\&110\&312\&0,1422\&201\&312\&0,3830\&013\&312\&0,2381\&126\&312\yy\\[-0.4mm]
\hline
\yy13\&0,2214\&122\&312\&0,1424\&110\&312\&0,4128\&122\&126\&0,2400\&122\&012\yy\\[-0.4mm]
\hline
\yy12\&0,2271\&013\&312\&0,1481\&202\&203\&0,4650\&126\&312\&0,2766\&201\&018\yy\\[-0.4mm]
\hline
\yy11\&0,2313\&018\&312\&0,1579\&116\&312\&0,5344\&116\&312\&0,2864\&012\&312\yy\\[-0.4mm]
\hline
\yy10\&0,2355\&116\&312\&0,1601\&018\&312\&0,5812\&010\&312\&0,2941\&105\&114\yy\\[-0.4mm]
\hline
\yy9\&0,2770\&010\&312\&{\bf 0,1619}\&010\&312\&0,6904\&110\&113\&{\bf 0,3089}\&311\&312\yy\\[-0.4mm]
\hline
\yy8\&{\bf 0,2944}\&114\&312\&{\bf 0,2147}\&112\&312\&{\bf 0,6906}\&114\&312\&{\bf 0,3747}\&113\&018\yy\\[-0.4mm]
\hline
\yy7\&{\bf 0,4091}\&113\&312\&0,2182\&105\&312\&{\bf 0,9135}\&105\&312\&0,3943\&018\&312\yy\\[-0.4mm]
\hline
\yy6\&0,4366\&105\&312\&0,2325\&114\&312\&0,9230\&106\&203\&0,4444\&112\&312\yy\\[-0.4mm]
\hline
\yy5\&0,4419\&203\&312\&0,2375\&113\&312\&0,9652\&112\&113\&0,4706\&114\&312\yy\\[-0.4mm]
\hline
\yy4\&0,4509\&112\&312\&0,2959\&203\&312\&1,3736\&203\&312\&0,5000\&203\&101\yy\\[-0.4mm]
\hline
\yy3\&0,5485\&106\&312\&0,3102\&106\&312\&1,5142\&101\&113\&0,5455\&106\&101\yy\\[-0.4mm]
\hline
\yy2\&1,0606\&101\&312\&0,4235\&101\&312\&1,9592\&113\&312\&0,6667\&111\&101\yy\\[-0.4mm]
\hline
\yy1\&1,5466\&111\&312\&0,4902\&111\&312\&2,6410\&111\&312\&0,7000\&101\&312\yy\\[-0.4mm]
\hline
\end{tabular}
\end{center}
\vspace{-20mm}
\end{tabenv}
\newpage

В графе ``Расстояние'' показан квадрат расстояния между объектами, либо между
объектом и группой объектов, либо между группами объектов. При объединении
двух объектов (групп объектов), образуемой новой группе присваивался
максимальный номер из этих двух объектов (групп). Графы ``С1'' и ``С2'' - 
показывают соответственно, какие объекты объединяются на данном шаге.
Жирным шрифтом выделены те значения расстояний, между которыми наиболее
максимальный разрыв. Таким образом, оптимальным вариантом сечения объектов
на классы является значение расстояния между этими выделенными значениями.
Из представленной таблицы видно, что в методе ближайшего соседа половины 4
разрезанных статей объединяются уже на начальных шагах, в отличие от метода
дальнего соседа. Следовательно, применение метода ближайшего соседа выглядит
предпочтительнее, чем метод дальнего соседа.

Следующая таблица показывает группу объектов, которые не попадают в основную
группу, и следовательно, могут считаться объектами, имеющими далекое сходство
с объектами основной группы:

\medskip

%\begin{tabenv}{Выделившиеся объекты при процедуре иерархической кластеризации}{!h!}{Sid-tab6}
%\vspace{-5mm}
\begin{center}\small
\begin{tabular}{|c|c|c|c|}
\hline
\multicolumn{2}{|c|}{Ближайший сосед}&\multicolumn{2}{|c|}{Дальний сосед}\\
\hline
Евклидова мера\&Мера Чебышева\&Евклидова мера\&Мера Чебышева\\
\hline
100, 101, 105,\&100, 101, 105,\&100, 101, 105,\&018, 100, 101,\\
106, 111, 112,\&106, 111, 112,\&106, 110, 111,\&105, 106, 111,\\
113, 202, 203 \&113, 114, 202,\&112, 113, 202,\&112, 113, 114,\\
\&203\&203\&201, 202, 203\\                  
\hline
\end{tabular}
\end{center}
%\vspace{-2mm}
%\end{tabenv}

\medskip

Можно заметить, что имеется тенденция к объединению некоторых атрибутируемых
статей со статьями, явно не принадлежащими Достоевскому. Необходимы
дальнейшие исследования для уточнения полученных результатов.

\section{Метод корреляционных плеяд}

Метод корреляционных плеяд предназначен для нахождения таких групп объектов
- ``плеяд'', когда корреляционная связь, т.е. сумма модулей коэффициентов
корреляции между параметрами одной группы (внутриплеядная связь) достаточно
велика, а связь между параметрами из разных групп (межплеядная) - мала.
По корреляционной матрице объектов формируется чертеж - граф, который затем
с помощью различных приемов разбивают на подграфы. Элементы, соответствующие
каждому из подграфов, образуют плеяду. Дальнейшее изложение использованного
метода дается согласно~\cite{aivaz}.

Рассмотрим корреляционную матрицу $R=(r_{ij}), i,j=1,2,\ldots,p,$ исходных объектов. 

Упорядочение производится на основании принципа максимального корреляционного
пути: все $p$  объектов связываются при помощи $(p-1)$ линий (ребер) так, чтобы сумма
модулей коэффициентов корреляции была максимальной. Это достигается следующим
образом: в корреляционной матрице находят наибольший по абсолютной величине
коэффициент корреляции, например $|r_{l,m}|=r^{(1)}$  (коэффициенты на главной диагонали матрицы,
равные единице, не рассматриваются). 

Рисуем кружки, соответствующие параметрам $x^{(l)}$  и $x^{(m)}$ , и над связью между ними пишем
значение $r^{(1)}$ . Затем, исключив  $r^{(1)}$, находим наибольший коэффициент в m-ом столбце
матрицы (это соответствует нахождению признака, который наиболее сильно
после $x^{(l)}$  ``связан'' с $x^{(m)}$ , и наибольший коэффициент в l-ой строке матрицы (это
соответствует нахождению признака, наиболее сильно после $x^{(m)}$  ``связанного'' с  $x^{(l)}$).
Из найденных таким образом двух коэффициентов корреляции выбирается наибольший
- пусть это будет  $|r_{l,j}|=r^{(2)}$. Рисуем кружок $x^{(j)}$ , соединяем его с кружком $x^{(l)}$  и проставляем
значение $r^{(2)}$. Затем находим объекты, наиболее связанные с $x^{(l)}$, $x^{(m)}$ и $x^{(j)}$ , и выбираем из
найденных коэффициентов корреляции наибольший. Пусть это будет $|r_{j,q}|=r^{(3)}$. Требуем,
чтобы на каждом шаге появлялся новый объект, поэтому объекты, уже изображенные
на чертеже, исключаются, следовательно, $q\ne l, q\ne m, q\ne j.$

Далее рисуем кружок, соответствующий  $x^{(q)}$, и соединяем его с
$x^{(j)}$ и т.д. На каждом шаге находятся параметры, наиболее связанные с
двумя последними рассмотренными параметрами, а затем выбирается один из них,
соответствующий большему коэффициенту корреляции. Процедура заканчивается
после $(p-1)$-го шага; граф оказывается состоящим из $p$ кружков, соединенных $(p-1)$ 
ребром. Затем задается пороговое значение $r$, а все ребра, соответствующие
меньшим, чем  $r$, коэффициентам корреляции, исключаются из графа.

Назовем незамкнутым графом такой граф, для которого для любых двух кружков
существует единственная траектория, составленная из линий связи, соединяющая
эти два кружка. Очевидно, что в данном варианте метода корреляционных плеяд
допускается построение только незамкнутых графов. 

Для исходных данных была построена корреляционная матрица объектов. Результаты
применения данного метода можно свести в следующую таблицу:

%\medskip
%\begin{tabenv}{Выделившиеся объекты в результате применения метода корреляционных плеяд}{!h!}{Sid-tab7}
%\vspace{-5mm}
\begin{center}
\begin{tabular}{|p{30mm}|p{30mm}|p{30mm}|}
\hline
Пороговое значение\&0.9\&0.87\\
\hline
Выбывшие из основной группы\&010, 012, 013, 018, 100, 101, 105, 106, 110, 112, 113, 114, 116, 122, 202, 203\&012, 018, 100, 101, 105, 106, 112, 113, 114, 116, 202, 203\\
\hline
\end{tabular}
\end{center}
%\vspace{-2mm}
%\end{tabenv}

\medskip

Дальнейшее увеличение порогового значения влечет за собою исключение из
основной группы статей, автором которых бесспорно является Ф.~М.~Достоевский.
Результаты применения этого метода оказались аналогичными результатам методов
иерархической кластеризации. К сожалению, как и раньше, в основной группе
остались статьи, которые не принадлежат Ф.~М.~Достоевскому.

%\section{Заключение}
\begin{resume}

Применение методов прикладного статистического анализа дает следующий
результат: выделяется группа объектов, которые практически в каждом методе
стоят особняком и имеют слабые связи с объектами основной группы.
Это следующие статьи: 100, 101, 105, 106, 111, 112, 113, 202, 203. Одним из
объяснений этому может служить то, что объемы данных статей достаточно малы.
В число устойчиво атрибутируемых Достоевскому статей по всем методикам
попадает принадлежащая А. Григорьеву статья ``Стихотворения А. С. Хомякова''.
Таким образом, попытка выбрать указанные выше признаки в качестве устойчивого
авторского инварианта стиля Достоевского не увенчалась успехом. Необходимо
проверить по данной методике не только каждое предложение текста, но и
провести подобные расчеты для первого и последнего предложения каждого
абзаца, а также по отдельности для  каждого первого и каждого последнего
предложения абзаца. Следующим этапом исследований будет подключение
дополнительных грамматических признаков, таких как, например, число, падеж,
род, наклонение и т.п.~\cite{mar, mart}
\end{resume}

\begin{bib}

\bibitem{dokl1}
{\em Сидоров~Ю.~В., Леонтьев~А.~А., Рогов~А.~А., Захаров~В.~Н.\/}
 Компьютерная автоматизированная
система для лингвистического разбора литературных текстов.
Четвертая Санкт-Петербургская
Ассамблея молодых ученых и специалистов. Тезисы докладов. СПб., 1999,
стр.~66.

\bibitem{hetso}
{\em Гейр Хетсо.\/}
Принадлежность Достоевскому: к вопросу об атрибуции Ф.М. Достоевскому
анонимных статей в журналах "Время" и "Эпоха". SOLUM FORLAG A.S.: OSLO 1986.

\bibitem{aivaz}
{\em Айвазян~С.~А., Мхитарян~В.~С..\/}
Прикладная статистика и основы эконометрики. М., издательское объединение ``ЮНИТИ'', 1998.

\bibitem{mandel}
{\em Мандель~И.~Д.\/}
Кластерный анализ. М.,``Финансы и статистика'', 1988.-- 176с.

\bibitem{rogov}
{\em Рогов~А.~А., Сидоров~Ю.~В.\/}
К вопросу об использовании статистических методов для атрибуции литературных
источников. Обозрение прикладной и промышленной математики. Том 7. Выпуск 1.
Первый Всероссийский симпозиум по прикладной и промышленной математике.
Тезисы докладов. Научное издательство ``ТВП''. М., 2000, стр.~196-197.

\bibitem{zah}
{\em Захаров~В.~Н.\/}
Гениальный фельетонист. Ф.М. Достоевский. Полное собрание сочинений.
Канонические тексты. Том IV. Петрозаводск, изд-во Петр. гос. ун-та, 2000.
стр.~801-812.

\bibitem{mar}
{\em Марусенко~М.~А.\/}
Атрибуция анонимных и псевдоанонимных литературных произведений
методами распознавания образов. Л.: Издательство Ленинградского университета,
1990, C.~168.

\bibitem{mart}
{\em Мартыненко~Г.~Я.\/}
Основы стилеметрии. Л.: Издательство Ленинградского университета,
1988, C.~176.


\end{bib}
