Лингвистика

2. Автоматический морфологический анализ. Соотношение словаря и анализа.

Автоматический морфологический анализ (АМА)- анализ отдельно взятой
словоформы и всех тех сведений, которые из нее можно извлечь
безотносительно к тому, относятся ли эти сведения к морфологии или нет.
АМА определяется двумя факторами:
1) тип ЕЯ, подвергаемого анализу
2) тип алгоритма авт. обработки текста

МА начинается с поиска входного слова в словаре и с членения словоформы на
составляющие ее морфемы.

Общая схема морфологического анализа:
1. Общие правила (управляющий алгоритм
2. Список (таблицы) суффиксов
3. Список (таблицы) информации к суффиксам
4. Список нестандартных операций (нестандартная запись)
5. Обработка омонимичных основ

Важен тип входного словаря. Учитывая связь МА со словарем можно выделить
следующие группы МА:

1. морфологический анализ со словарем словоформ: каждой словоформе
приписывается определенная информация (слово отыскивается. информация
извлекается)
2. морфологический анализ со словарем основ (проблемы: анализ найденных в
словаре форм, как отождествить разные словоформы одного и того же слова)
сравнение словоформы на полное совпадение -> нет -> словоформа = основа +
окончание. В задачу МА входит разрешение синонимии и омонимии основ
3. МА методом логического умножения (Варга)
Каждой морфеме сопоставляется информация, полученная в результате
объединения информации о словоформах, в которые входит данная морфема.
Информация о словоформе получается как пересечение или логическая
конъюнкция (&) информации о морфемах. входящих в данную словоформу. Тем
самым функция. определенная на множестве словоформ. заменяется на функцию,
определенную на множестве морфем. Такой анализ производится при наличии
словаря основ и применяется к флективным языкам. каждой букве соответствует
булевый вектор (есть 1, нет 0). перемножая эти векторы выходят на
категорию.
4. независимый МА без словаря словоформ.
Максимальное использование информации о флексиях во флективных языках.
выделяются грамматические морфемы (флексии, предлоги, союзы, знаки
препинания между словами - все элементы. передающие связи слов во фразе.
Группа флексий, характеризующаяся одинаковым набором грамм. отношений.
которые они могут передавать, образует морфему.
флексии, входящие в одну морфему, называются алломорфами, т.е. морфемными
синонимами. Задача алгоритма состоит в том, чтобы по взаимному
расположению алломорфов отнести каждую флексию к ее морфеме. С этой целью
строятся специальные словари: словари флексий, словари слов, не несущих
грамм. инф. (наречий и т.п.). Способ имеет ограниченной применение.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20