Когда Слова Оживают: Наш Большой Гид по Обработке Естественного Языка

Привет, дорогие читатели и коллеги по цеху! Нас всегда поражала магия, с которой мы, люди, обмениваемся информацией, выражаем эмоции и строим сложные концепции, используя всего лишь слова. Но что, если мы скажем вам, что машины тоже могут не просто "читать" текст, но и по-нанастоящему его "понимать"? Именно об этом мы сегодня и хотим поговорить в нашей большой статье, посвященной Обработке Естественного Языка (NLP) – одному из самых захватывающих и быстро развивающихся направлений в мире искусственного интеллекта.

За годы нашего погружения в мир данных и разработки, мы видели, как NLP превратилось из нишевой академической дисциплины в мощный инструмент, способный преобразовывать целые отрасли. От автоматического перевода до интеллектуальных помощников, от анализа отзывов клиентов до выявления скрытых паттернов в огромных массивах текста – возможности кажутся безграничными. И самое главное, большая часть этих чудес становится доступной благодаря открытым библиотекам и фреймворкам на нашем любимом Python.

В этой статье мы хотим поделиться нашим опытом, провести вас по всем ключевым этапам и инструментам NLP, начиная с самых основ и заканчивая продвинутыми трансформерными моделями. Мы покажем, как мы подходили к решению реальных задач, какие библиотеки использовали и на что обращали внимание. Приготовьтесь к глубокому погружению – будет интересно, обещаем!

Фундамент NLP: От Хаоса Слов к Структурированным Данным

Прежде чем машина сможет "понять" текст, его необходимо подготовить. Представьте, что вы учите ребенка читать: сначала он учится различать буквы, потом слова, предложения, и только потом смысл. С NLP происходит нечто похожее. Это процесс, который мы называем предобработкой, и он является краеугольным камнем любой успешной NLP-системы. На этом этапе мы превращаем сырой, зачастую "грязный" текст в формат, который алгоритмы могут эффективно обрабатывать.

Предобработка Текста: Наши Первые Шаги к Чистоте

Когда мы впервые сталкиваемся с текстовыми данными, будь то выгрузка из базы данных, веб-страница или набор отзывов, они редко бывают идеальными. В них могут быть HTML-теги, пунктуация, специальные символы, лишние пробелы, а иногда и вовсе нерелевантная информация. Наша задача – очистить этот "шум".

Мы часто начинаем с использования регулярных выражений (библиотека re в Python). Это невероятно мощный инструмент для поиска и замены паттернов в тексте; С их помощью мы можем легко удалить HTML-теги, убрать лишние пробелы, очистить текст от цифр или специальных символов, которые не несут смысловой нагрузки для нашей задачи. Например, чтобы удалить все HTML-теги, мы бы использовали что-то вроде re.sub(r'<.*?>', '', text).

Помимо регулярных выражений, мы всегда уделяем внимание очистке данных от пунктуации (если она не нужна для анализа тональности, например), приведению текста к нижнему регистру (чтобы "Слово" и "слово" воспринимались как одно и то же) и удалению так называемых стоп-слов. Стоп-слова – это высокочастотные, но низкоинформативные слова, такие как "и", "в", "на", "он", "она" и т.д.. Их удаление помогает сократить размер словаря и сосредоточиться на более значимых терминах. Для этого мы часто используем списки стоп-слов, предоставляемые библиотеками вроде NLTK или spaCy.

Токенизация, Стемминг и Лемматизация: Разбираем Текст на Части

После первичной очистки нам нужно разбить текст на более мелкие, осмысленные единицы – токены. Токенизация – это процесс разделения текста на слова, предложения или другие смысловые блоки. Это может показаться простым, но на самом деле имеет множество нюансов. Например, "Нью-Йорк" – это одно слово или два? "don’t" – это "do not" или одно слово? Для решения таких задач мы используем основы NLTK: токенизация и стемминг; NLTK предлагает различные токенизаторы: от простых по пробелам до более сложных, учитывающих пунктуацию и специфику языка.

Далее в игру вступают стемминг и лемматизация. Обе эти техники направлены на приведение слов к их базовой форме, но делают это по-разному.

• Стемминг – это более грубый процесс, который просто отсекает окончания слов, чтобы получить "корень" (стему). Например, слова "бежать", "бежит", "бежал" могут быть приведены к стему "беж". Он быстр, но не всегда дает грамматически корректные слова. NLTK содержит популярные стеммеры, такие как PorterStemmer и SnowballStemmer.
• Лемматизация – это более сложный процесс, который приводит слово к его словарной или канонической форме (лемме) с учетом морфологического анализа. "Бежать", "бежит", "бежал" будут приведены к лемме "бежать". Лемматизация медленнее, но дает более точные результаты, что важно для многих задач.

Мы часто используем продвинутую лемматизацию и стемминг с библиотеками spaCy или Stanza, особенно для языков с богатой морфологией, таких как русский, где NLTK может быть менее эффективным. SpaCy, например, включает в себя высокопроизводительные конвейеры, которые автоматически выполняют токенизацию, POS-теггинг и лемматизацию.

Морфологический и Синтаксический Анализ

После того как мы разбили текст на токены и привели их к базовым формам, следующим шагом для глубокого понимания является морфологический анализ, который включает в себя использование NLTK для POS-теггинга (Part-of-Speech Tagging). POS-теггинг – это процесс присвоения каждому слову его грамматической категории (существительное, глагол, прилагательное и т.д.). Это критически важно для многих задач, например, для извлечения информации, где нам нужно найти только существительные или глаголы.

Затем идет синтаксический парсинг, который позволяет нам понять структуру предложения и взаимосвязи между словами. Реализация синтаксического парсинга с spaCy – это то, что мы часто применяем. SpaCy может строить деревья зависимостей, показывая, как слова связаны друг с другом в предложении. Это помогает нам, например, определить подлежащее, сказуемое, дополнения и другие члены предложения, что является основой для построения более сложных систем понимания языка.

Представление Текста для Машин: Как Язык Становится Математикой

После того как мы очистили и структурировали текст, возникает фундаментальный вопрос: как превратить слова, которые для нас несут смысл, в числа, понятные компьютерам? Машины не понимают слов напрямую; им нужны числовые представления. Этот процесс называется векторизацией текста, и он является одним из самых активных полей исследований в NLP.

Классические Методы Векторизации

На заре NLP мы использовали относительно простые, но эффективные методы. Один из них – это Bag-of-Words (мешок слов), где каждый документ представляется вектором, а каждая позиция в векторе соответствует слову из всего словаря. Значение на этой позиции – это частота вхождения слова в документ. На основе этой идеи мы разрабатываем собственные векторизаторы текста, такие как CountVectorizer и TfidfVectorizer из библиотеки Scikit-learn.

• CountVectorizer просто подсчитывает количество вхождений каждого слова.
• TfidfVectorizer (Term Frequency-Inverse Document Frequency) делает шаг вперед, взвешивая частоту слова в документе (TF) с его обратной частотой в корпусе документов (IDF). Это помогает выделить слова, которые важны для конкретного документа, но при этом не слишком распространены во всем корпусе.

Мы часто проводим сравнение методов векторизации (TF-IDF vs Word2Vec), чтобы понять, какой подход лучше подходит для конкретной задачи. TF-IDF хорошо работает для классических задач машинного обучения, но у него есть существенный недостаток: он не учитывает семантическую схожесть слов. Для него "кошка" и "собака" так же далеки друг от друга, как "кошка" и "стол", что, очевидно, не соответствует действительности.

Word Embeddings: Глубокое Понимание Слов

Чтобы преодолеть ограничения классических методов, появились Word Embeddings – векторные представления слов, которые улавливают их семантические и синтаксические отношения. Это стало настоящей революцией. Когда мы говорим о Word2Vec и GloVe с использованием Gensim, мы имеем в виду методы, которые обучаются на больших текстовых корпусах и размещают семантически похожие слова близко друг к другу в многомерном пространстве.

Мы часто используем библиотеку Gensim для работы с Word2Vec, который предлагает две основные архитектуры:

1. Skip-gram: предсказывает контекстные слова по заданному слову.
2. CBOW (Continuous Bag-of-Words): предсказывает текущее слово по контекстным словам.

Оба этих метода позволяют нам получать плотные векторные представления, которые значительно улучшают производительность многих NLP-моделей. Кроме того, мы активно применяем FastText – расширение Word2Vec, которое применяет FastText для работы с редкими словами, разбивая слова на n-граммы символов. Это позволяет ему создавать векторные представления даже для слов, которых не было в обучающем корпусе, что особенно полезно для языков с богатой морфологией или при работе с опечатками.

Для представления не только отдельных слов, но и целых документов, мы используем Doc2Vec (также из Gensim), который является расширением Word2Vec. Doc2Vec для представления целых документов позволяет нам получать векторное представление всего текста, что очень удобно для задач кластеризации или поиска похожих документов. Мы также активно исследуем векторизацию предложений и документов с использованием более современных подходов, таких как контекстное встраивание, о котором поговорим позже.

Ключевые Задачи NLP: От Понимания к Действию

Теперь, когда мы знаем, как подготовить текст и представить его в числовой форме, давайте рассмотрим самые распространенные и важные задачи, которые мы решаем в NLP. Эти задачи формируют основу для большинства реальных приложений.

Распознавание Именованных Сущностей (NER)

Одной из самых фундаментальных задач является распознавание именованных сущностей (NER). Это процесс идентификации и классификации именованных сущностей в тексте, таких как имена людей, названия организаций, географические названия, даты, время, денежные суммы и т.д. Например, в предложении "Джон Смит посетил Париж 15 мая 2023 года" NER должен выделить "Джон Смит" как PERSON, "Париж" как GPE (геополитическая сущность) и "15 мая 2023 года" как DATE.

Мы часто начинаем с использования spaCy для быстрого NER, так как эта библиотека предоставляет высокопроизводительные и точные предобученные модели для многих языков, включая русский. Для более сложных или специфических задач, где стандартные модели могут не справляться, мы применяем CRF для распознавания сущностей (Conditional Random Fields) или даже используем библиотеку Flair для современного NER, которая славится своей точностью и гибкостью, особенно при использовании контекстных эмбеддингов. В последнее время мы также активно применяем BERT для задачи NER, достигая впечатляющих результатов благодаря его способности понимать глубокий контекст. Конечно, после разработки модели, мы всегда проводим тщательную оценку качества NER-моделей (F1-score, Precision, Recall), чтобы убедиться в её надежности.

Анализ Тональности (Sentiment Analysis)

Понимание эмоциональной окраски текста – это еще одна крайне востребованная задача, известная как анализ тональности (Sentiment Analysis). Это может быть оценка отзыва как положительного, отрицательного или нейтрального. Мы часто начинаем с простых лексических подходов, таких как анализ тональности (Sentiment Analysis) с VADER (Valence Aware Dictionary and sEntiment Reasoner), который хорошо работает для английского языка, используя словарь с присвоенными ему оценками полярности. Однако для более тонкого анализа, особенно для русскоязычных данных, мы переходим к моделям машинного обучения.

В нашем опыте мы много работали с анализом тональности сообщений в социальных сетях (Twitter/Reddit), где язык бывает очень неформальным и насыщенным сленгом и эмодзи. Также мы активно применяем этот подход для анализа тональности финансовых новостей, где даже небольшие изменения в настроении могут сильно влиять на рынки. Особое внимание мы уделяем анализу тональности в социальных медиа с учетом сарказма, что является одной из сложнейших задач, требующей продвинутых моделей и большого объема размеченных данных. Для некоторых задач мы используем библиотеку Pattern для анализа тональности, которая предлагает готовые решения и хорошо справляется с базовыми кейсами.

Тематическое Моделирование: Выявление Скрытых Тем

Как понять, о чем говорят тысячи или миллионы документов, не читая каждый из них? Здесь на помощь приходит тематическое моделирование – набор методов, которые позволяют автоматически обнаружить абстрактные "темы" в коллекции текстов. Библиотека Gensim для тематического моделирования (LDA, LSI) является нашим основным инструментом для этих целей.

Мы часто используем LDA (Latent Dirichlet Allocation) и LSI (Latent Semantic Indexing). LDA предполагает, что каждый документ представляет собой смесь нескольких тем, а каждая тема – это смесь слов. Это позволяет нам, например, применять Topic Modeling для анализа отзывов, чтобы понять, какие аспекты продукта или услуги чаще всего обсуждаются клиентами. Мы также регулярно проводим сравнение моделей тематического моделирования (LDA vs NMF), чтобы выбрать наиболее подходящий алгоритм для конкретного набора данных. Для извлечения ключевых тем и предложений в документах мы также используем библиотеку TextRank для выделения тем, которая использует графовые алгоритмы для ранжирования слов и предложений по их важности.

Классификация Текстов и Извлечение Информации

Классификация текстов – это одна из самых распространенных задач, где мы присваиваем документу одну или несколько категорий. Это может быть спам/не спам, категория новости (спорт, политика, экономика) или тип юридического документа. Применение Scikit-learn для классификации текстов является нашим выбором по умолчанию, благодаря его простоте использования и широкому набору алгоритмов, таких как SVM, логистическая регрессия, наивный байесовский классификатор.

Мы много работали над разработкой систем автоматической категоризации статей, где нужно было распределить тысячи новостных статей по предопределенным рубрикам. Для этого мы часто проводим сравнение методов машинного обучения для NLP (SVM, наивный байесовский классификатор), чтобы найти оптимальный баланс между точностью и скоростью. Также мы применяем SVM для классификации текстов, часто получая очень хорошие результаты, особенно с тщательно подобранными векторными представлениями текста.

Помимо классификации, мы активно занимаемся извлечением информации, которое включает в себя поиск конкретных фактов или шаблонов в тексте. Для этого мы анализируем текст для извлечения ключевых фраз, используя такие методы, как применение RAKE для извлечения ключевых слов (Rapid Automatic Keyword Extraction) или уже упомянутый TextRank. Это помогает нам быстро понять суть большого объема текста.

Суммаризация Текста: От Длинного к Краткому

В мире информационного перегруза способность быстро получать суть длинного документа – на вес золота. Разработка системы суммаризации текста (Abstractive vs Extractive) – это еще одна область, в которой мы активно работаем. Существует два основных подхода:

• Экстрактивная суммаризация: выбирает наиболее важные предложения из исходного текста и объединяет их в краткое изложение. Это как выделение маркером ключевых моментов.
• Абстрактивная суммаризация: генерирует совершенно новый текст, который передает смысл оригинала, но использует свои собственные формулировки. Это гораздо сложнее, так как требует глубокого понимания текста и способности к генерации связного и грамматически правильного изложения.

Мы регулярно проводим сравнение моделей суммирования: экстрактивная и абстрактная, чтобы выбрать оптимальный подход. Для экстрактивной суммаризации мы часто используем алгоритмы на основе TextRank. Для абстрактивной суммаризации, особенно с появлением мощных генеративных моделей, мы активно используем Transformer-модели для суммаризации, такие как BART или T5, которые демонстрируют впечатляющие результаты. Также использование библиотеки Flair для суммаризации может быть полезным для получения высококачественных эмбеддингов, которые затем используются для других моделей.

Эра Трансформеров: Революция в NLP

Если бы нас попросили назвать одно событие, которое полностью изменило ландшафт NLP за последние годы, мы бы без колебаний указали на появление архитектуры Трансформеров. Это не просто еще один алгоритм; это парадигма, которая открыла двери для невиданных ранее возможностей в обработке естественного языка. Именно благодаря трансформерам (Hugging Face) для сложных задач NLP мы видим такие прорывы, как ChatGPT и другие большие языковые модели.

Трансформеры решают ключевую проблему рекуррентных нейронных сетей (RNN) – невозможность эффективно обрабатывать длинные последовательности из-за "забывания" информации. Механизм внимания в трансформерах позволяет модели взвешивать важность каждого слова в предложении по отношению к другим словам, улавливая дальние зависимости и глубокий контекст. Это привело к появлению таких моделей, как BERT, GPT, RoBERTa, T5 и многих других, которые теперь доступны через библиотеку Hugging Face Transformers – наш основной инструмент для работы с ними.

Мы активно используем Transformer-модели для генерации текста (GPT), создавая связные и релевантные тексты, от статей до маркетинговых материалов. Также они незаменимы для генерации диалогов, что является основой для продвинутых чат-ботов, и даже для генерации кода, помогая разработчикам автоматизировать рутинные задачи. А уж для машинного перевода трансформеры стали золотым стандартом, значительно превзойдя предыдущие подходы.

Одной из ключевых особенностей трансформеров является возможность предварительного обучения на огромных объемах текста, а затем тонкой настройки (Fine-tuning) на конкретную задачу и набор данных. Это позволяет нам адаптировать мощные, но общие модели к нашим специфическим потребностям, экономя время и вычислительные ресурсы. Тонкая настройка (Fine-tuning) предварительно обученных моделей – это то, что мы делаем постоянно, чтобы достичь максимальной производительности.

Также мы активно применяем BERT для задач классификации и NER, о чем уже упоминали. BERT (Bidirectional Encoder Representations from Transformers) особенно хорош для понимания контекста, так как он обучается двунаправленно, учитывая как предшествующие, так и последующие слова. Для задач, связанных со сравнением и поиском семантически похожих предложений, мы используем Sentence Transformers – это модели, основанные на трансформерах, которые генерируют высококачественные векторные представления целых предложений, что очень удобно для поиска схожести.

Практические Приложения и Кейсы: Где NLP Встречается с Реальным Миром

Теория – это хорошо, но настоящий интерес к NLP появляется, когда мы видим, как эти технологии применяются для решения реальных проблем. В нашем опыте мы сталкивались с самыми разнообразными задачами, и Python с его библиотеками всегда был нашим надежным помощником.

Чат-боты и Вопросно-ответные Системы

Одним из самых наглядных применений NLP является разработка чат-ботов на Python (Rasa framework). Мы создавали интерактивных помощников для поддержки клиентов, автоматизации рутинных запросов и даже для образовательных целей. Rasa – это отличный фреймворк, который позволяет нам строить контекстно-зависимые диалоговые системы, использующие машинное обучение для понимания намерений пользователя и управления диалогом.

Связанная задача – это разработка систем вопросно-ответных систем (QA). Это более сложные системы, которые не просто отвечают на заранее запрограммированные вопросы, но и способны найти ответ в большом корпусе документов. С появлением трансформеров, таких как BERT, мы можем создавать QA-системы, которые с высокой точностью извлекают конкретные фрагменты текста, содержащие ответ на вопрос пользователя.

Работа с Различными Источниками Данных

Текст может поступать из самых разных источников. Чтобы получить данные с веб-страниц, мы используем библиотеку Beautiful Soup для веб-скрейпинга текста. Это позволяет нам извлекать заголовки, параграфы, ссылки и другую информацию для дальнейшего анализа. Для работы с документами в формате PDF, мы используем PyMuPDF для извлечения текста из PDF, что крайне важно при работе с отчетами, статьями или другими официальными документами.

Наши проекты часто включают анализ текста в медицинских записях, где необходимо извлекать ключевую информацию для диагностики или исследований. Аналогично, анализ текстов в юридических контрактах требует высокой точности для выявления условий, обязательств и дат. Мы также занимались анализом лог-файлов для выявления аномалий и анализом текстовых данных в финансовой отчетности для прогнозирования рыночных трендов.

Мультиязычность и Сложные Языки

Мир не ограничивается одним языком, и NLP должно быть готово к этому. Мы регулярно работаем над обработкой многоязычных текстовых корпусов. Для этих целей использование библиотеки Polyglot для мультиязычности является отличным решением, предлагая поддержку многих языков для токенизации, NER и других задач. Для языков с богатой морфологией, таких как русский, мы часто используем Stanza для языков с богатой морфологией (разработанную в Стэнфорде), которая обеспечивает высокоточный синтаксический и морфологический анализ;

Одной из самых амбициозных задач является разработка систем машинного перевода на Python. С появлением трансформерных архитектур, таких как MarianMT или NMT-модели от Hugging Face, мы можем создавать системы, которые обеспечивают перевод высокого качества, и даже разрабатывать системы для автоматического перевода узкоспециализированных текстов, требующих специфической терминологии.

Контроль Качества и Анализ Стиля

Помимо понимания смысла, NLP помогает нам улучшать качество текста и анализировать его характеристики. Мы разрабатываем инструменты для проверки грамматики и исправления орфографии, используя различные методы, от лексических до нейросетевых. Также мы создаем инструменты для проверки синтаксиса. Для академических и издательских задач мы занимались разработкой систем обнаружения плагиата, используя методы сравнения векторных представлений документов.

Интересной областью является анализ стилистики текстов (авторский почерк), где мы пытаемся определить автора или жанр текста на основе его лексических, синтаксических и морфологических особенностей. Мы также уделяем внимание работе с эмодзи и сленгом в современных текстах, что крайне важно для анализа социальных медиа. Для этого мы разрабатываем инструмент для нормализации сленга и нормализации пунктуации, чтобы наши модели могли адекватно обрабатывать неформальный язык.

Инструменты и Экосистема Python для NLP

Как вы могли заметить, Python является абсолютным лидером в области NLP. Его богатая экосистема библиотек, простота синтаксиса и активное сообщество делают его идеальным выбором для разработчиков и исследователей.

Ключевые Библиотеки, Которые Мы Используем Ежедневно

Мы бы хотели кратко подытожить наиболее важные библиотеки, которые сопровождают нас на каждом шагу нашего NLP-пути:

Библиотека	Основные Функции и Наше Применение
NLTK	Основы токенизации, стемминга, POS-теггинга, морфологического анализа. Отличный стартовый набор для обучения.
spaCy	Высокопроизводительная библиотека для NER, синтаксического парсинга, лемматизации. Идеальна для продакшн-систем.
Gensim	Для тематического моделирования (LDA, LSI) и работы с Word Embeddings (Word2Vec, Doc2Vec, FastText).
Scikit-learn	Наш выбор для классификации текстов, кластеризации, создания векторизаторов (CountVectorizer, TfidfVectorizer).
Hugging Face Transformers	Революция в NLP. Работа с BERT, GPT и другими трансформерными моделями для любых задач.
PyTorch / TensorFlow	Для создания и обучения собственных нейросетевых моделей NLP, включая LSTM-сети.
TextBlob	Для простого NLP: анализ тональности, POS-теггинг, извлечение фраз. Быстрое прототипирование.
Beautiful Soup	Для веб-скрейпинга и извлечения текста из HTML.
re (Regular Expressions)	Встроенный модуль Python для предобработки текста, очистки от шума.

Мы также активно используем инструменты для визуализации текстовых данных (Word Clouds, Heatmaps), чтобы наглядно представлять результаты нашего анализа. Word Clouds, например, отлично подходят для быстрого понимания наиболее частотных слов в корпусе.

Вызовы и Решения

NLP – это не только успехи, но и вызовы. Мы часто сталкиваемся с проблемами обработки неполных и ошибочных данных. Неочищенные данные могут привести к неточным моделям, поэтому мы всегда подчеркиваем важность тщательной предобработки. Для решения этой проблемы мы иногда разрабатываем инструмент для автоматической разметки данных, чтобы ускорить процесс создания обучающих выборок.

Для работы с очень большими объемами текста мы адаптируем наши подходы для обработки больших текстовых массивов (Big Data NLP), используя распределенные вычисления и эффективные структуры данных. Когда дело доходит до производительности, особенно с глубокими нейронными сетями, мы активно используем обработку текста с использованием GPU-ускорения, что значительно сокращает время обучения и инференса.

Вот и подошло к концу наше большое путешествие по миру Обработки Естественного Языка. Мы прошли путь от самых азов предобработки текста до мощных трансформерных моделей, заглянули в различные прикладные области и обсудили ключевые инструменты. Мы надеемся, что наш опыт и знания помогут вам в ваших собственных исследованиях и проектах.

Мир NLP развивается с головокружительной скоростью; То, что еще вчера казалось фантастикой, сегодня становится реальностью. Большие языковые модели продолжают совершенствоваться, открывая новые горизонты в области генерации текста, понимания контекста и взаимодействия человека с машиной. Мы убеждены, что впереди нас ждут еще более захватывающие открытия и применения.

Если вы только начинаете свой путь в NLP, не бойтесь экспериментировать. Начните с NLTK и spaCy, поработайте с реальными текстовыми данными, попробуйте обучить свою первую модель для анализа тональности. Главное – не останавливаться на достигнутом, постоянно учиться и применять новые знания. Мы верим, что каждый из вас способен внести свой вклад в эту удивительную область. Удачи в ваших исследованиях, и помните: слова имеют силу, а NLP помогает эту силу раскрыть!

Подробнее

Python NLP библиотеки	Основы обработки естественного языка	Применение машинного обучения в NLP	Векторизация текста Word2Vec TF-IDF	Анализ тональности Sentiment Analysis
Распознавание именованных сущностей NER	Тематическое моделирование LDA NMF	Трансформеры Hugging Face NLP	Создание чат-ботов Python	Лемматизация и стемминг текста