Система анализа тональности отзывов на товары

Содержание

Введение

Глава 1. Разработка и обучение модели

1.1. Создание и обучение простейшей версии модели для получения точки отсчета.

1.2. Реализация выбранного алгоритма и запуск тренировочных циклов на GPU.

Глава 2. Разработка Backend

2.1. Написание логики загрузки весов модели и функции предсказания

2.2. Логика агрегации: Разработка алгоритма подсчета статистики по массивам текстов.

2.3. Создание спецификации API

Глава 3. Frontend, Интеграция и Тестирование

3.1. UI/UX Верстка

3.2. Настройка взаимодействия фронтенда с API через асинхронные запросы

3.3. Нагрузочное и приемочное тестирование: Оценка скорости ответа сервера и финальная проверка точности на “живых” примерах.

Заключение

Список использованной литературы

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Система анализа тональности отзывов на товары

Специальность: 01.03.02 Прикладная математика и информатика

ВВЕДЕНИЕ

Современный этап развития информационных технологий характеризуется стремительным ростом объемов текстовых данных, генерируемых пользователями в сети Интернет. Электронная коммерция становится неотъемлемой частью экономической деятельности, а платформы онлайн-торговли ежедневно накапливают миллионы отзывов потребителей о приобретенных товарах и услугах. Анализ таких текстовых данных представляет собой нетривиальную задачу, требующую применения современных методов обработки естественного языка и машинного обучения [1, c. 15]. В условиях цифровизации экономики компаниям критически важно оперативно получать агрегированную информацию о мнениях потребителей, что обусловливает высокую актуальность разработки автоматизированных систем анализа тональности текстов.

Задача анализа тональности (sentiment analysis) относится к классу задач обработки естественного языка (Natural Language Processing, NLP) и заключается в автоматическом определении эмоциональной окраски текста — позитивной, негативной или нейтральной. Эта проблема привлекает внимание исследователей уже более двух десятилетий, однако до сих пор остается открытой в силу присущей естественному языку многозначности, контекстуальной зависимости значений слов, наличия сарказма, иронии и других лингвистических феноменов [5, c. 42]. Традиционные подходы, основанные на словарях тональности и правилах, демонстрируют ограниченную эффективность на реальных данных. Современные методы опираются на нейронные сети глубокого обучения, которые способны автоматически извлекать сложные признаки из текста и учитывать контекстуальные зависимости между словами [12, c. 78].

Развитие архитектур нейронных сетей для обработки последовательностей — от рекуррентных сетей (RNN, LSTM, GRU) до механизмов внимания (attention) и трансформеров — открыло новые возможности для решения задач NLP. Модели на основе трансформеров, такие как BERT (Bidirectional Encoder Representations from Transformers), демонстрируют выдающиеся результаты на множестве эталонных датасетов [18, c. 125]. Однако применение таких моделей в производственных системах сопряжено с вычислительными трудностями: они требуют значительных ресурсов для обучения и инференса, что затрудняет их развертывание на устройствах с ограниченными вычислительными мощностями [23, c. 201].

Помимо выбора архитектуры модели, критически важным аспектом является подготовка данных и их предобработка. Тексты отзывов характеризуются высокой вариативностью: пользователи применяют различные стили изложения, допускают орфографические ошибки, используют сленг и эмодзи. Все это усложняет задачу автоматического анализа [7, c. 89]. Качественная векторизация текстов — преобразование их в числовое представление — является фундаментальным этапом, определяющим эффективность последующего обучения модели. Современные методы включают word embeddings (Word2Vec, GloVe), контекстуальные эмбеддинги (ELMo, BERT) и методы на основе символьных представлений [15, c. 156].

Актуальность темы исследования обусловлена несколькими факторами. Во-первых, объем текстовых данных, генерируемых пользователями интернет-платформ, растет экспоненциально, и ручная обработка таких данных становится невозможной. Во-вторых, своевременный анализ мнений потребителей позволяет компаниям оперативно реагировать на проблемы качества товаров, совершенствовать ассортимент и улучшать клиентский сервис. В-третьих, агрегированная тональная оценка отзывов служит важным индикатором репутации бренда и влияет на решения потенциальных покупателей. В-четвертых, с научной точки зрения задача анализа тональности остается актуальной из-за сложности естественного языка и необходимости учета тонких семантических нюансов [3, c. 34].

Степень изученности проблемы в современной науке довольно высока. Существует обширный корпус публикаций, посвященных различным аспектам анализа тональности — от лексических подходов до глубоких нейронных архитектур. Однако большинство исследований сфокусировано на английском языке, в то время как для других языков, включая русский, объем размеченных данных и количество специализированных моделей остаются ограниченными [9, c. 67]. Кроме того, проблема переносимости моделей между доменами (cross-domain sentiment analysis) и учета специфики различных типов товаров требует дальнейшей проработки [21, c. 189].

С точки зрения практической реализации, задача разработки полнофункциональной системы анализа тональности включает не только создание и обучение модели машинного обучения, но и проектирование программной архитектуры, обеспечивающей эффективное развертывание модели в производственной среде. Это подразумевает разработку backend-сервиса для обслуживания запросов, создание API для взаимодействия с клиентскими приложениями, разработку пользовательского интерфейса, а также проведение комплексного тестирования системы под нагрузкой [11, c. 102]. Интеграция компонентов машинного обучения с традиционными веб-технологиями представляет собой инженерную задачу, требующую учета множества факторов: латентности ответа, масштабируемости, отказоустойчивости и безопасности [28, c. 245].

Цель выпускной квалификационной работы заключается в разработке и реализации комплексной системы анализа тональности отзывов на товары, включающей создание модели глубокого обучения, проектирование программной архитектуры backend и frontend компонентов, а также экспериментальную валидацию эффективности разработанного решения.

Для достижения поставленной цели необходимо решить следующие задачи:

• провести анализ существующих методов и подходов к решению задачи анализа тональности текстов, включая классические алгоритмы машинного обучения и современные архитектуры глубоких нейронных сетей;
• разработать и обучить базовую модель классификации тональности для получения точки отсчета (baseline), оценить ее произво

…