Создание системы рекомендации контента для корпоративного портала

Содержание

Введение

Глава 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ В КОРПОРАТИВНОЙ СРЕДЕ

1.1. Классификация подходов: collaborative filtering, content-based, гибридные модели

1.2. Проблемы холодного старта и разрежённости в корпоративных средах

1.3. Метрики оценки: Precision@k, Recall@k, NDCG, F1-score, объяснимость (XAI)

1.4. Особенности корпоративного контента: роль метаданных, организационной структуры и временных паттернов

Глава 2. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ И СУЩЕСТВУЮЩИХ РЕШЕНИЙ

2.1. Эмпирический анализ поведения пользователей (по данным collect_metrics.py): — Распределение типов взаимодействий: view (20), read (15), save (13), share (10) — рис. 2.1; — Активность по времени: пик в 17:00, вторник — самый активный день — рис. 2.2; — Топ-10 активных пользователей: доминирование мультиактивных профилей (напр., алексей_волков) — рис. 2.3.

2.2. Анализ контента: — Топ-10 популярных материалов: лидеры — учебные и регламентирующие документы («Чистый Python», «Политика ИБ») — рис. 2.4; — Распределение тегов: доминирование технических и HR-тем — рис. 2.5; — Низкая корреляция между популярностью и экспертной ценностью.

2.3. Оценка текущей реализации: — Средняя релевантность рекомендаций: 28.3 % (Precision@5); — Распределение типов объяснений: Общие предпочтения (62.0 %), По популярности (26.0 %), По совпадению признаков (12.0 %) — рис. 2.6; — Отсутствие временных признаков в модели, недостаточная персонализация.

Глава 3. ПРОЕКТИРОВАНИЕ АРХИТЕКТУРЫ СИСТЕМЫ

3.1. Общая архитектура: клиент-серверная модель с разделением на presentation, business logic и data layers

3.2. Модель данных: — Сущности: User, Item, Interaction (с весами действий: view=1, read=3, save=5, share=10); — Схема БД (ERD, Приложение А), обработка side information (отдел, роль, теги).

3.3. Компонент рекомендаций: LightFM как гибридная модель с поддержкой implicit feedback и категориальных признаков

3.4. Механизм адаптивного переобучения: пороговое накопление событий (RETRAIN_THRESHOLD = 20), фоновый поток с блокировкой (threading.Lock) — см. app.py

3.5. Интерфейс пользователя: — Шаблонизация Jinja2 (base.html, index.html); — Двойная лента: общая vs персональная подборка; — Панель администратора (demo_panel.html) с CRUD для материалов и пользователей.

Глава 4. РЕАЛИЗАЦИЯ ПРОТОТИПА СИСТЕМЫ

4.1. Инженерия признаков: one-hot кодирование ролей, отделов, тегов; формирование матрицы взаимодействий с весами

4.2. Реализация модуля рекомендаций: — Инициализация и обучение (init_recommender()); — Генерация рекомендаций (get_recommendations(user_id, n=5)); — Объяснение (explain_recommendation()) — текстовые правила на основе признаков.

4.3. API-интерфейс: RESTful эндпоинты (/api/interaction, /api/recommendations/{id}, /api/recommender/retrain)

4.4. Безопасность и конфиденциальность: — Аутентификация через сессии Flask; — Декораторы @login_required, @admin_required; — Критическое замечание: хранение паролей в открытом виде

4.5. Вспомогательные скрипты: — check_db.py: миграции и адаптация структуры БД; — collect_metrics.py: автоматизированный сбор статистики и генерация 8 графиков

Заключение

Список использованной литературы

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Создание системы рекомендации контента для корпоративного портала

Специальность: 01.03.02 Прикладная математика и информатика

ВВЕДЕНИЕ

Современные корпоративные среды характеризуются интенсивным накоплением информационных ресурсов, объём которых экспоненциально возрастает с каждым годом. Сотрудники организаций сталкиваются с проблемой информационной перегрузки: релевантные документы, регламенты, обучающие материалы и внутрикорпоративные публикации теряются в потоке данных, что снижает эффективность работы и препятствует обмену знаниями. Согласно исследованиям, до 30% рабочего времени специалисты тратят на поиск необходимой информации в корпоративных хранилищах. В этом контексте разработка интеллектуальных систем рекомендации контента становится критически важной задачей цифровой трансформации предприятий.

Рекомендательные системы (Recommender Systems) представляют собой класс информационных технологий, основанных на методах машинного обучения, статистического анализа и теории информационного поиска. Применение математических моделей collaborative filtering, content-based filtering и гибридных подходов позволяет автоматизировать процесс персонализации информационных потоков с учётом индивидуальных предпочтений, организационной структуры и контекста деятельности пользователей. Однако корпоративная среда обладает специфическими характеристиками, существенно отличающими её от публичных платформ электронной коммерции или потокового видео: разреженность матрицы взаимодействий, выраженная проблема холодного старта для новых сотрудников, ограниченность объёма данных, иерархическая структура организации и необходимость объяснимости рекомендаций.

Классические алгоритмы матричной факторизации, такие как SVD (Singular Value Decomposition) и ALS (Alternating Least Squares), демонстрируют высокую эффективность на плотных матрицах рейтингов, однако их применимость в корпоративном контексте ограничена критической разреженностью данных. Методы глубокого обучения (neural collaborative filtering, autoencoders) требуют значительных объёмов обучающих примеров и вычислительных ресурсов, что не всегда оправдано для организаций малого и среднего масштаба. В то же время гибридные модели, интегрирующие информацию о содержании (content features) и метаданные о пользователях в единую факторизационную схему, предоставляют перспективный компромисс между точностью предсказаний и вычислительной эффективностью [12, c. 78].

Недостаточная изученность вопросов адаптации современных алгоритмов рекомендаций к специфике корпоративных порталов, отсутствие комплексных решений, учитывающих организационную структуру, роли сотрудников и временную динамику интересов, а также необходимость обеспечения объяснимости рекомендаций определяют актуальность настоящего исследования. Разработка математически обоснованной системы рекомендаций, способной функционировать в условиях ограниченных данных и предоставлять интерпретируемые результаты, представляет значимую научно-практическую задачу в области прикладной математики и информационных технологий.

Цель исследования: разработка и реализация гибридной системы рекомендации контента для корпоративного портала на основе математических методов факторизации и машинного обучения, обеспечивающей высокую точность персонализации в условиях разреженных данных и холодного старта.

Задачи исследования:

• Провести анализ существующих подходов к построению рекомендательных систем, классифицировать методы collaborative filtering, content-based filtering и гибридные модели, выявить их преимущества и ограничения применительно к корпоративной среде;
• Исследовать математические основы алгоритма LightFM как гибридной модели, сочетающей факторизацию латентных представлений с использованием метаданных пользователей и объектов;
• Разработать архитектуру системы рекомендаций с учётом специфики корпоративного портала: модель данных, механизмы сбора неявной обратной связи (implicit feedback), подсистему адаптивного переобучения;
• Реализовать программный прототип системы с использованием технологий Python, Flask, SQLite и библиотеки LightFM, включая веб-интерфейс пользователя и административную панель;
• Провести вычислительные эксперименты на синтетическом датасете корпоративных взаимодействий, оценить качество рекомендаций с использованием метрик Precision@k, Recall@k, NDCG;
• Проанализировать результаты экспериментов, сравнить эффективность разработанной системы с базовыми методами (popularity-based, random baseline), выявить факторы, влияющие на точность персонализации.

Объект исследования: процессы персонализации информационных потоков в корпоративных информационных системах.

Предмет исследования: математические модели и алгоритмы рекомендации контента на основе гибридных методов факторизации латентных представлений с использованием дополнительной информации о пользователях и объектах.

Методологическая база исследования включает теоретические и практические методы прикладной математики и информатики.

Теоретическая база:

• Теория матричных разложений и факторизационные методы в задачах машинного обучения;
• Теория оптимизации: градиентные методы минимизации функций потерь (WARP loss, BPR loss);
• Математическая статистика и теория вероятностей для анализа пользовательского поведения;
• Теория графов для моделирования организационных структур;
• Методы информационного поиска и ранжирования (IR metrics).

Методы исследования:

• Математическое моделирование взаимодействий пользователей с контентом через тензорные представления и матричные факторизации;
• Машинное обучение: обучение моделей на основе неявной обратной связи (implicit feedback learning);
• Инженерия признаков (feature engineering): one-hot encoding категориальных переменных, взвешивание типов взаимодействий;
• Вычислительные эксперименты: сравнительный анализ алгоритмов на тестовых выборках;
• Метрики оценки качества: Precision@k, Recall@k, NDCG (Normalized Discou

…