Курсовая
Дешевое обучение LLM
Настоящая курсовая работа посвящена всестороннему исследованию и разработке методов экономически эффективного обучения больших языковых моделей (LLM), что является критически значимой задачей в условиях ограниченных вычислительных ресурсов и высокой стоимости классических подходов, особенно актуальной для отечественных научных и промышленных инициатив. В рамках исследования будет проведен глубокий анализ современных архитектур LLM и существующих методик их обучения и тонкой настройки, включая такие подходы, как параметрически эффективная тонкая подстройка (PEFT), дистилляция знаний и низкоранговая адаптация (LoRA), с акцентом на их применимость в российских условиях. Особое внимание будет уделено математическому аппарату, лежащему в основе этих методов, включая анализ тензорных разложений, методов оптимизации с ограниченными ресурсами и вероятностных моделей для эффективной передачи знаний. Будут рассмотрены подходы к сокращению вычислительной сложности и требований к памяти при работе с моделями терабайтного масштаба, что позволит использовать их на менее ресурсоемких кластерах отечественных дата-центров. Исследование будет опираться на достижения таких российских научных школ, как школа математического моделирования ВМК МГУ им. М.В. Ломоносова и разработки Института системного программирования РАН, в области параллельных вычислений и алгоритмов оптимизации. Анализ будет подкреплен данными из ведущих российских научных журналов, таких как «Программирование», «Доклады Академии наук», а также материалами отечественных конференций по искусственному интеллекту.
Эффективная вычислительная схема для обучения больших языковых моделей, интегрирующая алгоритмы параметрически эффективной тонкой подстройки с методами низкоранговой аппроксимации, с подробным описанием математического обоснования и рекомендациями по ресурсосберегающей реализации на отечественных вычислительных комплексах.
Актуальность темы обусловлена стремительным развитием технологий больших языковых моделей и их трансформирующим потенциалом для множества отраслей, от обработки естественного языка до генерации контента и научных исследований. В Российской Федерации, с учетом стратегической важности технологического суверенитета и необходимости развития собственных конкурентоспособных решений в области искусственного интеллекта, задача удешевления обучения LLM становится первостепенной. Это позволит снизить порог входа для отечественных компаний и научно-исследовательских институтов, расширить спектр прикладных задач, решаемых с использованием LLM, и обеспечить независимость от импортных вычислительных мощностей и проприетарных моделей, что соответствует приоритетам, обозначенным в отечественных программах цифровой трансформации.
Разработка и теоретическое обоснование комплекса методов экономически эффективного обучения больших языковых моделей, адаптированных для применения на российских вычислительных платформах.
1. Провести систематический анализ существующих методов параметрически эффективной тонкой подстройки (PEFT), дистилляции знаний и низкоранговой адаптации (LoRA) применительно к архитектурам больших языковых моделей, а также выявить их вычислительную сложность и ресурсные затраты.
2. Разработать математические модели для оценки влияния различных стратегий оптимизации (например, квантования, прунинга, матричных разложений) на качество и скорость обучения LLM, с учетом ограничений, накладываемых российскими вычислительными ресурсами.
3. Исследовать возможности применения градиентных методов оптимизации второго порядка и методов стохастической оптимизации с адаптивной скоростью обучения для повышения эффективности итерационных процедур в условиях ограниченной памяти.
4. Разработать прототип вычислительной схемы, демонстрирующей снижение ресурсоемкости обучения LLM на конкретном наборе данных и архитектуре, произвести оценку производительности и качества полученных моделей.
- Оформление по ГОСТ
- Содержание и структура уже собраны
- Подходит как пример для своей темы
