By Деревягин Александр

Abstract

У меня получилось

• Воспроизвести алгоритмы Algorithm Distillation, Expert Distillation на основе minGPT
• Реализовать поддержку wandb, pyrallis, а также сохранение чекпоинтов, сред и данных для воспроизводимости экспериментов.
• Попробовать несколько гипотез для уменьшения контекста и улучшения работы алгоритм дистилляции

Весь получившийся код я выложил в репозитории [вставить репозиторий]. К репозиторию прилагается документация и ссылка на этот репорт. Документацию к репозиторию можно посмотреть в readme на гитхабе, здесь же мы уделим внимание самому воспроизведению и проверке гипотез

Отчет о проделанной работе вы можете увидеть тут: https://api.wandb.ai/links/komershan/d8ex5g1i