PyContinual (An Easy and Extendible Framework for Continual Learning)

摘要

PyContinual 是一个在 GitHub 上开源的持续学习框架，由 ZixuanKe 维护，目前拥有 281 个星标。

该框架支持语言和图像数据集的持续学习研究，包括文档/句子/情感分类、自然语言推断、话题分类以及 CelebA、CIFAR10、CIFAR100 等图像数据集。

PyContinual 支持任务增量学习和领域增量学习两种学习场景，并提供了多种基线和变体（超过 40 种）。用户可以通过修改 baseline、backbone 和 task 参数快速使用框架，同时也可以通过添加自己的数据加载器、网络架构和训练方法来扩展框架。

该项目还包含了多篇关于持续学习的论文实现，如 NeurIPS 2021 和 EMNLP 2021 上发表的工作。

此外，框架支持单 GPU、多节点分布式训练和混合精度训练模式。项目的结果和数据保存在 ./res 和 ./dat 文件夹中，而 ./data、./dataloader、./approaches 和 ./networks 文件夹分别包含原始数据、数据加载器、训练代码和网络架构代码。用户可以通过 run_exist.md 和 run_own.md 文件了解如何运行现有系统或使用自己的模型扩展框架，并通过 baselines.md 查看所有可用的基线和变体。如果使用该代码，建议引用相关的论文参考文献。

观点

• 易用性: PyContinual 框架设计简单，用户可以通过简单的命令行参数配置来使用和测试不同的基线和模型。
• 扩展性: 框架易于扩展，用户可以通过添加自己的组件来实现新的数据加载器、网络架构和训练策略。
• 多样性: 该框架支持多种语言和图像数据集，适用于不同的持续学习场景。
• 研究支持: PyContinual 包含了多篇论文的实现代码，对于持续学习领域的研究人员具有很高的参考价值。
• 性能: 框架支持不同的训练模式，包括单 GPU、多节点分布式训练和混合精度训练，以适应不同的计算资源需求。
• 社区贡献: 项目鼓励社区贡献，并提供了详细的指南和文档来帮助用户理解和使用框架。
• 引用要求: 使用该框架的研究人员在出版物中引用相关论文，以识别原始作者的工作和贡献。