我在做同样的事情。
Seq2Seq 模型似乎不能胜任多轮对话,还是得从因果语言模型着手。
我曾在其它场景中使用少量高质量样本对 GPT2-Chinese 项目的预训练模型进行微调,模型很好地掌握了行文风格。
模型加载后,在 CPU 上推理并不非常耗时,因此部署想必也行得通。
目前,我正在尝试 GPT2-chitchat 项目,不过其预训练模型本身的输出不适合当前场景。
期待楼主的研究成果。
_
____ 发布的最佳帖子
-
RE: 关于将QQ机器人与深度学习NLP结合的可能性
____ 发布的最新帖子
-
RE: 关于将QQ机器人与深度学习NLP结合的可能性
我在做同样的事情。
Seq2Seq 模型似乎不能胜任多轮对话,还是得从因果语言模型着手。
我曾在其它场景中使用少量高质量样本对 GPT2-Chinese 项目的预训练模型进行微调,模型很好地掌握了行文风格。
模型加载后,在 CPU 上推理并不非常耗时,因此部署想必也行得通。
目前,我正在尝试 GPT2-chitchat 项目,不过其预训练模型本身的输出不适合当前场景。
期待楼主的研究成果。