GPT-2是一种深度学习领域的语言模型,可以用于完成自然语言相关的生成任务。

最近在GitHub上找到了一个项目,该项目使用GPT-2实现了在聊天过程中的短对话生成,并提供了预训练模型

https://github.com/yangjianxin1/GPT2-chitchat

效果

我将其集成到了聊天机器人内,使用仓库内的预训练模型,群内使用效果如下

Screenshot_20210810-235942.jpg

虽然看起来聊天还算比较连贯,但其实很多时候不是嘴臭就是智障,也算是比较有趣了

可以来我的群内实际体验一下206073050

适配

实际上并不需要很复杂的修改代码,只需要把他的历史记录单独按照每一个群成员记录即可。然后再使用flask启动一个http服务器为机器人进程服务即可

性能

系统:Windows server 2012r2 64位
CPU:E5-2670v2 8核虚拟机
内存:8GB
在Python3.9下使用CPU推理,单次推理速度约700ms,可以满足负载不高的群内聊天推理,实际内存占用约为1.6GB