NLPHelper - 自然语言处理模型训练数据采集专用插件

[cssxsh]

@Mitr-yuzr
先挖个坑
https://github.com/cssxsh/mirai-hibernate-nlp

[damemod]

@cssxsh 没 Releases

[cssxsh]

@damemod
还没开发完成，不过只要安装有 Mirai Hibernate Plugin 就会收集数据，mirai-hibernate-nlp 只是导出的功能

[cssxsh]

@damemod
先整了个 dev，可以用来导出 原始未过滤的数据

[Mitr-yuzr]

关于gpt2的训练教程应该月底之前会出，这段时间先收集好数据吧。

[damemod]

@Mitr-yuzr https://github.com/cssxsh/mirai-hibernate-nlp
可以看看这个，如果有用@cssxsh 的插件的话，应该可以略过收集的步骤，(目前还不能屏蔽关键词)，az，原来上面有提到过，我原本以为在插件发布贴

[南栀沁寒]

可不可以实现对指定的对象说的话进行过滤 不收集这个人发的句子
或者导出时过滤掉关键词
/NLPHelper exportBySQL "SELECT * FROM NLPH WHERE content NOT LIKE '%妈%';" gpt2
这个句子如果想添加多个过滤词该怎么写?

[civansun]

太强了，期待后续

[a1043710306]

你想要对我两核 1.9GHz的服务器赣神么

[Mitr-yuzr]

@南栀沁寒 /NLPHelper exportBySQL "SELECT * FROM NLPH WHERE sender!=123456;" gpt2

[Mitr-yuzr]

@南栀沁寒 添加多个过滤词可以用AND拼接逻辑表达式，跟SQLite的语法一样的

[南栀沁寒]

@Mitr-yuzr 感谢

[Mitr-yuzr]

GPT2-Chinese训练教程已更新:
[Mirai-NLP] GPT2-Chinese模型训练教程