MiraiForum

    • 注册
    • 登录
    • 搜索
    • 热门
    • 最新
    • 未解决
    • 标签
    • 群组
    • 友情链接

    NLPHelper - 自然语言处理模型训练数据采集专用插件

    插件发布
    7
    33
    4334
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • cssxsh
      cssxsh @Mitr-yuzr 最后由 编辑

      @Mitr-yuzr
      先挖个坑
      https://github.com/cssxsh/mirai-hibernate-nlp

      D 1 条回复 最后回复 回复 引用 1
      • Referenced by  cssxsh cssxsh 
      • D
        damemod @cssxsh 最后由 编辑

        @cssxsh 没 Releases

        cssxsh 2 条回复 最后回复 回复 引用 0
        • cssxsh
          cssxsh @damemod 最后由 编辑

          @damemod
          还没开发完成,不过只要安装有 Mirai Hibernate Plugin 就会收集数据,mirai-hibernate-nlp 只是导出的功能

          1 条回复 最后回复 回复 引用 0
          • cssxsh
            cssxsh @damemod 最后由 编辑

            @damemod
            先整了个 dev,可以用来导出 原始未过滤的数据

            1 条回复 最后回复 回复 引用 0
            • Mitr-yuzr
              Mitr-yuzr 摸鱼 最后由 编辑

              关于gpt2的训练教程应该月底之前会出,这段时间先收集好数据吧。

              D 1 条回复 最后回复 回复 引用 0
              • D
                damemod @Mitr-yuzr 最后由 damemod 编辑

                @Mitr-yuzr https://github.com/cssxsh/mirai-hibernate-nlp
                可以看看这个,如果有用@cssxsh 的插件的话,应该可以略过收集的步骤,(目前还不能屏蔽关键词),az,原来上面有提到过,我原本以为在插件发布贴

                1 条回复 最后回复 回复 引用 0
                • Referenced by  D damemod 
                • 南栀沁寒
                  南栀沁寒 最后由 南栀沁寒 编辑

                  可不可以实现对指定的对象说的话进行过滤 不收集这个人发的句子
                  或者导出时过滤掉关键词
                  /NLPHelper exportBySQL "SELECT * FROM NLPH WHERE content NOT LIKE '%妈%';" gpt2
                  这个句子如果想添加多个过滤词该怎么写?

                  Mitr-yuzr 2 条回复 最后回复 回复 引用 0
                  • C
                    civansun 最后由 编辑

                    太强了,期待后续

                    1 条回复 最后回复 回复 引用 0
                    • a1043710306
                      a1043710306 最后由 编辑

                      你想要对我两核 1.9GHz的服务器赣神么

                      1 条回复 最后回复 回复 引用 0
                      • Mitr-yuzr
                        Mitr-yuzr 摸鱼 @南栀沁寒 最后由 编辑

                        @南栀沁寒 /NLPHelper exportBySQL "SELECT * FROM NLPH WHERE sender!=123456;" gpt2

                        1 条回复 最后回复 回复 引用 1
                        • Mitr-yuzr
                          Mitr-yuzr 摸鱼 @南栀沁寒 最后由 编辑

                          @南栀沁寒 添加多个过滤词可以用AND拼接逻辑表达式,跟SQLite的语法一样的

                          南栀沁寒 1 条回复 最后回复 回复 引用 0
                          • 南栀沁寒
                            南栀沁寒 @Mitr-yuzr 最后由 编辑

                            @Mitr-yuzr 感谢

                            1 条回复 最后回复 回复 引用 0
                            • Referenced by  Mitr-yuzr Mitr-yuzr 
                            • Mitr-yuzr
                              Mitr-yuzr 摸鱼 最后由 编辑

                              GPT2-Chinese训练教程已更新:
                              [Mirai-NLP] GPT2-Chinese模型训练教程

                              1 条回复 最后回复 回复 引用 1
                              • 1
                              • 2
                              • 2 / 2
                              • First post
                                Last post
                              Powered by Mamoe Technologies & NodeBB | 友情链接 | 服务监控 | Contact