精易论坛

标题: 【ChatGPT研究】自回归语言模型的易语言实现方法 [打印本页]

作者: 叮小当 时间: 2023-4-10 15:20
标题: 【ChatGPT研究】自回归语言模型的易语言实现方法
本帖最后由叮小当于 2023-4-10 16:42 编辑

最近chatgpt爆火，想必用过的小伙伴都大呼神奇，我也同感，也感觉到作为一个程序员对这一行前景的担忧。

今天突然很想搞清楚chatgpt到底是怎么实现的，就去研究了自回归语言模型。代码也是chatgpt 教给我的，我转译成了易语言，方便大家理解。
自回归语言模型（Autoregressive LM, AR）是一种根据上文或者下文内容预测下一个可能跟随的单词的语言模型。例如，通过“LM is a typical task in natural language ____”预测单词“processing”
了解更多：https://zhuanlan.zhihu.com/p/378514578

最终的目的是抛砖引玉，希望有大佬可以搞一个易语言chatgpt模型出来！

代码很简单，有丰富的注释可供学习！
代码中调用了两个模块，一个是分词模块，有能力的可以删了模块自己写。
同时调用了我自己的模块，主要用了哈希表和取随机数，也可以自行删掉，用自己的。

更强的版本正在编写中：包含了损失函数，优化器随机梯度下降SGD，迭代训练并计算损失和梯度，向前传播和反向传播神经模型

源码下载【包含分词库】：https://rtb4.lanzouw.com/iqfFU0sl8u1e

不含分词库的附件下载（注意：附件下载的，请先用分词模块测试.e 源码中界面 “重置词库” 按钮功能，生成新的词库）

自回归语言模型eCode.rar (2.84 MB, 下载次数: 157)

作者: zhao6810 时间: 2023-4-10 15:27
牛逼。

作者: zjsky08 时间: 2023-4-10 15:30
学习一下

作者: jysoft2022 时间: 2023-4-10 15:47
下载学习，谢谢分享

作者: 枕风宿雪多年 时间: 2023-4-10 15:53
学习一下挺厉害的

作者: ♂隐 时间: 2023-4-10 16:23
你也是优秀啊！！！

作者: aadada 时间: 2023-4-10 17:24
git上面有一个自然语言的训练库，你可以看看

作者: 非常猥锁 时间: 2023-4-10 18:24
牛逼哦

作者: benbenyw 时间: 2023-4-10 18:55

作者: 深圳梦 时间: 2023-4-10 19:50
精彩文章希望继续努力

作者: airaz 时间: 2023-4-10 20:20
https://125.confly.eu.org/forum.php?mod ... =%E5%88%86%E8%AF%8D
中科院分词助力下

作者: pipicool 时间: 2023-4-10 21:24
学习一下

作者: 亿万 时间: 2023-4-10 21:41
谢谢分享

作者: 易小祥 时间: 2023-4-10 23:35
厉害厉害

作者: 凉城o 时间: 2023-4-11 06:23
开源精神必须支持~

作者: zifeiyu 时间: 2023-4-11 09:50
666666666666666666666

作者: 胖虎O 时间: 2023-4-11 14:30
看看怎么样l

作者: 396384183 时间: 2023-4-11 16:17
感谢分享，很给力！~

作者: huang14 时间: 2023-4-11 21:58
感谢分享，很给力！~

作者: c799330775 时间: 2023-4-12 08:20
支持支持支持

作者: 菲菲猫 时间: 2023-4-12 11:30
支持

作者: WSW120 时间: 2023-4-13 20:06
谢谢分享

作者: ghlqw123 时间: 2023-4-14 09:42
有没有群，一起研究呀。

作者: sanclyj 时间: 2023-4-14 13:34
自回归语言模型的易语言实现方#在这里快速回复#

作者: qqmqqg 时间: 2023-4-14 23:43
66666666666666666不错希望能做个特色出来

作者: lhbismy1 时间: 2023-4-15 18:18
感谢分享！！

作者: 单纯设计 时间: 2023-4-15 18:38
开源精神必须支持~

作者: ujff77 时间: 2023-4-15 19:16
开源精神必须支持~

作者: 530278137 时间: 2023-4-15 19:53
开源精神必须支持~

作者: 易友软件 时间: 2023-4-15 23:45
高级玩意~看看~

作者: 383586982 时间: 2023-4-16 12:46
没有知识库，这个等于无用。

作者: 两度 时间: 2023-4-17 20:06
0000000000000000000000000000000000

作者: 两度 时间: 2023-4-17 20:06
000000000000000000000

作者: 8554036 时间: 2023-4-18 13:35
这东东怎么玩来的呀。

作者: hefuqiangqiang 时间: 2023-4-19 00:37
开源精神必须支持~ 学习一下

作者: 无极 时间: 2023-5-5 03:07
ChatGptChatGpt

作者: sn123zyc 时间: 2023-5-15 14:19
感谢发布原创作品，精易因你更精彩！

作者: 当明月 时间: 2023-5-31 05:23

作者: k18556 时间: 2023-6-7 00:56
xxxxxxxxxxxxxxx

作者: c勇往直前 时间: 2023-9-7 09:04
支持支持支持支持支持

作者: 199605109 时间: 2023-9-7 09:11
感谢发布原创作品，精易因你更精彩！

作者: wanerhejj 时间: 2024-6-1 18:04
下载学习

欢迎光临精易论坛 (https://125.confly.eu.org/)