精易论坛

标题: 抖音直播弹幕爬虫 [打印本页]

作者: 宇智波·泉奈 时间: 2022-10-29 16:24
标题: 抖音直播弹幕爬虫
本帖最后由宇智波·泉奈于 2022-10-29 16:33 编辑

前言

抖音弹幕爬虫的做法有很多种，例如、无头浏览器Xpath爬取，WSS拦截、WSS协议，作者今天开源的是JS注入的方式。

弹幕爬虫原理图

使用方法

相信很多小伙伴看了原理图也大概知道了程序的运作方式，下面作者教你们把程序跑起来

[size=10.5000pt]1. 首先把下载下来的源码（DouyinLiveSpider.sln）打开，作者的开发程序是Visual Studio 2019，最好小伙伴们也下载同样的版本，不然会出现奇怪的问题（下图是项目完整图）

2. 打开项目后按F5等待程序启动（下图是程序主界面），界面做的很简陋作者一直秉承能用就行的理念，希望小伙伴们能自己改一下

3. 程序启动后请确保程序下面的log输入显示“WebSocketServer 启动成功 ws://127.0.0.1:9898”，如果提示启动失败，请检查9898端口号是否被占用

4. 接下来我们进入需要爬弹幕的直播间，如上面原理图说的，我们是通过注入js然后转发到我们程序来的，所以我们需要在程序内打开直播间才能控制js的注入，由于winform内置的webbrowser是IE内核，所以作者在程序内使用了ChromiumWebBrowser换成了Chrome内核

5. 等到打开的窗口完全把直播间加载出来后，我们程序就开始自动采集工作了，小伙伴们要注意如果你把直播间窗口关闭后，采集就会停止掉

6. 那么如何把采集到的数据转发到我们需要用到的地方呢？，其实很简单，也是通过WebSocket，作者为大家提供了web上接入我们程序的Demo（如下图）

7. 注意事项，当ws连接上程序之后并不会立刻推送数据，需要发送“send”这段文字到程序上后才会推送（Js代码如下）

8. 作者展示的并不是完整爬到的数据，作者只把部分数据显示了出来，里面还有很多有用的数据，例如：“MsgId”、“粉丝牌”、“用户等级”、等..，小伙伴拿到数据后可以自己研究

开发环境

开发工具：Visual Studio 2019
开发系统：Windows 10 专业版
用到框架：Fleck、Newtonsoft.Json、CefSharp

结束

因为是通过JS注入，所以抖音如果改了JS名字或JS内容需要重新修改新的JS注入，如果有任何问题的小伙伴可以在下面留言，作者会尽量回复大家，谢谢大家

web.png (116.96 KB, 下载次数: 2)

作者: ai185704529 时间: 2022-10-29 17:26
我看看跟协yi相比怎么样

作者: a657938016 时间: 2022-10-29 17:35
支持开源~！感谢分享

作者: 凌云啊 时间: 2022-10-29 17:38
11111111111111111111111111111

作者: lls605 时间: 2022-10-29 17:38
学习下··········

作者: 已注销679935 时间: 2022-10-29 17:48
提示: 作者被禁止或删除内容自动屏蔽

作者: TBit 时间: 2022-10-29 17:50
厉害了谢谢分享

作者: Aa798040941 时间: 2022-10-29 17:54
不错不错

作者: boke1113 时间: 2022-10-29 17:58
不错优秀不错优秀不错

作者: 深爱者 时间: 2022-10-29 18:04
支持开源！感谢分享，论坛有你更精彩~

作者: aa8045 时间: 2022-10-29 18:12
11111111111111

作者: yamiedie 时间: 2022-10-29 18:20
支持开源~！感谢分享

作者: rensheng2021 时间: 2022-10-29 18:35
感谢开源！

作者: 凌云啊 时间: 2022-10-29 18:35
楼主，方便开个帖子把你这个注入和拦截方法讲解一下吗，谢谢。

作者: 咽泪装欢 时间: 2022-10-29 18:43
作者展示的并不是完整爬到的数据

作者: 宇智波·泉奈 时间: 2022-10-29 18:50

sanduosoft 发表于 2022-10-29 18:35
楼主，方便开个帖子把你这个注入和拦截方法讲解一下吗，谢谢。

代码里面有噢，其实就是重写了request，再判断是不是需要替换的js

作者: 787327835 时间: 2022-10-29 18:55
感谢开源！

作者: 茶白 时间: 2022-10-29 18:58
look yixia

作者: 易神 时间: 2022-10-29 18:59
可以可以学习一下思路

作者: gaoqing 时间: 2022-10-29 19:03
感谢开源！

作者: wmv520 时间: 2022-10-29 19:42
可以可以学习一下

作者: 啊麟 时间: 2022-10-29 19:53

用猫头鹰，直接能回调到e子程序，不需要ws

作者: 宇智波·泉奈 时间: 2022-10-29 20:00

啊麟发表于 2022-10-29 19:53
用猫头鹰，直接能回调到e子程序，不需要ws

用ws不更方便么

作者: 已注销609915 时间: 2022-10-29 20:01
提示: 作者被禁止或删除内容自动屏蔽

作者: LingAi1979 时间: 2022-10-29 20:01
谢谢分享

作者: d大大大大大表哥 时间: 2022-10-29 20:05
楼主辛苦，感谢分享

作者: 调试输出未来 时间: 2022-10-29 20:14
楼主辛苦，感谢分享

作者: 辉腾排名 时间: 2022-10-29 20:43
6666666666666666666666

作者: 79872122 时间: 2022-10-29 20:44
楼主辛苦，感谢分享

作者: 851375257 时间: 2022-10-29 20:50
楼主辛苦，感谢分享

作者: pnccm 时间: 2022-10-29 21:03
看看是怎么注入js

作者: 44287207 时间: 2022-10-29 21:09
感谢分享

作者: xiaolang5499 时间: 2022-10-29 21:26
通过JS注入

作者: 啊麟 时间: 2022-10-29 21:41

宇智波·泉奈发表于 2022-10-29 20:00
用ws不更方便么

很简单的，一样是修改js，只需要把e传个自定义函数，猫头鹰绑定就可以了，这两天开源了我@你

作者: siniandd 时间: 2022-10-29 22:50
楼主辛苦，感谢分享

作者: jiweiji01 时间: 2022-10-29 23:02
感谢分享

作者: yzhzhp1 时间: 2022-10-29 23:09
感谢分享

作者: 小小小小鸟89 时间: 2022-10-29 23:18
谢谢分析

作者: huxian 时间: 2022-10-29 23:46
这个需要服务器吗？

作者: 1147828541 时间: 2022-10-30 00:01
抖音直播弹幕爬虫

作者: jing2020yi 时间: 2022-10-30 00:39
谢谢分享~

作者: Jmp520 时间: 2022-10-30 01:48

学习一下

作者: shinid8210 时间: 2022-10-30 08:53
牛逼支持

作者: zdr15 时间: 2022-10-30 09:14
支持！！！！！！！！！！

作者: mengqiu 时间: 2022-10-30 09:54
你真是救世主啊

作者: 小马爱吃鱼 时间: 2022-10-30 10:05
看看测试下

作者: 蚊子007 时间: 2022-10-30 10:15
支持！！！！！！！！！！

作者: 章若楠 时间: 2022-10-30 11:03
因为是通过JS注入，所以抖音如果改了JS名字

作者: CF涛哥 时间: 2022-10-30 14:20
支持！！！

作者: 727338622 时间: 2022-10-30 14:27
作者展示的并不是完整爬到的数据

作者: 和你相约长城 时间: 2022-10-30 15:07
666666666666666666666666

作者: SD1228 时间: 2022-10-30 16:42
因为是通过JS注入

作者: 1025 时间: 2022-10-30 17:14
支持开源，感谢分享

作者: xiaoniu1230 时间: 2022-10-30 17:17
感谢分享支持开源！

作者: 794229345 时间: 2022-10-30 17:36
膜拜大佬！大佬牛B！

作者: 86869390a 时间: 2022-10-30 17:41
支持一下

作者: 快手 时间: 2022-10-30 18:50
提示: 作者被禁止或删除内容自动屏蔽

作者: a303847444 时间: 2022-10-30 19:18
666666666666666666666666

作者: 果心豆腐酱 时间: 2022-10-30 19:50
我来看看啊

作者: java22 时间: 2022-10-30 19:51
Mark，看反馈情况再说。。。

作者: Yy8270204 时间: 2022-10-30 22:29
101151212126150159159123

作者: aaa88888 时间: 2022-10-30 22:43

感谢分享支持开源！

作者: fusiyon 时间: 2022-10-30 22:50
支持开源~！感谢分享

作者: futiem 时间: 2022-10-30 23:08
谢谢大家谢谢大家

作者: 宇智波·泉奈 时间: 2022-10-31 00:56

啊麟发表于 2022-10-29 21:41
很简单的，一样是修改js，只需要把e传个自定义函数，猫头鹰绑定就可以了，这两天开源了我@你 ...

我明白，像C#跟JS的函数也可以互相调用，而且不需要第三方插件

作者: 宇智波·泉奈 时间: 2022-10-31 00:58

huxian 发表于 2022-10-29 23:46
这个需要服务器吗？

可以部署在服务器，可以部署在本地

作者: lxz599 时间: 2022-10-31 01:43
铁子 js出个教学

作者: 大兵20 时间: 2022-10-31 02:47
好东西，学习了，

作者: 武哥267 时间: 2022-10-31 03:32
6666666666666666666

作者: 357341051 时间: 2022-10-31 08:41
作者展示的并不是完整爬到的数据

作者: leiwawa001 时间: 2022-10-31 09:17
谢谢分享。

作者: wjswzj0 时间: 2022-10-31 10:03
YYDS~！思路不错

作者: awq130 时间: 2022-10-31 10:52
先留个脚印

作者: shizhong0117 时间: 2022-10-31 11:03
支持开源~！感谢分享

作者: yk8023 时间: 2022-10-31 11:05
感谢楼主分享谢谢

作者: fjxm 时间: 2022-10-31 14:06

感谢楼主分享

作者: Sylas 时间: 2022-10-31 14:51
这个支持一波，

作者: 云韵 时间: 2022-10-31 15:49
这个很好支持一下

作者: cdzch 时间: 2022-10-31 16:22
谢谢楼主的分享！

作者: lman 时间: 2022-10-31 19:54

谢谢楼主的分享！

作者: batcd 时间: 2022-11-1 03:49
谢谢分享

作者: ensurf 时间: 2022-11-1 09:09
学习一下

作者: 904237917 时间: 2022-11-1 09:50
牛逼啊牛逼啊牛逼啊牛逼啊

作者: lxyhslx 时间: 2022-11-1 14:29
学习下学习下

作者: 一剑磨十年 时间: 2022-11-1 15:06
感谢分享很给力！

作者: abc16 时间: 2022-11-1 16:27
谢谢分享！

作者: z3985497 时间: 2022-11-1 17:46
谢谢分享

作者: ckun 时间: 2022-11-2 20:03
666666666666666666666666666666666666666666666666666666

作者: 75018952 时间: 2022-11-2 20:13
RE: 抖音直播弹幕爬虫 [修改]

作者: hu451193444 时间: 2022-11-2 23:58
支持开源~！感谢分享

作者: Mr李 时间: 2022-11-3 02:15
学习学习谢谢分享要是易语言就好了

作者: 1120094610 时间: 2022-11-3 21:11
抖音直播弹幕爬虫

作者: sindy5810 时间: 2022-11-3 23:24
我太喜欢流啊啊啊

作者: playflash 时间: 2022-11-4 02:17
多谢了，又一个方法

作者: qwertyu999 时间: 2022-11-4 07:52
#在这里快速回复#兄弟这个我开源过了

作者: 小龙 时间: 2022-11-4 12:48
66666666666666666666666666666666

作者: 开水养鱼 时间: 2022-11-4 16:02
看看看看看

作者: 164677499 时间: 2022-11-4 16:45
大佬！！！！

作者: 164677499 时间: 2022-11-4 17:06
开源精神必须支持~

作者: layzhou 时间: 2022-11-4 21:21
6666666666666

欢迎光临精易论坛 (https://125.confly.eu.org/)