精易论坛

标题: 易语言多线程复制(课自行处理)超大文件(1.6G),带进度和速度 [打印本页]

作者: 梦飞斩月 时间: 2021-1-18 22:49
标题: 易语言多线程复制(课自行处理)超大文件(1.6G),带进度和速度
最近突然想用易语言处理超大的文件,于是我就先试着处理复制超大文件(不用复制文件,而是自己写).但是直接用读入文件和写到文件的话,亲测无法成功,于是我就准备用多线程来写.
思路:我们先暂定使用8个线程,将整个文件分为8段,每个线程处理一段,然后并发这8个线程.
在线程内部,笔者一开始一次只读一个字节,结果复制文件的速度只有200kb/s多一点的速度,当然,这只是原因之一.

而另一个原因,则在于笔者只使用了一个io接口来读写文件.而这个原因造成的现象则是,我使用的线程越少,速度反而越快,但最快也不超过300KB.这便是因为多线程同时使用一个io接口,导致了io接口压力变大.处理速度反而变慢了.
而我们的解决方法就是使用8个io接口,也就是说,我们使用8次打开文件函数,来获得8个文件号,通过这8个文件号来并发处理同一个文件,这样io的压力就会小上很多了.于是在进行这个处理之后,速度变为了400KB左右

但200多变为了400多,看似翻了一倍,实际上还是很慢.于是,我们就需要增加一次读入和写出的字节数量.一次读写一个字节,实在是浪费计算机的性能了,而且频繁的访问io也会降低速度.
于是,笔者便一次性读写256个字节,这次,速度则变为了30M左右了.

于是,我们继续增加一次性读入的字节数,发现一次性读入1024字节,也就是1KB以后,速度为100M左右,

再次增加,一次读写1M,则最后速度可以达到400MB左右,笔者测试的一部电影的复制,直接三秒左右完成了读写,且无损坏.

其实笔者一开始是想写加密的,甚至对字节处理都已经写好了,但是因为一开始的速度实在是太慢,就先进行了优化,优化到最后便不想处理了.
若想要处理数据,直接在

处理就行了.
最后,源码.

多线程处理大文件.e (8.7 KB, 下载次数: 165)
测试视频
https://chomn.lanzous.com/i5Hkwkjwn0j

作者: zhulichun 时间: 2021-1-19 01:17
6666666666666666

作者: xintian 时间: 2021-10-4 08:54
666666,牛逼

作者: a1273822396s 时间: 2022-3-10 23:32
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊

作者: a1273822396s 时间: 2022-3-10 23:32
水水水水水水水水水水水水水水水水

作者: 哒神 时间: 2022-3-20 20:41
学习了1

作者: 110356776 时间: 2023-2-8 02:41
来学习一下

作者: kuaikai132 时间: 2023-2-19 17:09
666真的不错就你这例子够解决很多问题

作者: 大大大山炮 时间: 2023-3-19 16:52
666666,牛逼

作者: 撒加 时间: 2023-5-11 18:04
666666,牛逼

作者: shaokui123 时间: 2023-5-24 15:07
试了一下，结果指定的5G的压缩文件打不开了，哪位朋友知道咋解密啊

作者: q3939 时间: 2023-6-19 11:47
那个测试视频是真的多线程吗

作者: qweqwe28 时间: 2023-7-2 11:27
学习下，

作者: diskpart 时间: 2023-8-24 09:02
顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

作者: 我的yyy123 时间: 2023-10-31 15:11
学习学习

作者: 我的yyy123 时间: 2023-12-13 09:54
学习学习

作者: rushirushi 时间: 2024-6-17 17:35
这个可以有啊。。。

作者: renzhanxin 时间: 2024-7-24 21:42
学习下。66666666666

作者: tkggeeq 时间: 2024-9-18 08:22
正好需要，文本内容不一起读入，无法正确统计，所以需要完整读入大文本

作者: 以后的我以后 时间: 2024-10-6 09:45
测试视频

作者: hujingwxh 时间: 2024-12-17 15:19
学习下学习下学习下学习下学习下学习下

作者: winds01 时间: 2024-12-29 16:02
一个示例就可解决小白的一大堆疑问,实在太好,太牛B了,,万分感谢.

作者: wztsyr 时间: 2025-1-6 16:57
看看撒.....

欢迎光临精易论坛 (https://125.confly.eu.org/)