精易论坛

标题: 【海量数据处理工具V1.6】挑战性能极限1亿数据处理 [打印本页]
作者: mylife2014    时间: 2016-6-22 00:56
标题: 【海量数据处理工具V1.6】挑战性能极限1亿数据处理
本帖最后由 宇智波·佐助 于 2016-6-22 09:48 编辑

不接受小白提问! 实在是没空啊...

这个软件是之前的一位客户定制...好东西不想私藏着..  原客户如果不想公布可联系我收回此贴


有没有吹牛B? 试了才知道. 吹牛B客户怎么会验收呢?



  测试结果:7000W 用了30分钟左右(非去重复,去重复可能更快).两次1亿2000W 用了多久..忘记了..我现在也没哪么多数据测了

  关于速度问题,这里声明下:  有的小白电脑硬盘太慢,软件是从文件中一行行读到内存中算的,固态硬盘最少会快一倍, 所以你大数据处理最少得有个8G以上内存,,软件不占CPU 但占内存..


吐槽:精易论坛天天302 500  搞啥鬼
链接: http://pan.baidu.com/s/1eS6XwyQ 密码: yc86下载：http://urlxf.qq.com/?JbE7Jbq





  关于原理: 只能告诉你几个关键词:分区,分块,比对...判断文件大行.计算时间..要不要分块..要不要一次性读完..  这些我就说了


关于开源..不行


关于下载..fuk 精易上传302啊. 只能百度网盘了




作者: 小李吊炸天    时间: 2016-6-22 01:04
提示: 作者被禁止或删除 内容自动屏蔽
作者: 易宪    时间: 2016-6-22 01:14
数据处理~开源的话可以看看代码还是不错的~可惜~
作者: 猥琐小胖子    时间: 2016-6-22 01:16
坐等删贴。
作者: jnkcdz    时间: 2016-6-22 11:40
菜鸟只能说是路过，不过看着很牛B的样子，支持下，看下思路吧
作者: mylife2014    时间: 2016-6-22 12:10
猥琐小胖子 发表于 2016-6-22 01:16
坐等删贴。

谁删 你删吗?
作者: mylife2014    时间: 2016-6-22 12:11
易宪 发表于 2016-6-22 01:14
数据处理~开源的话可以看看代码还是不错的~可惜~

C#写的不好意思  
作者: 易宪    时间: 2016-6-22 12:55
mylife2014 发表于 2016-6-22 12:11
C#写的不好意思

可惜不会C#
作者: dell2000    时间: 2016-6-22 16:18
看起来不错的 下载了 谢谢哦
作者: 2015易语言    时间: 2016-6-23 01:18
不开源拿来干嘛！
作者: 吴某仁    时间: 2016-6-23 22:03
楼主qq多少
作者: 进击    时间: 2016-9-21 16:51
你发错区域了 少年！

这里是【C#源码分享]】

麻烦换个板块发~

但是还是感谢软件~~@mylife2014
作者: a415391463    时间: 2017-1-20 20:51
谢谢分享！
作者: wxc6688    时间: 2017-4-16 13:43
没B用 我又个去重复的 1亿数据 10秒搞定
作者: mylife2014    时间: 2017-4-16 14:13
whx0910 发表于 2017-4-16 13:43
没B用 我又个去重复的 1亿数据 10秒搞定

你牛逼,你能把一个1亿的数据十秒导入，我花10W给你买，
作者: LTB    时间: 2022-2-24 10:55
66666666666666666666666666666666
作者: LTB    时间: 2022-2-24 10:56
666666666666666666666666666666666666
作者: LTB    时间: 2022-2-24 10:56
66666666666666666666666666666666666
作者: LTB    时间: 2022-2-24 10:56
66666666666666666666666666666666666666
作者: LTB    时间: 2022-2-24 10:57
666666666666666666666666666666666666666
作者: LTB    时间: 2022-2-24 10:57
66666666666666666666666666666666666666
作者: wenliang    时间: 2024-1-16 11:51
下载了不能运行
作者: 2101726857    时间: 2024-2-17 20:57
嗯还是比较可以的，当前时间.net 8 的速度的话最快，单位可以缩小到秒



欢迎光临 精易论坛 (https://125.confly.eu.org/) Powered by Discuz! X3.4