精易论坛

标题: 【原创】两种文件分割方法（无乱码） [打印本页]

作者: zl2017 时间: 2018-5-27 14:54
标题: 【原创】两种文件分割方法（无乱码）
最近在弄文本处理工具
昨天晚上在研究文件分割技术，我知道至少有两种方法
第一种方法：按行分割这个写起来很简单，
但是缺点是分割的文本缺乏连续性，而且分割后的大小偏差很大
第二种方法：按字节集分割，开始我以为也很简单结果分割出来，有些就出现乱码
参考搜索了论坛和其他网上开源的资源都是简单分割没有考虑乱码问题
开始我是考虑在分割点附近取6字节，组合后判断该处字符是否为汉字，结果仍然不稳定时不时出现乱码
上午突然想到一个巧妙的方法就是倒取最后出现的单字节字符（0-127）这样分割既能保证连续性，又能防止乱码
这里把两种方法分享出来，供大家参考一下

test文件分割.zip (22.13 KB, 下载次数: 157)

作者: zl2017 时间: 2018-5-27 17:25
.版本 2

.如果真 (倒取位置 (b [i]) ≠ 0)
b [i] ＝取字节集左边 (a, 倒取位置 (b [i]))
.如果真结束

加个判断这样适用范围更大

作者: 反客为主 时间: 2018-5-27 18:05
占前排，，，，

作者: xshn 时间: 2018-5-27 19:36
感谢分享，很实用的

作者: maxthon 时间: 2018-5-27 20:13
哈哈，支持一下了

作者: wlzyk118 时间: 2018-5-27 22:15
感谢分享

作者: 蒲公半岛 时间: 2018-5-30 15:36
学习一下学习一下

作者: eworm 时间: 2018-6-7 15:34
大文本分割不了

作者: HeraLess 时间: 2018-6-27 09:56
学习了，学习分享

作者: 178826559 时间: 2018-9-19 01:49
其实，我想说的是有一个命令叫到全角，然后取字符分割。鄙人陋见让楼主见笑了。

作者: 玖玖最帅 时间: 2019-9-21 20:19
感谢分享！

作者: wxj213 时间: 2019-11-9 17:15
两种方法分享出来，供大家参考一下谢谢

作者: 王不大咧咧 时间: 2020-4-1 15:45
学习了，学习分享

作者: huawei007 时间: 2021-3-22 23:59
好东西，感谢分享，很实用的

作者: huawei007 时间: 2021-3-23 00:01
收藏收藏哈哈哈

作者: FAOM 时间: 2022-7-7 21:09
支持开源~！感谢分享

作者: 要强不要秃 时间: 2022-8-16 21:06
666666666666666666

作者: 殇梦之 时间: 2023-11-5 15:50
#在这里快速回复#

欢迎光临精易论坛 (https://125.confly.eu.org/)