取文本行数 取200M文本不到半秒 支持忽略空行

福仔

  

窗口程序集名	保 留	保 留	备 注
程序集1

子程序名	返回值类型	公开	备 注
_启动子程序	整数型		请在本子程序中放置动态链接库初始化代码

测试 ()  ' 在初始化代码执行完毕后调用测试代码
返回 (0)  ' 返回值被忽略。

子程序名	返回值类型	公开	备 注
测试

变量名	类 型	静态	数组	备 注
文件路径	文本型
文件号	整数型
行数	整数型
空行数	整数型
i	整数型
文本	字节集
文本长度	整数型
文本指针	整数型
计时	整数型
获取到的行数_去除空行	整数型
获取到的行数_保留空行	整数型
输出文本	文本型

文件路径 ＝ 取运行目录 () ＋ “\测试文本.txt”
如果真 (真)  ' 如果已经生成了文件, 那这里可以改成假, 生成文件耗时很大, 又懒得用c函数来弄
文件号 ＝ 打开文件 (文件路径, #重写, #无限制 )
置随机数种子 ()
行数 ＝ 1000000  ' 随机100万行以上的行数, 生成的文本大概有200M
行数 ＝ 取随机数 (行数, 行数 ＋ 32767)
计次循环首 (行数, i)
如果真 (取随机数 (1, 100) ＝ 1)  ' 随机加入空行
空行数 ＝ 空行数 ＋ 1
写出文本 (文件号, #换行符 )

判断 (行数 ＝ i)
写出文本 (文件号, 到文本 (i) ＋ “-” ＋ 取随机字母 (取随机数 (100, 300)))  ' 每行随机100-300个字符
写文本行 (文件号, 到文本 (i) ＋ “-” ＋ 取随机字母 (取随机数 (100, 300)))  ' 每行随机100-300个字符

计次循环尾 ()
关闭文件 (文件号)

文本 ＝ 读入文件 (文件路径)
文本长度 ＝ 取字节集长度 (文本)
计时 ＝ 取启动时间 ()
文本指针 ＝ 取指针_字节集型 (文本)
获取到的行数_去除空行 ＝ 取文本行数 (文本指针, 真)
获取到的行数_保留空行 ＝ 取文本行数 (文本指针, 假)
计时 ＝ 取启动时间 () － 计时
输出文本 ＝ “生成的行数 = ” ＋ 到文本 (行数) ＋ “, 空行数 = ” ＋ 到文本 (空行数) ＋ “, 总行数 = ” ＋ 到文本 (行数 ＋ 空行数) ＋ #换行符
输出文本 ＝ 输出文本 ＋ “生成的文本一共 ” ＋ 到文本 (文本长度) ＋ “ 个字节, ” ＋ 到文本 (四舍五入 (文本长度 ÷ 1024, 2)) ＋ “KB, ”
输出文本 ＝ 输出文本 ＋ 到文本 (四舍五入 (文本长度 ÷ 1024 ÷ 1024, )) ＋ “MB” ＋ #换行符 ＋ #换行符
输出文本 ＝ 输出文本 ＋ “获取到的行数_去除空行 = ” ＋ 到文本 (获取到的行数_去除空行) ＋ “, 获取到的行数_保留空行 = ” ＋ 到文本 (获取到的行数_保留空行)
输出文本 ＝ 输出文本 ＋ #换行符 ＋ “执行两次一共耗时 ” ＋ 到文本 (计时) ＋ “ 毫秒”
输出调试文本 (输出文本)
信息框 (输出文本, 0, , )

子程序名	返回值类型	公开	备 注
取文本行数	整数型
参数名	类 型	参考	可空	数组	备 注
str	整数型
removeEmptyLine	逻辑型				是否删除空行, 为真空行不记录

' 85, 139, 236, push ebp     mov ebp, esp, 这几行易语言的子程序已经自带了
置入代码 ({ 131, 236, 12, 139, 69, 8, 137, 69, 252, 131, 125, 252, 0, 116, 19, 185, 1, 0, 0, 0, 107, 209, 0, 139, 69, 252, 15, 190, 12, 16, 133, 201, 117, 7, 51, 192, 233, 180, 0, 0, 0, 199, 69, 248, 1, 0, 0, 0, 15, 182, 85, 12, 133, 210, 116, 29, 139, 69, 252, 15, 190, 8, 131, 249, 13, 116, 11, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 7, 199, 69, 248, 0, 0, 0, 0, 139, 77, 252, 15, 190, 17, 133, 210, 116, 123, 139, 69, 252, 137, 69, 244, 139, 77, 252, 131, 193, 1, 137, 77, 252, 139, 85, 244, 15, 190, 2, 131, 248, 13, 116, 11, 139, 77, 244, 15, 190, 17, 131, 250, 10, 117, 81, 139, 69, 244, 15, 190, 8, 131, 249, 13, 117, 20, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 9, 139, 77, 252, 131, 193, 1, 137, 77, 252, 15, 182, 85, 12, 133, 210, 116, 33, 139, 69, 252, 15, 190, 8, 131, 249, 13, 116, 11, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 11, 139, 77, 252, 131, 193, 1, 137, 77, 252, 235, 215, 139, 85, 248, 131, 194, 1, 137, 85, 248, 233, 123, 255, 255, 255, 139, 69, 248, 139, 229, 93, 194, 8, 0 })
返回 (0)  ' 编译他也是执行这段机器码, 不编译也是执行这一段机器码, 所以, 调试和编译没什么区别, 有区别的话看是生成文本有区别了

子程序名	返回值类型	公开	备 注
取指针_字节集型	整数型		取到的是变量堆地址,和 取变量数据地址() 一样
参数名	类 型	参考	可空	数组	备 注
字节集	字节集

置入代码 ({ 139, 69, 8, 139, 0, 133, 192, 15, 132, 3, 0, 0, 0, 131, 192, 8, 201, 194, 4, 0 })
返回 (0)

子程序名	返回值类型	公开	备 注
取随机字母	文本型		取随机26个字母
参数名	类 型	参考	可空	数组	备 注
要取的字符数	整数型				要取字符个数

变量名	类 型	静态	数组	备 注
bin	字节集
i	整数型

bin ＝ 取空白字节集 (要取的字符数)
计次循环首 (要取的字符数, i)
bin [i] ＝ 取随机数 (97, 122)
计次循环尾 ()
返回 (到文本 (bin))

.版本 2<br /> <br /> .程序集 程序集1<br /> <br /> .子程序 _启动子程序, 整数型, , 请在本子程序中放置动态链接库初始化代码<br /> <br /> <br /> 测试 ()  ' 在初始化代码执行完毕后调用测试代码<br /> 返回 (0)  ' 返回值被忽略。<br /> <br /> .子程序 测试<br /> .局部变量 文件路径, 文本型<br /> .局部变量 文件号, 整数型<br /> .局部变量 行数, 整数型<br /> .局部变量 空行数, 整数型<br /> .局部变量 i, 整数型<br /> .局部变量 文本, 字节集<br /> .局部变量 文本长度, 整数型<br /> .局部变量 文本指针, 整数型<br /> .局部变量 计时, 整数型<br /> .局部变量 获取到的行数_去除空行, 整数型<br /> .局部变量 获取到的行数_保留空行, 整数型<br /> .局部变量 输出文本, 文本型<br /> <br /> 文件路径 ＝ 取运行目录 () ＋ “\测试文本.txt”<br /> .如果真 (真)  ' 如果已经生成了文件, 那这里可以改成假, 生成文件耗时很大, 又懒得用c函数来弄<br />     文件号 ＝ 打开文件 (文件路径, #重写, #无限制)<br />     置随机数种子 ()<br />     行数 ＝ 1000000  ' 随机100万行以上的行数, 生成的文本大概有200M<br />     行数 ＝ 取随机数 (行数, 行数 ＋ 32767)<br /> <br />     .计次循环首 (行数, i)<br /> <br />         .如果真 (取随机数 (1, 100) ＝ 1)  ' 随机加入空行<br />             空行数 ＝ 空行数 ＋ 1<br />             写出文本 (文件号, #换行符)<br />         .如果真结束<br /> <br />         .判断开始 (行数 ＝ i)<br />             写出文本 (文件号, 到文本 (i) ＋ “-” ＋ 取随机字母 (取随机数 (100, 300)))  ' 每行随机100-300个字符<br />         .默认<br />             写文本行 (文件号, 到文本 (i) ＋ “-” ＋ 取随机字母 (取随机数 (100, 300)))  ' 每行随机100-300个字符<br />         .判断结束<br /> <br />     .计次循环尾 ()<br />     关闭文件 (文件号)<br /> .如果真结束<br /> <br /> <br /> 文本 ＝ 读入文件 (文件路径)<br /> 文本长度 ＝ 取字节集长度 (文本)<br /> <br /> <br /> 计时 ＝ 取启动时间 ()<br /> 文本指针 ＝ 取指针_字节集型 (文本)<br /> 获取到的行数_去除空行 ＝ 取文本行数 (文本指针, 真)<br /> 获取到的行数_保留空行 ＝ 取文本行数 (文本指针, 假)<br /> 计时 ＝ 取启动时间 () － 计时<br /> <br /> 输出文本 ＝ “生成的行数 = ” ＋ 到文本 (行数) ＋ “, 空行数 = ” ＋ 到文本 (空行数) ＋ “, 总行数 = ” ＋ 到文本 (行数 ＋ 空行数) ＋ #换行符<br /> 输出文本 ＝ 输出文本 ＋ “生成的文本一共 ” ＋ 到文本 (文本长度) ＋ “ 个字节, ” ＋ 到文本 (四舍五入 (文本长度 ÷ 1024, 2)) ＋ “KB, ”<br /> 输出文本 ＝ 输出文本 ＋ 到文本 (四舍五入 (文本长度 ÷ 1024 ÷ 1024, )) ＋ “MB” ＋ #换行符 ＋ #换行符<br /> <br /> 输出文本 ＝ 输出文本 ＋ “获取到的行数_去除空行 = ” ＋ 到文本 (获取到的行数_去除空行) ＋ “, 获取到的行数_保留空行 = ” ＋ 到文本 (获取到的行数_保留空行)<br /> 输出文本 ＝ 输出文本 ＋ #换行符 ＋ “执行两次一共耗时 ” ＋ 到文本 (计时) ＋ “ 毫秒”<br /> <br /> 输出调试文本 (输出文本)<br /> 信息框 (输出文本, 0, , )<br /> <br /> .子程序 取文本行数, 整数型<br /> .参数 str, 整数型<br /> .参数 removeEmptyLine, 逻辑型, , 是否删除空行, 为真空行不记录<br /> <br /> ' 85, 139, 236, push ebp     mov ebp, esp, 这几行易语言的子程序已经自带了<br /> 置入代码 ({ 131, 236, 12, 139, 69, 8, 137, 69, 252, 131, 125, 252, 0, 116, 19, 185, 1, 0, 0, 0, 107, 209, 0, 139, 69, 252, 15, 190, 12, 16, 133, 201, 117, 7, 51, 192, 233, 180, 0, 0, 0, 199, 69, 248, 1, 0, 0, 0, 15, 182, 85, 12, 133, 210, 116, 29, 139, 69, 252, 15, 190, 8, 131, 249, 13, 116, 11, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 7, 199, 69, 248, 0, 0, 0, 0, 139, 77, 252, 15, 190, 17, 133, 210, 116, 123, 139, 69, 252, 137, 69, 244, 139, 77, 252, 131, 193, 1, 137, 77, 252, 139, 85, 244, 15, 190, 2, 131, 248, 13, 116, 11, 139, 77, 244, 15, 190, 17, 131, 250, 10, 117, 81, 139, 69, 244, 15, 190, 8, 131, 249, 13, 117, 20, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 9, 139, 77, 252, 131, 193, 1, 137, 77, 252, 15, 182, 85, 12, 133, 210, 116, 33, 139, 69, 252, 15, 190, 8, 131, 249, 13, 116, 11, 139, 85, 252, 15, 190, 2, 131, 248, 10, 117, 11, 139, 77, 252, 131, 193, 1, 137, 77, 252, 235, 215, 139, 85, 248, 131, 194, 1, 137, 85, 248, 233, 123, 255, 255, 255, 139, 69, 248, 139, 229, 93, 194, 8, 0 })<br /> 返回 (0)  ' 编译他也是执行这段机器码, 不编译也是执行这一段机器码, 所以, 调试和编译没什么区别, 有区别的话看是生成文本有区别了<br /> <br /> .子程序 取指针_字节集型, 整数型, , 取到的是变量堆地址,和 取变量数据地址() 一样<br /> .参数 字节集, 字节集, 参考<br /> <br /> 置入代码 ({ 139, 69, 8, 139, 0, 133, 192, 15, 132, 3, 0, 0, 0, 131, 192, 8, 201, 194, 4, 0 })<br /> 返回 (0)<br /> <br /> .子程序 取随机字母, 文本型, , 取随机26个字母<br /> .参数 要取的字符数, 整数型, , 要取字符个数<br /> .局部变量 bin, 字节集<br /> .局部变量 i, 整数型<br /> <br /> bin ＝ 取空白字节集 (要取的字符数)<br /> .计次循环首 (要取的字符数, i)<br />     bin <i> ＝ 取随机数 (97, 122)<br /> .计次循环尾 ()<br /> 返回 (到文本 (bin))

上面取文本行数的那一段机器码是下面这段c++代码编译后的机器码
这里就不贴汇编了, 贴汇编哪有贴源码舒服, 是吧

[C++] 纯文本查看 复制代码

// 取文本行数
// ptr = 文本指针, \0结尾
// removeEmptyLine = 删除空行, 为真则忽略空行
int GetTextLineCount(LPCSTR pStr, bool removeEmptyLine)
{
    LPCSTR ptr = pStr;
    if ( !ptr || !ptr[0] ) return 0;
    int count = 1;  // 文本有值, 那不管有没有换行, 最少有一行
    if ( removeEmptyLine && ( *ptr == '\r' || *ptr == '\n' ) )
        count = 0;  // 如果第一行是空行, 且是清除空行, 那就初始行数为0
    while ( *ptr )
    {
        const char& ch = *ptr++;
        if ( ch == '\r' || ch == '\n' )
        {
            // \r\n 指针指向\n后面
            if ( ch == '\r' && *ptr == '\n' )
                ++ptr;
            while ( removeEmptyLine && ( *ptr == '\r' || *ptr == '\n' ) )
                ++ptr;  // 空行的话, 换行后面就是 '\r' 或者 '\n', 这些连着的都清除

            ++count;
        }
    }
    return count;
}

eklove

哇，处理200M文本不到半秒，这速度也太惊人了吧！支持忽略空行这个功能也很贴心呢。福仔大神果然厉害啊。

tonc

哇，处理200M文本不到半秒，这速度也太惊人了吧！忽略空行的功能也很实用呢。福仔大神果然厉害啊！

805400753

支持开源

hbqjb

感谢无私奉献！

Pan先森°

66666666666666

xmtian

感谢分享。

SHIWOOOO

好好好好

长安啊

666666666666666666666

chencong5025

读入内存了就没啥意义了