[更新v4.6][鱼刺架构]通用多线程代理zc - 功能强大通用易上手易扩展

从无到有 · 发表于 2018-12-26 16:09:17

鱼刺智能代理架构v4.6 - 通用代理注册功能强大通用易上手易扩展改造模版界面友好亲你需要的我都想到了快来拿护甲吧 *例程完美通用于代理注册(只要是代理注册基本都可以直接套用此模版) *适合于新手(代码很容易看懂和修改扩展) *稳定多线程(鱼刺线程池你值得拥有) *界面设计合理可扩展(*支持运行中修改配置参数 *暂停/继续 *中途停止 *日志输出和保存到本地) *代理智能提取(代理快用完自动智能提取补充工作不暂停极大提升效率) *启动后依然可以继续修改配置文件`Config_Proxy.ini`里的参数 (你可以一边修改一边观察效果) *支持可设置提取的代理可以被获取多次 (一条代理可以被使用多少次) *支持可设置提取的代理最长有效时间 (可避免提太多用太慢导致最后一部分代理全是过期的) -------------------------------------------- -------------------------------------------- Config_Proxy.ini 配置说明触发补充阀值：当前剩余代理小于这个数值会触发自动提取并验证补充代理(0=自动(本次提取数量\5+5且>=5)) 提取地址：用于提取代理的API地址提取分隔符：提取后用这个分隔符来分割成多条默认=\\r\\n（换行符）有的linux服务器可能会\\n作为换行符 (本参数也支持正则匹配) 是否正则分割：是否使用正则匹配 1=使用正则匹配（正则必须包含两个子匹配项1为地址2为端口） 0=使用分割文本匹配提取是否UTF8解码：提取代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认) 提取是否禁止重定向：提取代理时是否禁止HTTP重定向 1=禁止 0=允许(默认) 提取自定义附加协议头：提取代理时自定义附加的HTTP协议头默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符进行隔开提取间隔：两次提取最小间隔(毫秒) 为了防止提取API接口限制提取频繁冻结默认=1000(1秒) ---------------- 验证地址：用于验证代理是否有效的url 比如IP138 又比如百度 |如果想不验证提取的代理直接使用请设置为：不验证验证特征：验证代理URL返回的内容里存在这个特征既是有效(比如验证地址是(百度) 特征可以是'百度一下') 验证是否UTF8解码：验证代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认) 验证是否禁止重定向：验证代理时是否禁止HTTP重定向 1=禁止 0=允许(默认) 验证自定义附加协议头：验证代理时自定义附加的HTTP协议头默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符进行隔开验证超时：验证代理超时默认=12 (秒) 尝试验证次数：尝试验证次数默认=1 (次) 代理生命值：提取的代理能被获取几次默认=1 (次) (比如采集东西的时候就可以设置10-50次) 代理最长存活时间：提取的代理最长存活时间 0=不启用(默认) 大于0=启用(秒) 提取的代理过了这个时间后将不会被提取直接被丢弃 -------------------------------------------- 更新日志： x4.6(2018-12-24) 支持设置是否禁止重定向提取也支持了是否进行UTF8解码优化代码缩小了核心体积改善了配置项名称补全了使用说明 x4.52(2018-12-21) 修正启用限制代理最长存活时间后因鱼刺的马虎忘了递减剩余代理数量而导致在特定情况下无法触发提取代理补充代理池而导致无限堵塞 PS: x4.5.2已由勤奋的小小小鱼全面细心测试暂无任何BUG x4.51(2018-12-12) 修正在特定情况下设置附加协议头会导致异常修正在已启动代理提取架构的情况下修改配置项后有几率出现内存溢出(崩溃) x4.5(2018-12-11) 支持设置提取的代理的最大存活时间过时的代理会被丢弃(提取的代理也有超时避免提太多用的慢导致代理失效) x4.31(2018-11-11) 修正了因为修改配置项格式导致了一处问题会照成代理生命值异常(获取了代理代理剩余数量不减少) x4.3(2018-11-10) 提取和验证配置都支持自定义附加协议头修正了一处问题修改了配置项格式使用黑月3.65重新编译 PS: x4.3应该是最后一个单提取API版本 x5.0将支持最多20个提取API提取代理并支持带用户密码的代理 x4.2 修正了销毁机制中途销毁智能代理架构速度在秒级内移除了通讯组件选择配置 x4.1 支持配置自定义验证代理的超时值（默认15秒）用来过滤低速代理 x4.0 调整了验证代理线程调度机制提高了验证代理速度调整了销毁机制中途销毁智能代理架构速度极大提升 x3.9 支持了提取的代理不用验证直接使用（置配置项 '验证地址=不验证' 即可）修正一处问题会在特殊情况下照成正在验证数异常 x3.8 增加支持提取的代理使用正则匹配 (子匹配项1代理地址)(子匹配项2端口) x3.7 解决了一处会照成崩溃的问题（开500线程3秒直接爆炸） x3.6 提取代理分割特征支持\\r\\n来表示换行符(用来应对非windows默认换行符特征) x3.5 支持了自定义提取代理后的分隔符 x3.4 优化了配置信息触发更新机制 x3.3 修正了因某API传参问题照成的崩溃问题更新替换了新版本的鱼刺类_多线程应用模块 -------------------------------------------- 设计者：Bints.鱼刺.小小小鱼 QQ：521573 QQ交流群：5560233.87555687