发一个 简单高效 的 实时查重

秦天

• 实时查重 (简单高效)

  1. 使用场景

     例如 从某处 获取大量数据时（获取1次获取到1条数据，而你要获取N条数据时）这些数据有可能有大量重复

     数量格式例如

     12345677----123456789----1111111111

     
     12345677----123456789----1111111111

     
     12345678----123456789----1111111111

     
     12345679----123456789----1111111111

2.使用方法

使用Golang 的 Map 特性 ( 代码如下 )

import (
"fmt"
"github.com/gin-gonic/gin"
"sync"
)

var server *gin.Engine
var lock sync.Mutex

func main() {
gin.SetMode(gin.ReleaseMode)
server = gin.New()
var xm map[string]string
xm = make(map[string]string)
server.GET("/is", func(c *gin.Context) {
uid := c.Query("uid")
if uid == "" {
c.JSON(200, &gin.H{"code": -1, "msg": "uid null"})
}
lock.Lock()
if xm[uid] == "1" {
c.JSON(200, &gin.H{"code": 100, "msg": "uidok"})
lock.Unlock()
return
}else{
xm[uid] = "1"
lock.Unlock()
}
c.JSON(200, &gin.H{"code": 100, "msg": "uidno"})
})
fmt.Println("去重:服务启动成功")
server.Run(":2021")
}

>> 将上面的GoLang 代码运行 或编译后运行<p>
>> 使用HTTP协议 查重 <p>
>>>http://127.0.0.1:2021/is?uid=12345677<p>
>>>若没有查询过 返回
>>> ``` {"code":100,"msg":"uidno"} ``` 表示不存在<p>
>>>若查询过 返回
>>> ``` {"code":100,"msg":"uidok"} ``` 表示存在<p>

也可以直接把Golang 代码编译为 dll ，调用Dll 就不用通过HTTP（参考：https://125.confly.eu.org/forum.php?mod=viewthread&tid=14664792&highlight=golang）




补充内容 (2021-10-26 03:03):

xjshuaishuai

谢谢分享！

秦天

秦天

初夏喔 发表于 2021-9-29 14:05
一旦要对接服务端就算不上高效。

也可以直接把Golang 代码编译为 dll ，调用Dll 就不用通过HTTP

秦天

sinewtec 发表于 2021-9-29 15:02
还要跑一下网路  有点尴尬

也可以直接把Golang 代码编译为 dll ，调用Dll 就不用通过HTTP

sinewtec

还要跑一下网路  有点尴尬

初夏喔

一旦要对接服务端就算不上高效。