map 的一个神奇的问题

问题就是现在好像也很难复现，只能说个大概 简化的的代码大致如下所示，想要实现的就是统计那个id，然后定时同步到另外一个地方去统计 现象就是，用wrk之类的测试的时候，因为只有一个id，所以数字什么的基本都能对的上 但是实际线上用nginx的话有很多id，统计的就少很多个量级，比如几万的访问只统计出来几十个 然后打印的那个fmt.Println("access log: ", len(tmp)) 这行，len(tmp)就一直涨，涨到几千上万， 实际不重复的id只有几百个，然后输出tmp的话，就变成 map[abcde:1, abcde:1, abcde: 2...] 这样，这里abcde就是相同的，所以很奇怪

nginx的配置也很简单，没什么特殊的

upstream test_backend {
    server localhost:8098;
    keepalive 16;
}

server {
    listen 80;
    listen 443 ssl http2;
    server_name test.localhost;

    location / {
        proxy_pass http://test_backend;
    }
}

package main

import (
	"encoding/json"
	"fmt"
	"sync"
	"time"

	"github.com/gofiber/fiber/v2"
)

type Counter struct {
	sync.RWMutex
	data map[string]int
}

// Get exported
func (c *Counter) Get(key string) int {
	c.RLock()
	count := c.data[key]
	c.RUnlock()
	return count
}

// Incr exported
func (c *Counter) Incr(key string) int {
	c.Lock()
	c.data[key]++
	count := c.data[key]
	c.Unlock()
	return count
}

// Delete exported
func (c *Counter) Delete(key string) {
	c.Lock()
	delete(c.data, key)
	c.Unlock()
}

var (
	accessLog = Counter{data: make(map[string]int)}
)

func init() {
	go func() {
		ticker := time.NewTicker(time.Second * 10)
		for range ticker.C {
			func() {
				accessLog.RLock()
				data, err := json.Marshal(accessLog.data)
				accessLog.RUnlock()
				if err == nil {
                                        accessLog = Counter{data: make(map[string]int)}
					tmp := make(map[string]int)
					if err := json.Unmarshal(data, &tmp); err == nil {
						fmt.Println("access log: ", len(tmp))
					}
				}
			}()

		}
	}()

}
func handler(c *fiber.Ctx) error {
	id := c.Params("id")
	accessLog.Incr(id)
	return c.Status(200).SendString("")
}

func main() {
	app := fiber.New(fiber.Config{Prefork: false})
	app.Get("/item/:id", handler)
	app.Listen(fmt.Sprintf(":%d", 8098))
}

最小测试用例，跟nginx无关，感觉是并发访问的问题 test.go

package main

import (
	"fmt"
	"sync"
	"time"

	"github.com/gofiber/fiber/v2"
)

type Counter struct {
	sync.RWMutex
	data map[string]int
}

func (c *Counter) Incr(key string) int {
	c.Lock()
	c.data[key]++
	count := c.data[key]
	c.Unlock()
	return count
}

var (
	accessLog = &Counter{data: make(map[string]int)}
)

func init() {
	go func() {
		ticker := time.NewTicker(time.Second * 10)
		for range ticker.C {
			func() {
				accessLog.Lock()
				fmt.Println(accessLog.data)
				accessLog.data = make(map[string]int)
				accessLog.Unlock()
			}()

		}
	}()

}
func handler(c *fiber.Ctx) error {
	id := c.Params("id")
	accessLog.Incr(id)
	return c.Status(200).SendString("")
}

func main() {
	app := fiber.New(fiber.Config{Prefork: false})
	app.Get("/item/:id", handler)
	app.Listen(fmt.Sprintf(":%d", 8099))
}

直接下面这样测试是正常的

wrk -t10 -c500 -d10s http://localhost:8099/item/id1

打印的是

map[id1:124276]

但是用下面的测试就不正常了 test.lua

request = function()
num = math.random(1, 2)
    path = "/item/id" .. num
    return wrk.format("GET", path)
end

然后下面这样测试

wrk -t10 -c500 -d10s -s test.lua http://localhost:8099

打印的是

map[id1:82306 id1:15915 id1:1644 id1:24775 id1:3551 id2:28357 id2:82884 id2:2022 id2:157 id2:219908 id2:15928 id2:853 id2:27]

没有看出来问题在哪里