在mongodb中按天进行聚合查询

发表于： 2019-07-09 分类于： Python

字数：1298 阅读：≈ 3分钟

最近在写项目的时候遇到一个问题，使用mongodb记录了用例的执行结果，但是在时间的记录上使用的是date格式，现在有一个需求，以天为单位，统计一下每天成功的用例和失败的用例，说到统计，肯定是要用到聚合查询，但是如果以date格式的时间为group依据，那么等同于没有分组，因为在记录用例的时间几乎不可能同时，今天查阅了一下相关文档，可以使用mongodb的$dateToString命令来完成这个需求

问题来源

假如我们以如下的数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


/* 1 */
{
    "_id" : ObjectId("5d24c09651a456efbc231669"),
    "time" : ISODate("2019-07-08T10:12:35.125Z"),
    "result" : "Pass"
}

/* 2 */
{
    "_id" : ObjectId("5d24c09e51a456efbc23166a"),
    "time" : ISODate("2019-07-08T10:12:36.125Z"),
    "result" : "Pass"
}

...
...

/* 10 */
{
    "_id" : ObjectId("5d24c0d851a456efbc231672"),
    "time" : ISODate("2019-07-06T10:10:52.125Z"),
    "result" : "Pass"
}

/* 11 */
{
    "_id" : ObjectId("5d24c0e751a456efbc231673"),
    "time" : ISODate("2019-07-06T10:10:52.125Z"),
    "result" : "Fail"
}

我的预期结果是

1
2
3
4
5
6


{'_id': '2019-07-06', 'Pass': 1}
{'_id': '2019-07-06', 'Fail': 2}
{'_id': '2019-07-07', 'Pass': 2}
{'_id': '2019-07-07', 'Fail': 1}
{'_id': '2019-07-08', 'Pass': 2}
{'_id': '2019-07-08', 'Fail': 3}

如果按照以前的聚合方式，通过$time来分组，由于每个时间都不相同，所以这样的聚合就相当于没有聚合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#coding:utf-8

from pymongo import MongoClient

client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']

pipeline = [
        {'$group': {'_id': '$time', 'count': {'$sum': 1}}},
    ]
for i in G_mongo['test'].aggregate(pipeline):
    print(i)

得到的结果

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


{'_id': datetime.datetime(2019, 7, 6, 10, 10, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 10, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 11, 22, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 6, 10, 10, 52, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 11, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 11, 22, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 36, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 35, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 10, 22, 125000), 'count': 1}

可以看到，由于$time上的时间，谁和谁都不一样，所以如果以$time为分组对象的话每个统计都是1。

问题的解决

在分组的时候有一个$dateToString指令，可以将日期格式的值转化为字符串，比如这里因为需求是要以天为单位，所以我将其转为 %Y-%m-%d的字符串格式，具体的$grouop如下

1

{'$group': {'_id': {"$dateToString":{'format':'%Y-%m-%d','date':'$time'}}, 'count': {'$sum': 1}}}

$dateToString的说明文档可以访问https://docs.mongodb.com/manual/reference/operator/aggregation/dateToString/ 查看，简单介绍一个

1
2
3
4
5
6


{ $dateToString: {
    date: <dateExpression>,
    format: <formatString>,
    timezone: <tzExpression>,
    onNull: <expression>
} }

它需要四个参数，只有date参数是必须的，指定数据来源，format是转化的格式，timezone为时区，onNull是如果日期值不存在时返回的值。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


#coding:utf-8

from pymongo import MongoClient

client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']



pipeline = [
        # {'$group': {'_id': '$time', 'count': {'$sum': 1}}},
        {'$group': {'_id': {"$dateToString":{'format':'%Y-%m-%d','date':'$time'}}, 'count': {'$sum': 1}}}
    ]
for i in G_mongo['test'].aggregate(pipeline):
    print(i)

上面代码执行的结果如下

1
2
3


{'_id': '2019-07-06', 'count': 2}
{'_id': '2019-07-07', 'count': 3}
{'_id': '2019-07-08', 'count': 5}

这个看起来还不错，但是离我的目标还差一点，因为它还没有按照用例执行结果进行分组，再以天进行倒序排列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


#coding:utf-8

from pymongo import MongoClient

client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']



pipeline = [
        # {'$group': {'_id': '$time', 'count': {'$sum': 1}}},
        {'$group': {'_id': {'date':{"$dateToString":{'format':'%Y-%m-%d','date':'$time'}},'result':'$result'}, 'count': {'$sum': 1}}},
        {'$sort':{"_id.date":-1}}
    ]
for i in G_mongo['test'].aggregate(pipeline):
    print(i)

得到的结果如下

1
2
3
4
5
6


{'_id': {'date': '2019-07-08', 'result': 'Fail'}, 'count': 3}
{'_id': {'date': '2019-07-08', 'result': 'Pass'}, 'count': 2}
{'_id': {'date': '2019-07-07', 'result': 'Pass'}, 'count': 2}
{'_id': {'date': '2019-07-07', 'result': 'Fail'}, 'count': 1}
{'_id': {'date': '2019-07-06', 'result': 'Fail'}, 'count': 1}
{'_id': {'date': '2019-07-06', 'result': 'Pass'}, 'count': 2}

查看文档，除了使用$dateToString指令还可以使用$dayOfMonth指令

1
2
3
4


pipeline = [
        {'$group': {'_id': {'date':{"$dayOfMonth":{'date':'$time'}},'result':'$result'}, 'count': {'$sum': 1}}},
        {'$sort':{"_id.date":-1}},
    ]

但是这个指令只能适用于单一月份，如果两个月就会有交集，如7月6号和6月6号的会聚合到一起上面得到的结果是

1
2
3
4
5
6


{'_id': {'date': 8, 'result': 'Fail'}, 'count': 3}
{'_id': {'date': 8, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 7, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 7, 'result': 'Fail'}, 'count': 1}
{'_id': {'date': 6, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 6, 'result': 'Fail'}, 'count': 1}

所以需要根据需求灵活的使用各种指令。