`
豉汁凤爪
  • 浏览: 5341 次
文章分类
社区版块
存档分类
最新评论

MongoDB集群插入数据测试

阅读更多

 上一篇建好的MongoDB集群中插入数据，看看性能如何。

向test数据库的test集合插入五百万数据

用时约11分钟

查看集合状态

 

  1. mongos> db.test.stats(1024) 
  2. { 
  3.         "sharded" : true, 
  4.         "ns" : "test.test", 
  5.         "count" : 5000000, 
  6.         "numExtents" : 61, 
  7.         "size" : 273436, 
  8.         "storageSize" : 839500, 
  9.         "totalIndexSize" : 158685, 
  10.         "indexSizes" : { 
  11.                 "_id_" : 158685 
  12.         }, 
  13.         "avgObjSize" : 0.0546872, 
  14.         "nindexes" : 1, 
  15.         "nchunks" : 29, 
  16.         "shards" : { 
  17.                 "shard1" : { 
  18.                         "ns" : "test.test", 
  19.                         "count" : 0, 
  20.                         "size" : 0, 
  21.                         "storageSize" : 18460, 
  22.                         "numExtents" : 8, 
  23.                         "nindexes" : 1, 
  24.                         "lastExtentSize" : 7468, 
  25.                         "paddingFactor" : 1, 
  26.                         "systemFlags" : 1, 
  27.                         "userFlags" : 0, 
  28.                         "totalIndexSize" : 7, 
  29.                         "indexSizes" : { 
  30.                                 "_id_" : 7 
  31.                         }, 
  32.                         "ok" : 1 
  33.                 }, 
  34.                 "shard2" : { 
  35.                         "ns" : "test.test", 
  36.                         "count" : 1256764, 
  37.                         "size" : 68729, 
  38.                         "avgObjSize" : 0.054687276210967216, 
  39.                         "storageSize" : 121032, 
  40.                         "numExtents" : 11, 
  41.                         "nindexes" : 1, 
  42.                         "lastExtentSize" : 36744, 
  43.                         "paddingFactor" : 1, 
  44.                         "systemFlags" : 1, 
  45.                         "userFlags" : 0, 
  46.                         "totalIndexSize" : 39834, 
  47.                         "indexSizes" : { 
  48.                                 "_id_" : 39834 
  49.                         }, 
  50.                         "ok" : 1 
  51.                 }, 
  52.                 "shard3" : { 
  53.                         "ns" : "test.test", 
  54.                         "count" : 3642282, 
  55.                         "size" : 199187, 
  56.                         "avgObjSize" : 0.05468741849203329, 
  57.                         "storageSize" : 328024, 
  58.                         "numExtents" : 14, 
  59.                         "nindexes" : 1, 
  60.                         "lastExtentSize" : 90412, 
  61.                         "paddingFactor" : 1, 
  62.                         "systemFlags" : 1, 
  63.                         "userFlags" : 0, 
  64.                         "totalIndexSize" : 115621, 
  65.                         "indexSizes" : { 
  66.                                 "_id_" : 115621 
  67.                         }, 
  68.                         "ok" : 1 
  69.                 }, 
  70.                 "shard4" : { 
  71.                         "ns" : "test.test", 
  72.                         "count" : 100954, 
  73.                         "size" : 5520, 
  74.                         "avgObjSize" : 0.05467836836579036, 
  75.                         "storageSize" : 21980, 
  76.                         "numExtents" : 7, 
  77.                         "nindexes" : 1, 
  78.                         "lastExtentSize" : 11060, 
  79.                         "paddingFactor" : 1, 
  80.                         "systemFlags" : 1, 
  81.                         "userFlags" : 0, 
  82.                         "totalIndexSize" : 3209, 
  83.                         "indexSizes" : { 
  84.                                 "_id_" : 3209 
  85.                         }, 
  86.                         "ok" : 1 
  87.                 }, 
  88.                 "shard5" : { 
  89.                         "ns" : "test.test", 
  90.                         "count" : 0, 
  91.                         "size" : 0, 
  92.                         "storageSize" : 328024, 
  93.                         "numExtents" : 14, 
  94.                         "nindexes" : 1, 
  95.                         "lastExtentSize" : 90412, 
  96.                         "paddingFactor" : 1, 
  97.                         "systemFlags" : 1, 
  98.                         "userFlags" : 0, 
  99.                         "totalIndexSize" : 7, 
  100.                         "indexSizes" : { 
  101.                                 "_id_" : 7 
  102.                         }, 
  103.                         "ok" : 1 
  104.                 }, 
  105.                 "shard6" : { 
  106.                         "ns" : "test.test", 
  107.                         "count" : 0, 
  108.                         "size" : 0, 
  109.                         "storageSize" : 21980, 
  110.                         "numExtents" : 7, 
  111.                         "nindexes" : 1, 
  112.                         "lastExtentSize" : 11060, 
  113.                         "paddingFactor" : 1, 
  114.                         "systemFlags" : 1, 
  115.                         "userFlags" : 0, 
  116.                         "totalIndexSize" : 7, 
  117.                         "indexSizes" : { 
  118.                                 "_id_" : 7 
  119.                         }, 
  120.                         "ok" : 1 
  121.                 } 
  122.         }, 
  123.         "ok" : 1 
  124. } 

向test数据库的test集合插入一千万数据

用时约33分钟

查看集合状态

 

  1. mongos> db.test.stats(1024) 
  2. { 
  3.         "sharded" : true, 
  4.         "ns" : "test.test", 
  5.         "count" : 10000000, 
  6.         "numExtents" : 81, 
  7.         "size" : 546873, 
  8.         "storageSize" : 1542568, 
  9.         "totalIndexSize" : 316959, 
  10.         "indexSizes" : { 
  11.                 "_id_" : 316959 
  12.         }, 
  13.         "avgObjSize" : 0.0546873, 
  14.         "nindexes" : 1, 
  15.         "nchunks" : 39, 
  16.         "shards" : { 
  17.                 "shard1" : { 
  18.                         "ns" : "test.test", 
  19.                         "count" : 3231299, 
  20.                         "size" : 176711, 
  21.                         "avgObjSize" : 0.054687294490543895, 
  22.                         "storageSize" : 307628, 
  23.                         "numExtents" : 16, 
  24.                         "nindexes" : 1, 
  25.                         "lastExtentSize" : 82448, 
  26.                         "paddingFactor" : 1, 
  27.                         "systemFlags" : 1, 
  28.                         "userFlags" : 0, 
  29.                         "totalIndexSize" : 102391, 
  30.                         "indexSizes" : { 
  31.                                 "_id_" : 102391 
  32.                         }, 
  33.                         "ok" : 1 
  34.                 }, 
  35.                 "shard2" : { 
  36.                         "ns" : "test.test", 
  37.                         "count" : 2710175, 
  38.                         "size" : 148212, 
  39.                         "avgObjSize" : 0.05468724344368906, 
  40.                         "storageSize" : 237612, 
  41.                         "numExtents" : 13, 
  42.                         "nindexes" : 1, 
  43.                         "lastExtentSize" : 66972, 
  44.                         "paddingFactor" : 1, 
  45.                         "systemFlags" : 1, 
  46.                         "userFlags" : 0, 
  47.                         "totalIndexSize" : 85935, 
  48.                         "indexSizes" : { 
  49.                                 "_id_" : 85935 
  50.                         }, 
  51.                         "ok" : 1 
  52.                 }, 
  53.                 "shard3" : { 
  54.                         "ns" : "test.test", 
  55.                         "count" : 0, 
  56.                         "size" : 0, 
  57.                         "storageSize" : 328024, 
  58.                         "numExtents" : 14, 
  59.                         "nindexes" : 1, 
  60.                         "lastExtentSize" : 90412, 
  61.                         "paddingFactor" : 1, 
  62.                         "systemFlags" : 1, 
  63.                         "userFlags" : 0, 
  64.                         "totalIndexSize" : 7, 
  65.                         "indexSizes" : { 
  66.                                 "_id_" : 7 
  67.                         }, 
  68.                         "ok" : 1 
  69.                 }, 
  70.                 "shard4" : { 
  71.                         "ns" : "test.test", 
  72.                         "count" : 1936150, 
  73.                         "size" : 105883, 
  74.                         "avgObjSize" : 0.05468739508819048, 
  75.                         "storageSize" : 170640, 
  76.                         "numExtents" : 12, 
  77.                         "nindexes" : 1, 
  78.                         "lastExtentSize" : 49608, 
  79.                         "paddingFactor" : 1, 
  80.                         "systemFlags" : 1, 
  81.                         "userFlags" : 0, 
  82.                         "totalIndexSize" : 61359, 
  83.                         "indexSizes" : { 
  84.                                 "_id_" : 61359 
  85.                         }, 
  86.                         "ok" : 1 
  87.                 }, 
  88.                 "shard5" : { 
  89.                         "ns" : "test.test", 
  90.                         "count" : 0, 
  91.                         "size" : 0, 
  92.                         "storageSize" : 328024, 
  93.                         "numExtents" : 14, 
  94.                         "nindexes" : 1, 
  95.                         "lastExtentSize" : 90412, 
  96.                         "paddingFactor" : 1, 
  97.                         "systemFlags" : 1, 
  98.                         "userFlags" : 0, 
  99.                         "totalIndexSize" : 7, 
  100.                         "indexSizes" : { 
  101.                                 "_id_" : 7 
  102.                         }, 
  103.                         "ok" : 1 
  104.                 }, 
  105.                 "shard6" : { 
  106.                         "ns" : "test.test", 
  107.                         "count" : 2122376, 
  108.                         "size" : 116067, 
  109.                         "avgObjSize" : 0.05468729386310437, 
  110.                         "storageSize" : 170640, 
  111.                         "numExtents" : 12, 
  112.                         "nindexes" : 1, 
  113.                         "lastExtentSize" : 49608, 
  114.                         "paddingFactor" : 1, 
  115.                         "systemFlags" : 1, 
  116.                         "userFlags" : 0, 
  117.                         "totalIndexSize" : 67260, 
  118.                         "indexSizes" : { 
  119.                                 "_id_" : 67260 
  120.                         }, 
  121.                         "ok" : 1 
  122.                 } 
  123.         }, 
  124.         "ok" : 1 
  125. } 

 

解释一下查看集合状态的db.colletion.stats(scale)方法

 

db.collection.stats()返回值都是按照字节处理

你可以设定比例参数scale的值来调整，例如scale设为1024，则返回结果某些值按KB处理

 

返回值各字段解释：

sharded：是否可分片

ns：命名空间，按照格式[database].[collection]

count：该集合中的对象或文档数

numExtents：连续的数据文件区域总数。

Size：集合中数据的大小【scale值有影响】

storageSize：分配给该集合的文档存储空间，该值不会减少。【scale值有影响】

totalIndexSize：所有索引的总大小。【scale值有影响】

indexSizes：该值表示集合中所有存在的索引。【scale值有影响】

avgObjSize：集合中对象的平均大小。【scale值有影响】

nindexes：集合的索引数，所有集合至少有一个索引在_id字段。

nchunks：集合分块数。

lastExtentSize：最近分配的扩展大小。【scale值有影响】

paddingFactor：插入的时候在每个文档末尾增加的空间。这提供一个很小的额外磁盘空间让文档有些微的增长而不需要移动文档。mongod会自动计算该值

systemFlags：2.2版新特性。反映该集合内部服务选项的标志。如1代表在_id字段有索引。

userFlags：2.2版新特性。用户设置该集合的标志。在2.2版中唯一的用户标志是 usePowerOf2Sizes。如果usePowerOf2Sizes是可用的，userFlags就是1，其余都是0.

 

 

查看各复制集情况

shard1复制集

 

  1. { 
  2.         "set" : "shard1", 
  3.         "date" : ISODate("2013-01-13T14:27:13Z"), 
  4.         "myState" : 1, 
  5.         "members" : [ 
  6.                 { 
  7.                         "_id" : 1, 
  8.                         "name" : "10.50.9.12:27017", 
  9.                         "health" : 1, 
  10.                         "state" : 1, 
  11.                         "stateStr" : "PRIMARY", 
  12.                         "uptime" : 99645, 
  13.                         "optime" : Timestamp(1358086947000, 1), 
  14.                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"), 
  15.                         "self" : true 
  16.                 }, 
  17.                 { 
  18.                         "_id" : 2, 
  19.                         "name" : "10.50.9.13:27018", 
  20.                         "health" : 1, 
  21.                         "state" : 2, 
  22.                         "stateStr" : "SECONDARY", 
  23.                         "uptime" : 99643, 
  24.                         "optime" : Timestamp(1358086947000, 1), 
  25.                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"), 
  26.                         "lastHeartbeat" : ISODate("2013-01-13T14:27:12Z"), 
  27.                         "pingMs" : 0 
  28.                 }, 
  29.                 { 
  30.                         "_id" : 3, 
  31.                         "name" : "10.50.9.13:27019", 
  32.                         "health" : 1, 
  33.                         "state" : 2, 
  34.                         "stateStr" : "SECONDARY", 
  35.                         "uptime" : 99643, 
  36.                         "optime" : Timestamp(1358086947000, 1), 
  37.                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"), 
  38.                         "lastHeartbeat" : ISODate("2013-01-13T14:27:11Z"), 
  39.                         "pingMs" : 0 
  40.                 } 
  41.         ], 
  42.         "ok" : 1 
  43. } 

 

【太多字符，差不多的内容就不发了哎╮(╯▽╰)╭】

 

各字段解释：

 

 

set：复制集名

date：当前的ISO时间

myState：表明当前复制集状态，0~10分别代表

编号状态

0启动，1 阶段（分配配置）

1主

2次要

3还原（初始同步，后回滚，停滞成员）

4严重错误

5启动，2 阶段（分叉线程）

6未知状态（副本集从未连接到成员）

7仲裁程序

8死机

9回滚

10已删除

 

syncingTo：只会在副节点出现，保存正在同步的实例的地址。

members：保存复制集中的每个成员信息。

name：该成员所在的地址。

health：健康状态，1表明正在运行，0表明不运行。

State：

编号状态

0启动，1 阶段（分配配置）

1主

2次要

3还原（初始同步，后回滚，停滞成员）

4严重错误

5启动，2 阶段（分叉线程）

6未知状态（副本集从未连接到成员）

7仲裁程序

8死机

9回滚

10已删除

 

stateStr：描述成员状态的字符串。

Uptime：启动至今的秒数。

Optime：包含最近操作日志中该成员应用了的操作信息。

optimeDate：最近该成员访问操作日志的时间。

lastHeartbeat：最近从该成员得到的心跳信息的时间。

pingMs：往返包在远程成员和本地实例的来回时间（毫秒）。

Self：该查看复制集信息文档存储在当前mongod实例，值为true。

 

数据插入脚本

可直接在mongo下执行下列javascript代码

 

插入五百万数据

for(var i=0; i<5000000; i++){

db.test.insert({name : ’mongodb_test’ + i,seq : i})

}

插入一千万数据

for(var i=0; i<10000000; i++){

db.test.insert({name : ’mongodb_test’ + i,seq : i})

}

分享到：
| MongoDB集群构建
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Magicbox
Global site tag (gtag.js) - Google Analytics