docs/cluster/carbon/tests.rst

   1
   2 List of test cases
   3 ^^^^^^^^^^^^^^^^^^
   4
   5 Each test case has a shorter code, tables with results use that code.
   6 In result tables, the code is a link to this document,
   7 due to coala ReST requirements, the codes are (self-pointing) links also in this document.
   8
   9 Other links point to scenario definitions ao caveat items.
  10
  11 + `DOMDataBroker`_: Producers make 1000 transactions per second, except BGP which works full speed.
  12
  13  + `Leader stability`_: BGP inject benchmark (thus module shards only), `300k prefixes`_, 1 Python peer. Progress tracked by counting prefixes in example-ipv4-topology.
  14
  15   + Ask-based protocol:
  16
  17    .. _bgp-1n-300k-a:
  18
  19    + Single member: bgp-1n-300k-a_
  20
  21   + `Tell-based protocol`_:
  22
  23    .. _bgp-1n-300k-t:
  24
  25    + Single member: bgp-1n-300k-t_
  26
  27    + Three members:
  28
  29     .. _bgp-3n-300k-ll-t:
  30
  31     + Leaders local: bgp-3n-300k-ll-t_
  32
  33     .. _bgp-3n-300k-lr-t:
  34
  35     + `Leaders remote`_: bgp-3n-300k-lr-t_
  36
  37     .. _bgp-3n-300k-t-long:
  38
  39     + `Longevity`_: bgp-3n-300k-t-long_
  40
  41  + `Clean leader shutdown`_, `Tell-based protocol`_:
  42
  43   + Module-based shards:
  44
  45    .. _ddb-cls-ms-ll-t:
  46
  47    + Shard leader local to producer: ddb-cls-ms-ll-t_
  48
  49    .. _ddb-cls-ms-lr-t:
  50
  51    + Shard leader remote to producer: ddb-cls-ms-lr-t_
  52
  53   + `Prefix-based shards`_:
  54
  55    .. _ddb-cls-ps-ll-t:
  56
  57    + Shard leader local to producer: ddb-cls-ps-ll-t_
  58
  59    .. _ddb-cls-ps-lr-t:
  60
  61    + Shard leader remote to producer: ddb-cls-ps-lr-t_
  62
  63  + `Explicit leader movement`_, `Tell-based protocol`_:
  64
  65   + Module-based shards:
  66
  67    .. _ddb-elm-ms-lr-t:
  68
  69    + Local leader to remote: ddb-elm-ms-lr-t_
  70
  71    .. _ddb-elm-ms-rr-t:
  72
  73    + Remote leader to other remote: ddb-elm-ms-rr-t_
  74
  75    .. _ddb-elm-ms-rl-t:
  76
  77    + Remote leader to local: ddb-elm-ms-rl-t_
  78
  79    .. _ddb-elm-mc-t-long:
  80
  81    + Longevity (randomized direction): ddb-elm-mc-t-long_
  82
  83   + `Prefix-based shards`_:
  84
  85    .. _ddb-elm-ps-lr-t:
  86
  87    + Local leader to remote: ddb-elm-ps-lr-t_
  88
  89    .. _ddb-elm-ps-rr-t:
  90
  91    + Remote leader to other remote: ddb-elm-ps-rr-t_
  92
  93    .. _ddb-elm-ps-rl-t:
  94
  95    + Remote leader to local: ddb-elm-ps-rl-t_
  96
  97  + `Leader isolation`_ (`network partition only`_), `Tell-based protocol`_:
  98
  99   + Module-based shards:
 100
 101    .. _ddb-li-ms-st-t:
 102
 103    + Heal within transaction timeout: ddb-li-ms-st-t_
 104
 105    .. _ddb-li-ms-dt-t:
 106
 107    + Heal after transaction timeout: ddb-li-ms-dt-t_
 108
 109   + `Prefix-based shards`_:
 110
 111    .. _ddb-li-ps-st-t:
 112
 113    + Heal within transaction timeout: ddb-li-ps-st-t_
 114
 115    .. _ddb-li-ps-dt-t:
 116
 117    + Heal after transaction timeout: ddb-li-ps-dt-t_
 118
 119  + `Client isolation`_, `Tell-based protocol`_:
 120
 121   + Module-based shards:
 122
 123    + Leader local:
 124
 125     .. _ddb-ci-ms-ll-st-t:
 126
 127     + `Simple transactions`_: ddb-ci-ms-ll-st-t_
 128
 129     .. _ddb-ci-ms-ll-ct-t:
 130
 131     + Transaction chain: ddb-ci-ms-ll-ct-t_
 132
 133    + Leader remote:
 134
 135     .. _ddb-ci-ms-lr-st-t:
 136
 137     + Simple transactions: ddb-ci-ms-lr-st-t_
 138
 139     .. _ddb-ci-ms-lr-ct-t:
 140
 141     + Transaction chain: ddb-ci-ms-lr-ct-t_
 142
 143   + `Prefix-based shards`_:
 144
 145    + Leader local:
 146
 147     .. _ddb-ci-ps-ll-it-t:
 148
 149     + Isolated transactions: ddb-ci-ps-ll-it-t_
 150
 151     .. _ddb-ci-ps-ll-nt-t:
 152
 153     + Non-isolated transactions: ddb-ci-ps-ll-nt-t_
 154
 155    + Leader remote:
 156
 157     .. _ddb-ci-ps-lr-it-t:
 158
 159     + Isolated transactions: ddb-ci-ps-lr-it-t_
 160
 161     .. _ddb-ci-ps-lr-nt-t:
 162
 163     + Non-isolated transactions: ddb-ci-ps-lr-nt-t_
 164
 165  + `Listener stablity`_, `Tell-based protocol`_:
 166
 167   + Module-based shards:
 168
 169    .. _ddb-ls-ms-lr-t:
 170
 171    + Local to remote: ddb-ls-ms-lr-t_
 172
 173    .. _ddb-ls-ms-rr-t:
 174
 175    + Remote to remote: ddb-ls-ms-rr-t_
 176
 177    .. _ddb-ls-ms-rl-t:
 178
 179    + Remote to local: ddb-ls-ms-rl-t_
 180
 181   + `Prefix-based shards`_:
 182
 183    .. _ddb-ls-ps-lr-t:
 184
 185    + Local to remote: ddb-ls-ps-lr-t_
 186
 187    .. _ddb-ls-ps-rr-t:
 188
 189    + Remote to remote: ddb-ls-ps-rr-t_
 190
 191    .. _ddb-ls-ps-rl-t:
 192
 193    + Remote to local: ddb-ls-ps-rl-t_
 194
 195 + `DOMRpcBroker`_, ask-based protocol:
 196
 197  + `RPC Provider Precedence`_:
 198
 199   .. _drb-rpp-ms-a:
 200
 201   + Functional: drb-rpp-ms-a_
 202
 203   .. _drb-rpp-ms-a-long:
 204
 205   + Longevity: drb-rpp-ms-a-long_
 206
 207  + `RPC Provider Partition and Heal`_:
 208
 209   .. _drb-rph-ms-a:
 210
 211   + Functional: drb-rph-ms-a_
 212
 213   .. _drb-rph-ms-a-long:
 214
 215   + Longevity: drb-rph-ms-a-long_
 216
 217  .. _drb-app-ms-a:
 218
 219  + `Action Provider Precedence`_: drb-app-ms-a_
 220
 221  .. _drb-aph-ms-a:
 222
 223  + `Action Provider Partition and Heal`_: drb-aph-ms-a_
 224
 225 + `DOMNotificationBroker`_: Only for 1 member, ask-based protocol.
 226
 227  + `No-loss rate`_: Publisher-subscriber pairs, 5k nps per pair.
 228
 229   .. _dnb-1n-60k-a:
 230
 231   + Functional (5 minute tests for 1, 4 and 12 pairs): dnb-1n-60k-a_
 232
 233   .. _dnb-1n-60k-a-long:
 234
 235   + Longevity (12 pairs): dnb-1n-60k-a-long_
 236
 237 + `Cluster Singleton`_:
 238
 239  + Ask-based protocol:
 240
 241   .. _ss-ms-ms-a:
 242
 243   + `Master Stability`_: ss-ms-ms-a_
 244
 245   + `Partition and Heal`_:
 246
 247    .. _ss-ph-ms-a:
 248
 249    + Functional: ss-ph-ms-a_
 250
 251    .. _ss-ph-ms-a-long:
 252
 253    + Longevity: ss-ph-ms-a-long_
 254
 255   + `Chasing the Leader`_:
 256
 257    .. _ss-cl-ms-a:
 258
 259    + Functional: ss-cl-ms-a_
 260
 261    .. _ss-cl-ms-a-long:
 262
 263    + Longevity: ss-cl-ms-a-long_
 264
 265  + `Tell-based protocol`_:
 266
 267   .. _ss-ms-ms-t:
 268
 269   + `Master Stability`_: ss-ms-ms-t_
 270
 271   .. _ss-ph-ms-t:
 272
 273   + `Partition and Heal`_: ss-ph-ms-t_
 274
 275   .. _ss-cl-ms-t:
 276
 277   + `Chasing the Leader`_: ss-cl-ms-t_
 278
 279 + `Netconf system tests`_ (ask-based protocol, module-based shards):
 280
 281  .. _netconf-ba-ms-a:
 282
 283  + `Basic access`_: netconf-ba-ms-a_
 284
 285  .. _netconf-ok-ms-a:
 286
 287  + `Owner killed`_: netconf-ok-ms-a_
 288
 289  .. _netconf-rr-ms-a:
 290
 291  + `Rolling restarts`_: netconf-rr-ms-a_
 292
 293 .. _`300k prefixes`: caveats.html#reduced-bgp-scaling
 294 .. _`Action Provider Partition and Heal`: scenarios.html#action-provider-partition-and-heal
 295 .. _`Action Provider Precedence`: scenarios.html#action-provider-precedence
 296 .. _`Basic access`: scenarios.html#basic-configuration-and-mount-point-access
 297 .. _`Chasing the Leader`: scenarios.html#chasing-the-leader
 298 .. _`Clean leader shutdown`: scenarios.html#clean-leader-shutdown
 299 .. _`Client isolation`: scenarios.html#client-isolation
 300 .. _`Cluster Singleton`: scenarios.html#cluster-singleton
 301 .. _`DOMDataBroker`: scenarios.html#domdatabroker
 302 .. _`DOMNotificationBroker`: scenarios.html#domnotificationbroker
 303 .. _`DOMRpcBroker`: scenarios.html#domrpcbroker
 304 .. _`Explicit leader movement`: scenarios.html#explicit-leader-movement
 305 .. _`Leader isolation`: scenarios.html#leader-isolation
 306 .. _`Leader stability`: scenarios.html#leader-stability
 307 .. _`Leaders remote`: caveats.html#initial-leader-placement
 308 .. _`Listener stablity`: scenarios.html#listener-isolation
 309 .. _`Longevity`: scenarios.html#controller-cluster-services-longevity-tests
 310 .. _`Master Stability`: scenarios.html#master-stability
 311 .. _`Netconf system tests`: scenarios.html#netconf-system-tests
 312 .. _`network partition only`: caveats.html#isolation-mechanics
 313 .. _`No-loss rate`: scenarios.html#no-loss-rate
 314 .. _`Owner killed`: scenarios.html#device-owner-killed
 315 .. _`Partition and Heal`: scenarios.html#partition-and-heal
 316 .. _`Prefix-based shards`: caveats.html#prefix-based-shards
 317 .. _`Rolling restarts`: scenarios.html#rolling-restarts
 318 .. _`RPC Provider Partition and Heal`: scenarios.html#rpc-provider-partition-and-heal
 319 .. _`RPC Provider Precedence`: scenarios.html#rpc-provider-precedence
 320 .. _`Simple transactions`: caveats.html#producer-options
 321 .. _`Tell-based protocol`: caveats.html#tell-based-protocol