Bug 3341: Partial fix, wires topology-manager

This patch is a partial fix to Bug 3341.
It wires topology-manager with the config subsystem,
and makes it require-capabilities the models it depends on.

Change-Id: I26baef419534f7d05d56350847d2248844f91a1d
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Bug 3341: Partial fix, wires topology-lldp-discovery

This patch is a partial fix to Bug 3341.
It wires topology-lldp-discovery with the config subsystem,
and makes it require-capabilities the models it depends on.

Change-Id: I9a70ea5bda5b5720e86d4591f29737eaa4d7ea7a
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Bug 3341: Partial fix, wires inventory-manager

This patch is a partial fix to Bug 3341.
It wires inventory-manager with the config subsystem,
and makes it require-capabilities the models it depends on.

Change-Id: Id0f2891b47e0290411a382eb2ef2bc82c0a53c9e
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Merge "Bug 3350 - Provide override for features detected during handshake" into stable/lithium

Bug 3350 - Provide override for features detected during handshake

Some devices doesn't provide features considered by OF protocol as
mandatory. We introduce configurable variable that overrides features
check.

Change-Id: I8f7fe9c31f00b785bd19b5f0e79b8162fa7a2a4b
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Do not user CopyOnWriteArrayList" into stable/lithium

Merge "Revert "Bug 3104 - Bypassing MultimessageCollector"" into stable/lithium

Do not user CopyOnWriteArrayList

Filling it is expensive, use a simple ArrayList.

Change-Id: I231ee15e177d4c689f1729dc7e55f19f4e286222
Signed-off-by: Robert Varga <rovarga@cisco.com>

Revert "Bug 3104 - Bypassing MultimessageCollector"

This change approved that processing stats on the fly increases maximum amount of reportable flows.
But unfortunately this change needs to be properly worked in which is easier from scratch.

This reverts commit 6a9d40c73abbdd5417db0634ef5695d0d57545ac.

Change-Id: I61ba7c972a6d667c1b74bf6847bdf678c853aca2
Signed-off-by: Michal Rehak <mirehak@cisco.com>
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Merge "Bug 3104 - Bypassing MultimessageCollector" into stable/lithium

BUG-3157: performance tuning - NodeConnectorRef cache

 - introducing port number to NodeConnectorRef cache in deviceContext

Change-Id: I805f8d54967331b1f42924c7d9f0e24a24f24749
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Merge "BUG-3157: performance tuning - Cleanup IpConversionUtil" into stable/lithium

BUG-3157: performance tuning - Cleanup IpConversionUtil

Follow JLS modifier ordering, do not use string concat to coerce
Strings, do not open-code unsigned byte-to-int conversion, remove
trailing whitespace.

Change-Id: Ia8a1ac8defcd97d2cf2307b899781ace5894d4f7
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 91bc482737451f5eb3a560a5b4b484dc48bbe5ed)

BUG-3157: performance tuning - Skip int->Integer boxing

We really need the integer object, so don't keep it as a primitive type.
Also make sure we run equals on a constant reference. Finally do not
instantiate a zero integer.

Change-Id: I64875984c66e6a2ae54d9ce3acefb529d500e4f2
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 2b799cb8e72f65158e9e01fab3223b09025ceceb)

Bug 3104 - Bypassing MultimessageCollector

Note: We don't need MultimessageCollector for statistics
because we've implemented polling one stats for one device
in one time. So we are able to use Transaction like
multimessage collector and every MultiMsg could be translated
and adds to transaction in delivery time.

* processingMultipartMsg method in MultiMsgCollector is used
  for bypassing multimessageCollector for MultipartReply
  for standard statCollecting cycle
* StatisticsGatheringUtils needs more help methods

TODO:
* think about possibility to have unconsistante state for
  statistics for RPC submit calls in Transaction

Change-Id: I74bb7477cd74e20aac432992b6e52c0816e5e05b
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Bug-3431:NullPointerException from OpenflowPlugin.application.StatisticsManagerImpl

Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug 3437 - clean event time measurement average value of extreme values" into stable/lithium

Merge "BUG-3157: perfomance tuning - cache translator lookups" into stable/lithium

Bug 3437 - clean event time measurement average value of extreme values

Change-Id: Icc131dd1443ee2e76f2aeaee42bbe65a3c22786d
Signed-off-by: Martin Bobak <mbobak@cisco.com>

BUG-3157: perfomance tuning - cache translator lookups

Once a DeviceContext is instantiated, it has a fixed version, so we can
pre-cache the two most-used translators.

Change-Id: I9d324f14e3003301bf9107e2e6c12a189c0b6c80
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 3435 - add time counter for selected operations on device

Change-Id: Ie96860f8a253b57b82a8fb7e9577a8774b09a31f
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "BUG 2723 - Topology spoofing via LLDP - LLDPSpeaker" into stable/lithium

Merge "BUG 2723 - Topology spoofing via LLDP - hash check in topology-discovery" into stable/lithium

Merge "Bug 3367 - StatManagerImpl scalable statPolling per stat type on device" into stable/lithium

Merge "Bug 3367 - StatManagerImpl scalable statPolling per stat type on device" into stable/lithium

Merge "BUG-3157: Use InstanceIdentifier.firstIdentifierOf()" into stable/lithium

Merge "BUG-3157: Fix a generic warning in  DropTestRpcSender" into stable/lithium

Bug 3367 - StatManagerImpl scalable statPolling per stat type on device

Note: Running all stats for all device statistics in one time is
realy not good idea. So we'd like to bring a possibility for
scalable statistics aproach (one stat in one device in one time).

* remove gatherDynamicData(MultipartType multipartType) method

Change-Id: I3078cfe871b28fd11c09b7001f783b8e2cfbaa0d
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Bug 3367 - StatManagerImpl scalable statPolling per stat type on device

Note: Running all stats for all device statistics in one time is
realy not good idea. So we'd like to bring a possibility for
scalable statistics aproach (one stat in one device in one time).

* change getherDynamicData() like a chain for device statistics

Change-Id: Iaad3270a6a80b47ed9977b16362ec77bec55966f
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG-3157: Use InstanceIdentifier.firstIdentifierOf()

Instead of instantiating multiple instance identifiers, make sure to
express our intent in terms of the InstanceIdentifier API. In this
particular case we are looking for the identifier capped at the
specified key.

Change-Id: I0284c582959fb00527116335b0def93e71fa535e
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-3157: Fix a generic warning in  DropTestRpcSender

Not adding generic arguments is just being lazy.

Change-Id: Ib43a5c68a60ac838c8b3ab458af4aaaa7fbbbaba
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 3412 - Device should not be propagated if initial stats collection fails

Change-Id: Ib9bf397331f9011e6909caeefa8cf403747d005f
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 3407 - Don't reconnect Node without a full clean of OPERATIONAL DataStore.

Note: A reconnection scenario could bring some problem with TransactionChain for a huge data sets.
So we have to stop all PostHandShake processes as soon as is possible and wait for a full Node
disconnecting what includes OPERATIONAL DataStore clean too.

* add checkExisteingNode method in TransactionChainManager
* add synchronized check for tx in submit method
* fix tests

Change-Id: Ib2b772f6800528860ce881204d53bbec35e09b97
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 2723 - Topology spoofing via LLDP - LLDPSpeaker

 - added extra authorizer to LLDP payload
 - used version property
 - added logging
 - fixed it and features test

Add TLV CustomSec field to creation of LLDP packet.

REMARK:
controller patch https://git.opendaylight.org/gerrit/#/c/21174/ has to
be merged first

Change-Id: I234305e827817aef2dcec820869bddca91fc2b33
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>
(cherry picked from commit e20d25cfda275b06826538726595682d88f92182)
(cherry picked from commit 041211583c485316c432eb33801c60fe33a05daa)

BUG 2723 - Topology spoofing via LLDP - hash check in topology-discovery

Checking of CustomSec (TLV field in LLDP packet). Value of CustomSec from LLDP
packet has to be equal to hash value which is computed in
topology-lldp-discovery artifact. Hash value is obtained as MD5 value
calculated from concatenation of strings:
 - node connector ID
 - pseudo PID of running JAVA karaf

Method getValueForLLDPPacketIntegrityEnsuring() prepare array of bytes which
will be after hashing used to check integrity of LLDP packets. Ensuring that
LLDP packet wasn't modified. (extra authenticator; CVE-2015-1611 CVE-2015-1612)

Change-Id: Ic8f50c88e7d8e3722d8d83a01ffa94a96bde313f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 4951c6a8106fa404e3715a7d2addd0c838cf90bc)

Bug 3393 - don't silence exceptions in tx chain manager

Log events where tx chain operations fail.
Also do not print stacktrace in info level.

Change-Id: I50af32d2fa802506fddb4a218193f4ce9fac0278
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 3390 - schedule statistics polling instead of polling right away

After successfull initial statistics gathering we don't
want to poll next statistics gathering right away. We schedule
polling job instead.

Change-Id: I1ed68227f33ca53fc58ce7e3d69aa345d65fdd57
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 3389 - Scheduling time adaptation calculated per device

Calculated time should not be shorter than basic timer
delay which is currently 3000 ms.

Change-Id: I9e534e9268e462b3b572a2bc12a8f80d7de97146
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Update gitreview for stable/lithium

Change-Id: I1726281c59f4105adcadcef2375ed78e96f0a1ac
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Merge "Speed up packetin throttling"

Merge "Bug 3328: Set icmpv4-match into OF10 match."

Speed up packetin throttling

Perform an atomic operation instead of taking a lock in the fast path.

Change-Id: If204594f375aa2f9f7295cc5321236756f01c258
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Clean TransactionChainManager"

Merge "Change StatisticsContext"

Clean TransactionChainManager

Note: We don't need to check time or nr. of operations for
WriteTransaction. We would like to submit all collected stats
to DataStore ASAP.

* remove timer from TransactionChainManager
* remove calc nr. of operations
* add visible submitTransaction method

TODO: fix commeted-out tests

Change-Id: I88558a903c22ea804c7020a922320a947b865980
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

schedule next poll only after previous is done

Statistics will be gathered only after previous run was completed.

Change-Id: I3316a3ac541d53a268829de99b4d6a2116405a17
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Statistics polling is scheduled per one device"

Merge "Un-obfuscate srcVlanMatch"

Merge "Use an ImmutableMaps for constant lookups"

Merge "Fix TableFeaturesConvertor table"

Merge "Use constants for Ordering objects"

Merge "Make OrderComparator.build() use generic arguments"

Merge "Add VLAN match constants"

Merge "Optimize FlowConvertor"

Merge "Make MatchReactor a proper constant"

Merge "Simplify CommonService interface"

Merge "HashUtil erradicated"

Statistics polling is scheduled per one device

Change-Id: Ic28ea509445ab6f557438337be2a5db9650efd03
Signed-off-by: Martin Bobak <mbobak@cisco.com>

HashUtil erradicated

Hashing flow values for its future identification is not done anymore. We
use repective object's haschode and equals methods.

Change-Id: Id977b85df565869e13ed902230a20e742945a261
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Un-obfuscate srcVlanMatch

Eclipse complains about the possibility of a null-derefence. While it is
not possible, rewrite the code to make that obvious. Also move to
MoreObjects to remove deprecation warning.

Change-Id: I039fb0d3aaefc9fce69252d880dbad4459437e7c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use an ImmutableMaps for constant lookups

The lookup maps are meant to be immutable, make sure that is the case.

Change-Id: Ia706459fad8e068de55617e51b5a357f2f1b2353
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix TableFeaturesConvertor table

This mapping problem has gone unnoticed until conversion to ImmuableMap.
Fix it here so it can be cherry-picked.

Change-Id: I41df518816e854c200ee05005e6ab0c591ef002c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use constants for Ordering objects

These objects are used heavily, make sure we share instances.

Change-Id: I81fd8cac22d5f32643e58199ede545b909934100
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make OrderComparator.build() use generic arguments

This is a simple trick, but fixes a few warnings in users.

Change-Id: Iba6b022c39c756f335e88849baefbaaf9e12a2bc
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add VLAN match constants

These matchers are used very frequently, add them as constants and
reuse.

Change-Id: Ieeab6388fbb58d9439f284acce950e9e122d219f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Optimize FlowConvertor

Do not copy collections needlessly in toFlowModInputs(). Also bail from
isSetVlanIdActionCasePresent() as soon as we find a match. In
handleSetVlanIdForOF13() we know we are returning at most two elements,
so allocate the array accordingly.

Change-Id: I121893068827fe9f3d7bfc156d5fd334d2550c80
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make MatchReactor a proper constant

Singleton instance was not constant, fix that.

Change-Id: I65a4943481c68428e963846516e0324b17706e00
Signed-off-by: Robert Varga <rovarga@cisco.com>

Simplify CommonService interface

Introduce utility RequestCallback classes, which encapsulate common
FutureCallbackFunctionality.

Instead of transforming functions, introduce sendRequest() abstract
method. This method is invoked once the request has been allocated and
it is responsible for building the request payload and calling
commitRequest() with the payload and appropriate callback.

Also introduce AbstractVoidService, which maps responses to Void and
ensures the slot is always committed. It also enqueues a
VoidFutureCallback to complete the request.

AbstractSimpleService handles remapping of result to the appropriate
class, if it is present.

AbstractMultipartService handles gathering of multipart requests.

Change-Id: I047ff873f09a5dd7e95d8dc101429f7c3ee248a1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make sure RpcResultBuilder is local

There is no need for it to be a field.

Change-Id: Ia046491699f8c9af8b9b1a3e5e45734567d55d67
Signed-off-by: Robert Varga <rovarga@cisco.com>

RpcManagerImpl should take an integer

A long is not really appropriate, cap it to an integer.

Change-Id: Ie0a4e3819904e8e4aad16a37b2fddbecf3fd1248
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "HashUtils are not used anymore"

Merge "code cleanup : removed unused parts of code"

Change StatisticsContext

Note: Running all stats for all device statistics in one time is
realy not good idea. So we'd like to bring a possibility for
scalable statistics aproach.

* implement getherDinamicData with MultipartType as input

TODO in future commits:
* modify StatisticManagerImpl.pollStatistcs for one statType for all devices
* add separate statChain for new Devices stat collecting (one stat in one time)
* scale flowStats for table

Change-Id: I3d1a29ba94ddbb81ce9ee98eb9fdcfe97149a278
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Merge "Fix stats for extension actions"

HashUtils are not used anymore

We will be using Match object when calculating identifier for flow in local flow registry.
This identifier will be normalized as soon as normalization will be introduced. That
will result into device flow registry holding normalized flow keys.

Change-Id: Ieeaf1b573a34fd94c8cd2d7e932d4db8fb5ca83e
Signed-off-by: Martin Bobak <mbobak@cisco.com>

code cleanup : removed unused parts of code

Change-Id: I3b7034a579fb83edcc5a07de72f02b3e0c51692d
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Removed unwanted preconditions check

Change-Id: I426dc98a88e34fe28041bffdca103139d7b99658
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Add a generic type argument

OutboundQueueHandlerRegistration is generic, silence an eclipse
warning.

Change-Id: I7896b424534e8acff20be24b50dd2e2567ace9c1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix stats for extension actions

Extension actions were not showing up in OPER.
This fixes that.

Change-Id: I484b9bb477296e9a7f74a04d4d4d01401d8e486b
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Merge "Bug-3085:StatisticsManager drops nodeadded operations when exceptions occur"

Bug-3085:StatisticsManager drops nodeadded operations when exceptions occur

Currently nodeAdded and all stat notifications are fed to a queue as datastore operations and submitted in batches of 100.

If one of the tx chain submit fails the node added operation also gets discarded, along with the rest.

Queuing node added operations along with rest of the stat notifications causes stats for the new nodes to get collected quite late, as the number of devices increase.

Also when a node gets removed, the datastore operations that are queued for the removed node get submitted which might clash with the inventory-manager’s transaction.

So this patch ignores operations queued up for removed node.

Also it ignores for the stale stat notification operations which are collected for a node which got reconnected. This is done by marking the stat operations via UUIDs, created during node-added.

path6: rebase and fix conflicts

Change-Id: I5564627857c1834658ca0a0f2d530e129b7db953
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

simplify MultiMsgCollector

Collection task is bound to a particular request, hence we do not need
to perform lookups and can easily simplify the code.

Change-Id: I4ce59348da13f15c9e537dd4c57e65dcb85e2ad9
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed Ipv6 usage in unit tests to use valid addresses / prefixes.

Change-Id: I4291b9759079184548586e6ad0ddf8728ab43db2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-3051 IpAdderess != IpPrefix

1. Unify some (not all) utility classes. There were up to 3 classes serving the same function in different
plugin parts
2. Provide utility classes for prefix creation in a single place (if yangtools grow up to provide binary/accel
interfaces this will allow to leverage them quickly).
3. Fix testcases

TODO:

1. Additional test coverage. Most v6 testcases were broken across the board. This does a "quick fix" on them, additional
test coverage is neded
2. Further cleanup and unification. There are still utility classes lurking around which do dupplicate functions as well
as inline
3. Cleanup and improve interfaces

NOT ADDRESSED:

1. This does not address the can of worms created by trying to use buggy and incorrect representations (because of 2825)
in the new Lithium Hashing code. It only provides some of the means to make it work correctly
2. In the absense of 2825 and with a buggy and broken (relative to the RFC it should comply to model/core) the plugin
should have a "ignore/warn/refuse" toggle northbound with regards to non-canonical IpAddresses and Prefixes passed by
other applications. Once again - this should be taken care of the controller core, but as that is not taking care of it
the plugin will have to - otherwise there will be hash mismatches and mismatches in opstate/confstate.

Signed-off-by: Anton Ivanov <aivanov@brocade.com>

FlowHash renamed to FlowRegistryKey

This object serves as key to local flow registry and is not a hash in
the strict sense. Therefore it is renamed and will be changed in next
commits to avoid flow hash computation using HashUtils.

Change-Id: Ife23394cfe2c28149932ccdfe7c7e441466d5d59
Signed-off-by: Martin Bobak <mbobak@cisco.com>

some drop tests statistics were not cleaned on clearstats command

Change-Id: I58f7831f7d6f90dcc5a04d948f80bae152d7e2a1
Signed-off-by: Martin Bobak <mbobak@cisco.com>

DeviceDataException erradicated

OFJ's DeviceRequestFailedException is used instead of ofp own exception
that just wrapped exception from OFJ.

Change-Id: I53f118782ed677a82958a6ad42dedf37b6aee109
Signed-off-by: Martin Bobak <mbobak@cisco.com>

registration of outbound queue handler simplified

Change-Id: Idfd809354c9f9cd6455662b6ea4de7b5ea449439
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Limit drop-test queue limit

 - limited to 10k
 - blocking behavior
 - internal statistics cleaned

Change-Id: I02590b194f5e9dafc9b8a5503e369b33ffd86ac2
Signed-off-by: Michal Rehak <mirehak@cisco.com>
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 3328: Set icmpv4-match into OF10 match.

Change-Id: Id636a75ebff08fd3899081d3f1efe98dacb15970
Signed-off-by: Shigeru Yasuda <s-yasuda@da.jp.nec.com>

added missing information in droptest stats output

Change-Id: I68340ea8144bb9c0f5fea28dbc3f258e64e39e28
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "openflow plugin internal statistics available trough karaf commands"

Merge "more logging in drop test added"

Merge "Returning of future from request context - SalMeterService."

Merge "Returning of future from request context - SalGroupService."

openflow plugin internal statistics available trough karaf commands

Change-Id: I8d5b6ce4dd897a1f1af9d223a977641e0353eecd
Signed-off-by: Martin Bobak <mbobak@cisco.com>

more logging in drop test added

Change-Id: Idce5769c4440e1192ebbd355d0ec154aa36e9a5a
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Returning of future from request context - SalGroupService.

Change-Id: I510ee97435596ee6940afad630362727e6311a47
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Returning of future from request context - SalMeterService.

Change-Id: I7815d6eed2979833380e1d7fd41b1819d0a2cc73
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Returning of future from request context - SalPortService.

Change-Id: I8e0060d74ef49984a2798efd9eae15a639c99e96
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>