Merge "Add support for multiple choice case statements within one augument in config yang files"

Merge "Fix namespaces for netconf monitoring extensions."

Fix typo in switchmanager log message in word 'available'

Change-Id: I97bd3d69109b9fec460793758f9a56459a5226b0
Signed-off-by: Alissa Bonas <abonas@redhat.com>

Fix namespaces for netconf monitoring extensions.

Change-Id: Ib191dbcb121ead95db65263b4b478b8eac64c004
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Cleanup warnings

Change-Id: I26d45b3f3856ddd893b54089521b5366deb34db3
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Serializable classes should have serialVersionUID"

Merge "Do not access static methods through object instances"

Merge "Add a bit of documentation"

Serializable classes should have serialVersionUID

Change-Id: I3b7e3270202275a6bc08617957f78ee969d3ac70
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not access static methods through object instances

Stops eclipse from complaining.

Change-Id: I153b651068cceb8263f2f4a8ea65b8de45a1ba50
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add a bit of documentation

Change-Id: I57883cffb62f4f22de74d567f9d040a90e21a5d0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Disconnect node statistics tracking

This patch moves scheduling into the node handlers themselves. This
should allow for spreading out of the statistics collection, preventing
spikes. Additionally delay the initial collection by up to 5 seconds to
deal with multiple switches connecting at the same time.

Change-Id: I6ea039b405595b3756263bddd9cf8997bc73a038
Signed-off-by: Robert Varga <rovarga@cisco.com>

Handle openflowplugin returning null

It turns out that openflow plugin reports success with null transaction
ID if the switch does not support a feature. This is quite bad, but we
can recover rather easily. Rework the registration contract to take care
of the changes.

Change-Id: I62fe7badeb5d792c8533762f5e68b7d37811f8ed
Signed-off-by: Robert Varga <rovarga@cisco.com>

Detect RPC failures

This detects when RPCs to stats services fail. Also it removes the enums
used only for legacy debug.

Change-Id: Id4eb348b92378735a143b799b4c97b9840766ff6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Move queue/meter/flow listeners into their trackers"

Merge "Move statistics request functions into trackers"

Merge "Bug fixes for netconf southbound plugin."

Move queue/meter/flow listeners into their trackers

This completes the move of triggers under a per-node registration. With
this structure we should have a complete control of what should be going
on for a switch.

Change-Id: Ia35c925947e044ff826c1f2560c040fe696aaed0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move statistics request functions into trackers

This moves the gory details of specific requests into their respective
trackers. It also makes the request pipeline asynchronous.

Change-Id: I56ad175bc75b1af18263ae294cb3ffc118557abd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move statistics request methods into NodeStatisticsHandler

This move make sure we route all requests through a particular node
handler, so it now sees which stats are actually requested for a
particular node.

This means that MultipartMessageManager can use a simple map, as all
operations are now protected by the NodeStatisticsHandler's lock.

Current code organization now allows the individual statistics request
methods to be moved into individual trackers.

Change-Id: Iebd53d6dd447db7ab684cd2c6a90d9abf1b0e91e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move MultipartMessageManager into NodeStatisticsHandler

There is no reason to have a global manager, now each
NodeStatisticsHandler instantiates its own manager -- thus the nodeId
in its tables has no point. This has the added value of being protected
by the NodeStatisticsHandler lock, thus we are prepared to having a
completely consistent view of what operations are really expected even
when switches flap.

Change-Id: I4ca63982506c6f290967040d5626400cb0a0996e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Split out statistics tracking into separate classes

- FlowStats
- FlowTableStats
- GroupDescStats
- GroupStats
- MeterConfigStats
- MeterStats
- NodeConnectorStats
- QueueStats

are all now tracked by dedicated classes. Also create a dedicated
QueueStatsEntry and FlowStatsEntry class.

Furthermore the flow walking code is modified to stop searching as soon
as it finds a matching flow.

Change-Id: Ia2bacb12f9c0af6520c115c161388b72a846b062
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add proxies for statistics getters

This is a simple unification of stats collection triggers so they are
centered about their per-node collector.

Change-Id: Iaf63d782b58b84ed3270b9215587f96f93aab3cc
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use a single Timer instead of two threads

It turns out that we really want to have the aging and collection bound
to a common timeline, so let's combine them. This will give us the
opportunity to perform mark&sweep in future.

Furthermore we use the threads only for periodic tasks, so let's convert
to a Timer with TimerTasks. This will allow us more flexibility going
forward, for example allowing NodeStatisticsHandlers to manage how often
they wish to collect individual statistics.

Change-Id: Ie2cd0e4e7391e1175a8927773f85278b80f16c48
Signed-off-by: Robert Varga <rovarga@cisco.com>

Start rework of MultipartMessageManager

- TxIdEntry should be private static final
- Remove unused method
- Use System.nanoTime() for timekeeping

Change-Id: I51bf99082aadeb1f83055a0bf6a07e320c089db0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Centralize targetNodeRef in the NodeStatisticsHandler

There's no reason to allocate it over and over again, we will be using
for a long time. Also push the DataProviderService into
NodeStatisticsHandler such that we do not have circular references.

Change-Id: I1e2444644a27516c87ca93d386f5dc2ac334ffaf
Signed-off-by: Robert Varga <rovarga@cisco.com>

Keep track of the tables we discover

NodeStatisticsHandler has always the most uptodate information about
which tables were discovered. Let's cache the table IDs -- we will
need them for sending out follow-up requests.

And now that we do that, we do not have to read the tables from
DataProviderService just to get the keys -- use whatever we cached.

Change-Id: I9550ae3330215277d373ec0b2ea67945ef0e7c5c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Walk the tables directly"

Merge "Do not rely od DataStore for all connected nodes"

Merge "Split off tracking of node presence"

Merge "Fix issue where NodeConnector ADDED events were propagated as NodeConnector CHANGED events"

Bug fixes for netconf southbound plugin.

Fixed wrong operation type sending in edit-config for netconf device. Action type replaced for "operation" type.
Fixed conversion of toRpcMessage in NetconfMapping. Fixed wrong QName - changed from "action" to "operation".

Change-Id: Ic9e07dfc2bdb50552321754cb92333ef88aa14bb
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Merge "Changing SimpleBroadcastHandler so that it's disabled by default to fix stability issues with >10 switches."

Switch Manager should ignore redundant updates

- Redundant node and node connector updates (such as in the case of
  cluster switchover) should not be notified to apps/listeners, to avoid expensive tasks

Change-Id: Ia541bdcba6b53170c7a6c29e2c35f1b7b8104d60
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Fixed bug when RPC was not propagared"

Changing SimpleBroadcastHandler so that it's disabled by default to fix stability issues with >10 switches.

Change-Id: I6ac1c15e431760c97348bc466a9783f25f6d9fee
Signed-off-by: Colin Dixon <ckd@us.ibm.com>

Fix for container directory creation/deletion in startup without saving config

Change-Id: I423e7c3ab186af5ea5bd0ab6d42553b4f988e82f
Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

Walk the tables directly

This inlines a function with a single caller, such that we do not have
to create an interim list. This allows us to know the call site which
needs to know about tables.

Change-Id: I530233bd3ec8e85417a3b9efa878c80b683ce5ff
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not rely od DataStore for all connected nodes

Now that we track all connected flow-capable nodes we do need to go and
read all nodes just to find them. Just look at which handlers are
currently created.

Change-Id: I1a33b53399d0de0e2cdbdbd90512a09933d127c8
Signed-off-by: Robert Varga <rovarga@cisco.com>

Split off tracking of node presence

Introducing FlowCapableTracker. It's sole responsibility is to react
to FlowCapableNodes appearing and disappearing in the inventory and
spinning up statistics handlers based on that. This makes the
NodeStatisticsHandler lifecycle more predictable, thus we can activate
the 'ignore' part of the getStatisticsHandler(). Final part limits the
visibility of the various 'getFooStats' methods, so we can reason about
them better.

Change-Id: Icdbcca6038ae7fb0bff06d378fafa0f476f0fe18
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed bug when RPC was not propagared

 - Fixed DOM Broker and BI Connector code
 - The refactoring was done so that DOM Broker does not get exposed to
 - BA Broker directly but rather through a proxy. This also fixes the
   issue where DOM Broker would not be initialized in BI Connector, therefore
   any messages from BA Broker would not flow to DOM Broker via BI Connector.

Change-Id: Ia25a71787857c8d052a5dbd40e8237015d8c4d63
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Fixed bug when Binding-Aware Data Change Listeners we're not triggered."

Limit visibility of FlowEntry

This class is no longer needed to be visible. Make it private and
static.

Change-Id: I30c612fca44aa993f29922fb1465ecdb16ea50c5
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed bug when Binding-Aware Data Change Listeners we're not triggered.

  - Added additional strategy to inspect changes based on registered listeners
  - Fixed normalization of data for changes where parent node was written
      - Extracts data for listener, so listener does not need to
        extract that data manually
  - Splitted AbstractDataBroker.xtend into several classes

Change-Id: I7e5d1d759c40519d164b08678a9dc22743d329bb
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix issue where NodeConnector ADDED events were propagated as NodeConnector CHANGED events

Note that this is an interim fix which will work only in a non-clustered setup

The major part of this fix is coded in InventoryAndReadAdapter. The fix is as follows when a NodeConnectorChanged
event is received by the InventoryAdapter it first checks whether this node connector has ever been seen before by
it. It does this by looking at a Map of Nodes to NodeConnectors that it maintains. If the Node Connector is not found
in the Map then this must be a NodeConnector ADDED notification otherwise it is a NodeConnector CHANGED notification.

This commit also contains some code for what would be the ideal fix - one that would work in a cluster scenario as well
That code is in InventoryNotificationProvider and NodeConnectorDataChangeListener. The fix in there works like this. We set
up a DataChangeListener on the MD-SAL DataProvider Service which would notify us whenever a NodeConnector is added, modified
or removed. When the change event comes in depending on whether the node connector was added or modified the data change
listener fires the ADDED or CHANGED event. This fix is disabled for now till another issue with MD-SAL regarding removal
of nodes on mininet exit (or switch disconnect) is resolved.

There are some other changes in the FlowProgrammerAdapter which basically suppress some error conditions when a flow that is
being removed or modified does not exist in the cache that the FlowProgrammerAdapter maintains to translate between AD-SAL and
MD-SAL flows.

This fix allows pingall to work with upto 32 switches - after that other issues prevent testing with more switches.

Change-Id: Ide2e6e85191856a8c6a9746b2397605905938d56
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix for Bug 403: Install button does not work correctly first time if flow is edited in UI."

removed obsolete config yang and RuntimeGeneratedMappingService

Change-Id: I86c721ecce6132bd545778fe9a7380684c53c8f8
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Refactor Additional header for netconf hello message."

Merge "sal-restconf-broker initial implementation  needs https://git.opendaylight.org/gerrit/#/c/5259/  and https://git.opendaylight.org/gerrit/#/c/5282/ to be merged for  successful build"

Fix for Bug 403: Install button does not work correctly first time if flow is edited in UI.

Root Cause: Whenever user edits a flow entry, page.js file passes the value of installInHw as true always (line ). If the flow is not installed in the hardware, this reverts the value of installInHw from false to true causing this issue.

Fix: Changes Done:
1. In page.js file, On edit click button a new variable install is defined, which is assigned to the value of installInHw(true/false) in respect to a flow entry.
2. The variable install is passed to the edit function instead of passing the value as true always

Change-Id: I4e0df2a3061d165b8ab534dff44d4c196e7d9872
Signed-off-by: deepankar <deepankar.gupta@tcs.com>

Refactor Additional header for netconf hello message.

Allow additional header only for hello messages.
Introduce customized (en|decoders) for hello message to parse/serialize additional header.
These handlers are replaced after successful negotiation.

Change-Id: I54c441bc166e7141f503888f0eb1934882971045
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Increase SSL input buffer size to accommodate large number of flows"

Compress removals into a single transaction

When node removal occurs, do not cascade into multiple transactions, but
trigger only a single one.

Change-Id: Ic9994e6a801953efdf83a707be3b821f9a93b35b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Rename NodeStatisticsAger and StatisticsUpdateCommiter

The component's responsibilities have changed, rename them to reflect
this change. The new division of responsibilities is:

There is a single StatisticsListener listens for notifications
carrying the statistics data and routes them towards the appropriate
NodeStatisticsHandler. Once MD-SAL is able to route notifications based
on key, this class should be completely removed.

There are per-node NodeStatisticsHandlers, each of which is responsible
for taking care of lifecycle of statistics for a particular node.

Change-Id: I16d7a1f353a1f484db11da1e5edc97b4778dad3c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move flow statistics update handling

This finishes the cleanup of StatisticsUpdateCommiter, we now have all
per-node statistics processing guarded by the lock -- e.g. have
predictable and isolated updates to statistics.

Change-Id: Ia58983d5d1dc857e5239a68e3e94fc7d3676cf6d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Move flow comparison methods into utility class"

Merge "Prepare for transitioning NodeStatisticsAger"

Merge "Simplify StatisticsManagerActivator/StatisticsProvider contract"

Merge "Centralize NodeStatisticsAger creation"

Merge "Optimize statistics cleanup"

Increase SSL input buffer size to accommodate large number of flows

Change-Id: I59036ba805682ef1d4dae0d7a7d5f7f40acd94ac
Signed-off-by: Jason Ye <yisye@cisco.com>

Merge "Do not allocate/commit transactions in tight loops"

Merge "Rework NETCONF interfaces"

Merge "Fix thread safety issues in netconf client"

Merge "Cache sessionID to increase readability"

Merge "Remove unused DefaultNetconfOperation marker"

sal-restconf-broker initial implementation
 needs https://git.opendaylight.org/gerrit/#/c/5259/
 and https://git.opendaylight.org/gerrit/#/c/5282/ to be merged for
 successful build

Change-Id: Ic665eaf25c908ed7633cfeee7629354d647ef09f
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Removed redundant dependency on configuration artifact

Change-Id: Ifae0e3071c08ddc7363af1fdb05d97e2b22e4329
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Fixed removals from data store did not clean direct-match indexes to child nodes."

Merge "Fixed bug when publisher's thread was blocked until all notifications were delivered."

AuthenticatedUser not to expose internal implementation

Update unit test

Change-Id: I9606742fbdfe3bbbae8bbf789e130d24bd946d82
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Move flow comparison methods into utility class

The whole machinery is not interesting except for the two public
methods. Let's move into its dedicated file and limit its visibility to
package for now.

Change-Id: I0377a135b085cc674c66ba238dd5a4608c307cb4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Prepare for transitioning NodeStatisticsAger

NodeStatisticsAger is currently the object which tracks per-node state,
synchronizing our view of what comes from the network vs. what is timed
out. Previous patches have already added partial ordering, this patch
moves the actual modifications in NodeStatisticsAger. This gives us
predictable behavior while keeping us per-switch scalable.

Change-Id: I7a11cf5eb885b46972ecf7a362a8d80a97923a0a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed removals from data store did not clean direct-match indexes to child
nodes.

  - Added deepRemoveStrategy, which checks for all quick indexes
    if they are removed correctly.

Change-Id: Icb7a231ca0308774f76b43ac40ab4eaf47e68937
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Simplify StatisticsManagerActivator/StatisticsProvider contract

Get rid of the need for the StatisticsManagerActivator to keep around
the Provider session -- it is only ever referenced from
StatisticsProvider.start(). Same goes for the various services which
are set into it.

Change-Id: I8014dbdd03e8830bb929e083672f988504d02994
Signed-off-by: Robert Varga <rovarga@cisco.com>

Centralize NodeStatisticsAger creation

Change-Id: I47fd16cfbcd41b89ea1ec760e1d4e07cf02e1ca1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Provide Switch Information in Troubleshooting Tab

Change-Id: I5fc02b4c6ac5babbe21cc082aa4723882846568a
Signed-off-by: Sapan Shah <sapshah@cisco.com>

Optimize statistics cleanup

Perform a single transaction for cleaning up the flow. Also use
System.nanoTime() for keeping the expiry time and keep it constant.

Furthermore, use HashMap instead of ConcurrentHashMap to gain better
memory peformance. This requires synchronizing between the statistics
update and statistics cleanup -- which actually is okay, as it closes
the race between an update happening precisely when a flow entry would
be retired. With the lockless design that entry could be lost, simply
because we'd get undefined ordering between cleanup and update
transaction commit.

Change-Id: Iceaee5b44643075d325f664af774a9c6841bcfc6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed bug when publisher's thread was blocked until all notifications were delivered.

Change-Id: Ieb083feec0ac6a64877fb045fa4fa6ba6e3fa412
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Do not allocate/commit transactions in tight loops

A transaction is additive and there's little harm in commiting empty
ones. Move allocation/commit outside of tight loops, such that we get
proper bulking.

Change-Id: I1f4920965c8ecf3091b6afb69ce1e1baa7ca0e24
Signed-off-by: Robert Varga <rovarga@cisco.com>

Rework NETCONF interfaces

NetconfSession and NetconfClientSessionListener are supposed to be
interfaces, not classes. Convert them to such and introduce utility
classes which retain their current functionality. Remove an unused
method and fix type safety warnings while we're at it.

Change-Id: Id7d78c831e3c3d46abb4379efe4a5ca353cd55ff
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix thread safety issues in netconf client

This patch introduces a proper asynchronous interface and reworks
internals such that thread safety is maintained.

Change-Id: I6eb1c56518b0b3cc6f64c1df8bc0c857298f79b9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cache sessionID to increase readability

Change-Id: Ia4440f8a30cdc9b987139879f471be67ffe1dc3f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove unused DefaultNetconfOperation marker

DefaultCloseSession and DefaultGetSchema do not need the netconf
session. so drop their use of DefaultNetconfOperation.

Change-Id: I724bd56d913b0f836c88ca8d1b436be308852a30
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix yangtools API incompatibility

Change-Id: Ia6883492a49765f1ffcd38128fcd6084636bc470
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Do not use deprecated StringBufferInputStream"

Merge "Fix a warning"

Merge "Remove deprecated API elements from protocol framework"

Merge "Fix typo in match types yang model"

Merge "Changed model versions to dependencies"

Do not use deprecated StringBufferInputStream

Change-Id: I745529dd05f2a4156dab98535ba73b81de44872b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix a warning

Change-Id: I8605ada63c471d9446ebf7fe31fb518138422cd4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Rewrite POSSIBLE_ENDS and POSSIBLE_STARTS

These two are really simple byte arrays, initialized them as such
withouth going through strings/UTF8.

Change-Id: Id80151d9ff57df4b7a5595f76f30a379d89af3dd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Some methods should be final"

Merge "Expose ChannelFuture from sendMessage()"

Merge "Getter methods should be final"

Merge "Fix a warning and make field final"

Merge "Remove use of deprecated Exceptions"

Merge "minor pom cleanup to eliminate duplicate group ID specification when the group ID is the same as the parent pom, just removes some warnings from eclipse, should not be any functional difference"

Some methods should be final

Change-Id: I8969a8d099222f8360c07e621b9157c4bb5fb8f7
Signed-off-by: Robert Varga <rovarga@cisco.com>