Gracefully stop Host Tracker task threads

- On bundle stop, stop ARP probe/refresh threads
  to avoid calling stopped services or reading terminated cache.

Change-Id: Ifa1224d1b9e9fbb245844cc8fb1a6d7a02bb5867
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Statistics Mgr to avoid unnucessary cache updates

- Update cache only if stats value has changed since last update
- Add hashcode and equals overrides to stats classes

Change-Id: I6cbce35c26ec389efe26e7a53c886b9e4e580ed5
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Fixed a typo on a comment in IPv4.java."

OpenFlow Protocol_plugin changes to make use of the Connection Manager infrastructure in order to support
Active-Active Clustering support. Notable changes are :
1. Interested Protocol_plugin services registers with SAL for Connection Service.
2. isLocal API is used by InventoryServiceShim to decide whether or not to advertise the learnt node on a particular controller.
3. isLocal API is used by other services to handle node specific events
4. InventoryService instance can now represent Global inventory in addition to its additional instances being container specific
5. Controller provides the disconnect API to allow the Connection manager disconnect a switch. (Connect API is stubbed out)

Change-Id: I163fa7b14fa998bb4654b01c0a904c1fec09b0bb
Signed-off-by: Madhu Venugopal <vmadhu@cisco.com>

Merge "Connection Manager infrastructure supporting the Clustering Active-Active requirement. This commit brings in the following changes : 1. Connection Manager as a functional module that runs above SAL providing common services to various south-bound plugins.    The initial version of Connection Manager takes in Node as the only argument and let the Connection Management Scheme to determine the fate of the connection.    Primary use-case that is addressed here is the HA/Clustering's Active-Active mode with the ability for Nodes to connect to different controller in a cluster."

Per container flow statistics filtering to account cFlows

ISSUE:
ReadServiceFilter in openflow protocol plugin while trying to derive
to which container a flow statistics object belongs, it does not take into
account the container flows (cFlows).
CHANGES:
- Have ReadServiceFilter maintain a map of container to container flows
- Have flowBelongToContainer() account the cFlows while filtering the Flow objects
- Changed the other container maps to concurrent maps
- Other minor style changes

Change-Id: I2d41fa2111334d57ef3179e907fea0bf268943e7
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Fixed a typo on a comment in IPv4.java.

Signed-off-by: Hideyuki Tai <h-tai@cd.jp.nec.com>

Connection Manager infrastructure supporting the Clustering Active-Active requirement.
This commit brings in the following changes :
1. Connection Manager as a functional module that runs above SAL providing common services to various south-bound plugins.
   The initial version of Connection Manager takes in Node as the only argument and let the Connection Management Scheme to determine the fate of the connection.
   Primary use-case that is addressed here is the HA/Clustering's Active-Active mode with the ability for Nodes to connect to different controller in a cluster.

2. SAL Connection service is implemented as a seperate bundle in order to show case the possibility of SAL being extensible and not a monolith piece of infra.

3. The only API that is exposed now is the isLocal functionality which can be used by Apps and Protocol plugins alike to take care of their individual funcationalities.

The corresponding Protocol-plugin changes will be pushed as a different commit.

Change-Id: I0ffad694b1a21ff4ec7e2139bb81a398412b9de0
Signed-off-by: Madhu Venugopal <vmadhu@cisco.com>

Fixed a bug that failed specifying the value 0 on VLAN ID field for a match condition, and enabled to match VLAN untagged frames on OpenFlow switches.

- Fixed MatchType class to allow the value 0 on VLAN ID field for VLAN untagged frames.
- Changed FlowConverter class to convert the value 0 on VLAN ID field of SAL Flow into the value 0xffff of OF Flow, and vice-versa.

Signed-off-by: Hideyuki Tai <h-tai@cd.jp.nec.com>

Merge "Added uses to extends list. Groupings in YANG are used through key word uses. YANG elements which contains uses "something" are now generated as interface which extends "something"."

Merge "Created Yang to Java Builder pattern class generator"

Merge "Fixed bug in resolving of conditional Revision Aware XPath."

Merge "NullPointer Exceptions in HostTracker if ARPHandler is shutdown"

Merge "Get/remove inactive hosts"

Merge "Fixed the problem with the Vlan PCP not being passed on to the switch. Also fixed the problem with the Masks not being properly applied when a part of the Vlan TCI like either vlan id or the vlan pcp are being set."

Merge "Adding Inactive Static Hosts"

Added uses to extends list.
Groupings in YANG are used through key word uses. YANG elements which
contains uses "something" are now generated as interface which extends
"something".

Change-Id: Icc3db4191876e31cf1d27d9ddc71e4b0702a956f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fixed the problem with the Vlan PCP not being passed on to the switch.
Also fixed the problem with the Masks not being properly applied
when a part of the Vlan TCI like either vlan id or the vlan pcp are being set.

Change-Id: I637a0570ade4e32dde52e555bfdbc1e186da7b1e
Signed-off-by: Asad Ahmed <asaahmed@cisco.com>

NullPointer Exceptions in HostTracker if ARPHandler is shutdown

Check for availability of ARPHandler Services in HostTracker. Aslo enhanced
debug-ability

Signed-off-by: Maurice Qureshi <maquresh@cisco.com>

Created Yang to Java Builder pattern class generator

- added Xtend tool to dependencies
- created builder xtend class template
- created BuilderClassDescriptor class which is used as source of information in template
- integrated generating of Builder pattern classes for interfaces
- updated jUnit test

Maven generates .java file as a translation of .xtend template into src/main/xtend-gen. Therefore /binding-java-api-generator/src/main/xtend-gen was added into .gitignore file.
If you use Xtend plugin for Eclipse, you should check a configuration of Xtend compiler in Eclipse, whether there is choosen xtend-gen as an output direcotory.

Change-Id: I72e733c7d8f2587848b0e0d32368f7f1700a44d0
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "Out of Memory when static Routes are configured with unresolved next hop Root cause: This problem happens when there are staticRoutes configured but their next hop IP are unresolved (ie. not responding to ARP Request). StaticRouteImpl.java spawns a thread requesting hostTracker to discover the host, this thread is waiting forever due to a bug in the thread (HostTrackerCallable) that handles the discovery which never returns since the host is not responding."

Fixed bug in resolving of conditional Revision Aware XPath.

Fixed implementation in TypeProviderImpl - if leafref references the leaf through the conditional XPath the method will no more returns null but wrapped Type as java.lang.Object.
Added test into GeneratedTypesTest for conditional XPath.
Fixed controller-network-ne.yang - changed name of flow-tables to flow-tables2 - the build should no more fail.
Fixed wrong transformation of yang namespace to java package in case that yang namespace contains numbers right after the "."
Added check into BindingGeneratorUtil - validateJavaPackage.
Refactored and commented SchemaContextUtil.java

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Out of Memory when static Routes are configured with unresolved next hop
Root cause: This problem happens when there are staticRoutes configured but their
next hop IP are unresolved (ie. not responding to ARP Request).
StaticRouteImpl.java spawns a thread requesting hostTracker to discover the host,
this thread is waiting forever due to a bug in the thread (HostTrackerCallable)
that handles the discovery which never returns since the host is not responding.

Solution:
- Instead of creating threads dynamically, we create a threadpool of 2 and reuse
  the threads.
- Fix the bug in HostTrackerCallable to sleep(2000) and returns.

Change-Id: Ic04d1dbaf17d5cd6672646050d71abb9885695e9
Signed-off-by: Chi-Vien Ly <chivly@cisco.com>

Fix a wrong notification in ComponentActivatorAbstractBase

The ComponentActivatorAbstractBase is currently looking for the
"stopping" method on the component that is stopping, during the
"stopped" phase provided by Apache Dependency Manager, while that
should be raised during the "stopping" phase. Correcting the
mis-alignment.

Change-Id: I1ff703ce071e2f5c80215b748b4f046760445b21
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Merge "Fix IPv6 + subnet flow installation"

Merge "When a node is going down, remove edges in both directions associated with the node."

Merge "InventoryShim to check node presence, before notifying in container Signed-off-by: Pramila Singh <pramisin@cisco.com>"

Merge "Projects moved under correct parent."

Projects moved under correct parent.

Moved code-generator/maven-yang -> yang/.
Moved code-generator/maven-yang-plugin -> yang/.
Moved code-generator/maven-yang-plugin-it -> yang/.
Moved code-generator/yang-model-parser-api -> yang/.
Moved code-generator/yang-model-parser-impl -> yang/.

Configured site plugin for project. Fixed some javadocs.
Fixed bug in ParserUtils causing NullPointerException.
Fixed bug in resolving uses statement.
Improved tests.

Change-Id: Ia7567544fbe006f0cf87055c6633c04b5ce2c50e
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Fix IPv6 + subnet flow installation

    ISSUE: Flows matching on IPv6 packets are not installed when a mask is specified
    CHANGE:
    - Set the proper field in V6Match for subnets
    - Cleanup V6Match to make use of parent OFMatch fields for IPv4 matches
    - Fix subnet methods in NetUtils
    - Fix MatchType and MatchField to consider the network prefix address when
      checking equality and building hashcode for a Match on NW_SRC and NW_DST

Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Fixed bug of IPv4 option handling."

When a node is going down, remove edges in both directions associated with the node.

Signed-off-by: Jason Ye <yisye@cisco.com>

Added toester demo yang file.

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Package names for enclosed Types of TOs were changed to fully qualified. Fully qualified package names are added to enclosed Types of transport objects. In previous version there was bug (name of enclosing type was missing in package name)."

Merge "Fix for Switchmanager Save Configuration. Signed-off-by: Pramila Singh <pramisin@cisco.com>"

Fixed bug of IPv4 option handling.

Signed-off-by: Hideyuki Tai <h-tai@cd.jp.nec.com>

InventoryShim to check node presence, before notifying in container
Signed-off-by: Pramila Singh <pramisin@cisco.com>

Merge "Make statistic queue size  configurable via config.ini"

Merge "Simpleforwarding cache synch doesn't work"

Make statistic queue size  configurable via config.ini

Currently the queue size is fixed at 64. For large network support, this can't accommodate large network support. This enhancement is to make this size configurable through config.ini. A new system parameter is created "of.statsQueueSize" and is default to 64 (same as today).

Change-Id: I0f9c02ee3228a51ba3ec8ad2047dfff8ddae50a1
Signed-off-by: Chi-Vien Ly <chivly@cisco.com>

Simpleforwarding cache synch doesn't work

- When Simple forwarding cache syncs the HostNodePair it will cause
exceptions in the clustering services because cannot find HostNodePair
class, this is simply because the Export-Package of SimpleForwarding
bundle was exporting no packages and this was due to the mis-spelling
in the package name.

Change-Id: Iadc6609f0ae9dffc32567c04e034e025dc247584
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Fix for Switchmanager Save Configuration.
Signed-off-by: Pramila Singh <pramisin@cisco.com>

Cluster mgr to remove caches when container is destroyed

DESCRIPTION: When a container is destroyed, cluster manager should clear all the caches
that were allocated in that container.

CHANGE: Have cluster mgr implement IContainerAware and cleanup the caches
on the container destroy notification

Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "HA - Cache synch for Topology Manager"

Merge changes I69928220,Ia0704c89

* changes:
  Change default timeout to 30 sec.
  REST APIs to add/delete ports to/from a subnet.

Package names for enclosed Types of TOs were changed to fully qualified.
Fully qualified package names are added to enclosed Types of transport
objects. In previous version there was bug (name of enclosing type was
missing in package name).

Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

groovy node-tree integration
logging

fixing groovy tree generating

added params for surefire

lazy node2node map fixing

changed api according to dom usage
added lazy implementation of dom
added unit tests of this dom
changed abstract implementation in yang-data-util according to new api

improved groovy generated tree and testing
removed large testing files
added copyright comments
removed maven-surefire-plugin jConsole argument (plugin fails to start, if property not defined)

Change-Id: I00b9fcbc20ce5d120128940b7b569d7a14628a6e
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "fix maven warnings regarding missing versions of some plugins"

Merge "YANG typedefs generation as class with extends key word In case that YANG typedef isn't specified as base type then corresponding class will be generated with EXTENDS key word and corresponding extended class."

Merge "Added more descriptive parsing exceptions."

Change default timeout to 30 sec.

Signed-off-by: Jason Ye <yisye@cisco.com>

HA - Cache synch for Topology Manager

- Allocate/retrieve cluster cache for topology mgr caches
- Remove destroyCache from bundle shutdown callbacks
  in HostTracker, TopologyMgr and StaticRouting
- Style fixes

Change-Id: I352f5cb4cfab8fd06b15be708cf07ae1ef64c9bf
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Fix for maintaining  properties for non-default container. Signed-off-by: Pramila Singh <pramisin@cisco.com>"

REST APIs to add/delete ports to/from a subnet.

Signed-off-by: Jason Ye <yisye@cisco.com>

Merge "Fix for bug 28 https://bugs.opendaylight.org/show_bug.cgi?id=28 Updated surefire and failsafe plugin configurations to set heap to 1gb and permgen to 256mb.  These settings allow the Northbound integration tests to pass in both unit test and integration modes."

Merge "Changes in DiscoveryService to cope with recently introduced HA active-active model: - Fixed logic in addEdge() when discovery pkt is received. - Added retry mechanism for newly added ports. - Added some user configurable parameters in config.ini."

Changes in DiscoveryService to cope with recently introduced HA active-active model:
- Fixed logic in addEdge() when discovery pkt is received.
- Added retry mechanism for newly added ports.
- Added some user configurable parameters in config.ini.

Signed-off-by: Jason Ye <yisye@cisco.com>

Fix null pointer exception in FRM

Signed-off-by: Alessandro Boch <aboch@cisco.com>

Get/remove inactive hosts

Added logic for removing inactive hosts
when removing static hosts, and for
retrieving list of inactive hosts.

Change-Id: I2f08f35eec36a99dee21979c5a64d62d01647602
Signed-off-by: Kalvin Hom <kahom@cisco.com>

Fix for bug 28
https://bugs.opendaylight.org/show_bug.cgi?id=28
Updated surefire and failsafe plugin configurations to set heap to 1gb and
permgen to 256mb.  These settings allow the Northbound integration tests to
pass in both unit test and integration modes.

Change-Id: I06f5254458db65c06b84076d6f3022cdcd983cf6
Signed-off-by: Prasanth Pallamreddy <ppallamr@cisco.com>

Fix for maintaining  properties for non-default container.
Signed-off-by: Pramila Singh <pramisin@cisco.com>

Adding Inactive Static Hosts

saving inactive static hosts in map for when node
isn't up. When node goes up, device gets added.

Change-Id: I3d77da8b0939d6f3206a84fab01a809c8ca1ce09

Signed-off-by: Kalvin Hom <kahom@cisco.com>

YANG typedefs generation as class with extends key word
In case that YANG typedef isn't specified as base type then corresponding
class will be generated with EXTENDS key word and corresponding extended
class.

Change-Id: I36143f485b8e68f471e2a3021ceb7ddc4ad9df2f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Added more descriptive parsing exceptions.

Added module name to all builders to help create detailed exception messages. Added new abstract class AbstracBuilder as base implementation of Builder interface.
Added more tests.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

fix maven warnings regarding missing versions of some plugins

Change-Id: I16a80358435b51d6be2c883a10bf893ea73e20ff
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "adding function to modify existing subnets"

adding function to modify existing subnets

Change-Id: I2b5b3abda4dd4fbf4a872ea7c866d68821ce9bff
Signed-off-by: Colin Dixon <ckd@us.ibm.com>

Bug fix: flow statistics are not notified if empty

Change-Id: Id685f6205bd75e666972e30a86584a0b4a1498ec
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Moved parsing of unknown nodes from implementation to abstract classes."

Fixed a bug to block the creation of a static host on an ISL port, removed the code to block more than one host per port

Change-Id: I600f6d51395b072b3d2bdb90d4fb10ad905fc6c7
Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

- In SwitchHandler.java, Transmit Thread waits if the priority queue is empty.
- Change DiscoveryService timer from 1 sec to 2 sec per tick leading to less CPU utilization. Added enum class for some time intervals.
- MacAddress property was defined as a byte array. XML can not serialize byte array properly. Change it to String.
- SwitchManager osgi cmd "pns" now displays sorted list of nodes.

Signed-off-by: Jason Ye <yisye@cisco.com>

Merge "Fix null value put in FRM incativeFlows hash map"

Merge "- Adding hashCode() and equals() method for v6Match - Fixing mac settings in copy constructor"

Moved parsing of unknown nodes from implementation to abstract classes.

Added more javadocs. Removed unnecessary ConfigNode interface.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bumped version of yang-prototype to 0.5.4-SNAPSHOT.

Change-Id: Idacefac91a2d86606debf8a75f6cab2cf1303b98
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Updated PoC APIs of Model-driven SAL

  - Bumped version of YANG tools
  - Added Concepts Lang package with reusable tranformator functionality

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Added YANG extensions module

  - Added YANG extensions module which defines
    - Context-aware RPCs
    - Named Augmentations

Change-Id: I7b6cb7f579c519dfa726f966df466ad6c9e6aee1
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix null value put in FRM incativeFlows hash map

- Also renamed ForwardingRulesManagerImpl class to ForwardingRulesManager as already in internal directory
- Minor changes in FlowProgrammerService

Change-Id: I38b46f4ce29b5d6f4dfc0f38db3d3cef960b26ac
Signed-off-by: Alessandro Boch <aboch@cisco.com>

- Adding hashCode() and equals() method for v6Match
- Fixing mac settings in copy constructor

Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

Merge "Add operational port status"

Bug fixes and styling

- Fix using skiplistset on a non-comparable
- Add missing help in SAL Read Service
- Remove incorrect throws clause

Change-Id: I4c3c192124e03f84d3ba5ac97e2c69ca7defdd03
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Add operational port status

Port status that is operationally down will be colored yellow

Signed-off-by: Andrew Kim <andrekim@cisco.com>

Move stats caching to FM StatisticsManager

This commit is towards HA functionality and includes:
- Cache flow, port, table and description statistics in a cluster
  allocated cache in functional module Statistics Manager
- Add necessary interfaces to allow plugin stats updates
  to propagate up to Stats Manager FM:
  * IOFStatisticsListener - notifies plugin internal components
  * IReadFilterInternalListener - notifies plugin internal
    components (demuxed to containers).
  * IPluginOutReadService - SAL hook for plugins to publish reader
    notifications.
  * IReadServiceListener - SAL service, publishes reader notifications
- Change statistics manager implementation to return cluster
  cached stats instead of calling reader service (Reader service is
  still available).
- Style fixes
- Bug fix: getOFFlowStatistics(switch,match) should consider priority.

Change-Id: I7c7a32102ea43bd4e05444527ad73d2610958603
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Fixed bug in RPC and Generics mapping

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Maping of union leaf a bits leaf YANG type to JAVA inner classes."

Maping of union leaf a bits leaf YANG type to JAVA inner classes.

Implements following mapping:
- YANG union leaf:
-- leaf name -> name of inner class
-- leaf types -> attributes of inner class
- YANG bits leaf:
-- leaf name -> name of inner class
-- leaf concrete bits - attributes of inner class

Bug fix:
- generation of constant list of regular expression also if no pattern in
  string YANG type is specified

Change-Id: I7c52eef34de610877c3dc0c24d44bb89015c953b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Minor code refactoring and improvements.

Change-Id: Ifdc5b45e610037ef14eed6c97885deb1075aa884
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Proactive static flows have to be allowed in container mode

ISSUE: Once container are created, setting the forwarding mode to proactive for newly
       joined switches does not result in having the punt flows installed
CHANGE: - Have filtering check in install/uninstall/modify function allow internal
          generated flows when in container mode
        - Also removing uneeded dependecy on IfIptoHost in forwardingrulesmanager
        - Also fix some dependencies in sal activator regarding FlowProgrammer service

Change-Id: Id8a69abb2f3fa948195700a50c30fb368264adf9
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Added default output directory to CodeGeneratorImpl in maven-sal-api-gen-plugin. Removed default output directory from yang-maven-plugin."

HA cache sync for switch manager

Change-Id: I00ab53d62f2c7622311ee07fd934c9ce8c000064
Signed-off-by: Pramila Singh <pramisin@cisco.com>

Merge "Fix for the "without any protocolPluginType provided" error"

Merge "Fixed bug in maven-yang-plugin."

Merge "Added more tests for yang parser. Updated current tests."

Merge "first implementation of yang-data-api"

Added default output directory to CodeGeneratorImpl in maven-sal-api-gen-plugin.
Removed default output directory from yang-maven-plugin.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

Fix for the "without any protocolPluginType provided" error

CHANGE: Add a global constant for the "protocolPluginType" key to prevent the key mispell issue again

Change-Id: Icb76cf8775881d41c1792e0c5ce59925276b7e8e
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Ensuring that SET_DL_* action with openflowj only uses OFP_ETH_ALEN bytes, just in case SAL passes more than that."

Fixed bug in maven-yang-plugin.

Yang files in dependencies were not located properly on windows os.

Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

first implementation of yang-data-api

created maven project
added basic implementations of api
added unit tests
changed api according to implementation

Change-Id: I888371d5a7afc46c843f882bee9bfcaa19d5ccbc
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "adding isBroadcast and isMulticast functions to Ethernet"