Merge "Moved parsing of unknown nodes from implementation to abstract classes."

Fixed a bug to block the creation of a static host on an ISL port, removed the code to block more than one host per port

Change-Id: I600f6d51395b072b3d2bdb90d4fb10ad905fc6c7
Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

- In SwitchHandler.java, Transmit Thread waits if the priority queue is empty.
- Change DiscoveryService timer from 1 sec to 2 sec per tick leading to less CPU utilization. Added enum class for some time intervals.
- MacAddress property was defined as a byte array. XML can not serialize byte array properly. Change it to String.
- SwitchManager osgi cmd "pns" now displays sorted list of nodes.

Signed-off-by: Jason Ye <yisye@cisco.com>

Merge "Fix null value put in FRM incativeFlows hash map"

Merge "- Adding hashCode() and equals() method for v6Match - Fixing mac settings in copy constructor"

Moved parsing of unknown nodes from implementation to abstract classes.

Added more javadocs. Removed unnecessary ConfigNode interface.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bumped version of yang-prototype to 0.5.4-SNAPSHOT.

Change-Id: Idacefac91a2d86606debf8a75f6cab2cf1303b98
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Updated PoC APIs of Model-driven SAL

  - Bumped version of YANG tools
  - Added Concepts Lang package with reusable tranformator functionality

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Added YANG extensions module

  - Added YANG extensions module which defines
    - Context-aware RPCs
    - Named Augmentations

Change-Id: I7b6cb7f579c519dfa726f966df466ad6c9e6aee1
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix null value put in FRM incativeFlows hash map

- Also renamed ForwardingRulesManagerImpl class to ForwardingRulesManager as already in internal directory
- Minor changes in FlowProgrammerService

Change-Id: I38b46f4ce29b5d6f4dfc0f38db3d3cef960b26ac
Signed-off-by: Alessandro Boch <aboch@cisco.com>

- Adding hashCode() and equals() method for v6Match
- Fixing mac settings in copy constructor

Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

Merge "Add operational port status"

Bug fixes and styling

- Fix using skiplistset on a non-comparable
- Add missing help in SAL Read Service
- Remove incorrect throws clause

Change-Id: I4c3c192124e03f84d3ba5ac97e2c69ca7defdd03
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Add operational port status

Port status that is operationally down will be colored yellow

Signed-off-by: Andrew Kim <andrekim@cisco.com>

Move stats caching to FM StatisticsManager

This commit is towards HA functionality and includes:
- Cache flow, port, table and description statistics in a cluster
  allocated cache in functional module Statistics Manager
- Add necessary interfaces to allow plugin stats updates
  to propagate up to Stats Manager FM:
  * IOFStatisticsListener - notifies plugin internal components
  * IReadFilterInternalListener - notifies plugin internal
    components (demuxed to containers).
  * IPluginOutReadService - SAL hook for plugins to publish reader
    notifications.
  * IReadServiceListener - SAL service, publishes reader notifications
- Change statistics manager implementation to return cluster
  cached stats instead of calling reader service (Reader service is
  still available).
- Style fixes
- Bug fix: getOFFlowStatistics(switch,match) should consider priority.

Change-Id: I7c7a32102ea43bd4e05444527ad73d2610958603
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Fixed bug in RPC and Generics mapping

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Maping of union leaf a bits leaf YANG type to JAVA inner classes."

Maping of union leaf a bits leaf YANG type to JAVA inner classes.

Implements following mapping:
- YANG union leaf:
-- leaf name -> name of inner class
-- leaf types -> attributes of inner class
- YANG bits leaf:
-- leaf name -> name of inner class
-- leaf concrete bits - attributes of inner class

Bug fix:
- generation of constant list of regular expression also if no pattern in
  string YANG type is specified

Change-Id: I7c52eef34de610877c3dc0c24d44bb89015c953b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Minor code refactoring and improvements.

Change-Id: Ifdc5b45e610037ef14eed6c97885deb1075aa884
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Proactive static flows have to be allowed in container mode

ISSUE: Once container are created, setting the forwarding mode to proactive for newly
       joined switches does not result in having the punt flows installed
CHANGE: - Have filtering check in install/uninstall/modify function allow internal
          generated flows when in container mode
        - Also removing uneeded dependecy on IfIptoHost in forwardingrulesmanager
        - Also fix some dependencies in sal activator regarding FlowProgrammer service

Change-Id: Id8a69abb2f3fa948195700a50c30fb368264adf9
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Added default output directory to CodeGeneratorImpl in maven-sal-api-gen-plugin. Removed default output directory from yang-maven-plugin."

HA cache sync for switch manager

Change-Id: I00ab53d62f2c7622311ee07fd934c9ce8c000064
Signed-off-by: Pramila Singh <pramisin@cisco.com>

Merge "Fix for the "without any protocolPluginType provided" error"

Merge "Fixed bug in maven-yang-plugin."

Merge "Added more tests for yang parser. Updated current tests."

Merge "first implementation of yang-data-api"

Added default output directory to CodeGeneratorImpl in maven-sal-api-gen-plugin.
Removed default output directory from yang-maven-plugin.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

Fix for the "without any protocolPluginType provided" error

CHANGE: Add a global constant for the "protocolPluginType" key to prevent the key mispell issue again

Change-Id: Icb76cf8775881d41c1792e0c5ce59925276b7e8e
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Ensuring that SET_DL_* action with openflowj only uses OFP_ETH_ALEN bytes, just in case SAL passes more than that."

Fixed bug in maven-yang-plugin.

Yang files in dependencies were not located properly on windows os.

Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

first implementation of yang-data-api

created maven project
added basic implementations of api
added unit tests
changed api according to implementation

Change-Id: I888371d5a7afc46c843f882bee9bfcaa19d5ccbc
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "adding isBroadcast and isMulticast functions to Ethernet"

adding isBroadcast and isMulticast functions to Ethernet

Change-Id: I8777ed281261d062b57cbeae00317c955c4b6385
Signed-off-by: Colin Dixon <ckd@us.ibm.com>

Merge "Fixing the style checker to ignore the target directories to fix Bug 29"

Fixing the style checker to ignore the target directories to fix Bug 29

Change-Id: I83220b06a13c74b0ea18a278ae1ae5fb72aa6e00
Signed-off-by: Colin Dixon <ckd@us.ibm.com>

Configuration Save event sync mechanism using Clustering services.
Every Controller in the cluster will receive a Config save event and the save is performed locally on each of the Controllers.
This is the first step towards the centralized configuration service.

Change-Id: Icbff65117ccb237a4c31091d392b27de43d8ae1d
Signed-off-by: Madhu Venugopal <vmadhu@cisco.com>

Added more tests for yang parser. Updated current tests.

Improved parsing of deviation statement. Added getDataChildByName method to DataNodeContainerBuilder.
Fixed resolving of pattern constraint.
Renamed YangModelBuilderUtil -> ParserListenerUtils.
Renamed some test files.

Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Added support to generate types from Choices and Cases added by augmentation."

Merge "Cache Sync for HostTracker"

Merge "Fix container flow logic in forwarding rules manager"

Merge "Implemented ordering of yang module data nodes. Added Comparators utility class. Added checking for duplicate nodes. Added getParent() method to Builder interface. Removed unused TypeDefinitionAwareBuilder interface. Fixed bug in processing augmentation of choice node. Added more logs, javadocs, tests."

Added support to generate types from Choices and Cases added by augmentation.

Added implementation into BindingGeneratorImpl to suppor of generating Generated Types for Choices and Cases from augmentations;
Extended ChoiceNode API and ChoiceNodeBuilder to getCaseNodeByName methods;
Fixed findSchemaNodeForGivenPath in SchemaContextUtil to support of traversal through Choice and Case nodes in data schema tree;

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Implemented ordering of yang module data nodes. Added Comparators utility class.
Added checking for duplicate nodes. Added getParent() method to Builder interface.
Removed unused TypeDefinitionAwareBuilder interface.
Fixed bug in processing augmentation of choice node.
Added more logs, javadocs, tests.

Change-Id: I6d7a504cdb516c267d42b99091120649027b453d
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Added topologyNorthbound integration test removed /r Replaced some Assert.assertTrue() with Assert.assertEquaus()"

Added topologyNorthbound integration test
removed /r
Replaced some Assert.assertTrue() with Assert.assertEquaus()

Change-Id: I572b10c189372b6f3ece55253fc4eeea80d7f579
Signed-off-by: taochang <taochang@cisco.com>

Fix container flow logic in forwarding rules manager

- In Activator.java:
   + All instances of FRM must be IContainerListener
   + Pass the right cache name in order to have the save config event working in the cluster
- In ForwardingRulesManaerImpl.java:
   + Add container check filtering in the IContainerListener methods
   + In updateFlowsContainerFlow() first uninstall all current flows, then reinstall instead
     of interleave remove/add which could cause conflict failures during installation phase
     as the new entries could conflict with existing old container flow merged flows present
     on the netwrok node
   + minor logs and style changes
- In FlowEntryInstall.java:
   + Fixed a bug where container flow merging was altering the original flow entry

Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Added support to generate interfaces from Choices and Cases."

Merge "Add help menu"

Merge "HA sync for samples simpleforwarding"

Merge "Restoring basic cache syncing for switch manager Signed-off-by: Pramila Singh <pramisin@cisco.com>"

Merge "Added annotations to Latency for northbound usage."

Added support to generate interfaces from Choices and Cases.

Added implementation to support generation of generated types from Choice and Case schema nodes from yang models into BindingGeneratorImpl;
Added test case and test files for test of generation of Generated Types;

Fixed bug in GeneratorUtil when imports were generated wrongly if the name of type was same as the name of interface/class.

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Cache Sync for HostTracker

Signed-off-by: Maurice Qureshi <maquresh@cisco.com>

Restoring basic cache syncing for switch manager
Signed-off-by: Pramila Singh <pramisin@cisco.com>

When containers are present, static flows add/removal/toggling should be blocked on default container

    - In FRM have the static flow APIs call the [install/uninstall/modify]FlowEntry() API
      instead of the lower level [add/remove/modify]Entry() functions which do not perform
      the container mode check

Change-Id: I8da638fcc36726f8f2dfe0b6733b49614329c7ab
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "On container removal, all container flows should be uninstalled"

HA sync for samples simpleforwarding

Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

Add help menu

Hidden for now, each modal contains help option.

Signed-off-by: Andrew Kim <andrekim@cisco.com>

Cannot install flow with Flood action

- Fixed validation check in FlowConfig
Signed-off-by: Alessandro Boch <aboch@cisco.com>

On container removal, all container flows should be uninstalled

- Have FRM uninstall all the flows on bundle stop

Signed-off-by: Alessandro Boch <aboch@cisco.com>

SwitchManager incorrectly treats all ports as span ports  and adds them in the spanNodeConnectors.

Change-Id: I49c2a9c4d583b3aa86f8de8d567f390c721d65ff
Signed-off-by: Chi-Vien Ly <chivly@cisco.com>

Refactored parsing of YANG uses statement.

Uses statement now add nodes from referenced grouping to context where uses is defined. Added GroupingMember interface as marker interface for nodes defined in grouping.
Fixed parsing of config statement: when config is not specified, the default is same as parent schema node. If top node does not specify config, default is true.
Added ConfigNode as marker interface for nodes which can contains 'config' statement.
Added AbstractSchemaNodeBuilder as base class for builders of SchemaNode nodes.
Updated tests.

Change-Id: Ibabcf590608bdf482258826fa250692507a71c01
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Added following mapping:
from:
- subelement >>PATTERN<< of YANG build-in type string
to:
- constant list string >>PATTERN_CONSTANTS<< which contains list of regular expressions specified in >>PATTENR<<
- member class attribute >>patterns<< which is list of Pattern objects.

Change-Id: I47ec9f4a5cd3e7eef85b78189a3788dd2f9e007f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Added annotations to Latency for northbound usage.

Change-Id: Ib5948b3e6a4a5a45863f73c405cb652eba0b5ea7
Signed-off-by: patrichu <patrichu@cisco.com>

Merge "Added StatusCode to Response.Status Mapping"

Merge "HA - Cache sync for forwarding.staticrouting"

Refactor ForwardingRulesmanager

- Refactor flow entries database in order to remove synchronized methods which hit performance and
  to better accomodate cluster cache syncing:
  - Installed entries as a flat concurrent map of FlowInstallEntry key/elements
  - Modified FlowEntry hashCode function to take into account only the flow parameters which uniquely identify
    a flow entry: node, match and priority. Modified FlowEntryInstall hashCode function to only account install
    FlowEntry hash code.
  - Added a per node and per group index databases for efficiently access node or group flow entries in the flat map
  - Fixed bugs in MatchField hashcode (did not account MAC addresses), added Junit test for hashcode in Match,
    FlowEntry and FlowEntryInstall
- Have flow entries parameter classes implement Serializable so that FRM flow DB is synced across cluster cntroller nodes
- Added api to remove all flows part of a group, uninstallFlowEntryGroup()
- Added a event handler thread in FRM so that FRM does not hog switch handler thread on southbound events processing
- Changed the installation of startup configured static flows from synchronous to asynchronous flow install
- Modified FlowConfig.isValid() to return a status object, changed test code accordingly
- Fixed issue where internal generated static flows (the ones for proactive forwarding switches) were getting removed on container creation
- Fixed Flows GUI which was not showing static flow state correctly
- Minor coding style changes
- Changes tested with 2K static flows on two software switches with a custer of two controllers

Change-Id: Ic4c0167094988c0ebd44763e45541fe728d95ead
Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Bumped version of YANG tools to 0.5.3-SNAPSHOT"

Merge "Fixed bug in GeneratedPropertyBuilderImpl."

Fixed bug in GeneratedPropertyBuilderImpl.

Default value for GeneratedProperty is set to true;
Added extends of AbstractBaseType for EnumerationBuilderImpl, AnnotationTypeBuilderImpl, AbstractGeneratedTypeBuilder and AbstractGeneratedType;

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Bumped version of YANG tools to 0.5.3-SNAPSHOT

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Added StatusCode to Response.Status Mapping

Signed-off-by: Pramila Singh <pramisin@cisco.com>

Topology discovery is broken in Active/Active controllers

    ISSUE: Edges which endpoints are managed by different controllers cannot be discovered
           This happens because Discovery discards LLDP frames coming from non-local node connectors
    CHANGES:
    - in processDiscoveryPacket():
      + do not discard LLDP frames coming in from non-local node connectors
      + after discovering an edge, put it in the timeout map (pendingMap) keyed by the incoming port (tail node connector)
    - in doDiscovery():
      + do not add local node connectors to the timeout map (pendingMap)
        This map now contains the time (ticks) elapsed since last LLDP frame was received on the respective node connector.
    - Some style and minor static analysis fix changes

Signed-off-by: Alessandro Boch <aboch@cisco.com>

Merge "Performance improvements:"

HA - Cache sync for forwarding.staticrouting

Signed-off-by: Diti Bhatia <dibhatia@cisco.com>

Merge "Added support for parsing yang models with already resolved context."

Merge "Added YANG models for base concepts in the controller"

Added support for parsing yang models with already resolved context.

Added rebuild method to AugmentationTargetBuilder interface to support augmentation of resolved context.
Refactored YangParserImpl to improve readability, internal utility methods moved to ParserUtils class.
Added test to check parsing with context.
Added YangErrorListener to redirect antlr4 error messages from standard error output to logger.
Added more javadocs.

Change-Id: I838646cc4b3593a03420c1b578ee39c043f89e3d
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Added YANG models for base concepts in the controller

  - Added model parent project and model-ietf parent project
  - Added ietf-inet-types and ietf-yang-types YANG modules
    to generate base types defined in YANG
  - Added prototype of topology model in YANG
  - Updated maven sal api gen plugin tu support loading YANG files
    from dependencies.

Change-Id: Id70ef8afd02fbe9d4da5fa844cebe8cb80c3725c
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Performance improvements:

Solution: Use LinkedBlockingQueue with fixed capacity. The MAXQUEUESIZE is now set to 50,000. With the change, the system become stable.

Solution: Implemented more efficient way to compute header checksum. As a result, the throughout has more than doubled.See test results below. Used Cbench for testing.

Before:
RESULT: 16 switches 9 tests min/max/avg/stdev =
9598.35/10395.48/10193.23/225.24 responses/s

After:
RESULT: 16 switches 9 tests min/max/avg/stdev =
28767.44/32073.92/30335.74/999.70 responses/s

Solution: Transmit messages in a tight while loop until the Tx queue is empty.

Signed-off-by: Jason Ye <yisye@cisco.com>

Merge "Bug #25: Installing/removing flows with ".""

Bug #25: Installing/removing flows with "."

Fix for bug #25:
Cannot remove or install flows that have a "."
in their name
http://bugs.opendaylight.org/show_bug.cgi?id=25

By default @RequestMapping is parsing for file
extension types, so anything after the "." gets
lost in the flow name.  This overrides that
behavior so the whole name in "a.b" is used.

Change-Id: I4aeba037aa34e3b61190c91cf43e599969fe5106
Signed-off-by: Kalvin Hom <kahom@cisco.com>

Merge "Host updates for Topology"

UI Fix: device popup not appearing

Change-Id: I8092201c7853823b87b6e98386c048aa238c7b54
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Host updates for Topology

new HostTracker will now properly update
topologyManager when hosts get added/removed.
UI's diagram will now show the hosts.

Change-Id: Ia7b4b9c97fc979fec5cfe147c050c303c06a0add
Signed-off-by: Kalvin Hom <kahom@cisco.com>

Merge "HostTracker StaticHost changes"

Merge "Extended binding-model-api to support of Enclosed Generated Types and TOs."

Merge "Fix container authorization - front end"

Extended binding-model-api to support of Enclosed Generated Types and TOs.

Added javadocs for whole binding-model-api project (including builders);
Refactored model structure for MethodSignature - added TypeMember interface which extracts common functionality for methods and properties.
MethodSignature and GeneratedProperty now extends TypeMember.
Added TypeMemberBuilder interface.

In Binding-generator-util project Refactored whole Building mechanism - removed code duplicities and added more abstraction layeres for abstract builders.
Automaticly modified all dependant project java files that uses binding-model-api.
Added isAbstract flag method into GeneratedType interface and setAbstract method into GeneratedTypeBuilder to notify if generated type (class) is declared as abstract.
Added isAbstract flag method into MethodSignature interface and setAbstract method into MethodSignatureBuilder to notify if generated method is declared as abstract.
Fixed bug (bad typecast) when resolving Identityref type definition in TypeProviderImpl in binding-generator-impl.

Added Support to generate Bits types - JG.

Change-Id: I983cdad79c8779940e75937f97ba0575e753830e
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Add Packet code for vlan tagged ethernet frames
also Fix bug in BitBufferHelper.java

Change-Id: I64d5787a44772d1c93ddb3c6fbc58eba55e07160

Signed-off-by: Tetsuhiro Sato <tetsusat@cisco.com>

Ensuring that SET_DL_* action with openflowj only uses OFP_ETH_ALEN
bytes, just in case SAL passes more than that.

Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Fix container authorization - front end

This complements commit 168aaa8d2474bc82f1fac82521cf93e53e362df7

Change-Id: I40c32907050da81902065e5d73e0213f20a05252
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Added validation of range and length constraints. Fixed base range constraints of yang uint built-in types. Made rpc input and output statement optional. Changed formatting of files to conform new sun_coding_style template. Added more tests."

Merge "Fix collateral caused by split of UserManager in api and implementation"

HostTracker StaticHost changes

Added "staticHost" attribute for Device
so ported HostTracker can distinguish
between dynamically discovered hosts
and static hosts given through the API.

Implemented the add/remove/get static host
methods.

Change-Id: I1374b6c40919c6f31b48c8191bf2021620a9509d
Signed-off-by: Kalvin Hom <kahom@cisco.com>

Fix collateral caused by split of UserManager in api and implementation

    - Login into web UI is broken in presence of multiple controller because
      infinispan fails marshalling cache for ActiveUser and exception is thrown.
      This is because ActiveUser class is not visible, being part of user manage
      implementation, not being exported.
    - Proposed fix is to move ActiveUsers class in user manager api.
      Also moved respective Junit.

Signed-off-by: Alessandro Boch <aboch@cisco.com>

The reverse method in Match clones the current object and swaps the reversible match fields.
While doing so, it fails to reset the field in the cloned object if the corresponding reversible field is not present.

Change-Id: I0a2356ac9d4f0306f77afa2c3aa7908277c4c30e
Signed-off-by: Madhu Venugopal <vmadhu@cisco.com>

Update visual topology adjacency data structure

Add additional field to each adjacency. The source node port description
and the destination node port description.

Signed-off-by: Andrew Kim <andrekim@cisco.com>

Merge "Adding container authorization code in web bundles"

Fix CacheUpdateAware mechanism in cluster.services-implementation
bundle

- Add the logic for clustering.services_implementation bundle to track
all the ICacheUpdateAware services and to relate them to a container
or a global context. Make sure to be able to handle the service
registering and unregistering case. In case of
registration/deregistration of an ICacheUpdateAware check for the
"cacheNames" property and then use it for learning for what caches the
updates will be generated. Also make sure in phase of registration if
there is an attempt to override a registration for an existing cache
to avoid it and to raise an error message.
- Given the LDAP filter that allows to track for the global
ICacheUpdateAware services match also the per-container ones, make
sure that ClusterGlobalManager filter them out before reaching the
ClusterManagerCommon, in fact that would prevent to handle seamlessly
the case of cache name being the same in global context as well
per-container.
- Removed stale OSGi declarative service file in
clustering.services-implementation bundle.
- Created extensive integration test case for clustering.services to
make sure the logic is correct and automatically tested.
- Added two new ServiceHelper methods that allow to register and OSGi
service and to get back a ServiceRegistration, extremely useful in
integration tests to test difference between when a service is present
and when it's gone.
- Added logback.xml for the unit tests of
clustering.services-implementation bundle to avoid to print out infos
while executing the unit test that would be useless
- Modified ClusteringServicesIT to use the versionAsInProject on all
the configured bundles, so to avoid too much manual sync process
between the versions in the POM and in the configuration

Change-Id: Id1ae2e22e2896df686a377fd3ae9f232f3545bca
Signed-off-by: Giovanni Meo <gmeo@cisco.com>