split it-utils: ovsdb-it-utils + netvirt-it-utils

Change-Id: I5b512b65c3502431f919028a6383178c4f2dd140
Signed-off-by: Josh <jhershbe@redhat.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Disable netvirt

Change-Id: I6255bd971af8dc7282e8361e3010dff4812655d8
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Switch from fig to docker-compose"

Merge "BUG-5291:Flows are not removed from control and compute nodes."

Merge "Test for NetvirtSFC config"

BUG-5291:Flows are not removed from control and compute nodes.

  * When the VM instance is deleted from control and compute nodes,
  * Found still flows are existed in table-40 and table-90 in L2 scenario.

Signed-off-by: hari.pr <hari.pr@hcl.com>
Change-Id: I6e0873e979cdbd8dc3037fe012477413faf95a92
(cherry picked from commit ad36780546ecbe1adbf9f081fca0f1eca7287713)

Test for NetvirtSFC config

Change-Id: I3fd13785ca51a55f8137679a68add283d3e3df5c
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 5651 - southbound-impl failed to find utils.yang-utils in Boron

Change-Id: I5b7ac318f701bf8d410103a5218a1c69931b57d2
Signed-off-by: Sam Hague <shague@redhat.com>

Switch from fig to docker-compose

docker-compose no longer supports fig.yml files, so finish the switch
completely.

Change-Id: I2faec3ebd04a129368a3c40f99ff7b0389c998eb
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Merge "OVS 2.5.1 docker image in fig.yml"

OVS 2.5.1 docker image in fig.yml

Change-Id: Iefab500c304c99742c5ecd0877404c8ebbb10efb
Signed-off-by: Josh <jhershbe@redhat.com>

Use stateless transaction commands

Changing the transaction command model to one where all the required
information is passed to the execute() method makes the commands much
simpler to convert to a DataTreeChangeListener-based model.

Change-Id: I7458ed91646a6f0848afda86f72cf003c9704466
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Merge "BUG-5648 - delete qos and queues from udpates"

Split listeners from data processors

Listening for changes is different from processing them, so separate
the two concerns. This should make the data processors easier to
test.

Change-Id: I7a385b13c37ac2d02f12799042fc956084bd3670
Signed-off-by: Stephen Kitt <skitt@redhat.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 5354 - getPortNumberFromNode is not correctly calculating the port number from the port name

Signed-off-by: Sam Hague <shague@redhat.com>
Change-Id: If1844e95560b0c2dee853b19e9e472b8fcab2915

Bug 4996 - Wrong flows when using SFC coexistence

Signed-off-by: Sam Hague <shague@redhat.com>

BUG-5648 - delete qos and queues from udpates

Even when the update does not have updates to
the OpenVSwitch table.

See comments in Bug.

Change-Id: Ibf041e0e3315408112138b6e72a42782fac3e0a5
Signed-off-by: Josh <jhershbe@redhat.com>

Merge "reorder feature install for netvirtsfc"

reorder feature install for netvirtsfc

Change-Id: I7926afdd17fb720c1e008b1f105b4aeac3090d78
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Use PerClass to force a new container per test class"

Use PerClass to force a new container per test class

Change-Id: I72460583d501eeaa62a74a5ffb3bffaa633e995b
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Fixed NPE thrown while switch initiated connection disconnects from controller"

Fixed NPE thrown while switch initiated connection disconnects from controller

Change-Id: Ic9cd502729ab9fa4f67e8937e47bb57efdc6db9e
Signed-off-by: Anil Vishnoi <vishnoianil@gmail.com>

Fixes for LibraryIT timing out

Something recently changed in the karaf builds such that
it is causing the five core karaf bundles to only go to
an installed state. The LibraryIT tests will not run unless
they see all bundles active, so the installed state bundles
cause the test to timeout.

Reworked the tests to not use the bundle states and to use what all
the other tests in OBSDB use which is to wait until the config is up.
Added these methods to the abstract test class so that it could be
shared across the five differetn library IT sets.

Also cleaned up a bunchof System.Out.println's and Assert's.

Change-Id: Iddd31eede1de1c5f3cde88bb1c3f7c96a5489051
Signed-off-by: Sam Hague <shague@redhat.com>

Add IT for netvirt neutron

Change-Id: Id2846d3156562cdda0216c6b3685365ae7902b85
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 5221 - passive connection not reconnected if ovs service is restarted

Change-Id: I830aeeed4ba7e51adb0ad952c11fd1603d207b1b
Signed-off-by: Anil Vishnoi <vishnoianil@gmail.com>

Merge "it-utils should be only included for IT"

it-utils should be only included for IT

The it-utils bundle was being included with the odl-ovsdb-openstack
feature. When the feature was installed karaf would error out
looking for org.junit - which is a dependency for it-utils since
that is a test bundle.

Fix: Create a IT feature and include the bundle there and use
that feature for the IT test.

Change-Id: I4fc0395ca177d98b8433857b384cddbc033057fb
Signed-off-by: Sam Hague <shague@redhat.com>

Skip IT tests for Autoattach CRUD for supported schema

- will be uncommented when CRUD is supported for AA table in ovs

Change-Id: Iaa9d3e518f207a609a8da10dc6ffea5c301971eb
Signed-off-by: Rashmi Pujar <rpujar@inocybe.com>

Merge "Added conntrack matches and Refactored code"

Added conntrack matches and Refactored code

1)Added conntrack match for invalid and related packets.
2)Refactored IngressAclService and EgressAclService.

Change-Id: I03e94f56a6fbad5d85fcbec5b8ace2dc47a9b2cf
Signed-off-by: Aswin Suryanarayanan <aswinsuryan@gmail.com>

BUG-5456:DHCP port ARP flows not removed in compute node.

  * When the last VM instance belongs to the network is deleted from compute node,
  * We are checking the arp needed flag for the particular node
  * based on the flag value deleting last instance and
  * DHCP arp entries from the the compute node.

Change-Id: I351b5e4e6d49fbe73c7c8d5f5c16961e1a3d2c2c
Signed-off-by: balakrishnan <balakrishnan.ka@hcl.com>

Refactor IT code for re-use...

..and to solve race condition in NetvirtIT

1. NotifyingDataChangeListener moved into mdsal-utils
2. NodeInfo moved into new it-utils. The original
thought was to place this in southbound-utils but it
has some dependencies on net-virt code. Instead,
create it-utils which since it is designated for IT
can really depend on everything.
3. Created ItUtils class. Eventually this could and
should hold more generic IT functions, e.g.,
validateFlow, etc. There is more to do here but wanted
to get this code review rolling. This can be just phase
one.

Change-Id: I23645bfbe54762516b182446a93577ee0033e828
Signed-off-by: Josh <jhershbe@redhat.com>

BUG 5549: HWVTEP exception when connecting to older devices

Add a schema check for Tunnel table and columns.

Change-Id: I76a865589a1e685915f15fdf4acd859048cf4f02
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Merge "Add IT test for checking earlier schema versions for autoattach"

Add IT test for checking earlier schema versions for autoattach

Change-Id: I04c2b24e8a8f0b0f39b7dc356cd1bd12a341cf45
Signed-off-by: Rashmi Pujar <rpujar@inocybe.com>

Remove skip install for ovsdb karaf

It appears net-virt-it requires the ovsdb karaf bundle to be installed.

Change-Id: I515aef9f464c40c1c82b01e4e2cae0c283bb408c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "odl-netvirt feature fixes."

odl-netvirt feature fixes.

onSessionInitiated was not getting called for the neutron or hwgw
renderers.  Added config dependencies for each.  Also needed another
change due to the "netvirt-neutron" module name change.

These fixes were worked out jointly with Victor Pickard.

Change-Id: Idb3c6a5cbb1cc728a4baf680f69f15df63a08aac
Signed-off-by: Andre Fredette <afredette@redhat.com>

Remove skip install for library karaf

Missed the library-it in my last patch to fix this.

Change-Id: I2a32cda2644331df592416b0770383b9edd584fb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove skip install for hwvtepsouthbound and southbound karaf

Not sure why the ovsdb-verify job didn't catch this but we do need to
at least install the karaf distro after all for integrationtests that
need them. Deploy is still unnecessary.

Change-Id: If9fe6346c351a1bd4d875848240129da253535cc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Bug 5542 - Southbound plugin doesn't allow controller initiated re-connection"

Merge "Changes for netvirt neutron renderer yang model."

Merge "Do not install or deploy the karaf artifact"

Changes for netvirt neutron renderer yang model.

Change-Id: I92a4bba37a4c5b63a5ce1311654d27a82bff7210
Signed-off-by: Victor Pickard <vpickard@redhat.com>

Do not install or deploy the karaf artifact

The karaf artifact is only used for testing. It does not need to be
released to the world.

Change-Id: Ic7034bd79f7b2ddace82f7f114070f83f9b5a66f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bug 5542 - Southbound plugin doesn't allow controller initiated
re-connection

HWVTEP fix based off similar fix in Southbound plugin
SB fix: https://git.opendaylight.org/gerrit/#/c/36278/

Change-Id: Iffab3b9d883bd0f4fd973d398b4e3b8c9dafd52d
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

BUG 5514: McastMac entries not added correctly

1. Use uuid as match criteria when updating mac table entries.
2. Add logical-switch-ref as key to mac entries in yang

Change-Id: I4357f1362648b6ce72e5825ad398d0eb166f91e0
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Add a commons-net bundle

net-virt depends on commons-net, so bundle it explicitly in the
relevant features instead of relying on neutron to provide it for
us. (This avoids errors when ovsdb builds with a newer version than
neutron.)

Change-Id: Ifd4b7909b44a824f7ebb0347753502c9e509c96e
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Merge "Use controller.mdsal.version when appropriate"

Bug 5542 - Southbound plugin doesn't allow controller initiated re-connection

Change-Id: I90992a3132a5b85ff5bb115f562c9bc5989f277a
Signed-off-by: Anil Vishnoi <vishnoianil@gmail.com>

Use controller.mdsal.version when appropriate

Use the property controller.mdsal.version when looking for mdsal
artifacts from org.opendaylight.controller.

Otherwise, it's confusing since mdsal.version actually referrs to
artifacts from org.opendaylight.mdsal.

Change-Id: If95f835e491bd6f1cb0a21f1f7cc72bb06ef2cb2
Signed-off-by: Mike Kolesnik <mkolesni@redhat.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Bug 5435 - Arp flows are not getting installed properly in compute nodes"

Merge "Re-enable SingleFeatureTest"

Re-enable SingleFeatureTest

For SingleFeatureTest to run, features modules need to specify
"<packaging>jar</packaging>" (even though they don't produce a JAR we
care about).

Change-Id: I9b1b73aff4a6e30e2fa2389b6da0525c5e8d87d6
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Bug 5435 - Arp flows are not getting installed properly in compute nodes

Do not clean router interface ARP flows even if the
network segmentation does not exists in the given node.

Change-Id: I6de68c6b2e2d34d7f982eca74dfc73d42d26a5df
Signed-off-by: oshvartz <oshvartz@redhat.com>

Scripts to pretty print ovs flows and odl logs

Change-Id: If002fef89ed257057b9832227203c2d9e6dd3655
Signed-off-by: Josh <jhershbe@redhat.com>

Undo key in Trunks to fix IT test

Change-Id: Ida7177ecb2b72c21e555e182db016d83ed79307e
Signed-off-by: Josh <jhershbe@redhat.com>

Merge "Fix vagrant up by adding libssl-dev package to mininet puppet manifest"

BUG-5507: ignore schema-related AutoAttach errors

When initialising OvsdbAutoAttachedRemovedCommand and
OvsdbAutoAttachUpdateCommand, schemas without support for autoattach
cause IllegalArgumentException to be thrown. This is in all likelihood
the only scenario which can lead to this, so for now ignore the
exceptions.

A proper fix would involve checking the schema as done in TyperUtils.
Once this is done these constructors will be updated to use that
instead of ignoring IllegalArgumentException.

Change-Id: Idd284ab8acdc0886ef11dae6ecfb410e487ca312
Signed-off-by: Stephen Kitt <skitt@redhat.com>

OVSDB library: Close conneciton when peer is down

In current implementation connection is not closed when peer is down
before it has chance to send TCP FIN packet. We have seen this issue
when peer is power off or crashed. With this fix, OVSDB server will
get IdleState.READER_IDLE event and send echo message to peer when
no channel read is performed for 60 seconds. OVSDB server will also
receive ReadTimeoutException and close the connection after 600 seconds.

Bug: 5506
Change-Id: I602b2ba3d34bc5e09546fe4e0584d8d0db42867e
Signed-off-by: Hsin-Yi Shen <syshen66@gmail.com>

Fix vagrant up by adding libssl-dev package to mininet puppet manifest

Bug: 5505
Change-Id: I0409b33e27546515027eec7c883e309a8a09fb27
Signed-off-by: Frederick F. Kautz IV <fkautz@redhat.com>

Merge "BUG-4417 Program tunnel flows on new Neutron nodes"

BUG-4417 Program tunnel flows on new Neutron nodes

Here's how the fix works.

1) In handleInterfaceUpdate, when a bridge comes in
that does not have any tap ports on it, we remember
that as a "new node"

2) When a tap port comes in for that new node we
trigger interfaceUpdates to fill in the missing
tunnel flows from *other* ports to this new node -
ingress and egress.

Change-Id: I872e875f7a1f254f0bd14b7da4ed572ee7e40b9b
Signed-off-by: Josh <jhershbe@redhat.com>

Merge "Integration tests for AutoAttach Table"

Merge "Bug 5174: Support for AutoAttach Table in OVSDB"

Integration tests for AutoAttach Table

- IT test for library/schema
- IT for southbound

Change-Id: I5e6d665aba7bc2c20fcf264d1f06ed62070630e0
Signed-off-by: Rashmi Pujar <rpujar@inocybe.com>

Bug 5174: Support for AutoAttach Table in OVSDB

Change-Id: I325f58517caa66079de26c70d2818770968ef3bf
Signed-off-by: Rashmi Pujar <rpujar@inocybe.com>

Bug 5480 - bfd not supported by SB plugin

Schema definition for it is present in library but definition in
ovsdb.yang and relevant code is missing.

This fix adds yang model and related code for bfd cofiguration and status.

Change-Id: I171478949079a4c39d8de9f0f7fb2bfcfb53e8b5
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Add uuid for mac-entries, improved logging

1. Store and use uuid for entries in mac-tables
2. Fix and improve logging for easier troubleshooting
3. A workaround in PhysicalSwitchUpdate

Change-Id: I6da68e59bcacdeef43a3e353f934bd8097a44253
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Net-virt is not checking if the master of the net-virt-application is
elected at the clustering level or not. Because of this it can end up in a situation
where candidates are registered but owner is not elected and all the instances
gets false when they check for the owner. This patch fixes the issue, where
it waits till owner is selected

Change-Id: I2c720aeac44e4252091952383fe3bb4ed9bed97b
Signed-off-by: Anil Vishnoi <vishnoianil@gmail.com>

Merge "Fix namespace mismatch between hwgw.yang and default-config.xml."

Merge "Initial NetVirt Neutron renderer."

Merge "BUG 5477: CandidateAlreadyRegisteredException in hwvtep cluster setup"

Merge "Use a utility function for key-value to map conversions"

BUG 5477: CandidateAlreadyRegisteredException in hwvtep cluster setup

Hwvtep uses DTCN and gets the updated object instead of just delta. So any
updates include connectionInfo which trigger connection manager on
non-owner nodes to wrongly attempt candidate registration.

Change-Id: Id7cf4a0ba7c3f52201381994bad01cb73cda3123
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Fix namespace mismatch between hwgw.yang and default-config.xml.

Change-Id: I29ed6ce9a25b60ace4b48502a0558094a2b53743
Signed-off-by: Andre Fredette <afredette@redhat.com>

Initial NetVirt Neutron renderer.

Change-Id: Iba4827b733d68d8c15148a61583a75d3ed9cb3a1
Signed-off-by: Andre Fredette <afredette@redhat.com>

Use a utility function for key-value to map conversions

YangUtils::convertKeyValueListToMap() reproduces the behaviour
expected when converting a list of YANG key values to a map: it checks
that all the keys and values are non-null, and converts them to
strings using the appropriate methods in each YANG type.

This patch can't be back-ported to Beryllium since it uses Java 8
constructs.

Change-Id: Iaeb751ca552caf6b8f5a6d5a6e506e5d2aa4e63f
Signed-off-by: Stephen Kitt <skitt@redhat.com>

IT:SouthboundIT - add tests for Qos and Queue

Add a set of tests for Qos and Queue table support.

v2 - addressed comments:
     - Modified builder usage in TestQos and TestQueue
     - Enhanced NotifyingDataChangeListener to handle
       any instanceidentifier, updated Qos and Queue
       tests to use to wait for configuraiton and
       operational changes instead of doing timeouts.
       (prior usages in other tests were not modified.
       Other tests which utilize timeouts were not
       updated to use waits for changes.)

Change-Id: Id965c402032470b114178539c2690491eabe0171
Signed-off-by: Eric Multanen <eric.w.multanen@intel.com>
(cherry picked from commit ccc09694a98686163433e26fb2ef7db93a00a00b)

Bug 5466 - GatewayMacResolver Broken

"nIP.getIpAddress().getBytes()" returns a byte representation of the
IP address string (including periods).  What we really want is a byte
representation of the IP address represented by the string.

The solution is to use the InetAddress.getByName method that takes an
IP address string directly.

Change-Id: I39dcc1b8e97ab175e23d5aa2c9310581b87214ee
Signed-off-by: Andre Fredette <afredette@redhat.com>

Minor cleanups on ovsdb.yang

1. Replaced non-ascii character with ascii equivalents
2. Added a key to a list which is used as config per
   RFC 6020, section 7.8.2

Change-Id: I77cb7fbf91752b24044ceb06ec6ce0cffbcbac65
Signed-off-by: Josh <jhershbe@redhat.com>

Merge "Bug 5174: Added AutoAttach attributes"

BUG 5366: SB and hwvtep don't work together

This is a follow up patch for
https://git.opendaylight.org/gerrit/#/c/34913/

That patch didn't seem to fully fix the issue. Refer bugzilla for more
details.

Change-Id: Ia746fb2a15207d386978d6c6515cc34e336328cc
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Use InetAddresses to instantiate IPv4 addresses

Unlike .getByName(), these do not trigger resolver. The IPv6 version
unmasks mapped addresses, hence it is not used here.

Change-Id: I5164f28cab29a4fec624d906fa198ffa21dd0e87
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use IetfInetUtil for IPv4 address creation

Optimized version for instantiating a IpAddress from InetAddress. There
is also a IPv6 version of this, but that produces differently-formatted
addresses and break strict backwards compatibility.

Change-Id: I40d2204b5709e5fa6fe2b98af86a893a07b36862
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not duplicate MacAddress objects

MacAddress is an immutable object, hence it does not make sense to
duplicate it. Same is true for IpvXPrefix.

Change-Id: Ic3e4ec8cc66e90ba13e93d47630d104d2188f738
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Initial Draft of NetVirt Yang"

Merge "BUG 5399: HWVTEP Tunnels not added to OperDS"

Bug 5392: BFD Params not pushed to switch

Configuring HwVTEP Tunnel Table BFD Parameters from northbound is not
persisted on the switch. BFD params were added to yang but code to push DS
changes to switch was still TODO. This change adds the code for it.

Change-Id: I3837966d5b3385b0c16feec9fc40a7cc221fa380
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

BUG 5399: HWVTEP Tunnels not added to OperDS

Populating tunnels list in physical switch table is not updating topology
operational DS. PhysicalSwitchUpdate.setTunnels() is making a wrong check for
isEmpty() to determine if data needs to be added to data store or not. It should be !isEmpty()

Change-Id: Iec4f773210fb07d019299558fb63f949b05788a7
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Merge "BUG-5404 Dangling Distributed ARP flows for DHCP"

BUG-5404 Dangling Distributed ARP flows for DHCP

Neutron modifies the port before deleting it,
removing the IP address. As such, when it is
deleted the flow can't be deleted since the IP
address is part of the flow's match. To fix
this we cache port->IP mappings for DHCP ports.

Change-Id: I6caa75887de0193256b14d88ef1fd5540f861e34
Signed-off-by: Josh <jhershbe@redhat.com>

Bug 5353: Missing Floating IP rules after VM restart

A SouthboundEvent is generated when the VM goes down
which triggers the flows in table:30 to be removed.
New code was added to NeutronL3Adapter to update the floating IP
rules when handleNeutronPortEvent is triggered with update action.

Change-Id: Ic2a5620b1e4c65f1d0d31c666730da46101c5e87
Signed-off-by: oshvartz <oshvartz@redhat.com>

Initial Draft of NetVirt Yang

This model is based on the following documents:
https://goo.gl/dpch7X
https://goo.gl/ygd7aN

This is intended to be a starting point for the L2 portions
of the NetVirt design.

Change-Id: I5eabccb4a38fa7988886217b0ef507a2e29d2e3c
Signed-off-by: Andre Fredette <afredette@redhat.com>

Pull in PowerMock from odlparent

odlparent now manages dependencies for PowerMock, in sync with
Mockito. Rely on that instead of defining our own versions; this also
upgrades all our uses to 1.6.4.

Change-Id: Ie049cff9d963dfe51d715b17da3c63f9cd26d570
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Unit test file for DistributedArpService.

Change-Id: I4df82921793f58faa2edd0ac0a2dad43fdfc146e
Signed-off-by: karthik_j <karthik_j@hcl.com>
(cherry picked from commit 9f8d03d35c01fbba8d59134714aa5439e1a3ba91)

Change-Id: I4df82921793f58faa2edd0ac0a2dad43fdfc146e
Signed-off-by: karthik_j <karthik_j@hcl.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "BUG-5006: rework SouthboundProviderTest, clean up"

Merge "Use registerAbstractHandlerService consistently"

Merge "Bug 5368 - NeutronL3Adapter ipv6 work around for mac address resolver"