Bug 7601 - Cleanup Elan instances when a network is deleted

Fix npe for getNetworkType() being null

Change-Id: I0e7ede43cdd7553b4525f5921b487f7e17c25b52
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 7436: Handle VpnInterfaces of VpnInstance

The problem:
VpnOpDataSyncer.waitForVpnDataReady is using java wait method
that does not return the thread to the pool while waiting.
If there are more compute nodes then CPU threads, all threads
in DjC will wait and there will be not availabe thread to
execute the code which waitForVpnDataReady waits for.

The solution:
VpnInterfaceManager holds all vpn interfaces that cannot be processed till the
relevant vpn instance in ready.
Updated the synchronized lock blocks to user vpnInstanceName instead of this.

Added cleanup of removed interface

Change-Id: I66da144356e17e778f1d04e5720befbece565fd5
Signed-off-by: Tomer <tomer.pearl@hpe.com>
Signed-off-by: Koby Aizer <koby.aizer@hpe.com>

Bug 7536: Static routes not handled when ivpnlink becomes active

 + Corner test case found that if the InterVpnLink is created when
   there's no available DPN to be installed in, the InterVpnLink is
   correctly created in ERROR state. Next step is to add some static
   routes to the corresponding Neutron Router. Third step is to connect
   some OVS node to the controller. At this point, the InterVpnLink
   is correctly installed on that DPN and the State is correctly set
   to ACTIVE... but the Static routes are forgoten.

 + It may look big but it is mostly moving code from
   InterVpnLinkListener to InterVpnLinkService

Change-Id: I87018e6cba48146c12fbad0d506445931275977e
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>

Bug 7530 : ElanPacketInHandler mutexes are too coarse

Mutex for manipulating flows related to MAC was locking on
ELAN + MAC, when could lock ELAN + MAC + DPID. By locking
on the finer-grained mutex, we can support much bigger scale.
Problem occured in scale testing when 180 computes were
getting packet ins with the same MAC (External Network), and
every OVS was competing with all other OVSs for the lock of ELAN+MAC.

ElanPacketInHandler also updates a global data structure
of MACs that must be locked with the coarser mutex of
ELAN+MAC. This is why this patch splits the ElanPacketInHandler
into 2 jobs instead of one.

The transactions there also caused OptimisticLockException because
delete was called and submitted and then put was called and
submitted. This can't work due to the asynchronoush nature of
MD-SAL. There is no need in delete anyway if you call put, so
the delete was removed.

The 10 seconds protection was removed because it is unnecessary
as it already exists in the OVS with a learn rule.

The MAC migration code never worked because the condition could
ever be true there (it's a bug). I preserved the same behavior.

Fixed potential NPE in Etree code

Change-Id: I1aa038f9e0d271b94ffee6076654571b2e811d37
Signed-off-by: Guy Sela <guy.sela@hpe.com>
(cherry picked from commit a30c620a4d5d3f2c4bc63fff433e691f6501ebf9)

Bug 7533 : Fix for bind/unbind in DHCP service

- If the unbind is called from interface state listeners there could be
  chances of ending up in a race condition in service bind logic and hence
  the flow does not get removed.
- Moved the bind service call to interface config listener rather than state
  so that the service flows get programmed as soon as the interface is UP.

Change-Id: Iadd3743e47efed9f256612fe8bab7085d3de2d54
Signed-off-by: Kency Kurian <kency.kurian@ericsson.com>

Bug 7567: External subnet group is not updated with external gwmac

The external subnet group is not getting updated even though
the resolution for external gateway macaddress is successful.

The fix here is to make the the external subnet group programmer
to listen for Learned IP-MAC datastore which would really hold
the external-subnet-gateway-ip TO external-subnet-gateway-mac
mapping.

Also multiple external subnets can share the same subnet ip addresses
and so this patch fixes that too..

Change-Id: Id8c2ba8ace8dbeaf20ceb35d81f43a07e50c3a9f
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>

Bug 7528 : Don't learn the DMAC flows from other DPNs

When working with an elan of type VLAN or FLAT, we shouldn't
learn the known macs from other DPNs. Before calling
programRemoteDmacFlow, validate that the elan is not VLAN or FLAT.

Change-Id: Ib96546aff94bc18f830d72c1735c364f1a21156b
Signed-off-by: Guy Sela <guys.sela@hpe.com>

Bug 7525 - Inter-VPN link static/connected routes leaking not working

+ Enable static/connected routes in inter-VPN link creation.
+ Fixed some issues related to routes provisioned after the inter-VPN link.
  These issues were affecting the leaking of every kind of route.

Change-Id: Ibb73f86f163f6fe7adf4a26b81ab1ead93855561
Signed-off-by: Marcos López Samaniego <marcos.lopez.samaniego@ericsson.com>

Bug 7547 : Ping from DC-GW to invisible ip configured in VM is failing

Change-Id: Iba7869b3ccbaf3f5921c9f705628444aca630996
Signed-off-by: ehvkand <hanamantagoud.v.kandagal@ericsson.com>

Bug 7497 - NAPT rules missed for second DPN

Install the group using synced mdsal write to improve the timing.

Change-Id: I3270fa1f1bc3bbccf11d1b02befe76db7f70fcc2
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

Fix links to openstack images

Change-Id: Ic361aa3b2530f9770c1b2ad6ab27b2760c8d265e
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 7478 : SNAT traffic to use router GW MAC

Problem Statement :
Currently SNAT traffic uses VM MAC as source MAC instead of Router Gateway
MAC

Solution:
Changes has been done for SNAT traffic as source MAC address as Router Gateway MAC Address in
NAPT_OUTBOUND_TABLE(Table=46)

Change-Id: I1563cc9f04d8e479c9c1173644a168262b448d80
Signed-off-by: karthikeyan k <karthikeyan.k@altencalsoftlabs.com>
Signed-off-by: karthikeyan <karthikeyan.k@altencalsoftlabs.com>

Spec to setup SMAC on routed packets destined to virtual endpoints

Change-Id: I72a2c008464ac99d7bd2796fae2d89030ee3826c
Signed-off-by: Achuth Maniyedath <achuth.m@altencalsoftlabs.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Minor updates to openstack doc

Change-Id: I5097f2d911597c2c97b1564f62d0ba5a08538a5b
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 7405: IVpnLink routes not removed from BGP on cascade

 + When the InterVpnLink is removed, the routes that had been
   advertised to BGP are not withdrawn in consequence

Change-Id: I795d1ebef26428561eb7307e5a84efdc50343cb7
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>

BUG7318: ETREE ODL learning leaf MACS on wrong tag

Change-Id: I1d65f6d70054eb4d48e6c0b1d158e9104b0c92d4
Signed-off-by: David Goldberg <gdavid@hpe.com>

Bug 7520: Avoid creating auto-tunnels for VLAN tenant networks

Currently auto-tunnel code of Netvirt is creating a Transport zone with
vteps even for tenant VLAN networks. This patch updates the code to create
the TZ only if the network type is VxLAN.

Change-Id: Iceeac4dc2dda99a41860d29f5d6f635f964b1a69
Signed-off-by: Sridhar Gaddam <sgaddam@redhat.com>

BUG 7488: Autobridge overwrites DpnId if bridge already exists

Change-Id: I49fcc00b116af84609e7f0654072a26f51fa6400
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Bug-7363: Fix for Flows are overlapped when we add custom SG along with ANY rule.

  *Added reg match condition to avoid flow overlapping issue in other_protocols

Change-Id: Iea12c93a64b418a7e0028359ca54473bac76077b
Signed-off-by: VinothB <vinothb@hcl.com>

Use Developer Guide text in place of Documentation

Change-Id: I8ae9301af107f38d20ec0e0307d542eb5016335a
Signed-off-by: Sam Hague <shague@redhat.com>

Updates to NetVirt docs from some user feedback

Change-Id: I0f2ce58052d921813b1ae75530aa58eca4cd919d
Signed-off-by: Alon Kochba <alonko@hpe.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Add basic initial docs for new layout

Change-Id: Ib6588368370f349e6695faa463cd3c847b2921f9
Signed-off-by: Sam Hague <shague@redhat.com>

Update specs template

1. Removed TODO
2. Added useful links
3. Added Table of Contents

Change-Id: I95438e43e09cb16c047d5a4f90ad8473a7d0ebe1
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Initial layout for NetVirt docs migration

Adding placeholder doc indexes so that the docs project can link
tonetvirt.

Change-Id: Ieb7109217d6d05b31a7d3f287df65441ece83293
Signed-off-by: Sam Hague <shague@redhat.com>

Added Creative Commons attribution

As is found in the OpenStack templates.  E.g., [1]

[1] https://raw.githubusercontent.com/openstack/openstack-specs/master/template.rst

Note: I believe this is requrired, and will satisfy the copyright
question, but this should be verified.

Change-Id: I8534105578160c8d453712d2e7e92f78ec86f05f
Signed-off-by: Andre Fredette <afredette@redhat.com>

Update specs-template

1. Move instructions to comment to avoid getting generated in output.
2. Adds ODL Documentation Style guide to specs_template.

Change-Id: I7e61492be2e06a43ce4930f68a2cacce4465ab01
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Add link to specs

Change-Id: Idb31c16111eb6ce00554234bab7e104a5a996f5a
Signed-off-by: Sam Hague <shague@redhat.com>

Add template for design spec documents

Netvirt is going to use OpenStack style blueprint spec document
to capture and review any new feature coming in. This patch adds
a template to be used for any new feature's spec.

Change-Id: I76e6d08d6424ffbfbb2ed9a3aeffed5809981bee
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

BUG7339:EtreeLeafBG isn't updated with new remotes

Change-Id: I8d60dd51dc74828ac5b72d8eca66527d2aad029f
Signed-off-by: David Goldberg <gdavid@hpe.com>
(cherry picked from commit 2b1d8a9f553e5017f872ba4cd023031777ac9ac3)

Bug 7476: Configure Reachable Time in IPv6 Router Advt

Currently, ODL IPv6 Router does not specify the "Reachable Time" in the
Router Advts. So, Neighbor unreachability detection algorithm in the
hosts use the default value of REACHABLE_TIME (i.e., normally 30 seconds)
which is distributed with a random factor between MIN_RANDOM_FACTOR (.5)
and MAX_RANDOM_FACTOR (1.5).

In this patch, we configure "Reachable Time" to two minutes to reduce the
number of Neighbor Solicitation messages in the tenant network. In a future
patch, we can make this a configurable value.

Change-Id: Icd40d51d9ec9e34306c1d05fdaa7348fb25ad302
Signed-off-by: Sridhar Gaddam <sgaddam@redhat.com>
(cherry picked from commit 42c69470f168b949dbea5b24ce94e7907c0b3b2f)

Remove unnecessary page headings

Otherwise "Indices and tables" will appear in the list of documentation
on the main docs.opendaylight.org page.

Change-Id: Id2433e24c28e8d66dcf2be9a00c98567d61499da
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unneeded code from VpnUtil

- Use getOperativeDPNs() from NwUtil and remove same function
  from VpnUtil.
- Remove pickRandomDPNs() from VpnUtil.
- Remove buildDpnNode() from VpnUtil.

Change-Id: I75c6de1fa295b4b849625056759180bd358ba9b4
Signed-off-by: Alvaro Gonzalez ARROYO <alvaro.gonzalez.arroyo@ericsson.com>

Bug 7403 : getl3vpn RPC behavioural issues

Following issues are fixed wrt getL3VPN RPC:

1. When fetches all VPNs and none is present, incorrectly shows error. >>
should display success

2. When all VPNs are deleted after being created, and then the RPC is used
to fetch for all VPNs and none is present, shows success by processing
wrongly. >> logic needs to be hardened.

3. when all VPNs are fetched, vlan-provider implicit VPNs should not be
displayed.

4. When specific VPN is fetched, internal VPNs corresponding to routers
should not be displayed.

5. When specific VPN is fetched, vlan-provider implicit VPNs should not be
displayed.

Change-Id: Ic08bd2fb5b1558e036531e7613e881a42adfd9b1
Signed-off-by: Abhinav Gupta <abhinav.gupta@ericsson.com>

Bug 7355: Remove Vrf Entries in a single transaction

Make removeVrfEntries() and removeVrfEntriesByOrigin()
methods to remove Vrf entries in one single transaction
instead of several transactions, one per Vrf entry
to be removed.

Change-Id: I5408c100c17e2f61f41c1f0b754dd38f7b9917fa
Signed-off-by: Alvaro Gonzalez ARROYO <alvaro.gonzalez.arroyo@ericsson.com>

Bug 7406: The flows are overridden.

Problem:
The flows are overriddern when multiple router
connect with same external network, due to this
the ping was not succeed in first created router.

Use cases:
* Fix the override problem when connect multiple routers
  with same external network.
* The flows were properly create and delete
   the multiple VLAN external networks.
* The ping was success all the test cases
  for multiple VLAN external networks.

Change-Id: If521912e0a042fac066855c1e045af91c19bd7b6
Signed-off-by: vinoth <m.vinoth@hcl.com>

Bug 7393: Flows are not getting removed from table:20 and table:90

    * Fixed code for removing table#20 flows removal in DistributedArpService.
    * Added code for removing table#90 flows removal in SecurityServicesImpl.

Change-Id: I002a245b4cabda190e14eaaa30d7b8c0356056bf
Signed-off-by: hari.pr <hari.pr@hcl.com>

Add Docs for netvirt

This patch just initializes sphinx for netvirt.

Refer: https://git.opendaylight.org/gerrit/#/c/39142/

Change-Id: Idd3bd2c1a78e9e19d3a783758ab43d188d50f67f
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Bug 7496: Errors and exceptions handling

Add fixes of the following problems:
1) TransactionCommitFailedException{message=Data did not pass validation., ...
   router-to-vpn-mapping/routermapping does not exist. Cannot apply modification to its children.]]}
at org.opendaylight.genius.mdsalutil.MDSALUtil.syncDelete(MDSALUtil.java:571)
at org.opendaylight.netvirt.natservice.internal.RouterPortsListener.remove(RouterPortsListener.java:93)

2) Exception in thread "..." java.lang.NullPointerException
at org.opendaylight.netvirt.natservice.internal.ExternalNetworkGroupInstaller.installExtNetGroupEntries(ExternalNetworkGroupInstaller.java:79)

3) Exception in thread "..." java.lang.RuntimeException: java.lang.IllegalArgumentException: All keys must be specified for class
   org.opendaylight.yang.gen.v1.urn.opendaylight.netvirt.elan.rev150602.elan.dpn.interfaces.elan.dpn.interfaces.list.DpnInterfacesKey.
   Missing key is getDpId. Supplied key is DpnInterfacesKey []
at org.opendaylight.netvirt.elan.utils.ElanUtils.read(ElanUtils.java:299)
at org.opendaylight.netvirt.elan.utils.ElanUtils.getElanInterfaceInfoByElanDpn(ElanUtils.java:501)

4) Exception in thread "..." java.lang.NullPointerException
at org.opendaylight.netvirt.vpnmanager.VpnInterfaceManager.update(VpnInterfaceManager.java:1243)

5) ERROR | Port Info Config DS to set isFloatingIpDeleted flag as true failed with exception java.lang.IllegalArgumentException:
   All keys must be specified for class
   org.opendaylight.yang.gen.v1.urn.opendaylight.netvirt.natservice.rev160111.floating.ip.port.info.FloatingIpIdToPortMappingKey.
   Missing key is getFloatingIpId. Supplied key is FloatingIpIdToPortMappingKey []

6) Exception in thread "..." java.lang.NullPointerException
at org.opendaylight.netvirt.neutronvpn.NeutronvpnManager.removeL3Vpn(NeutronvpnManager.java:1486)

7) Exception in thread "..." java.lang.NullPointerException
at org.opendaylight.netvirt.natservice.internal.NatUtil.getSubnetIpAndPrefix(NatUtil.java:953)

Change-Id: I91053bc78623c68e530f705ee1795d964839df19
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>
(cherry picked from commit a85a20daa0342ba7c65f365132a245d3cf82656c)

Scalability of ServiceChainTag

Presently scftag is stored in 8 bits of metadata. Now we are using ovs
register so that 31 bits can be used.

Change-Id: I4debf8d0d649e789f67e2db9d24c146b5d005bd2
Signed-off-by: Ankit Tripathi <ank123it@gmail.com>

Bug 7447: Unexpected flows from T21 to T44 for FIP

The incorrect rules were installed due to not updated DS models

Change-Id: I80b3872c28bc560801e376a158710df70008a2e8
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

Bug 7358 - Inter-VPN traffic is drop when out_port == in_port

Set the in_port field to 0 in table 21 only in this scenario:
- port of type tunnel mpls AND for all BGP only routes

NOTE: This code is already in beryllium. Needed in boron/master.

Change-Id: I9afef768fb0a4c71d9fe4de6bff854aa8f9f7028
Signed-off-by: Marcos López Samaniego <marcos.lopez.samaniego@ericsson.com>

Bug 7382: NPE while getting the napt primary-switch-id

Change-Id: I4739695316afca25b0fbe154700000c7f68b3e1b
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

Bug 7229: Allow certain ICMPv6 NDP packets by default

This patch programs OVS flows to allow ICMPv6 egress packets (from VM POV)
of type 133(RS), 135(NS) and 136(NA). Prior to this patch, these packets
were going through the conntrack module (in stateful implementation) and
were getting dropped as there was an inconsistency in the ct_state between
kernel and user-space conntrack implementations. After discussing this issue
with OVS team, the recommendation was to bypass conntrack for the ND packets.

Conflicts:
vpnservice/aclservice/impl/src/test/java/org/opendaylight/netvirt/aclservice/tests/FlowEntryObjects.xtend
vpnservice/aclservice/impl/src/test/java/org/opendaylight/netvirt/aclservice/tests/FlowEntryObjectsBase.xtend
vpnservice/aclservice/impl/src/test/java/org/opendaylight/netvirt/aclservice/tests/FlowEntryObjectsStateless.xtend

Change-Id: I1a74046056bd683a71237c7d8ab8ab4606f29a96
Signed-off-by: Sridhar Gaddam <sgaddam@redhat.com>
(cherry picked from commit bc10bd5647b98589703958d324de1cffb98215c0)

Bug 7423: Clean unnecessary leaked flows and fibEntries

 + Method 'leakExtraRoutesToVpnEndpoint' had been deprecated by method
   'handleStaticRoutes' but hadn't been 'switched off', so we had
   similar code being executed twice.

Change-Id: I09a3b4e97c26137e8a4dbf593bea403f92428ae9
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>

Bug 7448 - External network recreation fails in newton nodl v2

Network delete in newton/networking_odl v2 resets some provider_attributes
prior to delete using a network-update.
This patch handles that update() by dealing with removing vpninterfaces on the external network.
For the case of network delete no new elements will be deleted as the physical network
is not configured

Change-Id: I4932610316c9445934334bb2211378b507b018f7
Signed-off-by: Tali <tali.ben-meir@hpe.com>
(cherry picked from commit 2f7afa46ba2849e31f1d84f094a61cc67c0e496b)

Bug 7340: overwritten rule in T28 for multi-tenant

Root cause: the key used in the model was including the
internal IP (which is common to the two VMs in the multi-tenanted
environment) instead of the floating IP which is unique.

Fix: build the flow key in the same way as the rule match

Change-Id: Id1b7d8c80f58e42609fa6e279dbca5f95f1639e6
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>
(cherry picked from commit 49181f61ca007d6cfd1b271e0d3040f97df2f981)

Bug: 7422 Resolve checkstyle errors

Fix checkstyle errors at multiple places

Change-Id: I94d424dd9ee773ba65f4c31e51642e3c800c873a
Signed-off-by: Janki <jchhatba@redhat.com>

BUG:7426 Adding elantag along with mac-address as key to synchronized block

Change-Id: I7d9e677ec071730233b925f9eec0652285cb42a2
Signed-off-by: epgoraj <p.govinda.rajulu@ericsson.com>

Bug 7444 : External routes are not getting populated

Description:
External routes are not getting populated in fib after recreating vpn and
associating to extnet as well as enable-snat true or false use cases

Solution:

Existing Behaviour:
======================
when disable the SNAT in neutron router, exiting implementation
will get the primary (NAPT) switch id from the DS. When re-enable the
SNAT existing code still it is fetching the primary (NAPT) switch id from
DS. Which leads to get the invalid value (zero) which was set during
disable SNAT.

Changed Behaviour:
====================
When re-enable the SNAT, it invokes the Update() code for re-election process for
getting primary (NAPT) switch id instead of directly querying to DS. Since
DS contains the Invalid (zero) Primary NAPT switch id.

Patch-Set 3: Changes:
==========================
Observed class cast exception when floatingIPHandler.cleanupFibEntries()
method. Changes has been done to declare this method in FloatingIPHandler
Interface to avoid this casting exception.

Change-Id: I8c5cf5fafc79f9933fedbbaad31d9c672696421e
Signed-off-by: karthikeyan <karthikeyan.k@altencalsoftlabs.com>
(cherry picked from commit 4131f6bb123d53712e91bd892e8af7f96b477f00)

Bug 7463: nexthop in leaked routes is wrongly set

 + It is being set as nexthop the String representation of
   the Ipv4Address object instead of the value of the Ipv4Address as
   a String

Change-Id: Ife91ac823709a80c88b8aacaa03451f2ecac8831
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>

Bug 6866 - missed NAPT rules for second router

Fix the race causing missed NAPT rules while the router creation.

Depends-On: https://git.opendaylight.org/gerrit/49420/

Change-Id: Ica0db89a5de8800090c7cdfc38a0bab2ad1bf12c
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>
(cherry picked from commit 1915fd2063b17a1a330e31fa97b3de0112eca3e1)

Bug 7142 - all VpnPortIpToPort entries are lost from ODL cache after
reboot.

As part of this fix we ensure that control path information mapping
a vpn to fixed-neutron-port (gleaned from openstack configuration by
the tenant) is persistently retained inside Config Datastore and so
it will be accessible immediately after ODL cluster reboot.

In addition to that we created a new Operational DS that will
hold discovered IPs from the cloud. In more detail, this review
encompasses:

1. Create a new LearntVpnVipToPort OPERATIONAL Datastore which
will contain discovered IP addresses via GARP/ARP responses.

2. The existing NeutronVpnPortIpToPort will be changed as a pure Config
only Datastore as it will store all Neutron Port and their IP and
MAC Addresses.  This datastore will continue to be used
for lookup during ARP resolution and SubnetRoute handling.

3. Decoupling of the mymac changes(subnetMac) from Arp cache feature.
Mymac changes would still be listening to the VpnPortipToPort DS.

4. The ArpNotificationHandler would now modify the LearntVpnVipToPort DS which
the ArpMonitoringHandler would listen to.

The feature which initiates periodic ARP-based location discovery of
non-neutron IPs from the controller brought in via the earlier review
here: https://git.opendaylight.org/gerrit/#/c/45410/

Co-Authored-By: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>
Change-Id: Ic96517f4a57fe547d42495274a74ec5aa32b7d9e
Signed-off-by: Gobinath <gobinath@ericsson.com>
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>
(cherry picked from commit 4c03872b35d29da2066e8924f8ffcf7337f6a599)

Bug 7321: ELAN Pseudo-port flows not installed on new DPNs

 + Stateful info about the Elan for cloud-sc was being stored in
   CONFIG but it was trying to read it from OPERATIONAL

 + I took the chance of migrating it from AbstractDataChangeListener
   to AsyncDataTreeChangeListener since the former is deprecated. This
   change seems to fix the problem and now the listener is getting the
   DCNs

Change-Id: Ib5b4fad79d7557a9a8d2805fe84f5c42087c51ad
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>
(cherry picked from commit 66245b390c32c179c8293377bcc94c74c0a479c7)

Bug 7439: Discard internal VPNs for InterVpnLink purposes

 + At InterVpnLink creation, the code must check if there is any
   router with a static route pointing to any of InterVpnLink
   endpoints. For each router, the VPN to which the router is
   attached must be retrieved. However, internal VPNs must be
   discarded here.

Change-Id: I9763bf5187fae41d21be1757b49534435ba35071
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>

Bug 7409 - Traffic Drop from NFip VM to FIP VM

Description : when an Non-FIP VM try to reaches FIP, the packet is
forwarded to the DPN1->DPN2 and DPN2(Primary-NAPT) has the SNAT flows.
After going though the SNAT flows, the packet will be sent back to
DPN1 via same vxvlan tunnel-port .

Since the packet entered DPN2 on Tunnel-port and again sent back to same
port(out_port == in_port), because of default OVS split-horizon behaviour
, the packet is dropped.

Changes done in NAPT_PFIB(47) table to add extra action
(load:0->NXM_OF_IN_PORT[]) which nullifes the in_port value thereby
disabling split-horizon-protection.

Change-Id: I7cf80527587114812af992e8c23f88c1164fc9f5
Signed-off-by: cgowdru <chetan.arakere@altencalsoftlabs.com>
(cherry picked from commit c508fb6cf9be5b01f33e3b92461ab31e916fc7c2)

subnet-op-data and port-op-data is empty after cluster reboot

Change-Id: If7e0b5d3109c53eb58505e69a389d15d2f7a6d1e
Signed-off-by: Suraj Ranjan <suraj.ranjan@ericsson.com>
(cherry picked from commit 3beb9903a1b344f90fb059ed2efad5691e790388)

Bug 7377, Bug 7383: handling unnecessary error log

* There is no need of quering ElanInterface from config DS since
its reference is already part of the method argument
* Due to faster addition/removal of elan interface, elan interface is deleted
when its queried from installEntriesForElanInterface which caused 7377.
Now this is solved by directly passing elanInterface without querying
config DS.
* potential fix 7383 if mac is already deleted in elan-mac container.
This might occur when same mac is learned again on VLAN provider port

Change-Id: I7ed776a3b9a679ee22427b6f13e5e1a9adce57aa
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>
(cherry picked from commit b4c8027e430521030b37cfde799f42b0228ba4dd)

Bug 7260: no rules in table 26 for default route

* the model of router gateway wasn't written to mdsal due to NPE
* fix the race cond when add router gateway port done after handling ext network for this router

Change-Id: Ide2e5d6bb8e90d1d13effb8456aeaed395c9675a
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

BUG 7359: duplicate local broadcast group backets

In a setup with more than two switches, when creating a network with one
port on each switch, sometimes the remote broadcast group has more than
one bucket directing to the local broadcast group.
because the list was initiated outside the for loop of the switches, the
local brodcast bucket was added to it more than once, hence the
duplication.

Change-Id: Ifa1decd5b238f45f97770e03eb10bd781c24cbfc
Signed-off-by: David Goldberg <gdavid@hpe.com>

Bumping versions by 0.0.1 for next dev cycle

Change-Id: I06dcd7290b953a98ef11f616cd4dbe8fdec419ab
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Bug 7368: VPN Engine unable to process external interfaces

The external network interfaces were not serviced by
VPNEngine due to an NPE that came in via review [1].

Here we fix that NPE and in addition to that
optimize code in VPNEngine to reduce MD-SAL reads.

[1] https://git.opendaylight.org/gerrit/#/c/48991

Change-Id: Ife0091b2bdd6674cc994aca084a9641e81a670ea
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>

Bug 7343 - NETVIRT Boron Autorelease Breaking

Change-Id: I296cf0590377361832af80772a05560e451c66d0
Signed-off-by: Sam Hague <shague@redhat.com>

Cleanup ArpNotificationHandler code

 * Remove code duplication between ArpRequestReceived & ArpResponseReceived
 * Remove unused functions
 * Remove unused imports
 * Remove unused deps

Change-Id: Ic2122e7610a42c20ba2ac8c58c991f0a2f166d57
Signed-off-by: Koby Aizer <koby.aizer@hpe.com>

Bug 7077 - NAPT inbound rules never Expire

OFP do not send flow removed notifications via SwitchFlowRemoved but FlowRemoved

Change-Id: I9499412c1d6121d57248de68ec95c75236219ca0
Signed-off-by: Tali <tali.ben-meir@hpe.com>

Bug 7333: Fix for Arp flows were not deleted for DHCP port in Control node.

    * Problem: when network is removed, arp flows were not deleted for DHCP port in control node.
    * Fix: fixed Ips for Dhcp port has been retrieved from local cache and used for deletion.

Change-Id: I6617a9a29f6be5e77d0362f112e38cb74c08df48
Signed-off-by: hari.pr <hari.pr@hcl.com>

Bug 7319: thread.sleep in group installation

Full BC group installation delay is at least 300ms times number of DPNS in the ELAN.
This has devastating effects in scale setups, which is described in the bug ticket.

Moving the sleep outside of the loop.

Change-Id: I6d0f20a7b9c196fc7118b8d579c53013d4f5cce6
Signed-off-by: Tomer <tomer.pearl@hpe.com>

BUG 7305: DHCP fails for Dual stack ports

For VM ports configured as dual-stack i.e. having both IPv6 and Ipv4
addresses, DHCP Service fails to resolve DHCP.

Issue is with current code that assumes IPv4 only and returns the first
fixed-ip. If IPv6 is the first IP, it doesn't work. Fix is to find and use
the first IPv4 address.

Change-Id: I3a9baa6f3e8fd675c07423050ff44630417cf414
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

BUG 7312: modify param reference of AclNodeListener

    delete not exist param of lportTag
    add descriptions of param dispatcherTableId tableId

Change-Id: I502d56c7d69f23b6bcb50e76893b2d51dc6f26a5
Signed-off-by: wangqianyu <wang.qianyu@zte.com.cn>

Netvirt IT: Assert return value of ping in Netvirt IT tests

Change-Id: I4c1ab298233ec128ce711f4603418407ab0b2040
Signed-off-by: Sridhar Gaddam <sgaddam@redhat.com>

Fixed BGP AS number field size

In the doExecute(), one of the asn
number assignment was still happening
in the int format. Fixed it by changing
the data type to Long, keeping in line
with changes done in :
https://git.opendaylight.org/gerrit/#/c/48845/3

Change-Id: I62d63f959c0b3e027d0869f2e1e2650142672e61
Signed-off-by: Sumanth MS <sumanth.ms@ericsson.com>

BUG 7331: CLI command to create VPNs allows creation of two VPNs with the
same RD

Two VPNs with the same RDs cannot be handled by the VPN Engine. Hence this
will not be allowed.

Change-Id: I4955ba73ed928a8ba9b671e772da3e7c644035e6
Signed-off-by: eupakir <kiran.n.upadhyaya@ericsson.com>

Bug 6589 Adding retry mechanism to listener

Added retry mechanism to HwvtepNodeBaseListener listner
registration

Change-Id: I6f879e65f2ae64e9b2bc5a6e4efa8c4edb5eb0df
Signed-off-by: Akash <a.k.sahu@ericsson.com>

BUG 7264 Fix missing flows for Remote SG rule
  Problem: Missing SG remote flows to the first VM associated
  with the SG. The sample reproduction scenario as below:
    1. create empty SG1
    2. create VM1 with the SG1
    3. add custom TCP rule to SG1 with remote group id as SG1
    4. create VM2 with the SG1
  There is flow for TCP rule added for VM1 to VM2 but the flow
  from VM2 to VM1 is missing

  Solution: In this problem when in step 3), VM1 is not added to
  the remote SG cache as a first member of the remote SG.
  As a result, in step 4 VM1 is not seen as not associating with
  SG1 and therefore flow to it is not created.
  The fix is to add the VMport-SG association to the remote SG
  cache when the first rule is created for a VM with empty SG

Change-Id: I9f4c500a8ec87659d44801474a92227420a789e2
Signed-off-by: Vinh Nguyen <vinh.nguyen@hcl.com>

Bug 7324: Stale FIB Entries are not getting Removed

Added code to remove Stale FIB entries after NAPT switch over

Change-Id: Ic97e3bc52dc7e1a492cc4c39ebcfdc7cb645d91d
Signed-off-by: karthikeyan <karthikeyan.k@altencalsoftlabs.com>

7280 - ARP Responder fix for Floating Ips (extension of bug 6726)

This fix introduces the ability to automatically respond to ARP
requests coming for Floating IPs from the external network.  The fix
builds further on the ARP responder infrastructure brought in via review
https://git.opendaylight.org/gerrit/#/c/46231 which addressed Bug 6726

Change-Id: Ib8a39644ae52c46e76a6d3893af9a0396d0b678a
Signed-off-by: Hari Krishna <hari.i.krishna@ericsson.com>
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>

Bug 7236: handle high rate of src mac learning packet-ins

ElanPacketInHandler now uses DataStoreJobCoordinator in order to handle
packetins from table 50, and freeing the notification thread
(Author - Tomer P.)

Depends-On: https://git.opendaylight.org/gerrit/48987

Change-Id: I81f50bdeaca75ac24a4702a3b4f2da5fd99d80d7
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

Bug 7081 - NAPT is not functional

This is the second patchset attempting to fix NAPT feature breakage.
It is independent of the first one https://git.opendaylight.org/gerrit/#/c/48867
and contains the following changes:

* PSNAT_TABLE -> output to tunnel is not installed on tunnel creation
* NPE thrown from VpnInterfaceManager and InterfaceStateChangeListener when VpnInterface
non-mandatory fields are missing

Change-Id: I5ce692f18d0aa7eec42555a5fc6717c9816aedbc
Signed-off-by: Tali <tali.ben-meir@hpe.com>

Bug 7081 - NAPT is not functional

This is the first patchset attempting to fix NAPT feature breakage.
It contains the following changes:

* Installation of the router-gw flow in MY_MAC table on the NAPT switch
* ARP responder flows for the router-gw IPs on the NAPT switch
* Split-horizon bit is reset on ARP responder flows for router-GW and NAPT_PFIB table
before egress to ext-net group
* Fix NaptFlowRemovedEventHandler BP definition
* Send external GW ARP resolution requests only from the NAPT switch with the router GW MAC

Open issues to be covered in the next patchset:

* PSNAT_TABLE -> output to tunnel is not installed on all the compute nodes
* INBOUND_NAPT_TABLE/OUTBOUND_NAPT_TABLE flows per sessions are not always installed

Change-Id: Ie8b92ed2a3d71938829cafb568e21c35e4a96b32
Signed-off-by: Tali <tali.ben-meir@hpe.com>

Bug-7253: Added learn support for other protocols rule (protocol Number)

  *This patch supports user option to create a security rule for
  other protocol with protocol number.
  *learn rule will be created for TCP,UDP and ICMP protocol Numbers.
  *Remaining  Protocol Numbers rule will be create with "goto_table" action.

Change-Id: I011d8672ed4a6460ec25c556c6b99954456f005f
Signed-off-by: VinothB <vinothb@hcl.com>

Bug-7128: Added learn support for other protocols rule (ANY)

This patch supports user option to create a security rule for
other protocol and no protocol number (ANY).
It treats such a rule as TCP(ALL)+ICMP(ALL)+UDP(ALL)+other.

Change-Id: I542d149ce8375ecad6727732a2eb063a8bc1db57
Signed-off-by: VinothB <vinothb@hcl.com>

Bug 7250: Add IPv6 integration tests

This patch implements the following.
1. Enhances the current Netvirt IT tests to support IPv6 subnets,
   security groups etc.
2. Validates IPv6 L2 connectivity between two VMs on the same
   tenant network.
3. Validates IPv6 East-West Routing support via Neutron tenant
   router.
4. Fixes an issue in IPv6 LLA generation API.

Change-Id: Ic605cb0b1ef0791c889ca0d7f6852b93299118ff
Signed-off-by: Sridhar Gaddam <sgaddam@redhat.com>
(cherry picked from commit 53c4f80d4558662aaa441db8b503be378e705020)

Bug 6998: Fix for VM Instance . Ip Address Not Assigned

    * Problem: Bulk creation of VMs results in VM not acquiring IP.
    * Fix: Optimized the reduntant write calls in DistributedArp Service.

Change-Id: I7a2bb8ab4d79362455ea71ebb4bfcdc78dfb3e40
Signed-off-by: hari.pr <hari.pr@hcl.com>

Bug 7302: Enable Ping Responder for router interface IPs , on a BGPVPN
that has this router associated.

Multiple fixes for this issue :

(a) When router is associated to BGPVPN , the route gateway IP (x.x.x.1)
is not moved from internal VPN to BGPVPN.

(b) When a network , subnet , router is created and VM is booted , ARP
RESPONDER table (81) contains router gateway MAC in eth_src field.
When router is associated to BGPVPN , eth_src filed in table=81 , entry is
replaced with VM's connected MAC address.

It leads to ping failures.

(c) A network , subnet , router is created and VM is booted. MY MAC table
(19) contains router gateway MAC address . When the router is associated
with BGPVPN , VM's MAC address is added into MY MAC table (19) which is
incorrect.
When router is disassociated , VM's MAC address entry remains in table=19
(stale entry)

Change-Id: Ifd19bdbda90a082bd6f7e21df29d8257ce9eb534
Signed-off-by: HANAMANTAGOUD V Kandagal <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: ehvkand <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: HANAMANTAGOUD V Kandagal <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>

IT for provider network

Ping between ports on different nodes
Uses a docker image that:
a) expects two networks, one for mgmt traffic and one for the provider
network
b) binds ovsdb-server to the mgmt nic only
c) sets the provider nic in provider_mappings

Details about the image can be found here:
https://github.com/jhershberg/docker-centos-ovs/tree/two-nics

This commit depends on:
https://git.opendaylight.org/gerrit/#/c/47757/

Change-Id: Ia912dd12ed44769df3c94708712ddeda3f59d669
Signed-off-by: Josh <jhershbe@redhat.com>
(cherry picked from commit 382c823fd7225e383813a649d11bae5115a0272b)

cleanup unused dependencies for ipv6

Change-Id: I8762913def90f147996f8066bda0942d287d57b0
Signed-off-by: Sam Hague <shague@redhat.com>

cleanup unused dependencies for it

Change-Id: Id209d623fff18037815fb6f6f87a524f2896e9b5
Signed-off-by: Sam Hague <shague@redhat.com>

cleanup from previous cherry-picks

Change-Id: I82b67b1ed037bba6bb6e18da3e31c54344e76658
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 7236: Add temporary SMAC learning table

Temporary source MAC learning introduces two new tables to the ELAN
service, for OVS-based source MAC learning using a learn action,
to reduce a large scale of packets punted to the controller for an
unlearned source MAC.

Spec: https://git.opendaylight.org/gerrit/48835
Depends-On: https://git.opendaylight.org/gerrit/48834

Change-Id: I5b9351c4fde39e12f8062d5df3ec582c24077b44
Signed-off-by: Olga Schukin <olga.schukin@hpe.com>

Bug 7239 : Multiple FIB entries for extra route get created when neutron
route-update is done

When a router is updated with extra route for a given destination IP and
nexthop IP (VM-IP=IP1) , even before VM is booted, FIB entry doesnt get
created because VM is interface itself is not yet available. When VM (IP1)
is booted , FIB entry for IP1 alone gets created.
When next VM (IP2) is booted , FIB entry for extra route gets created
twice along with FIB entry of IP2.

Change-Id: I62ebe661169931b5d4e74050c07d5839859e6be4
Signed-off-by: ehvkand <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: HANAMANTAGOUD V Kandagal <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 7298: NPE in vpn manager

NPE in vpn manager when configuring layer 3 services directly without
using neutron.

Change-Id: Ife4d422807141ee0766bfe10fc9eaccaff44952e
Signed-off-by: David Goldberg <gdavid@hpe.com>

Bug 7294: Use delete_learned flag on learn flows

Change-Id: Ifa9ae8da0537f444835021280db8652f874d360c
Signed-off-by: Alon Kochba <alonko@hpe.com>

Revert "Bug 7239 : Multiple FIB entries for extra route get created when neutron"

This reverts commit c3ee9c6b8257d21e050c3c5476f36306c46e4535.

Change-Id: I8ee81d8b21a0dd1a95b878d7d78760e7affcf21d
Signed-off-by: Vivekanandan Narasimhan <n.vivekanandan@ericsson.com>

Bug 6589 Logging exception

Made changes to log exception submitted to job scheduler

Change-Id: I7988b5dda55d2e192e7a6ee8213f1ce293c02b04
Signed-off-by: Akash <a.k.sahu@ericsson.com>

Fcaps: changing alarm text parameter to be same while raising and clearing

Change-Id: I92e8b2d202779f0df3fa4d90868e36c52a9b95ec
Signed-off-by: gowri <gowri.r@ericsson.com>
(cherry picked from commit 96e9465bf5cd49600a74f10c6ad4d9c39220cec1)

Bug 7239 : Multiple FIB entries for extra route get created when neutron
route-update is done

When a router is updated with extra route for a given destination IP and
nexthop IP (VM-IP=IP1) , even before VM is booted, FIB entry doesnt get
created because VM is interface itself is not yet available. When VM (IP1)
is booted , FIB entry for IP1 alone gets created.
When next VM (IP2) is booted , FIB entry for extra route gets created
twice along with FIB entry of IP2.

Change-Id: I8e1b1f28cbefb2278a5b3ce2eb33b0a92aa2fde1
Signed-off-by: ehvkand <hanamantagoud.v.kandagal@ericsson.com>
Signed-off-by: HANAMANTAGOUD V Kandagal <hanamantagoud.v.kandagal@ericsson.com>

Fix Bug #7289 Set delete_learned flag to Acl Learn flow Entries

* The learnt entries will get deleted as soon as the
 flows that created them get deleted.

Change-Id: I55cc9c09421e05abd1d4bf7ecacaf2485b45b376
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Bug 7263: Spread InterVpnLinks among available DPNs

 + Avoids as much as possible to place InterVpnLinks
   in the same DPNs.

 + This way, BGP router will not overload one specific DPN

Change-Id: I99fccd3542d5a904369d8de91b6b4117cd070acd
Signed-off-by: Miguel Perez <francisco.miguel.perez@ericsson.com>
Signed-off-by: Sam Hague <shague@redhat.com>

Bug 6589 adding support for hwvtep devices ha

Deletion of Elan-Instance was not deleting associated L2gwconnection .
Also L2gwdeletion was dependent on Elan-Instance which was removed and can
be deleted independently now.
Introduced new Listner ELanInstanceListner which will listen to deletion
of elan instance and will delete corresponding l2gwatewayConnection .
Added l2GwConnection reset CLI to reset all connections object.

Change-Id: Ieedad9ad290c56e9b811d4ee419ad3a20dd369ec
Signed-off-by: Akash <a.k.sahu@ericsson.com>

Bug 6589 adding support for hwvtep devices ha

Adding ElanGroupListner to handle cluster reboot scenario .
Under cluster reboot scenario elan l2gw cache will not be
getting filled in all the cluster nodes as that job is part of runonly in
leader node task. Hence if Dpn's got updated later at another leader node
then Mcast Mac and broadcast group in l2gw devices and DPNs will not be
updated (Race condition ) . To handle that scenrio this listner has been
introduced.

Change-Id: Ic741e7e6b9e3b5a888517582e9a88a1a978d2e10
Signed-off-by: Akash <a.k.sahu@ericsson.com>

Bug 6668 - Security Groups (all implementations) - port_security
extension and default DHCP/ICMP drop rules

Changed getPortSecurityEnabled to check the device Owner

Change-Id: I69058c6465f1745c9c6d7dacaf9a07b8f0b13510
Signed-off-by: Aswin Suryanarayanan <asuryana@redhat.com>