77cb688d462afa544e33c554d6822a69d1df99a3
[openflowjava.git] / openflow-protocol-impl / src / main / java / org / opendaylight / openflowjava / protocol / impl / core / connection / AbstractStackedOutboundQueue.java
1 /*
2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8
9 package org.opendaylight.openflowjava.protocol.impl.core.connection;
10
11 import com.google.common.base.Preconditions;
12 import com.google.common.base.Verify;
13 import io.netty.channel.Channel;
14 import java.util.ArrayList;
15 import java.util.Iterator;
16 import java.util.List;
17 import java.util.concurrent.atomic.AtomicLongFieldUpdater;
18 import javax.annotation.Nonnull;
19 import javax.annotation.concurrent.GuardedBy;
20 import org.opendaylight.openflowjava.protocol.api.connection.OutboundQueue;
21 import org.opendaylight.openflowjava.protocol.api.connection.OutboundQueueException;
22 import org.opendaylight.yang.gen.v1.urn.opendaylight.openflow.protocol.rev130731.OfHeader;
23 import org.slf4j.Logger;
24 import org.slf4j.LoggerFactory;
25
26 abstract class AbstractStackedOutboundQueue implements OutboundQueue {
27
28     private static final Logger LOG = LoggerFactory.getLogger(AbstractStackedOutboundQueue.class);
29
30     protected static final AtomicLongFieldUpdater<AbstractStackedOutboundQueue> LAST_XID_OFFSET_UPDATER = AtomicLongFieldUpdater
31             .newUpdater(AbstractStackedOutboundQueue.class, "lastXid");
32
33     @GuardedBy("unflushedSegments")
34     protected volatile StackedSegment firstSegment;
35     @GuardedBy("unflushedSegments")
36     protected final List<StackedSegment> unflushedSegments = new ArrayList<>(2);
37     @GuardedBy("unflushedSegments")
38     protected final List<StackedSegment> uncompletedSegments = new ArrayList<>(2);
39
40     private volatile long lastXid = -1;
41     private volatile long allocatedXid = -1;
42
43     @GuardedBy("unflushedSegments")
44     protected Integer shutdownOffset;
45
46     // Accessed from Netty only
47     protected int flushOffset;
48
49     protected final AbstractOutboundQueueManager<?, ?> manager;
50
51     AbstractStackedOutboundQueue(final AbstractOutboundQueueManager<?, ?> manager) {
52         this.manager = Preconditions.checkNotNull(manager);
53         firstSegment = StackedSegment.create(0L);
54         uncompletedSegments.add(firstSegment);
55         unflushedSegments.add(firstSegment);
56     }
57
58     @GuardedBy("unflushedSegments")
59     protected void ensureSegment(final StackedSegment first, final int offset) {
60         final int segmentOffset = offset / StackedSegment.SEGMENT_SIZE;
61         LOG.debug("Queue {} slow offset {} maps to {} segments {}", this, offset, segmentOffset, unflushedSegments.size());
62
63         for (int i = unflushedSegments.size(); i <= segmentOffset; ++i) {
64             final StackedSegment newSegment = StackedSegment.create(first.getBaseXid() + (StackedSegment.SEGMENT_SIZE * i));
65             LOG.debug("Adding segment {}", newSegment);
66             unflushedSegments.add(newSegment);
67         }
68
69         allocatedXid = uncompletedSegments.get(uncompletedSegments.size() - 1).getEndXid();
70     }
71
72     /*
73      * This method is expected to be called from multiple threads concurrently.
74      */
75     @Override
76     public Long reserveEntry() {
77         final long xid = LAST_XID_OFFSET_UPDATER.incrementAndGet(this);
78         final StackedSegment fastSegment = firstSegment;
79
80         if (xid >= fastSegment.getBaseXid() + StackedSegment.SEGMENT_SIZE) {
81             if (xid >= allocatedXid) {
82                 // Multiple segments, this a slow path
83                 LOG.debug("Queue {} falling back to slow reservation for XID {}", this, xid);
84
85                 synchronized (unflushedSegments) {
86                     LOG.debug("Queue {} executing slow reservation for XID {}", this, xid);
87
88                     // Shutdown was scheduled, need to fail the reservation
89                     if (shutdownOffset != null) {
90                         LOG.debug("Queue {} is being shutdown, failing reservation", this);
91                         return null;
92                     }
93
94                     // Ensure we have the appropriate segment for the specified XID
95                     final StackedSegment slowSegment = firstSegment;
96                     final int slowOffset = (int) (xid - slowSegment.getBaseXid());
97                     Verify.verify(slowOffset >= 0);
98
99                     // Now, we let's see if we need to allocate a new segment
100                     ensureSegment(slowSegment, slowOffset);
101
102                     LOG.debug("Queue {} slow reservation finished", this);
103                 }
104             } else {
105                 LOG.debug("Queue {} XID {} is already backed", this, xid);
106             }
107         }
108
109         LOG.trace("Queue {} allocated XID {}", this, xid);
110         return xid;
111     }
112
113     /**
114      * Write some entries from the queue to the channel. Guaranteed to run
115      * in the corresponding EventLoop.
116      *
117      * @param channel Channel onto which we are writing
118      * @param now
119      * @return Number of entries written out
120      */
121     int writeEntries(@Nonnull final Channel channel, final long now) {
122         // Local cache
123         StackedSegment segment = firstSegment;
124         int entries = 0;
125
126         while (channel.isWritable()) {
127             final OutboundQueueEntry entry = segment.getEntry(flushOffset);
128             if (!entry.isCommitted()) {
129                 LOG.debug("Queue {} XID {} segment {} offset {} not committed yet", this, segment.getBaseXid() + flushOffset, segment, flushOffset);
130                 break;
131             }
132
133             LOG.trace("Queue {} flushing entry at offset {}", this, flushOffset);
134             final OfHeader message = entry.takeMessage();
135             flushOffset++;
136             entries++;
137
138             if (message != null) {
139                 manager.writeMessage(message, now);
140             } else {
141                 entry.complete(null);
142             }
143
144             if (flushOffset >= StackedSegment.SEGMENT_SIZE) {
145                 /*
146                  * Slow path: purge the current segment unless it's the last one.
147                  * If it is, we leave it for replacement when a new reservation
148                  * is run on it.
149                  *
150                  * This costs us two slow paths, but hey, this should be very rare,
151                  * so let's keep things simple.
152                  */
153                 synchronized (unflushedSegments) {
154                     LOG.debug("Flush offset {} unflushed segments {}", flushOffset, unflushedSegments.size());
155
156                     // We may have raced ahead of reservation code and need to allocate a segment
157                     ensureSegment(segment, flushOffset);
158
159                     // Remove the segment, update the firstSegment and reset flushOffset
160                     final StackedSegment oldSegment = unflushedSegments.remove(0);
161                     if (oldSegment.isComplete()) {
162                         uncompletedSegments.remove(oldSegment);
163                         oldSegment.recycle();
164                     }
165
166                     // Reset the first segment and add it to the uncompleted list
167                     segment = unflushedSegments.get(0);
168                     uncompletedSegments.add(segment);
169
170                     // Update the shutdown offset
171                     if (shutdownOffset != null) {
172                         shutdownOffset -= StackedSegment.SEGMENT_SIZE;
173                     }
174
175                     // Allow reservations back on the fast path by publishing the new first segment
176                     firstSegment = segment;
177
178                     flushOffset = 0;
179                     LOG.debug("Queue {} flush moved to segment {}", this, segment);
180                 }
181             }
182         }
183
184         return entries;
185     }
186
187     abstract boolean pairRequest(final OfHeader message);
188
189     boolean needsFlush() {
190         // flushOffset always points to the first entry, which can be changed only
191         // from Netty, so we are fine here.
192         if (firstSegment.getBaseXid() + flushOffset > lastXid) {
193             return false;
194         }
195
196         if (shutdownOffset != null && flushOffset >= shutdownOffset) {
197             return false;
198         }
199
200         return firstSegment.getEntry(flushOffset).isCommitted();
201     }
202
203     long startShutdown(final Channel channel) {
204         /*
205          * We are dealing with a multi-threaded shutdown, as the user may still
206          * be reserving entries in the queue. We are executing in a netty thread,
207          * so neither flush nor barrier can be running, which is good news.
208          * We will eat up all the slots in the queue here and mark the offset first
209          * reserved offset and free up all the cached queues. We then schedule
210          * the flush task, which will deal with the rest of the shutdown process.
211          */
212         synchronized (unflushedSegments) {
213             // Increment the offset by the segment size, preventing fast path allocations,
214             // since we are holding the slow path lock, any reservations will see the queue
215             // in shutdown and fail accordingly.
216             final long xid = LAST_XID_OFFSET_UPDATER.addAndGet(this, StackedSegment.SEGMENT_SIZE);
217             shutdownOffset = (int) (xid - firstSegment.getBaseXid() - StackedSegment.SEGMENT_SIZE);
218
219             return lockedShutdownFlush();
220         }
221     }
222
223     boolean finishShutdown() {
224         synchronized (unflushedSegments) {
225             lockedShutdownFlush();
226         }
227
228         return !needsFlush();
229     }
230
231     @GuardedBy("unflushedSegments")
232     private long lockedShutdownFlush() {
233         long entries = 0;
234
235         // Fail all queues
236         final Iterator<StackedSegment> it = uncompletedSegments.iterator();
237         while (it.hasNext()) {
238             final StackedSegment segment = it.next();
239
240             entries += segment.failAll(OutboundQueueException.DEVICE_DISCONNECTED);
241             if (segment.isComplete()) {
242                 LOG.trace("Cleared segment {}", segment);
243                 it.remove();
244             }
245         }
246
247         return entries;
248     }
249 }