cb568647afe0b21bb5527cd1c8e6e1413c350be2
[controller.git] / opendaylight / md-sal / sal-distributed-datastore / src / main / java / org / opendaylight / controller / cluster / databroker / actors / dds / AbstractProxyTransaction.java
1 /*
2  * Copyright (c) 2016 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.controller.cluster.databroker.actors.dds;
9
10 import akka.actor.ActorRef;
11 import com.google.common.base.MoreObjects;
12 import com.google.common.base.Optional;
13 import com.google.common.base.Preconditions;
14 import com.google.common.base.Throwables;
15 import com.google.common.base.Verify;
16 import com.google.common.collect.Iterables;
17 import com.google.common.util.concurrent.CheckedFuture;
18 import com.google.common.util.concurrent.ListenableFuture;
19 import com.google.common.util.concurrent.SettableFuture;
20 import java.util.ArrayDeque;
21 import java.util.Deque;
22 import java.util.Iterator;
23 import java.util.concurrent.CountDownLatch;
24 import java.util.concurrent.atomic.AtomicIntegerFieldUpdater;
25 import java.util.concurrent.atomic.AtomicReferenceFieldUpdater;
26 import java.util.function.Consumer;
27 import javax.annotation.Nonnull;
28 import javax.annotation.Nullable;
29 import javax.annotation.concurrent.GuardedBy;
30 import javax.annotation.concurrent.NotThreadSafe;
31 import org.opendaylight.controller.cluster.access.client.ConnectionEntry;
32 import org.opendaylight.controller.cluster.access.commands.AbstractLocalTransactionRequest;
33 import org.opendaylight.controller.cluster.access.commands.IncrementTransactionSequenceRequest;
34 import org.opendaylight.controller.cluster.access.commands.TransactionAbortRequest;
35 import org.opendaylight.controller.cluster.access.commands.TransactionAbortSuccess;
36 import org.opendaylight.controller.cluster.access.commands.TransactionCanCommitSuccess;
37 import org.opendaylight.controller.cluster.access.commands.TransactionCommitSuccess;
38 import org.opendaylight.controller.cluster.access.commands.TransactionDoCommitRequest;
39 import org.opendaylight.controller.cluster.access.commands.TransactionPreCommitRequest;
40 import org.opendaylight.controller.cluster.access.commands.TransactionPreCommitSuccess;
41 import org.opendaylight.controller.cluster.access.commands.TransactionPurgeRequest;
42 import org.opendaylight.controller.cluster.access.commands.TransactionRequest;
43 import org.opendaylight.controller.cluster.access.concepts.Request;
44 import org.opendaylight.controller.cluster.access.concepts.RequestFailure;
45 import org.opendaylight.controller.cluster.access.concepts.Response;
46 import org.opendaylight.controller.cluster.access.concepts.TransactionIdentifier;
47 import org.opendaylight.mdsal.common.api.ReadFailedException;
48 import org.opendaylight.yangtools.concepts.Identifiable;
49 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier;
50 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
51 import org.slf4j.Logger;
52 import org.slf4j.LoggerFactory;
53
54 /**
55  * Class translating transaction operations towards a particular backend shard.
56  *
57  * <p>
58  * This class is not safe to access from multiple application threads, as is usual for transactions. Internal state
59  * transitions coming from interactions with backend are expected to be thread-safe.
60  *
61  * <p>
62  * This class interacts with the queueing mechanism in ClientActorBehavior, hence once we arrive at a decision
63  * to use either a local or remote implementation, we are stuck with it. We can re-evaluate on the next transaction.
64  *
65  * @author Robert Varga
66  */
67 abstract class AbstractProxyTransaction implements Identifiable<TransactionIdentifier> {
68     /**
69      * Marker object used instead of read-type of requests, which are satisfied only once. This has a lower footprint
70      * and allows compressing multiple requests into a single entry.
71      */
72     @NotThreadSafe
73     private static final class IncrementSequence {
74         private final long sequence;
75         private long delta = 0;
76
77         IncrementSequence(final long sequence) {
78             this.sequence = sequence;
79         }
80
81         long getDelta() {
82             return delta;
83         }
84
85         long getSequence() {
86             return sequence;
87         }
88
89         void incrementDelta() {
90             delta++;
91         }
92     }
93
94     /**
95      * Base class for representing logical state of this proxy. See individual instantiations and {@link SuccessorState}
96      * for details.
97      */
98     private static class State {
99         private final String string;
100
101         State(final String string) {
102             this.string = Preconditions.checkNotNull(string);
103         }
104
105         @Override
106         public final String toString() {
107             return string;
108         }
109     }
110
111     /**
112      * State class used when a successor has interfered. Contains coordinator latch, the successor and previous state.
113      * This is a temporary state introduced during reconnection process and is necessary for correct state hand-off
114      * between the old connection (potentially being accessed by the user) and the new connection (being cleaned up
115      * by the actor.
116      *
117      * <p>
118      * When a user operation encounters this state, it synchronizes on the it and wait until reconnection completes,
119      * at which point the request is routed to the successor transaction. This is a relatively heavy-weight solution
120      * to the problem of state transfer, but the user will observe it only if the race condition is hit.
121      */
122     private static class SuccessorState extends State {
123         private final CountDownLatch latch = new CountDownLatch(1);
124         private AbstractProxyTransaction successor;
125         private State prevState;
126
127         // SUCCESSOR + DONE
128         private boolean done;
129
130         SuccessorState() {
131             super("SUCCESSOR");
132         }
133
134         // Synchronize with succession process and return the successor
135         AbstractProxyTransaction await() {
136             try {
137                 latch.await();
138             } catch (InterruptedException e) {
139                 LOG.warn("Interrupted while waiting for latch of {}", successor);
140                 throw Throwables.propagate(e);
141             }
142             return successor;
143         }
144
145         void finish() {
146             latch.countDown();
147         }
148
149         State getPrevState() {
150             return prevState;
151         }
152
153         void setPrevState(final State prevState) {
154             Verify.verify(this.prevState == null, "Attempted to set previous state to %s when we already have %s",
155                     prevState, this.prevState);
156             this.prevState = Preconditions.checkNotNull(prevState);
157         }
158
159         // To be called from safe contexts, where successor is known to be completed
160         AbstractProxyTransaction getSuccessor() {
161             return Verify.verifyNotNull(successor);
162         }
163
164         void setSuccessor(final AbstractProxyTransaction successor) {
165             Verify.verify(this.successor == null, "Attempted to set successor to %s when we already have %s",
166                     successor, this.successor);
167             this.successor = Preconditions.checkNotNull(successor);
168         }
169
170         boolean isDone() {
171             return done;
172         }
173
174         void setDone() {
175             done = true;
176         }
177     }
178
179     private static final Logger LOG = LoggerFactory.getLogger(AbstractProxyTransaction.class);
180     private static final AtomicIntegerFieldUpdater<AbstractProxyTransaction> SEALED_UPDATER =
181             AtomicIntegerFieldUpdater.newUpdater(AbstractProxyTransaction.class, "sealed");
182     private static final AtomicReferenceFieldUpdater<AbstractProxyTransaction, State> STATE_UPDATER =
183             AtomicReferenceFieldUpdater.newUpdater(AbstractProxyTransaction.class, State.class, "state");
184
185     /**
186      * Transaction has been open and is being actively worked on.
187      */
188     private static final State OPEN = new State("OPEN");
189
190     /**
191      * Transaction has been sealed by the user, but it has not completed flushing to the backed, yet. This is
192      * a transition state, as we are waiting for the user to initiate commit procedures.
193      *
194      * <p>
195      * Since the reconnect mechanics relies on state replay for transactions, this state needs to be flushed into the
196      * queue to re-create state in successor transaction (which may be based on different messages as locality may have
197      * changed). Hence the transition to {@link #FLUSHED} state needs to be handled in a thread-safe manner.
198      */
199     private static final State SEALED = new State("SEALED");
200
201     /**
202      * Transaction state has been flushed into the queue, i.e. it is visible by the successor and potentially
203      * the backend. At this point the transaction does not hold any state besides successful requests, all other state
204      * is held either in the connection's queue or the successor object.
205      *
206      * <p>
207      * Transition to this state indicates we have all input from the user we need to initiate the correct commit
208      * protocol.
209      */
210     private static final State FLUSHED = new State("FLUSHED");
211
212     /**
213      * Transaction state has been completely resolved, we have received confirmation of the transaction fate from
214      * the backend. The only remaining task left to do is finishing up the state cleanup, which is done via purge
215      * request. We need to hang on to the transaction until that is done, as we have to make sure backend completes
216      * purging its state -- otherwise we could have a leak on the backend.
217      */
218     private static final State DONE = new State("DONE");
219
220     // Touched from client actor thread only
221     private final Deque<Object> successfulRequests = new ArrayDeque<>();
222     private final ProxyHistory parent;
223
224     // Accessed from user thread only, which may not access this object concurrently
225     private long sequence;
226
227     /*
228      * Atomic state-keeping is required to synchronize the process of propagating completed transaction state towards
229      * the backend -- which may include a successor.
230      *
231      * Successor, unlike {@link AbstractProxyTransaction#seal()} is triggered from the client actor thread, which means
232      * the successor placement needs to be atomic with regard to the application thread.
233      *
234      * In the common case, the application thread performs performs the seal operations and then "immediately" sends
235      * the corresponding message. The uncommon case is when the seal and send operations race with a connect completion
236      * or timeout, when a successor is injected.
237      *
238      * This leaves the problem of needing to completely transferring state just after all queued messages are replayed
239      * after a successor was injected, so that it can be properly sealed if we are racing. Further complication comes
240      * from lock ordering, where the successor injection works with a locked queue and locks proxy objects -- leading
241      * to a potential AB-BA deadlock in case of a naive implementation.
242      *
243      * For tracking user-visible state we use a single volatile int, which is flipped atomically from 0 to 1 exactly
244      * once in {@link AbstractProxyTransaction#seal()}. That keeps common operations fast, as they need to perform
245      * only a single volatile read to assert state correctness.
246      *
247      * For synchronizing client actor (successor-injecting) and user (commit-driving) thread, we keep a separate state
248      * variable. It uses pre-allocated objects for fast paths (i.e. no successor present) and a per-transition object
249      * for slow paths (when successor is injected/present).
250      */
251     private volatile int sealed;
252     private volatile State state;
253
254     AbstractProxyTransaction(final ProxyHistory parent, final boolean isDone) {
255         this.parent = Preconditions.checkNotNull(parent);
256         if (isDone) {
257             state = DONE;
258             // DONE implies previous seal operation completed
259             sealed = 1;
260         } else {
261             state = OPEN;
262         }
263     }
264
265     final void executeInActor(final Runnable command) {
266         parent.context().executeInActor(behavior -> {
267             command.run();
268             return behavior;
269         });
270     }
271
272     final ActorRef localActor() {
273         return parent.localActor();
274     }
275
276     final void incrementSequence(final long delta) {
277         sequence += delta;
278         LOG.debug("Transaction {} incremented sequence to {}", this, sequence);
279     }
280
281     final long nextSequence() {
282         final long ret = sequence++;
283         LOG.debug("Transaction {} allocated sequence {}", this, ret);
284         return ret;
285     }
286
287     final void delete(final YangInstanceIdentifier path) {
288         checkReadWrite();
289         checkNotSealed();
290         doDelete(path);
291     }
292
293     final void merge(final YangInstanceIdentifier path, final NormalizedNode<?, ?> data) {
294         checkReadWrite();
295         checkNotSealed();
296         doMerge(path, data);
297     }
298
299     final void write(final YangInstanceIdentifier path, final NormalizedNode<?, ?> data) {
300         checkReadWrite();
301         checkNotSealed();
302         doWrite(path, data);
303     }
304
305     final CheckedFuture<Boolean, ReadFailedException> exists(final YangInstanceIdentifier path) {
306         checkNotSealed();
307         return doExists(path);
308     }
309
310     final CheckedFuture<Optional<NormalizedNode<?, ?>>, ReadFailedException> read(final YangInstanceIdentifier path) {
311         checkNotSealed();
312         return doRead(path);
313     }
314
315     final void enqueueRequest(final TransactionRequest<?> request, final Consumer<Response<?, ?>> callback,
316             final long enqueuedTicks) {
317         LOG.debug("Transaction proxy {} enqueing request {} callback {}", this, request, callback);
318         parent.enqueueRequest(request, callback, enqueuedTicks);
319     }
320
321     final void sendRequest(final TransactionRequest<?> request, final Consumer<Response<?, ?>> callback) {
322         LOG.debug("Transaction proxy {} sending request {} callback {}", this, request, callback);
323         parent.sendRequest(request, callback);
324     }
325
326     /**
327      * Seal this transaction before it is either committed or aborted.
328      */
329     final void seal() {
330         // Transition user-visible state first
331         final boolean success = SEALED_UPDATER.compareAndSet(this, 0, 1);
332         Preconditions.checkState(success, "Proxy %s was already sealed", getIdentifier());
333         internalSeal();
334     }
335
336     final void ensureSealed() {
337         if (SEALED_UPDATER.compareAndSet(this, 0, 1)) {
338             internalSeal();
339         }
340     }
341
342     private void internalSeal() {
343         doSeal();
344         parent.onTransactionSealed(this);
345
346         // Now deal with state transfer, which can occur via successor or a follow-up canCommit() or directCommit().
347         if (!STATE_UPDATER.compareAndSet(this, OPEN, SEALED)) {
348             // Slow path: wait for the successor to complete
349             final AbstractProxyTransaction successor = awaitSuccessor();
350
351             // At this point the successor has completed transition and is possibly visible by the user thread, which is
352             // still stuck here. The successor has not seen final part of our state, nor the fact it is sealed.
353             // Propagate state and seal the successor.
354             flushState(successor);
355             successor.ensureSealed();
356         }
357     }
358
359     private void checkNotSealed() {
360         Preconditions.checkState(sealed == 0, "Transaction %s has already been sealed", getIdentifier());
361     }
362
363     private void checkSealed() {
364         Preconditions.checkState(sealed != 0, "Transaction %s has not been sealed yet", getIdentifier());
365     }
366
367     private SuccessorState getSuccessorState() {
368         final State local = state;
369         Verify.verify(local instanceof SuccessorState, "State %s has unexpected class", local);
370         return (SuccessorState) local;
371     }
372
373     private void checkReadWrite() {
374         if (isSnapshotOnly()) {
375             throw new UnsupportedOperationException("Transaction " + getIdentifier() + " is a read-only snapshot");
376         }
377     }
378
379     final void recordSuccessfulRequest(final @Nonnull TransactionRequest<?> req) {
380         successfulRequests.add(Verify.verifyNotNull(req));
381     }
382
383     final void recordFinishedRequest(final Response<?, ?> response) {
384         final Object last = successfulRequests.peekLast();
385         if (last instanceof IncrementSequence) {
386             ((IncrementSequence) last).incrementDelta();
387         } else {
388             successfulRequests.addLast(new IncrementSequence(response.getSequence()));
389         }
390     }
391
392     /**
393      * Abort this transaction. This is invoked only for read-only transactions and will result in an explicit message
394      * being sent to the backend.
395      */
396     final void abort() {
397         checkNotSealed();
398         parent.abortTransaction(this);
399
400         sendRequest(abortRequest(), resp -> {
401             LOG.debug("Transaction {} abort completed with {}", getIdentifier(), resp);
402             enqueuePurge();
403         });
404     }
405
406     final void abort(final VotingFuture<Void> ret) {
407         checkSealed();
408
409         sendDoAbort(t -> {
410             if (t instanceof TransactionAbortSuccess) {
411                 ret.voteYes();
412             } else if (t instanceof RequestFailure) {
413                 ret.voteNo(((RequestFailure<?, ?>) t).getCause().unwrap());
414             } else {
415                 ret.voteNo(new IllegalStateException("Unhandled response " + t.getClass()));
416             }
417
418             // This is a terminal request, hence we do not need to record it
419             LOG.debug("Transaction {} abort completed", this);
420             enqueuePurge();
421         });
422     }
423
424     final void enqueueAbort(final Consumer<Response<?, ?>> callback, final long enqueuedTicks) {
425         checkNotSealed();
426         parent.abortTransaction(this);
427
428         enqueueRequest(abortRequest(), resp -> {
429             LOG.debug("Transaction {} abort completed with {}", getIdentifier(), resp);
430             // Purge will be sent by the predecessor's callback
431             if (callback != null) {
432                 callback.accept(resp);
433             }
434         }, enqueuedTicks);
435     }
436
437     final void enqueueDoAbort(final Consumer<Response<?, ?>> callback, final long enqueuedTicks) {
438         enqueueRequest(new TransactionAbortRequest(getIdentifier(), nextSequence(), localActor()), callback,
439             enqueuedTicks);
440     }
441
442     final void sendDoAbort(final Consumer<Response<?, ?>> callback) {
443         sendRequest(new TransactionAbortRequest(getIdentifier(), nextSequence(), localActor()), callback);
444     }
445
446     /**
447      * Commit this transaction, possibly in a coordinated fashion.
448      *
449      * @param coordinated True if this transaction should be coordinated across multiple participants.
450      * @return Future completion
451      */
452     final ListenableFuture<Boolean> directCommit() {
453         checkReadWrite();
454         checkSealed();
455
456         // Precludes startReconnect() from interfering with the fast path
457         synchronized (this) {
458             if (STATE_UPDATER.compareAndSet(this, SEALED, FLUSHED)) {
459                 final SettableFuture<Boolean> ret = SettableFuture.create();
460                 sendRequest(Verify.verifyNotNull(commitRequest(false)), t -> {
461                     if (t instanceof TransactionCommitSuccess) {
462                         ret.set(Boolean.TRUE);
463                     } else if (t instanceof RequestFailure) {
464                         ret.setException(((RequestFailure<?, ?>) t).getCause().unwrap());
465                     } else {
466                         ret.setException(new IllegalStateException("Unhandled response " + t.getClass()));
467                     }
468
469                     // This is a terminal request, hence we do not need to record it
470                     LOG.debug("Transaction {} directCommit completed", this);
471                     enqueuePurge();
472                 });
473
474                 return ret;
475             }
476         }
477
478         // We have had some interference with successor injection, wait for it to complete and defer to the successor.
479         return awaitSuccessor().directCommit();
480     }
481
482     final void canCommit(final VotingFuture<?> ret) {
483         checkReadWrite();
484         checkSealed();
485
486         // Precludes startReconnect() from interfering with the fast path
487         synchronized (this) {
488             if (STATE_UPDATER.compareAndSet(this, SEALED, FLUSHED)) {
489                 final TransactionRequest<?> req = Verify.verifyNotNull(commitRequest(true));
490
491                 sendRequest(req, t -> {
492                     if (t instanceof TransactionCanCommitSuccess) {
493                         ret.voteYes();
494                     } else if (t instanceof RequestFailure) {
495                         ret.voteNo(((RequestFailure<?, ?>) t).getCause().unwrap());
496                     } else {
497                         ret.voteNo(new IllegalStateException("Unhandled response " + t.getClass()));
498                     }
499
500                     recordSuccessfulRequest(req);
501                     LOG.debug("Transaction {} canCommit completed", this);
502                 });
503
504                 return;
505             }
506         }
507
508         // We have had some interference with successor injection, wait for it to complete and defer to the successor.
509         awaitSuccessor().canCommit(ret);
510     }
511
512     private AbstractProxyTransaction awaitSuccessor() {
513         return getSuccessorState().await();
514     }
515
516     final void preCommit(final VotingFuture<?> ret) {
517         checkReadWrite();
518         checkSealed();
519
520         final TransactionRequest<?> req = new TransactionPreCommitRequest(getIdentifier(), nextSequence(),
521             localActor());
522         sendRequest(req, t -> {
523             if (t instanceof TransactionPreCommitSuccess) {
524                 ret.voteYes();
525             } else if (t instanceof RequestFailure) {
526                 ret.voteNo(((RequestFailure<?, ?>) t).getCause().unwrap());
527             } else {
528                 ret.voteNo(new IllegalStateException("Unhandled response " + t.getClass()));
529             }
530
531             onPreCommitComplete(req);
532         });
533     }
534
535     private void onPreCommitComplete(final TransactionRequest<?> req) {
536         /*
537          * The backend has agreed that the transaction has entered PRE_COMMIT phase, meaning it will be committed
538          * to storage after the timeout completes.
539          *
540          * All state has been replicated to the backend, hence we do not need to keep it around. Retain only
541          * the precommit request, so we know which request to use for resync.
542          */
543         LOG.debug("Transaction {} preCommit completed, clearing successfulRequests", this);
544         successfulRequests.clear();
545
546         // TODO: this works, but can contain some useless state (like batched operations). Create an empty
547         //       equivalent of this request and store that.
548         recordSuccessfulRequest(req);
549     }
550
551     final void doCommit(final VotingFuture<?> ret) {
552         checkReadWrite();
553         checkSealed();
554
555         sendRequest(new TransactionDoCommitRequest(getIdentifier(), nextSequence(), localActor()), t -> {
556             if (t instanceof TransactionCommitSuccess) {
557                 ret.voteYes();
558             } else if (t instanceof RequestFailure) {
559                 ret.voteNo(((RequestFailure<?, ?>) t).getCause().unwrap());
560             } else {
561                 ret.voteNo(new IllegalStateException("Unhandled response " + t.getClass()));
562             }
563
564             LOG.debug("Transaction {} doCommit completed", this);
565
566             // Needed for ProxyHistory$Local data tree rebase points.
567             parent.completeTransaction(this);
568
569             enqueuePurge();
570         });
571     }
572
573     private void enqueuePurge() {
574         enqueuePurge(null);
575     }
576
577     final void enqueuePurge(final Consumer<Response<?, ?>> callback) {
578         // Purge request are dispatched internally, hence should not wait
579         enqueuePurge(callback, parent.currentTime());
580     }
581
582     final void enqueuePurge(final Consumer<Response<?, ?>> callback, final long enqueuedTicks) {
583         LOG.debug("{}: initiating purge", this);
584
585         final State prev = state;
586         if (prev instanceof SuccessorState) {
587             ((SuccessorState) prev).setDone();
588         } else {
589             final boolean success = STATE_UPDATER.compareAndSet(this, prev, DONE);
590             if (!success) {
591                 LOG.warn("{}: moved from state {} while we were purging it", this, prev);
592             }
593         }
594
595         successfulRequests.clear();
596
597         enqueueRequest(new TransactionPurgeRequest(getIdentifier(), nextSequence(), localActor()), resp -> {
598             LOG.debug("{}: purge completed", this);
599             parent.purgeTransaction(this);
600
601             if (callback != null) {
602                 callback.accept(resp);
603             }
604         }, enqueuedTicks);
605     }
606
607     // Called with the connection unlocked
608     final synchronized void startReconnect() {
609         // At this point canCommit/directCommit are blocked, we assert a new successor state, retrieving the previous
610         // state. This method is called with the queue still unlocked.
611         final SuccessorState nextState = new SuccessorState();
612         final State prevState = STATE_UPDATER.getAndSet(this, nextState);
613
614         LOG.debug("Start reconnect of proxy {} previous state {}", this, prevState);
615         Verify.verify(!(prevState instanceof SuccessorState), "Proxy %s duplicate reconnect attempt after %s", this,
616             prevState);
617
618         // We have asserted a slow-path state, seal(), canCommit(), directCommit() are forced to slow paths, which will
619         // wait until we unblock nextState's latch before accessing state. Now we record prevState for later use and we
620         // are done.
621         nextState.setPrevState(prevState);
622     }
623
624     // Called with the connection locked
625     final void replayMessages(final ProxyHistory successorHistory, final Iterable<ConnectionEntry> enqueuedEntries) {
626         final SuccessorState local = getSuccessorState();
627         final State prevState = local.getPrevState();
628
629         final boolean isDone = DONE.equals(state)
630                 || state instanceof SuccessorState && ((SuccessorState) state).isDone();
631         final AbstractProxyTransaction successor = successorHistory.createTransactionProxy(getIdentifier(),
632             isSnapshotOnly(), isDone);
633         LOG.debug("{} created successor {}", this, successor);
634         local.setSuccessor(successor);
635
636         // Replay successful requests first
637         if (!successfulRequests.isEmpty()) {
638             // We need to find a good timestamp to use for successful requests, as we do not want to time them out
639             // nor create timing inconsistencies in the queue -- requests are expected to be ordered by their enqueue
640             // time. We will pick the time of the first entry available. If there is none, we will just use current
641             // time, as all other requests will get enqueued afterwards.
642             final ConnectionEntry firstInQueue = Iterables.getFirst(enqueuedEntries, null);
643             final long now = firstInQueue != null ? firstInQueue.getEnqueuedTicks() : parent.currentTime();
644
645             for (Object obj : successfulRequests) {
646                 if (obj instanceof TransactionRequest) {
647                     LOG.debug("Forwarding successful request {} to successor {}", obj, successor);
648                     successor.replayRequest((TransactionRequest<?>) obj, resp -> { }, now);
649                 } else {
650                     Verify.verify(obj instanceof IncrementSequence);
651                     final IncrementSequence increment = (IncrementSequence) obj;
652                     successor.replayRequest(new IncrementTransactionSequenceRequest(getIdentifier(),
653                         increment.getSequence(), localActor(), isSnapshotOnly(), increment.getDelta()), resp -> { },
654                         now);
655                     LOG.debug("Incrementing sequence {} to successor {}", obj, successor);
656                 }
657             }
658             LOG.debug("{} replayed {} successful requests", getIdentifier(), successfulRequests.size());
659             successfulRequests.clear();
660         }
661
662         // Now replay whatever is in the connection
663         final Iterator<ConnectionEntry> it = enqueuedEntries.iterator();
664         while (it.hasNext()) {
665             final ConnectionEntry e = it.next();
666             final Request<?, ?> req = e.getRequest();
667
668             if (getIdentifier().equals(req.getTarget())) {
669                 Verify.verify(req instanceof TransactionRequest, "Unhandled request %s", req);
670                 LOG.debug("Replaying queued request {} to successor {}", req, successor);
671                 successor.replayRequest((TransactionRequest<?>) req, e.getCallback(), e.getEnqueuedTicks());
672                 it.remove();
673             }
674         }
675
676         /*
677          * Check the state at which we have started the reconnect attempt. State transitions triggered while we were
678          * reconnecting have been forced to slow paths, which will be unlocked once we unblock the state latch
679          * at the end of this method.
680          */
681         if (SEALED.equals(prevState)) {
682             LOG.debug("Proxy {} reconnected while being sealed, propagating state to successor {}", this, successor);
683             flushState(successor);
684             successor.ensureSealed();
685         }
686     }
687
688     /**
689      * Invoked from {@link #replayMessages(AbstractProxyTransaction, Iterable)} to have successor adopt an in-flight
690      * request.
691      *
692      * <p>
693      * Note: this method is invoked by the predecessor on the successor.
694      *
695      * @param request Request which needs to be forwarded
696      * @param callback Callback to be invoked once the request completes
697      * @param enqueuedTicks ticker-based time stamp when the request was enqueued
698      */
699     private void replayRequest(final TransactionRequest<?> request, final Consumer<Response<?, ?>> callback,
700             final long enqueuedTicks) {
701         if (request instanceof AbstractLocalTransactionRequest) {
702             handleReplayedLocalRequest((AbstractLocalTransactionRequest<?>) request, callback, enqueuedTicks);
703         } else {
704             handleReplayedRemoteRequest(request, callback, enqueuedTicks);
705         }
706     }
707
708     // Called with the connection locked
709     final void finishReconnect() {
710         final SuccessorState local = getSuccessorState();
711         LOG.debug("Finishing reconnect of proxy {}", this);
712
713         // All done, release the latch, unblocking seal() and canCommit() slow paths
714         local.finish();
715     }
716
717     /**
718      * Invoked from a retired connection for requests which have been in-flight and need to be re-adjusted
719      * and forwarded to the successor connection.
720      *
721      * @param request Request to be forwarded
722      * @param callback Original callback
723      */
724     final void forwardRequest(final TransactionRequest<?> request, final Consumer<Response<?, ?>> callback) {
725         forwardToSuccessor(getSuccessorState().getSuccessor(), request, callback);
726     }
727
728     final void forwardToSuccessor(final AbstractProxyTransaction successor, final TransactionRequest<?> request,
729             final Consumer<Response<?, ?>> callback) {
730         if (successor instanceof LocalProxyTransaction) {
731             forwardToLocal((LocalProxyTransaction)successor, request, callback);
732         } else if (successor instanceof RemoteProxyTransaction) {
733             forwardToRemote((RemoteProxyTransaction)successor, request, callback);
734         } else {
735             throw new IllegalStateException("Unhandled successor " + successor);
736         }
737     }
738
739     abstract boolean isSnapshotOnly();
740
741     abstract void doDelete(YangInstanceIdentifier path);
742
743     abstract void doMerge(YangInstanceIdentifier path, NormalizedNode<?, ?> data);
744
745     abstract void doWrite(YangInstanceIdentifier path, NormalizedNode<?, ?> data);
746
747     abstract CheckedFuture<Boolean, ReadFailedException> doExists(YangInstanceIdentifier path);
748
749     abstract CheckedFuture<Optional<NormalizedNode<?, ?>>, ReadFailedException> doRead(YangInstanceIdentifier path);
750
751     abstract void doSeal();
752
753     @GuardedBy("this")
754     abstract void flushState(AbstractProxyTransaction successor);
755
756     abstract TransactionRequest<?> abortRequest();
757
758     abstract TransactionRequest<?> commitRequest(boolean coordinated);
759
760     /**
761      * Replay a request originating in this proxy to a successor remote proxy.
762      */
763     abstract void forwardToRemote(RemoteProxyTransaction successor, TransactionRequest<?> request,
764             Consumer<Response<?, ?>> callback);
765
766     /**
767      * Replay a request originating in this proxy to a successor local proxy.
768      */
769     abstract void forwardToLocal(LocalProxyTransaction successor, TransactionRequest<?> request,
770             Consumer<Response<?, ?>> callback);
771
772     /**
773      * Invoked from {@link LocalProxyTransaction} when it replays its successful requests to its successor.
774      *
775      * <p>
776      * Note: this method is invoked by the predecessor on the successor.
777      *
778      * @param request Request which needs to be forwarded
779      * @param callback Callback to be invoked once the request completes
780      * @param enqueuedTicks Time stamp to use for enqueue time
781      */
782     abstract void handleReplayedLocalRequest(AbstractLocalTransactionRequest<?> request,
783             @Nullable Consumer<Response<?, ?>> callback, long enqueuedTicks);
784
785     /**
786      * Invoked from {@link RemoteProxyTransaction} when it replays its successful requests to its successor.
787      *
788      * <p>
789      * Note: this method is invoked by the predecessor on the successor.
790      *
791      * @param request Request which needs to be forwarded
792      * @param callback Callback to be invoked once the request completes
793      * @param enqueuedTicks Time stamp to use for enqueue time
794      */
795     abstract void handleReplayedRemoteRequest(TransactionRequest<?> request,
796             @Nullable Consumer<Response<?, ?>> callback, long enqueuedTicks);
797
798     @Override
799     public final String toString() {
800         return MoreObjects.toStringHelper(this).add("identifier", getIdentifier()).add("state", state).toString();
801     }
802 }