<div dir="ltr"><div><div><div>Hi Alexander,<br><br></div>Excellent!  Thanks for the feedback - I will see what I can find there.<br><br></div>Regards,<br></div>Ryan<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 1, 2016 at 11:06 AM, Alexander Sicular <span dir="ltr"><<a href="mailto:siculars@gmail.com" target="_blank">siculars@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Ryan, yes, you can change a number of settings. Have you had a look<br>
at <a href="http://docs.basho.com/riak/kv/2.1.4/using/admin/riak-admin/#transfer-limit" rel="noreferrer" target="_blank">http://docs.basho.com/riak/kv/<wbr>2.1.4/using/admin/riak-admin/#<wbr>transfer-limit</a><br>
and <a href="http://lists.basho.com/pipermail/riak-users_lists.basho.com/2014-July/015529.html" rel="noreferrer" target="_blank">http://lists.basho.com/<wbr>pipermail/riak-users_lists.<wbr>basho.com/2014-July/015529.<wbr>html</a><br>
?<br>
<br>
-Alexander<br>
<div><div class="h5"><br>
On Tue, Nov 1, 2016 at 2:43 AM, Ryan Maclear <<a href="mailto:ryanm@miranetworks.net">ryanm@miranetworks.net</a>> wrote:<br>
> Good Day,<br>
><br>
> We have a 4 node riak cluster running inside AWS. The riak is riak-kv 2.1.2<br>
> with AAE enabled on Ubuntu 14.04.4 LTS<br>
><br>
> We are in the process of replacing one node with another using the process<br>
> described here:<br>
><br>
> <a href="http://docs.basho.com/riak/kv/2.1.4/using/cluster-operations/replacing-node/" rel="noreferrer" target="_blank">http://docs.basho.com/riak/kv/<wbr>2.1.4/using/cluster-<wbr>operations/replacing-node/</a><br>
><br>
> We have successfully replaced two of the nodes so far but we are having a<br>
> problem with the third. If we look at /var/log/riak/console.log we see the<br>
> start of the hinted handoff, and some time later (sometimes minutes and<br>
> sometimes hours) we see:<br>
><br>
> 2016-10-31 06:30:40.090 [error]<br>
> <0.19834.2101>@riak_core_<wbr>handoff_sender:start_fold:272 hinted transfer of<br>
> riak_kv_vnode from '<a href="mailto:riak@aew54.miranetworks.net">riak@aew54.miranetworks.net</a>'<br>
> 274031556999544297163190906134<wbr>303066185487351808 to<br>
> '<a href="mailto:riak@aew75.miranetworks.net">riak@aew75.miranetworks.net</a>'<br>
> 274031556999544297163190906134<wbr>303066185487351808 failed because of TCP recv<br>
> timeout<br>
> 2016-10-31 06:30:40.090 [error]<br>
> <0.187.0>@riak_core_handoff_<wbr>manager:handle_info:303 An outbound handoff of<br>
> partition riak_kv_vnode 274031556999544297163190906134<wbr>303066185487351808 was<br>
> terminated for reason: {shutdown,timeout}<br>
><br>
> So the handoff was terminated due to a tcp timeout. The handoff then starts<br>
> again.<br>
><br>
> This has been going on for some times (about two weeks now).<br>
><br>
> The current member status is as follows:<br>
><br>
> riak-admin member-status<br>
> ==============================<wbr>=== Membership<br>
> ==============================<wbr>====<br>
> Status     Ring    Pending    Node<br>
> ------------------------------<wbr>------------------------------<wbr>-------------------<br>
> leaving     0.0%      --      '<a href="mailto:riak@aew54.miranetworks.net">riak@aew54.miranetworks.net</a>'<br>
> valid      25.0%      --      '<a href="mailto:riak@aew59.miranetworks.net">riak@aew59.miranetworks.net</a>'<br>
> valid      25.0%      --      '<a href="mailto:riak@aew73.miranetworks.net">riak@aew73.miranetworks.net</a>'<br>
> valid      25.0%      --      '<a href="mailto:riak@aew74.miranetworks.net">riak@aew74.miranetworks.net</a>'<br>
> valid      25.0%      --      '<a href="mailto:riak@aew75.miranetworks.net">riak@aew75.miranetworks.net</a>'<br>
> ------------------------------<wbr>------------------------------<wbr>-------------------<br>
> Valid:4 / Leaving:1 / Exiting:0 / Joining:0 / Down:0<br>
><br>
><br>
> Here are some questions:<br>
><br>
> 1. What is the default tcp timeout?<br>
> 2. Is there any way to increase this timeout?<br>
> 3. Is there any way to increase the rate of handoff?<br>
> 4. Are there any other parameters we can tune to try and avoid this?<br>
><br>
> The output from riak-admin transfers is as follows:<br>
><br>
> '<a href="mailto:riak@aew54.miranetworks.net">riak@aew54.miranetworks.net</a>' waiting to handoff 1 partitions<br>
><br>
> Active Transfers:<br>
><br>
> transfer type: hinted<br>
> vnode type: riak_kv_vnode<br>
> partition: 274031556999544297163190906134<wbr>303066185487351808<br>
> started: 2016-11-01 05:30:47 [2.10 hr ago]<br>
> last update: 2016-11-01 07:36:51 [3.03 s ago]<br>
> total size: 78393086512 bytes<br>
> objects transferred: 11440967<br>
><br>
>                          1513 Objs/s<br>
> riak@aew54.miranetworks.n  =======>  riak@aew75.miranetworks.n<br>
> et                                   et<br>
>         |======                                     |  15%<br>
>                           1.53 MB/s<br>
><br>
><br>
> Thanks,<br>
> Ryan Maclear<br>
><br>
</div></div>> ______________________________<wbr>_________________<br>
> riak-users mailing list<br>
> <a href="mailto:riak-users@lists.basho.com">riak-users@lists.basho.com</a><br>
> <a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" rel="noreferrer" target="_blank">http://lists.basho.com/<wbr>mailman/listinfo/riak-users_<wbr>lists.basho.com</a><br>
><br>
</blockquote></div><br></div>