this might be helpful, an Omniti article. <div><a href="https://omniti.com/seeds/migrating-riak-do-it-live">https://omniti.com/seeds/migrating-riak-do-it-live</a></div><div><br></div><div>As to fixing this specific error. That iirc can be done doing a name change in the ring to match your new node name.  renaming the node will make that orddict lookup succeed. <br>Theres a supplied admin utility for that. </div><div><br></div><div><br>On Sunday, June 5, 2016, Jan-Philip Loos <<a href="mailto:maxdaten@gmail.com">maxdaten@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>we are using riak in a kuberentes cluster (on GKE). Sometimes it's necessary to reboot the complete cluster to update the kubernetes-nodes. This results in a complete shutdown of the riak cluster and the riak-nodes are rescheduled with a new IP. So how can I handle this situation? How can I form a new riak cluster out of the old nodes with new names? </div><div><br></div><div>The /var/lib/riak directory is persisted. I had to delete the /var/lib/riak/ring folder otherwise "riak start" crashed with this message (but saved the old ring state in a tar):</div><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">{"Kernel pid terminated",application_controller,"{application_start_failure,riak_core,{{shutdown,{failed_to_start_child,riak_core_broadcast,{'EXIT',{function_clause,[{orddict,fetch,['<a href="javascript:_e(%7B%7D,'cvml','riak@10.44.2.8');" target="_blank">riak@10.44.2.8</a>',[]],[{file,\"orddict.erl\"},{line,72}]},{riak_core_broadcast,init_peers,1,[{file,\"src/riak_core_broadcast.erl\"},{line,616}]},{riak_core_broadcast,start_link,0,[{file,\"src/riak_core_broadcast.erl\"},{line,116}]},{supervisor,do_start_child,2,[{file,\"supervisor.erl\"},{line,310}]},{supervisor,start_children,3,[{file,\"supervisor.erl\"},{line,293}]},{supervisor,init_children,2,[{file,\"supervisor.erl\"},{line,259}]},{gen_server,init_it,6,[{file,\"gen_server.erl\"},{line,304}]},{proc_lib,init_p_do_apply,3,[{file,\"proc_lib.erl\"},{line,239}]}]}}}},{riak_core_app,start,[normal,[]]}}}"}<br>Crash dump was written to: /var/log/riak/erl_crash.dump<br>Kernel pid terminated (application_controller) ({application_start_failure,riak_core,{{shutdown,{failed_to_start_child,riak_core_broadcast,{'EXIT',{function_clause,[{orddict,fetch,['<a href="javascript:_e(%7B%7D,'cvml','riak@10.44.2.8');" target="_blank">riak@10.44.2.8</a>',</blockquote><div><br></div><div>The I formed a new cluster via join & plan & commit.</div></div><div><br></div><div>But now, I discovered a problems with incomplete and inconsistent partitions:</div><div><br></div>







<p><span><b>$ </b>curl -Ss "<a href="http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true" target="_blank">http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true</a>" | jq '.[] | length'</span></p>
<p><span>3064</span></p>
<p><span><b>$</b></span><span> curl -Ss "<a href="http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true" target="_blank">http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true</a>" | jq '.[] | length'</span></p>
<p><span>2987</span></p>
<p><span><b>$</b></span><span> curl -Ss "<a href="http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true" target="_blank">http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true</a>" | jq '.[] | length'</span></p>
<p><span>705</span></p>
<p><span><b>$</b></span><span> curl -Ss "<a href="http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true" target="_blank">http://riak.default.svc.cluster.local:8098/buckets/users/keys?keys=true</a>" | jq '.[] | length'</span></p>
<div>3064 </div><div><br></div><div>Is there a way to fix this? I guess this is caused by the missing old ring-state?</div><div><br></div><div>Greetings</div><div><br></div><div>Jan</div></div>
</blockquote></div>