<html><head><style>body{font-family:Helvetica,Arial;font-size:13px}</style></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">Thanks Jon.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">I had thought I had the ulimit bumped up and will need to do some more reading on this. </div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">Is it possible a node could have had dangling file descriptor references? (Effectively no “garbage collection” happening and thus this was just a tipping point)</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">I’m assuming the more likely case was I didn’t have it increased from the default setting on the OS and thus hit the limit and everything crashed.</div> <br> <div id="bloop_sign_1417617756988215808" class="bloop_sign"><table border="0" cellpadding="0" cellspacing="0" width="364">
    <tbody>
        <tr>
            <td width="64">
                <img alt="Bonfire Logo" src="https://s3.amazonaws.com/bonfire_public_assets/signatures/alex/alex_circle_64x76.gif" height="76px" width="64px" style="height:76px; width:64px; vertical-align:top;">
            </td>
            <td width="300" style="font-family:Helvetica,Arial,sans-serif; font-size:12px; line-height:16px; color: #4e4e4e; padding:0px 0px 0px 5px; margin:0px; text-align:left;">
                <font color="#4E4E4E">
                    <strong>Alex Millar</strong>, <span>CTO</span>
                    <br>
                    <span>Office: <a style="color: #4e4e4e;text-decoration:none" href="tel:+18003548010">1-800-354-8010 ext. 704</a></span>
                    <br>
                    <span>Mobile: <a style="color: #4e4e4e;text-decoration:none" href="tel:+15197292539">519-729-2539</a></span>
                </font>
                <font color="#5fadcf">
                    <br>
                    <a href="http://GoBonfire.com" style="text-decoration:none; color:#5fadcf;" target="_blank"><strong>GoBonfire</strong>.com</a>
                </font>
            </td>
        </tr>
    </tbody>
</table></div> <br><p style="color:#000;">On December 3, 2014 at 9:31:22 AM, Jon Meredith (<a href="mailto:jmeredith@basho.com">jmeredith@basho.com</a>) wrote:</p> <blockquote type="cite" class="clean_bq"><span><div dir="auto"><div></div><div>




<title></title>


<div style="-webkit-text-size-adjust: auto;">Hi Alex. </div>
<div style="-webkit-text-size-adjust: auto;"><br></div>
<div style="-webkit-text-size-adjust: auto;">It looks like you
exceeded the files ulimit. Information on how to fix is
here </div>
<div style="-webkit-text-size-adjust: auto;"><br></div>
<div><span style="-webkit-text-size-adjust: auto;"><a href="http://docs.basho.com/riak/latest/ops/tuning/open-files-limit/#Changing-the-limit">
http://docs.basho.com/riak/latest/ops/tuning/open-files-limit/#Changing-the-limit</a></span></div>
<div><span style="-webkit-text-size-adjust: auto;"><br></span></div>
<div><span style="-webkit-text-size-adjust: auto;">Jon</span></div>
<div style="-webkit-text-size-adjust: auto;"><br>
On Dec 3, 2014, at 7:15 AM, Alex Millar <<a href="mailto:alex@gobonfire.com">alex@gobonfire.com</a>> wrote:<br>
<br></div>
<blockquote type="cite" style="-webkit-text-size-adjust: auto;">
<div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
Good morning Riak-Users</div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
<br></div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
Last night one of the nodes in my 5 node RiakCS cluster went
haywire and shot up to +90% disk i/o utilization seemingly out of
the blue.</div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
<br></div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
Looking at the riak error.log I saw the following being
continuously written.</div>
<div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">
<br></div>
<div id="bloop_customfont" style="margin: 0px;">
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.220 [error] <0.29210.3089> CRASH REPORT Process
<0.29210.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/570899077082383952423314387779798054553098649600/CURRENT:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.226 [error] <0.29211.3089> CRASH REPORT Process
<0.29211.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/776422744832042175295707567380525354192214163456/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.226 [error] <0.29212.3089> CRASH REPORT Process
<0.29212.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/570899077082383952423314387779798054553098649600/CURRENT:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.226 [error] <0.29213.3089> CRASH REPORT Process
<0.29213.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/776422744832042175295707567380525354192214163456/CURRENT:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.286 [error] <0.29215.3089> CRASH REPORT Process
<0.29215.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/776422744832042175295707567380525354192214163456/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.286 [error] <0.29214.3089> CRASH REPORT Process
<0.29214.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/570899077082383952423314387779798054553098649600/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.286 [error] <0.29217.3089> CRASH REPORT Process
<0.29217.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/570899077082383952423314387779798054553098649600/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.287 [error] <0.29216.3089> CRASH REPORT Process
<0.29216.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/776422744832042175295707567380525354192214163456/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:13.312 [error] <0.29219.3089> CRASH REPORT Process
<0.29219.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/570899077082383952423314387779798054553098649600/LOCK:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="margin: 0px;"><font color="#0433FF" face="Andale Mono" style="font-size: 11px;">2014-12-02
21:57:15.634 [error] <0.29218.3089> CRASH REPORT Process
<0.29218.3089> with 0 neighbours exited with reason: no match
of right hand value {error,{db_open,"IO error:
/var/lib/riak/anti_entropy/776422744832042175295707567380525354192214163456/CURRENT:
Too many open files"}} in hashtree:new_segment_store/2 line 505 in
gen_server:init_it/6 line 328</font></div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
<br></div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
Leading up to this there didn’t appear to be any significant load
on our cluster. </div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
<br></div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
I simply restarted the node and the issue went away but I wanted to
reach out to get some help as to why / how this arose in the first
place.</div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
<br></div>
<div id="bloop_customfont" style="font-family: Helvetica, Arial; font-size: 13px; color: rgb(0, 0, 0); margin: 0px;">
Regards,</div>
</div>
<div>
<div class="bloop_container">
<div class="bloop_frame"></div>
</div>
</div>
<br>
<div id="bloop_sign_1417615779064354048" class="bloop_sign">
<table border="0" cellpadding="0" cellspacing="0" width="364">
<tbody>
<tr>
<td width="64"><img alt="Bonfire Logo" src="https://s3.amazonaws.com/bonfire_public_assets/signatures/alex/alex_circle_64x76.gif" height="76px" width="64px" style="height:76px; width:64px; vertical-align:top;"></td>
<td width="300" style="font-family:Helvetica,Arial,sans-serif; font-size:12px; line-height:16px; color: #4e4e4e; padding:0px 0px 0px 5px; margin:0px; text-align:left;">
<font color="#4E4E4E"><strong>Alex
Millar</strong>, <span>CTO</span><br>
<span>Office: <a style="color: #4e4e4e;text-decoration:none" href="tel:+18003548010">1-800-354-8010 ext. 704</a></span><br>
<span>Mobile: <a style="color: #4e4e4e;text-decoration:none" href="tel:+15197292539">519-729-2539</a></span></font> <font color="#5FADCF"><br>
<a href="http://GoBonfire.com" style="text-decoration:none; color:#5fadcf;" target="_blank"><strong>GoBonfire</strong>.com</a></font></td>
</tr>
</tbody>
</table>
</div>
</div>
</blockquote>
<blockquote type="cite" style="-webkit-text-size-adjust: auto;">
<div>
<span>_______________________________________________</span><br>
<span>riak-users mailing list</span><br>
<span><a href="mailto:riak-users@lists.basho.com">riak-users@lists.basho.com</a></span><br>

<span><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com">
http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a></span><br>
</div>
</blockquote>


</div></div></span></blockquote></body></html>