<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Thanks -- ulimit -n 1024 fixed my problem.  It's wonderfully stable now -- even under high load.<div><br></div><div><br><div><div>On Jul 19, 2010, at 2:30 AM, Daniel Reverri wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div bgcolor="#FFFFFF"><div>Hi Shane,</div><div><br></div><div>Can you try increasing the number of allowed open file handles on your system?</div><div>ulimit -n 1024</div><div><br></div><div>You can check this setting from a riak console by typing:</div><div>os:cmd("ulimit -a").</div><div><br></div><div>Thanks,</div><div>Dan<br><br>Sent from my iPhone</div><div><br>On Jul 18, 2010, at 10:32 PM, Shane Holloway <<a href="mailto:shane.holloway@ieee.org">shane.holloway@ieee.org</a>> wrote:<br><br></div><div></div><blockquote type="cite"><div><div><div>I'm having a bit of a problem with Riak.  When I keep my new documents to about 10 per second, Riak works fine.  But as I increase my speed to about 100 docs per second, Riak gets dramatically slow.  After a while, the beam process takes 100% of my CPU and no longer responds to ping/stop or any other command from the bin folder.  I end up sending kill TERM to stop the process.  </div><div><br></div><div>If I restart Riak, the bitcask backend seems to be limited to about 1-2 document stores per second, but read seems fairly responsive still.  I'd appreciate any thoughts or troubleshooting tips you may have.  It's an in-development database with demo data, so I can run any experiments you'd like to see.</div><div><br></div><div>Thanks,</div><div>-Shane</div><div><br></div><div><br></div><div><br></div><div>Riak/riakOne% ./bin/riak-admin status</div><div>1-minute stats for '<a href="mailto:riak@172.20.0.49">riak@172.20.0.49</a>'</div><div>-------------------------------------------</div><div>vnode gets : 104</div><div>vnode_puts : 103</div><div>vnode_gets_total : 136</div><div>vnode_puts_total : 127</div><div>node_gets : 36</div><div>node_gets_total : 47</div><div>node_get_fsm_time_mean : 2635.1111111111113</div><div>node_get_fsm_time_median : 667</div><div>node_get_fsm_time_95 : 9156</div><div>node_get_fsm_time_99 : 40652</div><div>node_get_fsm_time_100 : 40652</div><div>node_puts : 36</div><div>node_puts_total : 44</div><div><b>node_put_fsm_time_mean : 1670575.611111111</b></div><div><b>node_put_fsm_time_median : 1157</b></div><div><b>node_put_fsm_time_95 : 23900</b></div><div><b>node_put_fsm_time_99 : 60000511</b></div><div><b>node_put_fsm_time_100 : 600005</b>11</div><div>cpu_nprocs : 0</div><div>cpu_avg1 : 0</div><div>cpu_avg5 : 0</div><div>cpu_avg15 : 0</div><div>mem_total : 0</div><div>mem_allocated : 0</div><div><b>disk : [{"none",0,0}]</b></div><div>nodename : '<a href="mailto:riak@172.20.0.49">riak@172.20.0.49</a>'</div><div>connected_nodes : ['<a href="mailto:riak_maint_61716@172.20.0.49">riak_maint_61716@172.20.0.49</a>']</div><div>sys_driver_version : <<"1.5">></div><div>sys_global_heaps_size : 0</div><div>sys_heap_type : private</div><div>sys_logical_processors : 2</div><div>sys_otp_release : <<"R13B04">></div><div>sys_process_count : 167</div><div>sys_smp_support : true</div><div>sys_system_version : <<"Erlang R13B04 (erts-5.7.5) [source] [64-bit] [smp:2:2] [rq:2] [async-threads:5] [hipe] [kernel-poll:true]\n">></div><div>sys_system_architecture : <<"i386-apple-darwin9.4.0">></div><div>sys_threads_enabled : true</div><div>sys_thread_pool_size : 5</div><div>sys_wordsize : 8</div><div>ring_members : ['<a href="mailto:riak@172.20.0.49">riak@172.20.0.49</a>']</div><div>ring_num_partitions : 64</div><div>ring_ownership : <<"[{'<a href="mailto:riak@172.20.0.49">riak@172.20.0.49</a>',64}]">></div><div>ring_creation_size : 64</div><div>storage_backend : riak_kv_bitcask_backend</div><div>pbc_connects_total : 0</div><div>pbc_connects : 0</div><div>pbc_active : 0</div><div><br></div></div></div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>riak-users mailing list</span><br><span><a href="mailto:riak-users@lists.basho.com">riak-users@lists.basho.com</a></span><br><span><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a></span><br></div></blockquote></div></blockquote></div><br></div></body></html>