<div dir="ltr"><br><div style>Hi Kevin,</div><div style><br></div><div style>I sympathise with R, i'm going to write an installation guide to go on the site.</div><div style><br></div><div style>In regards to the error, please paste in the contents of you vm.args file from the target node</div>
<div style><br></div><div style>Thanks</div><div style><br></div><div style>Richard</div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Fri, Feb 22, 2013 at 11:05 PM,  <span dir="ltr"><<a href="mailto:rkevinburton@charter.net" target="_blank">rkevinburton@charter.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div align="LEFT"><font face="Verdana" color="#000000">Here is the output from one configuration try:</font></div><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" color="#000000">1<font color="#339966">7:00:08.878 [info] Using http target "172.16.33.138":8098 for worker 2</font></font></div>
<font face="Verdana" color="#339966"><br></font><div align="LEFT"><font face="Verdana" color="#339966">17:00:08.878 [info] Using pb target "172.16.33.138":8087 for worker 2</font></div><font face="Verdana" color="#339966"><br>
</font><div align="LEFT"><font face="Verdana" color="#339966">17:00:08.993 [debug] Supervisor basho_bench_sup started basho_bench_worker:start_link(basho_bench_worker_2, 2) at pid <0.96.0></font></div><font face="Verdana" color="#339966"><br>
</font><div align="LEFT"><font face="Verdana" color="#339966">17:00:08.999 [info] Using http target "172.16.33.107":8098 for worker 3</font></div><font face="Verdana" color="#339966"><br></font><div align="LEFT">
<font face="Verdana" color="#339966">17:00:09.001 [info] Using pb target "172.16.33.107":8087 for worker 3</font></div><font face="Verdana" color="#339966"><br></font><div align="LEFT"><font face="Verdana" color="#339966">17:00:09.006 [debug] Supervisor basho_bench_sup started basho_bench_worker:start_link(basho_bench_worker_3, 3) at pid <0.99.0></font></div>
<font face="Verdana" color="#339966"><br></font><div align="LEFT"><font face="Verdana" color="#339966">17:00:09.022 [debug] Supervisor net_sup started erl_epmd:start_link() at pid <0.104.0></font></div><font face="Verdana" color="#339966"><br>
</font><div align="LEFT"><font face="Verdana" color="#339966">17:00:09.029 [debug] Supervisor net_sup started auth:start_link() at pid <0.105.0></font></div><font face="Verdana" color="#339966"><br></font><div align="LEFT">
<font face="Verdana" color="#339966">17:00:09.030 [info] Can't set long node name!</font></div><div align="LEFT"><font face="Verdana" color="#339966">Please check your configuration</font></div><font face="Verdana" color="#339966"><br>
</font><font face="Verdana" color="#339966"><br></font><div align="LEFT"><font face="Verdana" color="#339966">17:00:09.030 [error] Failed to start net_kernel for basho_bench_measurement_erlangvm: {shutdown,{child,undefined,net_sup_dynamic,{erl_distribution,start_link,[[basho_bench,longnames]]},permanent,1000,supervisor,[erl_distribution]}}</font></div>
<font face="Verdana" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" color="#000000">There is alot more output but this is the tail end of the output.</font></div>
<div class="HOEnZb"><div class="h5"><font face="Verdana" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" color="#000000">On Fri, Feb 22, 2013 at 4:34 PM, Richard Shaw wrote:</font></div>
<font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" color="#000000">†<font size="3">Hi Kevin, </font></font></div><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">Always good practise to reply to the mailing list so others can benefit from the content <font></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">basho bench is the best place to start, If you have a working cluster or even a working single node, follow the benchmarking guide[0]† <font></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">Please let me see some of the specific errors you're having and we can help resolve them. <font></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">Outside of basho bench, I recommend benchmarking the raw performance of your VM, you can do this using a variety of tools like iostat, iperf or a test suite like Phoronix test suite, a very comprehensive FOSS tool[1] look at the `aio` test <font></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">I'd also recommend benchmarking each time you make a configuration change to really understand how effective that change was <font></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">[0] <font color="#3333FF"><a href="http://docs.basho.com/riak/latest/cookbooks/Benchmarking/" target="_blank"><u>http://docs.basho.com/riak/latest/cookbooks/Benchmarking/</u></a><a href="http://docs.basho.com/riak/latest/cookbooks/Benchmarking/" target="_blank"></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">[1] <font color="#3333FF"><a href="http://www.phoronix-test-suite.com/" target="_blank"><u>http://www.phoronix-test-suite.com/</u></a><a href="http://www.phoronix-test-suite.com/" target="_blank"></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a href="http://www.phoronix-test-suite.com/" target="_blank"></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Kind Regards <font color="#3333FF"><a href="http://www.phoronix-test-suite.com/" target="_blank"></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a href="http://www.phoronix-test-suite.com/" target="_blank"></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Richard <font color="#3333FF"><a href="http://www.phoronix-test-suite.com/" target="_blank"></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">On Fri, Feb 22, 2013 at 10:14 PM, Kevin Burton < <font color="#3333FF"><a><u>rkevinburton@charter.net</u></a></font>> wrote: </font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">That was my next question. I have tried to get basho_bench to work but so far have been unsuccessful. If you have a simple "hello world" sample config I would greatly appreciate it. I have tried a bunch of configs in the examples directory but get met with one error or another.† <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">Other than that I have just timed various client driver calls. Mostly random reads some writes. <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#000000">On Feb 22, 2013, at 3:48 PM, Richard Shaw < <font color="#3333FF"><a><u>richard@basho.com</u></a></font>> wrote: </font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Hi Kevin, </font></div><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">What kind of benchmarking have you done on your VMs and what did you use ? <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Kind Regards <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Richard <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">On Fri, Feb 22, 2013 at 9:49 AM, Kevin Burton < <font color="#3333FF"><a><u>rkevinburton@charter.net</u></a></font>> wrote: </font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">Ok I suspected as much. This will give me more ammo when requesting more resources. Thank you. <font color="#3333FF"><a></a></font></font></div><div align="LEFT">
<font face="Verdana" size="3" color="#000000">Now, back to the original question. Given that the physical hardware is taken care of. What parameters are most important when tuning a cluster. Again for arguments sake assume the same 4 node cluster with a read-write ratio of about 75 percent. <font color="#3333FF"><a></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">On Feb 21, 2013, at 8:26 PM, Alexander Sicular < <font color="#3333FF"><a><u>siculars@gmail.com</u></a></font>> wrote: </font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">It can't be said enough times but the number one thing you can do to ensure that you are getting true performance (not to mention redundancy) is to use different physical hardware for each of your nodes. Under no circumstances should you have more than one VM (one logical node in a Riak cluster) on the same physical hardware. Also, use multiple connections/threads/parallelism/whatever on client side and be sure to hit all the nodes in the cluster haproxy roundrobin-esque when writing to Riak. Everything else is in the noise. </font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">-Alexander Sicular <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">@siculars <font color="#3333FF"><a></a></font></font></div><font face="Verdana" size="3" color="#000000"><br>
</font><div align="LEFT"><font face="Verdana" size="3" color="#000000">On Feb 21, 2013, at 9:04 PM, Kevin Burton < <font color="#3333FF"><a><u>rkevinburton@charter.net</u></a></font>> wrote: <font color="#3333FF"><a></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">There each has about 20-30GB of disk space. †They each are a VM so I am not sure how to specify the CPU. They all seem to be 64 bit Intel processors but I could tell you the clock speed. The network is 1Gb Ethernet. <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000"><b>From: </b>† Sean Carey [mailto: <font color="#3333FF"><a><u>carey@</u></a><a href="http://basho.com" target="_blank"><u>basho.com</u></a><font color="#000000">] † </font></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000"><b>Sent: </b>† Thursday, February 21, 2013 7:59 PM </font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000"><b>To: </b>† Kevin Burton </font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000"><b>Cc: </b>† <font color="#3333FF"><a><u>riak-users@lists.basho.com</u></a><font color="#000000"></font></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000"><b>Subject: </b>† Re: Tuning a Riak cluster. <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">Kevin, <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">Disk and CPU, and Network? <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a></a></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">Sean Carey </font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">@densone <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">On Thursday, February 21, 2013 at 20:31, Kevin Burton wrote: <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">I have a cluster of 4 machines (4 Linux VM machines each allocated about 1 Gb of memory Ė yea I know it isnít a lot). I would like to get some pointers on getting the fastest query time possible given these meager resources. Thank you. <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">_______________________________________________ <font color="#3333FF"><a></a></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">riak-users mailing list <font color="#3333FF"><a></a></font></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a><u>riak-users@lists.basho.com</u></a><a></a></font></div><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank"><u>http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</u></a><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank"></a></font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#000000">† <font color="#3333FF"><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank"></a></font></font></div><div align="LEFT">
<font face="Verdana" size="3" color="#000000">_______________________________________________ </font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">riak-users mailing list </font></div><div align="LEFT">
<font face="Verdana" size="3" color="#3333FF"><a><u>riak-users@lists.basho.com</u></a><font color="#000000"></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank"><u>http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</u></a><font color="#000000"></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><div align="LEFT"><font face="Verdana" size="3" color="#000000">_______________________________________________ </font></div><div align="LEFT"><font face="Verdana" size="3" color="#000000">riak-users mailing list </font></div>
<div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a><u>riak-users@lists.basho.com</u></a><font color="#000000"></font></font></div><div align="LEFT"><font face="Verdana" size="3" color="#3333FF"><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank"><u>http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</u></a><font color="#000000"></font></font></div>
<font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" size="3" color="#000000"><br></font><font face="Verdana" size="3" color="#000000"><br></font></div></div></blockquote></div><br></div></div>