<div dir="ltr"><div><div>What I have is:<br>Network bandwidth between nodes: 18.4 MB/sec<br>Network cards: 1.000Mbps full duplex<br></div>Riak process: IO: avg 600 K/s for disk write, 7% RAM used, 17% CPU used<br></div><br>

Doesn't seem notwork bottleneck.<br></div><div class="gmail_extra"><br clear="all"><div>ing. Bogdan Flueras<br><br></div>
<br><br><div class="gmail_quote">On Thu, Feb 14, 2013 at 11:21 AM, Bogdan Flueras <span dir="ltr"><<a href="mailto:flueras.bogdan@gmail.com" target="_blank">flueras.bogdan@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr"><div>What I have is:<br><br>Network bandwidth between nodes: 18.4 MB/sec<br>Network cards: 1.000Mbps full duplex<br></div>Riak process: IO: avg 600 K/s for disk write, 7% RAM used, 17% CPU used<br><br></div>


<div class="gmail_extra"><br clear="all"><div>ing. Bogdan Flueras<br><br></div><div><div class="h5">
<br><br><div class="gmail_quote">On Thu, Feb 14, 2013 at 10:17 AM, Erik Søe Sørensen <span dir="ltr"><<a href="mailto:ess@trifork.com" target="_blank">ess@trifork.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


Just to rule something out: what is the capacity of the network between the cluster and the client - and among the cluster nodes?<br>
<br>
<br>
-------- Oprindelig meddelelse --------<br>
Fra: Shuhao <<a href="mailto:shuhao@shuhaowu.com" target="_blank">shuhao@shuhaowu.com</a>><br>
Dato:<br>
Til: <a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>
Emne: Re: Tune Riak for fast inserts - populate DB<br>
<div><div><br>
<br>
Hi,<br>
<br>
I've had similar experiences with riak. I used the Riak Python client<br>
with HTTP and PBC (even rolled my own client! That only had a ~10% speed<br>
up though, and it was HTTP only). I've also examined that the Riak host<br>
machine's CPU is only at around 70% when I insert. Other NoSQL dbs uses<br>
about 100% when I just continuous insert. Some DBs even have bulk insert.<br>
<br>
Maybe this is an issue with Riak itself... I don't really know. Maybe a<br>
Riak dev could chip in on the conversation<br>
<br>
Cheers,<br>
<br>
Shuhao<br>
<br>
On 13-02-13 02:37 AM, Bogdan Flueras wrote:<br>
> Hello all,<br>
> I've got a 5 node cluster with Riak 1.2.1, all machines are multicore,<br>
> with min 4GB RAM.<br>
><br>
> I want to insert something like 50 million records in Riak with the java<br>
> client (Protobuf used) with default settings.  I've tried also with HTTP<br>
> protocol and set w = 1 but got some problems.<br>
><br>
> However the process is very slow: it doesn't write more than 6GB/ hour or<br>
> aprox. 280 KB/second.<br>
> To have all my data filled in, it would take aprox 2 days !!<br>
><br>
> What can I do to have the data filled into Riak ASAP?<br>
> How should I configure the cluster ? (vm.args/ app.config) I don't care so<br>
> much about consistency at this point.<br>
><br>
> Thank you,<br>
> ing. Bogdan Flueras<br>
><br>
><br>
><br>
> _______________________________________________<br>
> riak-users mailing list<br>
> <a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>
> <a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>
><br>
<br>
_______________________________________________<br>
riak-users mailing list<br>
<a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>
<a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>
_______________________________________________<br>
riak-users mailing list<br>
<a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>
<a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br></div>