<span id="mailbox-conversation"></span><div class="mailbox_signature">—<br>Sent from <a href="https://www.dropbox.com/mailbox">Mailbox</a>
</div>
<br><br><div class="gmail_quote"><p>On Wed, Aug 13, 2014 at 12:02 PM, riak-users-request@lists.basho.com <span dir="ltr"><<a href="mailto:riak-users-request@lists.basho.com" target="_blank">riak-users-request@lists.basho.com</a>></span> wrote:<br></p><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><p>Send riak-users mailing list submissions to
<br>      riak-users@lists.basho.com
<br><br>To subscribe or unsubscribe via the World Wide Web, visit
<br>      http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com
<br>or, via email, send a message with subject or body 'help' to
<br>      riak-users-request@lists.basho.com
<br><br>You can reach the person managing the list at
<br>      riak-users-owner@lists.basho.com
<br><br>When replying, please edit your Subject line so it is more specific
<br>than "Re: Contents of riak-users digest..."
<br><br><br>Today's Topics:
<br><br>   1. Re: some problems with storage statistic calculation
<br>      (Stanislav Vlasov)
<br><br><br>----------------------------------------------------------------------
<br><br>Message: 1
<br>Date: Wed, 13 Aug 2014 15:00:21 +0600
<br>From: Stanislav Vlasov <stanislav.v.v@gmail.com>
<br>To: riak-users <riak-users@lists.basho.com>
<br>Subject: Re: some problems with storage statistic calculation
<br>Message-ID:
<br>      <CAOQdWPHZcsc5H82gyN7aWMpQKBFisU--QEWEF1DikpuK=w8c_Q@mail.gmail.com>
<br>Content-Type: text/plain; charset=UTF-8
<br><br>2014-08-11 17:03 GMT+06:00 Stanislav Vlasov <stanislav.v.v@gmail.com>:
<br><br>> We have 8 nodes with riak+riak-cs, about 7 Tb data in cluster.
<br>> Some time riak process dead by OOM on several nodes when large
<br>> (~100Gb) file was writed via s3cmd, because riak-cs eated all memory.
<br>> After recovering we experiencing the following problems:
<br>>
<br>> 1) very slow storage statistic calculation (about two hour). Before
<br>> oom it was done in 40 minutes.
<br><br>After total riak-cs restart statistic calculate fine (about 10 min
<br>from begin to end). But 15 minutes after restart statstic calculation
<br>slowing agan and we see in console log:
<br><br>2014-08-13 08:18:31.854 [warning]
<br><0.4043.0>@riak_cs_manifest:maybe_warn_bloated_manifests:145 Large
<br>manifest size (54195024 bytes) for bucket=<<"test">> key=
<br><<"u7850.netangels.ru-20140328-full.tar.lzo">>
<br>2014-08-13 08:18:43.620 [warning]
<br><0.4081.0>@riak_cs_manifest:maybe_warn_bloated_manifests:145 Many
<br>manifest siblings (21 siblings) for bucket=<<"test">> key=
<br><<"u7850.netangels.ru-20140328-full.tar.lzo">>
<br><br>Filesize  was ~120Gb, uploaded before OOM. File does not exists now
<br>(deleted, uploaded with zero size and deleted again), but nothing
<br>changed.
<br><br>I guess it's a garbage collector issue, because it happen exactly
<br>every 15 minutes ({gc_interval,900}) after restart.
<br>What can i do with it?
<br><br>-- 
<br>Stanislav
<br><br><br><br>------------------------------
<br><br>Subject: Digest Footer
<br><br>_______________________________________________
<br>riak-users mailing list
<br>riak-users@lists.basho.com
<br>http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com
<br><br><br>------------------------------
<br><br>End of riak-users Digest, Vol 61, Issue 12
<br>******************************************
<br></p></blockquote></div><br>