<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">Please can you let me know if you’re using a typed or default bucket?<div><br></div><div>Please can you let me know what you’re DVV setting is?</div><div><br><div><div>On 29 Dec 2014, at 12:27, Jason Ryan <<a href="mailto:jason.ryan@trustev.com">jason.ryan@trustev.com</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><div dir="ltr"><div class="gmail_extra">Also we noticed these warnings - should we change the environment to make these on each node?</div><div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">2014-12-29 11:32:14.564 [warning] <0.339.0> riak_kv_env: sysctl net.core.rmem_max is 124928, should be at least 8388608)</div><div class="gmail_extra">2014-12-29 11:32:14.564 [warning] <0.339.0> riak_kv_env: sysctl net.core.netdev_max_backlog is 1000, should be at least 10000)</div><div class="gmail_extra">2014-12-29 11:32:14.564 [warning] <0.339.0> riak_kv_env: sysctl net.core.somaxconn is 128, should be at least 40000)</div><div class="gmail_extra">2014-12-29 11:32:14.564 [warning] <0.339.0> riak_kv_env: sysctl net.ipv4.tcp_max_syn_backlog is 2048, should be at least 40000)</div><div class="gmail_extra">2014-12-29 11:32:14.565 [warning] <0.339.0> riak_kv_env: sysctl net.ipv4.tcp_fin_timeout is 60, should be no more than 15)</div><div class="gmail_extra">2014-12-29 11:32:14.565 [warning] <0.339.0> riak_kv_env: sysctl net.ipv4.tcp_keepalive_intvl is 75</div><div class="gmail_extra">, should be no more than 30)</div><div class="gmail_extra">2014-12-29 11:32:14.565 [warning] <0.339.0> riak_kv_env: sysctl net.ipv4.tcp_tw_reuse is 0, should be 1)</div><div class="gmail_extra">2014-12-29 11:33:02.528 [warning] <10924.36.0> OS_MON (memsup) called by <10924.36.0>, not started</div><div class="gmail_extra">2014-12-29 11:33:02.534 [warning] <10924.45.0> OS_MON (memsup) called by <10924.45.0>, not started</div><div class="gmail_extra"><br></div><div class="gmail_extra"><br></div></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On 29 December 2014 at 12:08, Sargun Dhillon<span class="Apple-converted-space"> </span><span dir="ltr"><<a href="mailto:sargun@sargun.me" target="_blank">sargun@sargun.me</a>></span><span class="Apple-converted-space"> </span>wrote:<br><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex;">The bucket (type) that you're working with -- what are your<br>allow_mult, and last_write_wins settings?<br><br>On Mon, Dec 29, 2014 at 4:05 AM, Jason Ryan <<a href="mailto:jason.ryan@trustev.com" target="_blank">jason.ryan@trustev.com</a>> wrote:<br>> It seems to move between 4 keys in particular, these keys are actually empty<br>> at the moment (i.e. an empty JSON document).<br>><br>> CPU utilization is close to zero.<br>><br>> Can't see anything in particular, bar the error message I just posted<br>> before.<br>><br>> Jason<br>><br>><br>> On 29 December 2014 at 11:58, Ciprian Manea <<a href="mailto:ciprian@basho.com" target="_blank">ciprian@basho.com</a>> wrote:<br>>><br>>> Hi Jason,<br>>><br>>> Are these random timeouts happening for only one key, or is common for<br>>> more?<br>>><br>>> What is the CPU utilisation in the cluster when you're experience these<br>>> timeouts?<br>>><br>>> Can you spot anything peculiar in your server's $ dmesg outputs? Any I/O<br>>> errors there?<br>>><br>>><br>>> Regards,<br>>> Ciprian<br>>><br>>> On Mon, Dec 29, 2014 at 1:55 PM, Sargun Dhillon <<a href="mailto:sargun@sargun.me" target="_blank">sargun@sargun.me</a>> wrote:<br>>>><br>>>> Several things:<br>>>> 1) I recommend you have a 5-node cluster:<br>>>><span class="Apple-converted-space"> </span><a href="http://basho.com/why-your-riak-cluster-should-have-at-least-five-nodes/" target="_blank">http://basho.com/why-your-riak-cluster-should-have-at-least-five-nodes/</a><br>>>> 2) What version of Riak are you using?<br>>>> 3) What backend(s) are you using?<br>>>> 4) What's the size of your keyspace?<br>>>> 5) Are you actively rewriting keys, or writing keys to the cluster?<br>>>> 6) Do you know how much I/O the cluster is currently doing?<br>>>><br>>>> On Mon, Dec 29, 2014 at 2:51 AM, Jason Ryan <<a href="mailto:jason.ryan@trustev.com" target="_blank">jason.ryan@trustev.com</a>><br>>>> wrote:<br>>>> > Hi,<br>>>> ><br>>>> > We are getting random timeouts from our application (>60seconds) when<br>>>> > we try<br>>>> > to retrieve a key from our Riak cluster (4 nodes with a load balancer<br>>>> > in<br>>>> > front of them). Our application just uses the standard REST API to<br>>>> > query<br>>>> > Riak.<br>>>> ><br>>>> > We are pretty new to Riak - so would like to understand how best to<br>>>> > debug<br>>>> > this issue? Is there any good pointers on what to start with? This is<br>>>> > our<br>>>> > production cluster.<br>>>> ><br>>>> > Thanks,<br>>>> > Jason<br>>>> ><br>>>> ><br>>>> > This message is for the named person's use only. If you received this<br>>>> > message in error, please immediately delete it and all copies and<br>>>> > notify the<br>>>> > sender. You must not, directly or indirectly, use, disclose,<br>>>> > distribute,<br>>>> > print, or copy any part of this message if you are not the intended<br>>>> > recipient. Any views expressed in this message are those of the<br>>>> > individual<br>>>> > sender and not Trustev Ltd. Trustev is registered in Ireland No. 516425<br>>>> > and<br>>>> > trades from 2100 Cork Airport Business Park, Cork, Ireland.<br>>>> ><br>>>> ><br>>>> > _______________________________________________<br>>>> > riak-users mailing list<br>>>> ><span class="Apple-converted-space"> </span><a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>>>> ><span class="Apple-converted-space"> </span><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>>>> ><br>>>><br>>>> _______________________________________________<br>>>> riak-users mailing list<br>>>><span class="Apple-converted-space"> </span><a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br>>>><span class="Apple-converted-space"> </span><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>>><br>>><br>><br>><br>> This message is for the named person's use only. If you received this<br>> message in error, please immediately delete it and all copies and notify the<br>> sender. You must not, directly or indirectly, use, disclose, distribute,<br>> print, or copy any part of this message if you are not the intended<br>> recipient. Any views expressed in this message are those of the individual<br>> sender and not Trustev Ltd. Trustev is registered in Ireland No. 516425 and<br>> trades from 2100 Cork Airport Business Park, Cork, Ireland.<br></blockquote></div><br></div></div><br><p dir="ltr" style="color: rgb(34, 34, 34); font-family: arial; font-size: small; line-height: 1.15; margin-top: 10pt; margin-bottom: 10pt; margin-left: 36pt; background-color: rgb(255, 255, 255);"><span style="font-size: 13px; font-family: Calibri; font-style: italic; vertical-align: baseline; white-space: pre-wrap; background-color: transparent;">This message is for the named person's use only. If you received this message in error, please immediately delete it and all copies and notify the sender. You must not, directly or indirectly, use, disclose, distribute, print, or copy any part of this message if you are not the intended recipient. Any views expressed in this message are those of the individual sender and not Trustev Ltd. </span><span style="font-family: Calibri; font-size: 13px; font-style: italic; line-height: normal; white-space: pre-wrap; background-color: transparent;">Trustev is registered in Ireland No. 516425 and trades from 2100 Cork Airport Business Park, Cork, Ireland.</span></p>_______________________________________________<br>riak-users mailing list<br><a href="mailto:riak-users@lists.basho.com">riak-users@lists.basho.com</a><br><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a></div></blockquote></div><br></div></body></html>