<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Joe,<div class=""><br class=""></div><div class="">If the sample data is not confidential, how about creating a tar file of the entire leveldb data directory and either emailing to me directly or posting somewhere I can download it?  No need to copy the entire mailing list on the file or download location.</div><div class=""><br class=""></div><div class="">Matthew</div><div class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Feb 26, 2016, at 11:19 AM, Joe Olson <<a href="mailto:technology@nododos.com" class="">technology@nododos.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div class=""><div style="font-family: arial, helvetica, sans-serif; font-size: 12pt;" class=""><div class=""><br data-mce-bogus="1" class=""></div><div class=""><br data-mce-bogus="1" class=""></div><div class="">Negative.</div><div class=""><br data-mce-bogus="1" class=""></div><div class=""> I have ring size set to 8, leveldb split across two sets of drives ("fast" and "slow", but meaningless on the test Vagrant box...just two separate directories). I checked all of the ../leveldb/* directories. All LOG files are identical, and no errors in any of them.<br class=""></div><div class=""><br data-mce-bogus="1" class=""></div><div class="">I will try to build another Vagrant machine with the default riak.conf and see if I can get this to repeat. It is almost as if the KV pairs are not persisting to disk at all.<br data-mce-bogus="1" class=""></div><div class=""><br data-mce-bogus="1" class=""></div><div class=""><br class=""></div><hr id="zwchr" data-marker="__DIVIDER__" class=""><div data-marker="__HEADERS__" class=""><b class="">From: </b>"Matthew Von-Maszewski" <<a href="mailto:matthewv@basho.com" class="">matthewv@basho.com</a>><br class=""><b class="">To: </b>"Joe Olson" <<a href="mailto:technology@nododos.com" class="">technology@nododos.com</a>><br class=""><b class="">Cc: </b>"riak-users" <<a href="mailto:riak-users@lists.basho.com" class="">riak-users@lists.basho.com</a>>, "cmancini" <<a href="mailto:cmancini@basho.com" class="">cmancini@basho.com</a>><br class=""><b class="">Sent: </b>Friday, February 26, 2016 10:12:15 AM<br class=""><b class="">Subject: </b>Re: Ok, I am stumped. Losing data or riak stop<br class=""></div><br class=""><div data-marker="__QUOTED_TEXT__" class="">Joe,<div class=""><br class=""></div><div class="">Are there any error messages in the leveldb LOG and/or LOG.old files?  These files are located within each vnode's directory, likely /var/lib/riak/data/leveldb/*/LOG* on your machine.</div><div class=""><br class=""></div><div class="">The LOG files are not to be confused with 000xxx.log files.  The lower case *.log files are the recovery files that should contain the keys you are missing.  If they are not loading properly, the LOG files should have clues.</div><div class=""><br class=""></div><div class="">Matthew</div><div class=""><br class=""><div class=""><blockquote class=""><div class="">On Feb 26, 2016, at 11:04 AM, Christopher Mancini <<a href="mailto:cmancini@basho.com" class="" target="_blank">cmancini@basho.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class="">Hey Joe,<br class=""><br class="">I will do my best to help, but I am not the most experienced with Riak operations. Your best bet to get to a solution as fast as possible is to include the full users group, which I have added to the recipients of this message.<br class=""><br class="">1. Are the Riak data directories within Vagrant shared directories between the host and guest? I have had issues with OS file system caching before when working with web server files.<br class=""><br class="">2. What version of Ubuntu are you using?<br class=""><br class="">3. How did you install Riak on Ubuntu?<br class=""><br class="">4. Have you tried restoring the original distribution riak.conf file and seen if the issue persists? This would help you determine if the issue is your config or something with your environment.<br class=""><br class="">Chris<br class=""><br class=""><div class="gmail_quote"><div dir="ltr" class="">On Fri, Feb 26, 2016 at 10:55 AM Joe Olson <<a href="mailto:technology@nododos.com" class="" target="_blank">technology@nododos.com</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class=""><div style="font-family: arial, helvetica, sans-serif; font-size: 12pt;" class=""><div class=""><br class=""></div><div class="">Chris - <br class=""></div><div class=""><br class=""></div><div class=""> I cannot figure out what is going on. Here is my test case. Configuration file attached. I am running a single node of Riak on a vagrant box with a level DB back end. I don't even have to bring the box down, merely stopping and restarting riak '(riak stop' and 'riak start' or 'risk restart) causes all the keys to be lost. The riak node is set up on a Vagrant box. But again....I do not have to bring the machine up or down to get this error.<br class=""></div><div class=""><br class=""></div><div class="">I've also deleted the ring info in /var/lib/riak/ring, and deleted all the leveldb files. In this case, the bucket type is just n_val = 1, and the ring size is the minimum of 8. <br class=""></div><div class=""><br class=""></div><div class="">Is it possible Riak is not flushing RAM to disk after write? The keys only reside in RAM?<br class=""></div><div class=""><br class=""></div><div class="">My test procedure:<br class=""></div><div class=""><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">====On a remote machine=====<br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">riak01@ubuntu:/etc$ curl -i <span class=""><a class="">http://</a></span><ip>:8098/types/n1/buckets/test/keys?keys=true<br class="">HTTP/1.1 200 OK<br class="">Vary: Accept-Encoding<br class="">Server: MochiWeb/1.1 WebMachine/1.10.8 (that head fake, tho)<br class="">Date: <span class="">Fri, 26 Feb 2016</span> 13:14:59 GMT<br class="">Content-Type: application/json<br class="">Content-Length: 17<br class=""><br class="">{"keys":["test"]}</div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">riak01@ubuntu:/etc$</div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">====On the single Riak node itself====<br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">[vagrant@i-<span class=""><a href="callto:2016022519" target="_blank" class="">2016022519</a></span>-9bb5c84f riak]$ sudo riak stop<br class="">ok<br class="">[vagrant@i-<span class=""><a href="callto:2016022519" target="_blank" class="">2016022519</a></span>-9bb5c84f riak]$ sudo riak start<br class="">[vagrant@i-<span class=""><a href="callto:2016022519" target="_blank" class="">2016022519</a></span>-9bb5c84f riak]$ sudo riak ping<br class=""></div><div style="margin: 0px;" class="">pong<br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">====Back to the remote machine====<br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">riak01@ubuntu:/etc$ curl -i <span class=""><a class="">http://</a></span><ip>:8098/types/n1/buckets/test/keys?keys=true<br class="">HTTP/1.1 200 OK<br class="">Vary: Accept-Encoding<br class="">Server: MochiWeb/1.1 WebMachine/1.10.8 (that head fake, tho)<br class="">Date: <span class="">Fri, 26 Feb 2016</span> 13:16:34 GMT<br class="">Content-Type: application/json<br class="">Content-Length: 11<br class=""><br class="">{"keys":[]}</div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class="">riak01@ubuntu:/etc$</div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div><div style="margin: 0px;" class=""><br class=""></div></div></div></div></blockquote></div></div><div dir="ltr" class="">-- <br class=""></div><div dir="ltr" class=""><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">Sincerely,</span><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class=""><br class=""></div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">Christopher Mancini</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">-----------------------------</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class=""><br class=""></div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">employee = {</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">    purpose: solve problems with code,</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">    phone:    7164625591,</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">    email:     <a href="mailto:cmancini@basho.com" target="_blank" class="">cmancini@basho.com</a>,</div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">    github:    <a href="http://www.github.com/christophermancini" target="_blank" class="">http://www.github.com/christophermancini</a><br data-mce-bogus="1" class=""></div><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;line-height:normal" class="">}</div></div>
_______________________________________________<br class="">riak-users mailing list<br class=""><a href="mailto:riak-users@lists.basho.com" class="" target="_blank">riak-users@lists.basho.com</a><br class=""><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" class="">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br class=""></div></blockquote></div><br class=""></div><br class=""></div></div></div></div></blockquote></div><br class=""></div></body></html>