Saurabh,<div><br></div><div>No, your data doesn't need to reside on the filesystem before you can index it.  If you haven't already figured it out, riak-search is a superset of riak-kv.  That means that you have all the features of riak-kv along with the ability to index your data.  That means you really don't need to deploy both.  Although, if you want to do it that way it's certainly possible--I just want to make sure you are clear on this fact.</div>
<div><br></div><div>One way to index data is to parse documents on the filesystem to be indexed and stored by riak-search.  Another way is to index data as it flows into a bucket which seems to be what you are after.  To do that you need to add a pre-commit hook specific to riak-search.  If you haven't already, please take a look at <a href="http://wiki.basho.com/Riak-Search---Indexing-and-Querying-Riak-KV-Data.html">http://wiki.basho.com/Riak-Search---Indexing-and-Querying-Riak-KV-Data.html</a> .  If you have specific questions after reading that I'll be glad to help.</div>
<div><br></div><div>-Ryan</div><div><br></div><div><br><div class="gmail_quote">On Tue, Mar 15, 2011 at 12:53 PM, Saurabh Sehgal <span dir="ltr"><<a href="mailto:saurabh.r.s@gmail.com">saurabh.r.s@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi Sean, <div><br></div><div>Please let me know if I am wrong - but according to my understanding, the documents to index should reside on disk (the example on the wiki indexes *.txt files in a directory). What if my data is not written to files, but exists in a riak bucket. Do I have to pull it out and store it in a file on disk to be able to index it ? </div>

<div><br></div><div>Also, do you know if there are any erlang clients/helper libs for solr. I could not find any. Can the post commit hooks in riak be written in Java ?</div><div><br></div><div>Thank you, </div><div><br>
</div>
<div>Saurabh<div><div></div><div class="h5"><br><br><div class="gmail_quote">On Tue, Mar 15, 2011 at 5:27 AM, Sean Cribbs <span dir="ltr"><<a href="mailto:sean@basho.com" target="_blank">sean@basho.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word">Saurabh,<div><br></div><div>If you want to go with Solr, you have a few options:</div><div><br></div><div>1) Use application code to post an <add> document to Solr when saving your data into Riak.</div>

<div>2) Implement a Riak post-commit hook in Erlang to do the same, or to queue the additions to another process that can submit them to Solr.</div><div><br></div><div>I think you'll find that while on-disk indexes sound bad, that's actually how Solr does them too, and not every index query will hit disk on either system.  The primary difference is that Riak Search is tightly integrated with Riak KV and so you get a lot for free when you choose Riak Search, including auto-indexing and MapReduce queries that start with a search.</div>

<div><br><font color="#888888"><div>
<span style="border-collapse:separate;color:rgb(0, 0, 0);font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px"><div>

Sean Cribbs <<a href="mailto:sean@basho.com" target="_blank">sean@basho.com</a>></div><div>Developer Advocate</div><div>Basho Technologies, Inc.</div><div><a href="http://basho.com/" target="_blank">http://basho.com/</a></div>

</span>
</div>
<br></font><div><div><div>On Mar 15, 2011, at 2:08 AM, Saurabh Sehgal wrote:</div><br></div><blockquote type="cite"><div><div></div><div>Hi, <div><br></div><div>Since riak search is marked as "Beta Software" on the wiki, I am skeptical to use it in production. </div>

<div><br></div><div>Does riak offer any APIs or integration points that would allow me to index data into Solr ?</div>
<div>Specifically, I am storing key/value pairs in riak, where the value is a binary erlang term containing a tuple of text I would like to index. </div><div><br></div><div>Also, going through the riak search documentation, the erlang API seems to only have the capability of indexing documents </div>


<div>on disk as files (please correct me if this isn't true). Is there functionality to automatically retrieve and index documents already stored in riak ?</div><div>--</div><div><br></div><div>Saurabh</div><div><br clear="all">


<br>-- <br>Saurabh Sehgal<br>E-mail:     <a href="mailto:saurabh.r.s@gmail.com" target="_blank">saurabh.r.s@gmail.com</a><br>Phone:     <a href="tel:425-269-1324" target="_blank"></a><a href="tel:425-269-1324" target="_blank">425-269-1324</a><br>
LinkedIn: <a href="http://www.linkedin.com/pub/1/7a3/436" target="_blank">http://www.linkedin.com/pub/1/7a3/436</a> <br>


</div></div></div><div>
_______________________________________________<br>riak-users mailing list<br><a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>

</div></blockquote></div><br></div></div></blockquote></div><br><br clear="all"><br>-- <br>Saurabh Sehgal<br>E-mail:     <a href="mailto:saurabh.r.s@gmail.com" target="_blank">saurabh.r.s@gmail.com</a><br>Phone:     <a href="tel:425-269-1324" target="_blank">425-269-1324</a><br>

LinkedIn: <a href="http://www.linkedin.com/pub/1/7a3/436" target="_blank">http://www.linkedin.com/pub/1/7a3/436</a> <br>
</div></div></div>
<br>_______________________________________________<br>
riak-users mailing list<br>
<a href="mailto:riak-users@lists.basho.com">riak-users@lists.basho.com</a><br>
<a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br>
<br></blockquote></div><br></div>