To be clear, I'm only talking about the solr interface.  I'm wondering if my query time will remain fixed (since it's capped at rows=1000) as I add several million docs to the index.<div><br></div><div>If I use my search as an input into Map/Reduce, won't my response time grow with my index? My search query would queue up a very large result set - and I expect performance to suffer if I trim this down in a reduce phase.</div>
<div><br></div><div>It would seem that I can prevent that slowdown by limiting the rows in the search (with rows=1000).  Despite that limit, though, I hit the too_many_results error which indicates that the search queues up a very large result set before it applies the row limit.  Is there something I'm missing here?</div>
<div><br></div><div>thanks,</div><div>Daniel</div><div><br><div><br></div><div>Basically, I'm wondering if my query time will remain<br><br><div class="gmail_quote">On Thu, Apr 14, 2011 at 7:53 AM, Gordon Tillman <span dir="ltr"><<a href="mailto:gtillman@mezeo.com">gtillman@mezeo.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div style="word-wrap:break-word">Daniel the max_search_results only applies to searches done via the solr interface.  From <a href="http://lists.basho.com/pipermail/riak-users_lists.basho.com/2011-January/002974.html" target="_blank">http://lists.basho.com/pipermail/riak-users_lists.basho.com/2011-January/002974.html</a>:<div>
<br></div><div><div>- System now aborts queries that would queue up too many documents in</div><div>  a result set. This is controlled by a 'max_search_results' setting</div><div>  in riak_search. Note that this only affects the Solr</div>
<div>  interface. Searches through the Riak Client API that feed into a</div><div>  Map/Reduce job are still allowed to execute because the system</div><div>  streams those results.</div><br><br><div>So you can use a map-reduce operation (with the search phase providing the inputs) and you should be OK.</div>
<div><br></div><div>--gordon</div><div><br></div><div><a href="http://lists.basho.com/pipermail/riak-users_lists.basho.com/2011-January/002974.html" target="_blank"></a><br><div><div><div></div><div class="h5"><div>On Apr 14, 2011, at 04:49 , Daniel Rathbone wrote:</div>
<br></div></div><blockquote type="cite"><div><div></div><div class="h5">Hi list,<div><br></div><div>I'm wondering how riaksearch performance will degrade as I add documents.</div><div><br></div><div>For my purpose I limit rows at 1k and sorting is not necessary.  I have a single node cluster for development.  I know I can increase performance if I add nodes but I'd like to understand this before I do.</div>

<div><br></div><div>My documents are small ~200 bytes.  With an index of 30k and rows limited to 1k, no problems.  I added 100k documents, and then I hit the too_many_results error.  Since I still have my row limit set at 1k, this indicates that the query does not return as soon as it finds the first 1k hits.  Is there a way to short circuit my queries so that they don't have to scan the whole index?</div>

<div><br></div><div>I got around too_many_results by increasing my max_search_results (I read <a href="https://help.basho.com/entries/480664-i-get-the-error-too-many-results" target="_blank">https://help.basho.com/entries/480664-i-get-the-error-too-many-results</a>).  I wonder, though, if I'll keep bumping memory boundaries as I add a few million docs to my index.</div>

<div><br></div><div>Thanks,</div><div>Daniel</div>
</div></div><span><ATT00001..txt></span></blockquote></div><br></div></div></div></blockquote></div><br></div></div>