<p dir="ltr">No, its simple riak search http request.</p>
<div class="gmail_quote">12 марта 2015 г. 18:54 пользователь "Zeeshan Lakhani" <<a href="mailto:zlakhani@basho.com">zlakhani@basho.com</a>> написал:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">Are you running mapreduce with Solr queries? <div><div><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);font-family:'Ubuntu Mono for Powerline';font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);font-family:'Ubuntu Mono';font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><div style="color:rgb(0,0,0);font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;border-spacing:0px"><div style="word-wrap:break-word"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;border-spacing:0px"><div style="word-wrap:break-word"><span style="border-collapse:separate;color:rgb(0,0,0);font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;border-spacing:0px"><div style="word-wrap:break-word"><br></div></span></div></span></div></span></div></div></div></div></div></div></div></div></div></div>
</div>
<br><div><blockquote type="cite"><div>On Mar 12, 2015, at 11:50 AM, Roma Lakotko <<a href="mailto:roman@lakotko.ru" target="_blank">roman@lakotko.ru</a>> wrote:</div><br><div><div dir="ltr">I don't see any solr errors. But each 10-20 minutes on prod and once a day on dev i see strange errors:<div><br></div><div><div>2015-03-11 09:18:10.668 [error] <0.234.0> Supervisor riak_pipe_fitting_sup had child undefined started with riak_pipe_fitting:start_link() at <0.12060.2> exit with reason noproc in context shutdown_error</div><div>2015-03-12 13:12:05.200 [error] <0.379.0> Supervisor riak_kv_mrc_sink_sup had child undefined started with riak_kv_mrc_sink:start_link() at <0.6601.1> exit with reason noproc in context shutdown_error</div><div><br></div><div>For both prod and dev instance values are:<br><div><br></div><div>anti_entropy_build_limit  -> {ok,{1,3600000}}<br></div><div>anti_entropy_concurrency -> {ok,2}<br></div><div>anti_entropy_tick - > undefined<br></div></div></div><div><br></div><div>I delete data folder and run init method, i'll  results after it rebuild trees.</div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-03-12 18:22 GMT+03:00 Zeeshan Lakhani <span dir="ltr"><<a href="mailto:zlakhani@basho.com" target="_blank">zlakhani@basho.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div>Are you noticing any Solr errors in the logs? </div><div><br></div><div>For your container instance, you can attempt to clear the AAE trees and force a rebuild by removing the entropy directories in `<span style="font-family:UbuntuMono-RegularForPowerline">./data/yz_anti_entropy` and running `</span><span style="background-color:rgb(255,255,255)"><font face="Verdana, Geneva, Helvetica, Arial, sans-serif">yz_entropy_mgr:init([])` via `riak attach`.  Or, you can let AAE occur naturally (after removing the entropy data) and up the concurrency/build_limit/tick (using set_env). You can see what you’re current settings are by calling...</font></span></div><div><span style="font-family:Verdana,Geneva,Helvetica,Arial,sans-serif;font-size:13.4399995803833px;background-color:rgb(255,255,255)"><br></span></div><div><span style="font-family:Verdana,Geneva,Helvetica,Arial,sans-serif;font-size:13.4399995803833px;background-color:rgb(255,255,255)">```</span></div><div><span style="font-family:Verdana,Geneva,Helvetica,Arial,sans-serif;font-size:13.4399995803833px;background-color:rgb(255,255,255)"><div>riak_core_util:rpc_every_member_ann(application, get_env, [riak_kv, anti_entropy_build_limit],infinity).</div><div>riak_core_util:rpc_every_member_ann(application, get_env, [riak_kv, anti_entropy_concurrency],infinity).</div><div>riak_core_util:rpc_every_member_ann(application, get_env, [yokozuna, anti_entropy_tick],infinity).</div><div>```</div><div><br></div><div>… on any of the nodes.  Query coverage is R=1, but the values should be replicated across.</div><div><br></div><div>Thanks.</div></span></div><div><div><div><span style="font-family:UbuntuMono-RegularForPowerline"><br></span></div><div><span style="font-family:UbuntuMono-RegularForPowerline"><br></span></div><div><blockquote type="cite"><div>On Mar 12, 2015, at 9:51 AM, Roma Lakotko <<a href="mailto:roman@lakotko.ru" target="_blank">roman@lakotko.ru</a>> wrote:</div><br><div><div dir="ltr">Hello <span style="font-size:12.8000001907349px">Zeeshan.</span><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">While i run queries no delete object is occurs. </span></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">Stats on production and developer nodes output something like this: </span><span style="font-size:12.8000001907349px"><a href="https://gist.github.com/romulka/d0254aa193a9dbb52b67" target="_blank">https://gist.github.com/romulka/d0254aa193a9dbb52b67</a></span></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">On dev container:</span></div><div><br></div><div><div><span style="font-size:12.8000001907349px">/etc/riak# grep anti_entropy *</span></div><div><span style="font-size:12.8000001907349px">riak.conf:anti_entropy = active</span></div><div><span style="font-size:12.8000001907349px">riak.conf.dpkg-dist:anti_entropy = active</span></div></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><div><span style="font-size:12.8000001907349px">ll -h /var/lib/riak/yz_anti_entropy/</span></div><div><span style="font-size:12.8000001907349px">total 264K</span></div><div><span style="font-size:12.8000001907349px">drwxrwxr-x 66 riak riak 4.0K Sep 25 12:08 ./</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x 12 riak riak 4.0K Dec  9 12:19 ../</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x  9 riak riak 4.0K Mar 12 12:01 0/</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x  9 riak riak 4.0K Mar 12 12:01 1004782375664995756265033322492444576013453623296/</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x  9 riak riak 4.0K Mar 12 12:01 1027618338748291114361965898003636498195577569280/</span></div></div><div><span style="font-size:12.8000001907349px">....</span></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">On prod:</span></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px">grep anti_entropy * /etc/riak/ -> empty</span><br></div><div><span style="font-size:12.8000001907349px"><br></span></div><div><div><span style="font-size:12.8000001907349px">root@riak-21:/var/lib/riak/yz_anti_entropy# ll -h</span></div><div><span style="font-size:12.8000001907349px">total 64K</span></div><div><span style="font-size:12.8000001907349px">drwxrwxr-x 16 riak riak 4.0K Dec  4 03:44 ./</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x 14 riak riak 4.0K Dec  9 12:10 ../</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x  9 riak riak 4.0K Dec  4 03:44 0/</span></div><div><span style="font-size:12.8000001907349px">drwxr-xr-x  9 riak riak 4.0K Mar 12 12:57 1027618338748291114361965898003636498195577569280/</span></div></div><div><span style="font-size:12.8000001907349px">....</span></div><div><span style="font-size:12.8000001907349px"><br></span></div><div>I'm already try re-save all keys, it doesn't helps.</div><div><br></div><div>Production cluster have 7 node, start from 3. So yes, nodes was added/delete sometimes.</div><div><br></div><div>On dev, i have 1 instance in docker container, never added to cluster. But data in that riak is imported from production cluster a while ago.</div><div><br></div><div>I can give you a copy of container, if you need to.</div><div><br></div><div>Thanks,</div><div>Ronan Lakotko</div><div><span style="font-size:12.8000001907349px"><br></span></div><div><span style="font-size:12.8000001907349px"><br></span></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-03-12 16:36 GMT+03:00 Zeeshan Lakhani <span dir="ltr"><<a href="mailto:zlakhani@basho.com" target="_blank">zlakhani@basho.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">Hello Roma, <br><br>Have you deleted this object at some point in your runs? Please make sure AAE is running by checking search’s AAE status, `riak-admin search aae-status`, and that data exists in the correct directory, `./data/yz_anti_entropy` (<a href="http://docs.basho.com/riak/latest/ops/advanced/configs/search/" target="_blank">http://docs.basho.com/riak/latest/ops/advanced/configs/search/</a>). You may just need to perform a read-repair by performing a fetch of the object itself first, before performing search queries again.<div><br></div><div>Also, have you left or added nodes? I’m guessing that  even your 1 node instance is still running a cluster on that one node, right?</div><div><br></div><div>Thanks.<br><br><div>
<div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:start;text-indent:0px;word-wrap:break-word"><div style="text-align:-webkit-auto;text-indent:0px;word-wrap:break-word"><div style="text-align:-webkit-auto;text-indent:0px;word-wrap:break-word"><div style="text-align:-webkit-auto;text-indent:0px;word-wrap:break-word"><span style="border-collapse:separate;border-spacing:0px"><div style="word-wrap:break-word"><span style="border-collapse:separate;text-indent:0px;border-spacing:0px"><div style="word-wrap:break-word"><span style="border-collapse:separate;text-indent:0px;border-spacing:0px"><div style="word-wrap:break-word">Zeeshan Lakhani<br>programmer | </div><div style="font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">software engineer at @basho | </div><div style="font-family:Helvetica;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">org. member/founder of @papers_we_love | <a href="http://paperswelove.org/" target="_blank">paperswelove.org</a><br>twitter => @zeeshanlakhani</div></span></div></span></div></span></div></div></div></div></div></div></div></div></div></div>
</div>
<br><div><blockquote type="cite"><div><div><div>On Mar 12, 2015, at 5:59 AM, Roma Lakotko <<a href="mailto:roman@lakotko.ru" target="_blank">roman@lakotko.ru</a>> wrote:</div><br></div></div><div><div><div><div dir="ltr"><div>Each request to riak search return different results. It's return different <span>numFound.</span></div><div><br></div><div>I use request like this:</div><div><br></div><a href="http://localhost:8098/search/query/assets?wt=json&q=type:*&sort=_yz_rk%20asc" target="_blank">http://localhost:8098/search/query/assets?wt=json&q=type:*&sort=_yz_rk%20asc</a><div><br></div><div>If add start offset it can return:</div><div><br></div><div><a href="http://localhost:8098/search/query/assets?wt=json&q=type:*&sort=_yz_rk%20asc&start=1247" target="_blank">http://localhost:8098/search/query/assets?wt=json&q=type:*&sort=_yz_rk%20asc&start=1247</a><br></div><div><pre><pre>"response": {
        "numFound": 1248,
        "start": 1247,
        "docs": [
            {
                "_yz_id": "1*default*assets*fff63ecf-a0c4-4ecf-b24d-c493ca3a302f*44",
                "_yz_rk": "fff63ecf-a0c4-4ecf-b24d-c493ca3a302f",
                "_yz_rt": "default",
                "_yz_rb": "assets"
            }
        ]
    }</pre><pre><br></pre><pre>On next request it return something like this</pre><pre><br></pre><pre>"numFound": 1224,
        "start": 1247,
        "docs": []</pre><pre><br></pre><pre>I have 1 node installation, and no process write to Riak.</pre><pre>I have same problem this production cluster with 7 nodes.</pre><pre><br></pre><pre>Scheme for document</pre><pre><br></pre><pre><font><?xml version="1.0" encoding="UTF-8" ?>
<schema name="schedule" version="1.5">
 <fields>
   <field name="objectId"     type="string_ci"   indexed="true" stored="false" />
   <field name="type"     type="string_ci"   indexed="true" stored="false" />
   <field name="objectType"     type="string_ci"   indexed="true" stored="false" />
   
   <field name="contentType"     type="string_ci"   indexed="true" stored="false" />
   <field name="properties"    type="string_ci"   indexed="true" stored="false" multiValued="true" />
   <field name="tag"     type="string_ci"   indexed="true" stored="false" />
   <field name="isUploaded"    type="boolean"     indexed="true" stored="false" />
   <field name="published"    type="boolean"     indexed="true" stored="false" />
   <field name="drm"    type="boolean"     indexed="true" stored="false" />
   <field name="dateCreated" type="date" indexed="true" stored="false" />

   <!-- All of these fields are required by Riak Search -->
   <field name="_yz_id"   type="_yz_str" indexed="true" stored="true"  multiValued="false" required="true"/>
   <field name="_yz_ed"   type="_yz_str" indexed="true" stored="false" multiValued="false"/>
   <field name="_yz_pn"   type="_yz_str" indexed="true" stored="false" multiValued="false"/>
   <field name="_yz_fpn"  type="_yz_str" indexed="true" stored="false" multiValued="false"/>
   <field name="_yz_vtag" type="_yz_str" indexed="true" stored="false" multiValued="false"/>
   <field name="_yz_rk"   type="_yz_str" indexed="true" stored="true"  multiValued="false"/>
   <field name="_yz_rt"   type="_yz_str" indexed="true" stored="true"  multiValued="false"/>
   <field name="_yz_rb"   type="_yz_str" indexed="true" stored="true"  multiValued="false"/>
   <field name="_yz_err"  type="_yz_str" indexed="true" stored="false" multiValued="false"/>

   <dynamicField name="*" type="ignored"/>
 </fields>

 <uniqueKey>_yz_id</uniqueKey>

 <types>
  <!-- YZ String: Used for non-analyzed fields text_ru -->
  <fieldType name="date" class="solr.TrieDateField" sortMissingLast="true" omitNorms="true"/>
  <fieldType name="double" class="solr.TrieDoubleField" sortMissingLast="true" omitNorms="true"/>
  <fieldType name="int" class="solr.TrieIntField" sortMissingLast="true" omitNorms="true"/>

  <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true" omitNorms="true"/>
  <fieldType name="_yz_str" class="solr.StrField" sortMissingLast="true" />
  <fieldtype name="ignored" stored="false" indexed="false" multiValued="true" class="solr.StrField" />
  <fieldType name="string_ci" class="solr.TextField" sortMissingLast="true" omitNorms="true">
        <analyzer>
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.LowerCaseFilterFactory" />
            <filter class='solr.PatternReplaceFilterFactory' pattern='ё' replacement='е' replace='all'/>
        </analyzer>
    </fieldType> 
  </types></font></pre><pre><font></schema><br></font></pre><pre><font><br></font></pre><pre><pre><pre><font>Best regards,</font></pre><pre><font>Roman</font></pre></pre></pre></pre></div></div></div></div>
_______________________________________________<br>riak-users mailing list<br><a href="mailto:riak-users@lists.basho.com" target="_blank">riak-users@lists.basho.com</a><br><a href="http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com" target="_blank">http://lists.basho.com/mailman/listinfo/riak-users_lists.basho.com</a><br></div></blockquote></div><br></div></div></blockquote></div><br></div>
</div></blockquote></div><br></div></div></div></blockquote></div><br></div>
</div></blockquote></div><br></div></div></blockquote></div>