<div dir="ltr">I know nothing about our infraestructure but,<div style>is possible run proyects in development,</div><div style>like Sugar Network in a different server/vm</div><div style>than critical services like git?</div>
<div style><br></div><div style>Gonzalo</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Apr 12, 2014 at 6:07 AM, Sebastian Silva <span dir="ltr"><<a href="mailto:sebastian@fuentelibre.org" target="_blank">sebastian@fuentelibre.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Here I just got home. Sorry for the inconvenience I might have caused.<div><br></div><div>Bernie, do you know which log was/is growing out of hand?</div><div><br></div><div>Here's a report on everything I know about the issue.</div>
<div>We've been experiencing some performance degradation and also some downtime in Sugar Network services (this is documented at <a href="http://tareas.somosazucar.org/hxp/issue71" target="_blank">http://tareas.somosazucar.org/hxp/issue71</a> ).</div>
<div>We've seen a burst in users since deployment OS images with Sugar Network features ( <a href="http://network.sugarlabs.org/stats-viewer/" target="_blank">http://network.sugarlabs.org/stats-viewer/</a> growing pretty fast user_total).</div>
<div>There is a notification feature that is polling the sugar network node service.</div><div>This was causing the allocation and exhaustion of resources (open files). Crashes got to a frequency of every hour or so.</div>
<div>It's code I don't understand really well, but I went ahead and patched the Sugar Network with: <a href="http://tareas.somosazucar.org/hxp/file66/sn_disable_notifications.patch" target="_blank">http://tareas.somosazucar.org/hxp/file66/sn_disable_notifications.patch</a> </div>
<div>This made the SN much snappier and it stopped crashing. However logs were saving a traceback several times per second. I thought I had contained the log issue but apparently I missed some other logs (I guess apache logs but they seem clean now).</div>
<div><br></div><div>I took a glance at jita and could not find the growing log.</div><div><br></div><div>Let me know where I can help mitigation.</div><div><br></div><div>Regards</div><div>Sebastian</div><div><div><br><br>
El vie, 11 de abr 2014 a las 7:51 PM, Bernie Innocenti <<a href="mailto:bernie@sugarlabs.org" target="_blank">bernie@sugarlabs.org</a>> escribió:<div class=""><br>
<blockquote type="cite"><div style="white-space:pre-wrap">I was notified that <a href="http://git.sugarlabs.org" target="_blank">git.sugarlabs.org</a> was showing errors.

After some head scraping I realized that the root filesystem on jita was
full. I looked around and found giant request logs containing millions
of requests apparently originating from XOs located in Peru.

We've been DDOSed by our own creature :-)

Anyway, the machine also had a giant, very fragmented mysql database
that I'm currently cleaning up. Gitorious will be back online in less
than 1 hour. Contact me on IRC if this is blocking your work, I can
postpone the maintenance.

<div>-- 
</div>Bernie Innocenti
Sugar Labs Infrastructure Team
<a href="http://wiki.sugarlabs.org/go/Infrastructure_Team" target="_blank">http://wiki.sugarlabs.org/go/Infrastructure_Team</a>
_______________________________________________
Sugar-devel mailing list
<a href="mailto:Sugar-devel@lists.sugarlabs.org" target="_blank">Sugar-devel@lists.sugarlabs.org</a>
<a href="http://lists.sugarlabs.org/listinfo/sugar-devel" target="_blank">http://lists.sugarlabs.org/listinfo/sugar-devel</a>
</div></blockquote></div></div></div><br>_______________________________________________<br>
Sugar-devel mailing list<br>
<a href="mailto:Sugar-devel@lists.sugarlabs.org">Sugar-devel@lists.sugarlabs.org</a><br>
<a href="http://lists.sugarlabs.org/listinfo/sugar-devel" target="_blank">http://lists.sugarlabs.org/listinfo/sugar-devel</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Gonzalo Odiard<br><br><div>SugarLabs - Software for children learning <br></div></div>
</div>