Here I just got home. Sorry for the inconvenience I might have caused.<div><br></div><div>Bernie, do you know which log was/is growing out of hand?</div><div><br></div><div>Here's a report on everything I know about the issue.</div><div>We've been experiencing some performance degradation and also some downtime in Sugar Network services (this is documented at <a href="http://tareas.somosazucar.org/hxp/issue71">http://tareas.somosazucar.org/hxp/issue71</a> ).</div><div>We've seen a burst in users since deployment OS images with Sugar Network features ( <a href="http://network.sugarlabs.org/stats-viewer/">http://network.sugarlabs.org/stats-viewer/</a> growing pretty fast user_total).</div><div>There is a notification feature that is polling the sugar network node service.</div><div>This was causing the allocation and exhaustion of resources (open files). Crashes got to a frequency of every hour or so.</div><div>It's code I don't understand really well, but I went ahead and patched the Sugar Network with: <a href="http://tareas.somosazucar.org/hxp/file66/sn_disable_notifications.patch">http://tareas.somosazucar.org/hxp/file66/sn_disable_notifications.patch</a> </div><div>This made the SN much snappier and it stopped crashing. However logs were saving a traceback several times per second. I thought I had contained the log issue but apparently I missed some other logs (I guess apache logs but they seem clean now).</div><div><br></div><div>I took a glance at jita and could not find the growing log.</div><div><br></div><div>Let me know where I can help mitigation.</div><div><br></div><div>Regards</div><div>Sebastian</div><div><div><br><br>El vie, 11 de abr 2014 a las 7:51 PM, Bernie Innocenti <bernie@sugarlabs.org> escribió:<br>
<blockquote type="cite"><div class="plaintext" style="white-space: pre-wrap;">I was notified that git.sugarlabs.org was showing errors.

After some head scraping I realized that the root filesystem on jita was
full. I looked around and found giant request logs containing millions
of requests apparently originating from XOs located in Peru.

We've been DDOSed by our own creature :-)

Anyway, the machine also had a giant, very fragmented mysql database
that I'm currently cleaning up. Gitorious will be back online in less
than 1 hour. Contact me on IRC if this is blocking your work, I can
postpone the maintenance.

<div>-- 
</div>Bernie Innocenti
Sugar Labs Infrastructure Team
<a href="http://wiki.sugarlabs.org/go/Infrastructure_Team">http://wiki.sugarlabs.org/go/Infrastructure_Team</a>
_______________________________________________
Sugar-devel mailing list
Sugar-devel@lists.sugarlabs.org
<a href="http://lists.sugarlabs.org/listinfo/sugar-devel">http://lists.sugarlabs.org/listinfo/sugar-devel</a>
</div></blockquote></div></div>