<div dir="ltr"><div>Your timeline is terse, it'll be great if you add some implementation detail to your proposal as there's</div><div>scarcely any.<br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><pre style="color:rgb(46,52,54);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px"><span style="font-family:monospace,monospace">-- <br></span></pre><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><span></span><span></span>Ibiam Chihurumnaya</span></div><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><a href="mailto:ibiam@sugarlabs.org" target="_blank">ibiam@sugarlabs.org</a><br></span></div><br></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 28, 2024 at 7:54 PM Sujay R <<a href="mailto:sujay1844@gmail.com">sujay1844@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-size:small">Ok, the cloud sounds good.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">And thank you for patiently discussing the requirements with me and answering my questions. Now, I think I can come up with a tentative timeline.</div><div class="gmail_default" style="font-size:small">I've attached v2 of my proposal with the timeline. Please let me know if there are any more changes. If none, I'll submit it on the GSoC website. The deadline is right around the corner</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 27, 2024 at 11:37 PM Chihurumnaya Ibiam <<a href="mailto:ibiam@sugarlabs.org" target="_blank">ibiam@sugarlabs.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">We were thinking of a cloud option, but we haven't decided yet.<br clear="all"><div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><pre style="color:rgb(46,52,54);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px"><span style="font-family:monospace,monospace">-- <br></span></pre><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><span></span><span></span>Ibiam Chihurumnaya</span></div><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><a href="mailto:ibiam@sugarlabs.org" target="_blank">ibiam@sugarlabs.org</a><br></span></div><br></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 26, 2024 at 6:40 PM Sujay R <<a href="mailto:sujay1844@gmail.com" target="_blank">sujay1844@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-size:small">Thanks for explaining that. But it's still not clear to me where the FOSS LLM should be run. Not on the devices running Sugar, so is cloud the option you're looking for?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 26, 2024 at 11:02 PM Chihurumnaya Ibiam <<a href="mailto:ibiam@sugarlabs.org" target="_blank">ibiam@sugarlabs.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>The plan was never really to run an LLM on Sugar as that'll drastically increase the size of the activity</div><div>and Sugar itself as Chat is a <a href="https://wiki.sugarlabs.org/go/Development_Team/Release/Modules" target="_blank">fructose</a> activity.</div><div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><pre style="color:rgb(46,52,54);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px"><span style="font-family:monospace,monospace">-- <br></span></pre><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><span></span><span></span>Ibiam Chihurumnaya</span></div><div style="color:rgb(46,52,54);font-size:14.6667px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;width:71ch"><span style="font-family:monospace,monospace"><a href="mailto:ibiam@sugarlabs.org" target="_blank">ibiam@sugarlabs.org</a><br></span></div><br></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 26, 2024 at 10:54 AM Sujay R <<a href="mailto:sujay1844@gmail.com" target="_blank">sujay1844@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Sugar runs on a lot of devices including low end devices - 2GB ram - and we intend to keep it that way, the chat activity is<br>typically used by more than one Sugar instance, the chatbot should also be able to run on just one instance.</blockquote><div> </div><div><span class="gmail_default" style="font-size:small">Running LLMs on just 2GB ram is atleast a few years away. So the bot has to be hosted on an API. Cloud is a good option, there is serverless GPU inference and provisioned ones. One that I like is RunPod (<a href="https://www.runpod.io/serverless-gpu" target="_blank">serverless pricing</a> and <a href="https://www.runpod.io/gpu-instance/pricing" target="_blank">provisioned pricing</a>). Local hosting is also an option, for a 7B model, a moderately new (4-5 year old) GPU with 16GB VRAM. Running with lower RAM is possible but with excessive quantisation (rounding off) at the cost of quality and speed.</span></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail_default" style="font-size:small"><div>You can leverage the sugar-datastore if you need to store activity related data.</div></span></blockquote><div> </div><div class="gmail_default" style="font-size:small">Storing the chat history is not an issue. Time complexity for generation(inference) of a transfomer is O(n^2) where n is the number of tokens. So we need to be mindful of how much history do we actually need</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>