Изолированного от интернета (и адекватного) LLM-помощника для изучения казахского языка я пока еще не запустил. Хотя релиз Llama 405B намекает, что все возможно (если у вас свой GPU кластер 😬). Для ноута модельки можно выбрать полегче и посмотреть на качество 8B (как говорится, подписывайтесь и ставьте лайки).

Для работы решил сократить T2M и подключил нейро-помощника с интеграцией в Google (модели Gemini) и Open AI. Приятно, что Google (в отличие от Open AI) можно подключить по API абсолютно бесплатно, без с регистрацией, но хотя бы без смс.

Считаем ROI:

— инвестиции: 3.5 часа на изучение документации, эксперименты и поиск котиков

— результат: сервис на streamlit с интеграцией в несколько LLM по API. Керемет!

🤔 Какая-нибудь инструкция нужна, чтобы запустить это самостоятельно или (для программистов) и так все ясно?

#work #life