Дополненная поиском генерация (RAG) - это платформа искусственного интеллекта, которая объединяет большие языковые модели (LLM) с внешними базами знаний для повышения точности, релевантности и надежности генерируемого текста.

LangChain - это фреймворк, предназначенный для облегчения разработки приложений, использующих большие языковые модели (LLM) с помощью RAG. Он обеспечивает структурированный подход к созданию приложений RAG, который включает:

• Индексация: Это включает в себя загрузку данных, разбиение их на управляемые фрагменты и сохранение в векторной базе данных для эффективного поиска;
• Поиск и генерация: LangChain использует механизм поиска для получения соответствующей информации на основе запросов пользователей;
• Интеграция с внешними данными: Подключаясь к различным источникам данных, LangChain позволяет магистрам получать доступ к информации в режиме реального времени, помимо данных об обучении;

Gemini - это семейство мультимодальных больших языковых моделей (LLM), разработанных Google DeepMind и предназначенных для обработки и понимания различных типов данных, включая текст, изображения, аудио и видео.

Источник: https://codelabs.developers.google.com/static/multimodal-rag-gemini

В нашем руководстве мы использовали ChromaDB в качестве векторной базы данных, а LangChain - в качестве платформы для настройки системы RAG, интегрированной с Gemini Pro / Flash LLM. Исходный код и полное руководство можно найти в записной книжке ниже.

Записная книжка Kaggle: https://www.kaggle.com/code/armanzhalgasbayev/rag-llm-langchain-gemini-ai

• Карндип Сингх. "Langchain_With_Gemini_And_Build_RAG.ipynb";
• https://www.langchain.com /
• https://aistudio.google.com/
• https://www.perplexity.ai/