English
Дополненная поиском генерация (RAG) - это платформа искусственного интеллекта, которая объединяет большие языковые модели (LLM) с внешними базами знаний для повышения точности, релевантности и надежности генерируемого текста.
LangChain - это фреймворк, предназначенный для облегчения разработки приложений, использующих большие языковые модели (LLM) с помощью RAG. Он обеспечивает структурированный подход к созданию приложений RAG, который включает:
- Индексация: Это включает в себя загрузку данных, разбиение их на управляемые фрагменты и сохранение в векторной базе данных для эффективного поиска;
- Поиск и генерация: LangChain использует механизм поиска для получения соответствующей информации на основе запросов пользователей;
- Интеграция с внешними данными: Подключаясь к различным источникам данных, LangChain позволяет магистрам получать доступ к информации в режиме реального времени, помимо данных об обучении;
Gemini - это семейство мультимодальных больших языковых моделей (LLM), разработанных Google DeepMind и предназначенных для обработки и понимания различных типов данных, включая текст, изображения, аудио и видео.
Источник: https://codelabs.developers.google.com/static/multimodal-rag-gemini
В нашем руководстве мы использовали ChromaDB в качестве векторной базы данных, а LangChain - в качестве платформы для настройки системы RAG, интегрированной с Gemini Pro / Flash LLM. Исходный код и полное руководство можно найти в записной книжке ниже.
Записная книжка Kaggle: https://www.kaggle.com/code/armanzhalgasbayev/rag-llm-langchain-gemini-ai
Retrieval-Augmented Generation (RAG) is an AI framework that combines large language models (LLMs) with external knowledge bases to enhance the accuracy, relevance, and reliability of generated text.
LangChain is a framework designed to facilitate the development of applications that leverage large language models (LLMs) through RAG. It provides a structured approach to building RAG applications, which includes:
- Indexing: This involves loading data, splitting it into manageable chunks, and storing it in a vector database for efficient retrieval;
- Retrieval and Generation: LangChain employs a retrieval mechanism to fetch relevant information based on user queries;
- Integration with External Data: By connecting to various data sources, LangChain enables LLMs to access real-time information beyond their training data;
Gemini is a family of multimodal large language models (LLMs) developed by Google DeepMind, designed to process and understand various types of data, including text, images, audio, and video.
Source: https://codelabs.developers.google.com/static/multimodal-rag-gemini
In our guide we used ChromaDB as a vector database, LangChain as a framework for setting up the RAG system integrated with the Gemini Pro / Flash LLM. Source code and full-guideline can be found in the notebook below.
Kaggle Notebook: https://www.kaggle.com/code/armanzhalgasbayev/rag-llm-langchain-gemini-ai
Share
