Бұл жазба автоматты түрде орыс тілінен аударылған. English
Іздеумен Толықтырылған Ұрпақ (RAG) - жасалған мәтіннің дәлдігін, өзектілігін және сенімділігін арттыру үшін үлкен тілдік үлгілерді (LLMs) сыртқы білім негіздерімен біріктіретін ЖАСАНДЫ ИНТЕЛЛЕКТ жүйесі.
LangChain-БҰЛ RAG арқылы үлкен тілдік модельдерді (Llm) қолданатын қосымшалардың дамуын жеңілдетуге арналған құрылым. ОЛ RAG қосымшаларын құрудың құрылымдық тәсілін ұсынады, оған мыналар кіреді:
- Индекстеу: бұл деректерді жүктеуді, оларды басқарылатын бөліктерге бөлуді және тиімді іздеу үшін векторлық дерекқорда сақтауды қамтиды;
- Іздеу Және Генерациялау: LangChain пайдаланушылардың сұраныстары негізінде тиісті ақпаратты алу үшін іздеу механизмін қолданады;
- Сыртқы Деректермен интеграциялау: Әртүрлі деректер көздеріне қосылу Арқылы LangChain Llm-Ге оқу деректерінен тыс нақты уақыттағы ақпаратқа қол жеткізуге мүмкіндік береді;
Gemini-google DeepMind әзірлеген мультимодальды үлкен тіл үлгілерінің (LLMs) отбасы, ол әртүрлі деректер түрлерін, соның ішінде мәтінді, кескіндерді, аудионы және бейнені өңдеуге және түсінуге арналған.
Дереккөз: https://codelabs.developers.google.com/static/multimodal-rag-gemini
Біздің нұсқаулықта Біз ChromaDB-ді векторлық мәліметтер базасы ретінде, LangChain-Ді GEMINI Pro / Flash LLM-мен біріктірілген RAG жүйесін орнатуға арналған негіз ретінде қолдандық. Бастапқы кодты және толық нұсқаулықты төмендегі дәптерден табуға болады.
Kaggle Дәптері: https://www.kaggle.com/code/armanzhalgasbayev/rag-llm-langchain-gemini-ai
Retrieval-Augmented Generation (RAG) is an AI framework that combines large language models (LLMs) with external knowledge bases to enhance the accuracy, relevance, and reliability of generated text.
LangChain is a framework designed to facilitate the development of applications that leverage large language models (LLMs) through RAG. It provides a structured approach to building RAG applications, which includes:
- Indexing: This involves loading data, splitting it into manageable chunks, and storing it in a vector database for efficient retrieval;
- Retrieval and Generation: LangChain employs a retrieval mechanism to fetch relevant information based on user queries;
- Integration with External Data: By connecting to various data sources, LangChain enables LLMs to access real-time information beyond their training data;
Gemini is a family of multimodal large language models (LLMs) developed by Google DeepMind, designed to process and understand various types of data, including text, images, audio, and video.
Source: https://codelabs.developers.google.com/static/multimodal-rag-gemini
In our guide we used ChromaDB as a vector database, LangChain as a framework for setting up the RAG system integrated with the Gemini Pro / Flash LLM. Source code and full-guideline can be found in the notebook below.
Kaggle Notebook: https://www.kaggle.com/code/armanzhalgasbayev/rag-llm-langchain-gemini-ai
Share
