Обработка естественного языка (NLP)

Текстовые корпуса, наборы данных с метками эмоций, контекстные тексты, записи диалогов.

FineWeb — набор данных, предназначенный для задач обучения языковых моделей и извлечения знаний из интернета. Включает в себя разнообразные текстовые данные с различных веб-сайтов, что делает его полезным для тренировки моделей на естественном языке и создания интерактивных приложений на основе ИИ.

C4 (Colossal Clean Crawled Corpus) — это огромный набор данных, состоящий из очищенных текстов, собранных с интернета. Набор данных создан для обучения языковых моделей, содержит триллионы слов, что делает его полезным для широкого спектра задач обработки естественного языка, таких как языковое моделирование, генерация текста и другие NLP-задачи.

Wikipedia — это набор данных, включающий текст из различных языковых разделов Википедии. Он используется для обучения и тестирования моделей в задачах обработки естественного языка, таких как генерация текста и поиск информации. Данные включают статьи и метаданные, полезные для NLP исследований.

CCMatrix — это набор параллельных текстов, созданных на основе большого объема веб-данных. Он содержит переводы на десятки языков и используется для обучения и улучшения моделей машинного перевода. Данный ресурс полезен для задач, связанных с многоязычной обработкой текста, синхронным переводом и другими задачами NLP.

The Pile — это крупный набор данных, содержащий 825 ГБ текстовых данных из различных источников. Он разработан для обучения масштабируемых языковых моделей и включает широкий спектр доменов, таких как научные статьи, литература, техническая документация и многое другое. The Pile полезен для исследований в области NLP, генерации текста и понимания контекста.

WikiText — это набор текстовых данных, содержащий статьи из Википедии, специально отобранные для обучения языковых моделей. Отличительной чертой является сохранение сложных структур предложений и грамматики, что делает его полезным для задач по генерации текста и моделированию языка, требующих высокого уровня качества текстов.

Topical-Chat — это набор данных, созданный для обучения моделей диалогов на основе обсуждений актуальных тем. Он включает в себя диалоги, в которых собеседники обмениваются фактами и мнениями на разнообразные темы, используя внешние знания. Данный набор полезен для разработки систем разговорного ИИ с акцентом на поддержку информативных и содержательных бесед.

Synthetic Persona-Chat — это набор данных, созданный для моделирования персонализированных диалогов, где каждая реплика связана с уникальной «персоной». Используется для обучения моделей на генерацию ответов с учетом личности собеседника. Этот набор полезен для разработки диалоговых систем, способных поддерживать персонализированные и контекстно-зависимые беседы.

Blended Skill Talk Ru — это русскоязычная версия набора данных Blended Skill Talk, созданная для демонстрации различных навыков ведения диалога: проявление личности, эмпатии и знаний. Набор включает переведенные реплики из 7 тысяч диалогов, что делает его полезным для тренировки моделей, работающих с разговорными системами и улучшением взаимодействия с пользователем.

Blended Skill Talk — это набор данных, специально разработанный для моделирования диалогов с использованием трёх ключевых навыков: проявление личности, эмпатия и демонстрация знаний. Он содержит более 7 тысяч диалогов, что делает его полезным для обучения и тестирования моделей, которые должны вести содержательные и многогранные беседы с пользователями.

SQuAD (Stanford Question Answering Dataset) — это набор данных для обучения и оценки моделей по пониманию текста. Он включает вопросы и ответы, основанные на фрагментах статей из Википедии. SQuAD широко используется для разработки и тестирования систем вопросно-ответных моделей, проверяя способность моделей извлекать факты и информацию из текста.

SNLI (Stanford Natural Language Inference) — это набор данных, созданный для задачи логического вывода на естественном языке. Он содержит пары предложений, где одно предложение должно логически следовать из другого или быть с ним нейтральным. Этот ресурс полезен для обучения моделей, занимающихся пониманием взаимосвязей между предложениями и решением задач текстового вывода.

MultiNLI (Multi-Genre Natural Language Inference) — это набор данных, предназначенный для задач логического вывода на естественном языке. Он охватывает различные жанры текста, что позволяет моделям обучаться на большом разнообразии контекстов. Набор данных полезен для разработки и тестирования моделей, выполняющих задачи смыслового анализа и понимания текста на уровне предложений.

NarrativeQA — это набор данных, разработанный для задач глубокого понимания текста и ответов на вопросы. Он включает вопросы и ответы на основе длинных текстов, таких как книги и сценарии, требуя от моделей понимания сюжета и деталей повествования. Набор полезен для обучения систем, ориентированных на понимание сложных и многослойных повествований.

Kazakh Instruction v2 — это набор данных, предназначенный для обучения моделей на казахском языке с задачами инструкционного характера. Набор включает разнообразные примеры взаимодействий, вопросы и ответы, что делает его полезным для разработки моделей, способных выполнять задания и давать ответы на запросы, ориентированные на выполнение инструкций на казахском языке.

AlpacaDataCleaned — это очищенный набор данных, созданный на основе диалогов, предназначенный для улучшения моделей разговорного ИИ. Он включает инструкции и ответы, очищенные от шума, что делает его полезным для обучения языковых моделей, способных генерировать точные и контекстуально уместные ответы. Набор данных ориентирован на задачи, связанные с улучшением качества взаимодействия в диалоговых системах.

Multidomain Kazakh Dataset — это многоцелевой набор данных на казахском языке, который охватывает различные домены, такие как новости, статьи и другие источники текстов. Он предназначен для обучения и тестирования языковых моделей на казахском языке, что делает его полезным для задач обработки естественного языка, таких как классификация текста, анализ чувств и генерация текста.

KazNERD — это набор данных на казахском языке, разработанный для задачи распознавания именованных сущностей (NER). Он включает разметку различных категорий сущностей, таких как имена людей, организации и географические названия, что делает его полезным для обучения моделей обработки естественного языка, способных распознавать и классифицировать сущности в казахском тексте.

Kazakh Unsorted — это набор данных на казахском языке, который содержит несортированные текстовые данные из различных источников. Набор полезен для предварительной обработки и очистки данных, а также для обучения моделей обработки естественного языка. Он может быть использован для решения разнообразных задач, включая классификацию текста, машинное обучение и генерацию текстов на казахском языке.

Kazakh Literature Collection — это набор данных, содержащий коллекцию литературных произведений на казахском языке. Включает произведения казахских писателей и поэтов, что делает его ценным ресурсом для задач обработки естественного языка, связанных с анализом, классификацией и генерацией текста, а также для изучения казахской литературы и языка.

Kazakh Dolly — это набор данных, предназначенный для обучения моделей на казахском языке, основанный на диалогах в стиле вопросов и ответов. Он ориентирован на задачи генерации текста и может использоваться для создания моделей разговорного ИИ. Набор данных полезен для разработки приложений, связанных с естественным языком, которые взаимодействуют с пользователями на казахском языке.

RuBQ — это набор данных на русском языке, предназначенный для обучения и оценки моделей в задачах вопросно-ответных систем. Он включает вопросы, основанные на фактах, и соответствующие ответы, извлеченные из Википедии. Набор данных полезен для разработки и тестирования систем обработки естественного языка, ориентированных на поиск информации и генерацию ответов на естественном языке.

Gigaword — это большой набор данных, содержащий новостные статьи на английском языке из различных источников. Он используется для задач обработки естественного языка, таких как суммаризация, перефразирование и генерация текста. Gigaword предоставляет огромный объем текстов, что делает его полезным для обучения языковых моделей, которые требуют значительного количества данных для эффективной работы.

XSum (Extreme Summarization) — это набор данных, предназначенный для задачи экстремальной текстовой суммаризации. Он включает статьи из BBC и однострочные абстрактные аннотации, которые кратко передают основную суть текста. Этот набор данных полезен для обучения и тестирования моделей, ориентированных на генерацию коротких и содержательных резюме текста.

RACE (Reading Comprehension Dataset) — это набор данных для задачи понимания прочитанного, включающий экзаменационные вопросы и ответы на английском языке. Набор состоит из текстов с множественным выбором вопросов, что делает его полезным для обучения моделей обработки естественного языка, которые решают задачи по пониманию текста, такие как вопросно-ответные системы и оценка чтения.

Winograd WSC (Winograd Schema Challenge) — это набор данных, предназначенный для тестирования способности моделей к логическому рассуждению и разрешению референций. Он включает предложения с амбивалентными местоимениями, где правильная интерпретация требует понимания контекста. Этот набор данных полезен для разработки моделей, которые могут справляться с задачами логического анализа и понимания сложных лингвистических структур.

Sentiment140 — это набор данных, созданный для задач анализа тональности текстов. Он включает 1,6 миллиона твитов, размеченных по эмоциональной окраске: положительная, отрицательная или нейтральная. Набор данных полезен для обучения и тестирования моделей обработки естественного языка, которые работают с анализом настроений в социальных сетях и других текстах.

Natural Questions — это набор данных, разработанный Google для задач вопросно-ответных систем. Он включает реальные вопросы пользователей, заданные в поиске Google, и ответы, извлеченные из длинных статей. Данный набор полезен для обучения моделей, ориентированных на понимание и генерацию ответов на естественном языке, а также на извлечение информации из больших текстов.

KK-EN Corpora — это двуязычный корпус, содержащий параллельные тексты на казахском и английском языках. Он предназначен для задач машинного перевода и многоязычной обработки текстов. Набор данных полезен для обучения и тестирования моделей, работающих с переводом, лингвистическим анализом и другими задачами, связанными с многоязычными текстами.

IMDB Dataset of 50K Movie Reviews — это набор данных, содержащий 50 тысяч рецензий на фильмы с сайта IMDB. Каждая рецензия имеет метку положительного или отрицательного отзыва, что делает этот набор полезным для задач анализа тональности, классификации текста и разработки моделей, работающих с эмоциональной окраской текста, особенно в области отзывов и рекомендаций.

Yelp Dataset — это набор данных, содержащий обзоры и оценки различных бизнесов, включая рестораны, кафе, магазины и другие предприятия, с платформы Yelp. Набор данных включает тексты отзывов, рейтинги и информацию о бизнесах, что делает его полезным для задач анализа тональности, рекомендательных систем, классификации текста и изучения взаимодействия потребителей с бизнесами.

Stanford Sentiment Treebank — это набор данных, созданный для анализа тональности, включающий фразы и предложения, размеченные по эмоциональной окраске. Набор данных основан на фильмовых рецензиях и содержит синтаксическое дерево каждого предложения, что делает его полезным для обучения моделей, способных анализировать тональность на разных уровнях — от отдельных фраз до полных предложений, а также для задач синтаксического анализа.

BookCorpus — это крупный набор данных, состоящий из текстов более 11 тысяч книг. Он используется для обучения языковых моделей в задачах генерации текста, предсказания следующего слова и понимания контекста. Набор данных полезен для обучения моделей обработки естественного языка, таких как GPT и BERT, и включает книги с разнообразной тематикой, что позволяет моделям лучше понимать и генерировать текст.

Recipe — это большой набор данных, разработанный для задач, связанных с пониманием и генерацией рецептов. Он включает более миллиона рецептов с изображениями готовых блюд и списками ингредиентов. Набор данных полезен для обучения моделей, которые могут сопоставлять изображения с текстом, генерировать рецепты на основе изображений или выполнять задачи классификации и рекомендательных систем, связанных с кулинарией.

XNLI (Cross-lingual Natural Language Inference) — это многоязычный набор данных для задачи логического вывода на естественном языке. Он содержит предложения на 15 различных языках, включая английский, и используется для оценки моделей в многоязычной обработке текста. Набор данных полезен для обучения и тестирования моделей, выполняющих задачи смыслового анализа и определения логических взаимосвязей между предложениями на нескольких языках.

OpenCorpora — это открытая платформа для создания и аннотации корпусов текстов на русском языке. Она предоставляет данные для задач, связанных с обработкой естественного языка, включая морфологический анализ, разметку текстов и создание лексических баз. Набор данных полезен для обучения моделей, работающих с русским языком, таких как системы машинного перевода, морфологические анализаторы и другие инструменты для NLP.

Lenta.Ru News Dataset — это набор данных, содержащий новостные статьи с российского новостного портала Lenta.ru. Набор включает статьи, опубликованные с 1999 по 2020 годы, и охватывает широкий спектр тем, таких как политика, экономика, культура и спорт. Он полезен для обучения моделей, работающих с задачами классификации текста, анализа новостей и других NLP-задач, связанных с обработкой новостного контента.

RuDReC (Russian Dataset for Relation Extraction and Classification) — это набор данных, разработанный для извлечения и классификации отношений между сущностями в русском языке. Он включает текстовые данные с аннотированными отношениями между различными сущностями, что делает его полезным для задач информационного извлечения, построения знаний и разработки моделей обработки естественного языка, способных анализировать взаимосвязи в тексте.

Kazakh TTS — это набор данных, предназначенный для создания систем синтеза речи (Text-to-Speech) на казахском языке. Он содержит аудиозаписи и соответствующие текстовые транскрипции на казахском, что делает его полезным для обучения и разработки моделей, способных преобразовывать текст в естественно звучащую речь. Набор данных способствует развитию технологий речевого синтеза и автоматического озвучивания на казахском языке.

FineWeb EDU — это специализированная версия набора данных FineWeb, ориентированная на образовательные задачи. Он содержит текстовые данные, собранные из различных веб-ресурсов, полезных для обучения и тренировки языковых моделей, а также для извлечения знаний. Набор данных предназначен для разработки приложений и исследований в области искусственного интеллекта и обработки естественного языка, связанных с образовательным контентом.

SmolLM Corpus — это компактный набор данных, созданный для обучения небольших языковых моделей. Он содержит текстовые данные из разнообразных источников, что делает его полезным для задач генерации и анализа текста. Набор данных предназначен для эффективного обучения языковых моделей с меньшим количеством параметров, что облегчает их использование в ресурсозависимых приложениях и исследованиях в области NLP.

WildChat-1M — это набор данных, содержащий более миллиона диалогов, собранных из различных источников, предназначенных для обучения моделей разговорного ИИ. Набор включает в себя живые и естественные диалоги, что делает его полезным для создания и тестирования моделей, способных поддерживать содержательные и динамичные беседы. WildChat-1M используется для улучшения взаимодействия в диалоговых системах и чатботах.

Dolma (Datasets Optimized for Large Model Applications) — это набор данных, созданный для обучения крупных языковых моделей. Он включает разнообразные текстовые данные, которые охватывают широкий спектр тем и доменов, что делает его полезным для масштабируемых NLP-приложений, таких как генерация текста, обработка естественного языка и извлечение знаний. Набор данных предназначен для улучшения производительности больших языковых моделей и их применения в различных задачах.

peS2o — это набор данных, созданный для задач обработки естественного языка, таких как извлечение информации и генерация текста. Он включает текстовые данные, которые могут быть использованы для обучения языковых моделей, ориентированных на выполнение сложных NLP-задач. Набор данных полезен для исследований и разработки моделей, которые требуют качественных данных для точного понимания и генерации осмысленных текстов.

AmberDatasets — это набор данных, разработанный для обучения и тестирования языковых моделей. Он включает разнообразные текстовые данные, которые могут быть использованы для задач обработки естественного языка, таких как генерация текста, анализ и извлечение информации. Этот набор данных полезен для улучшения работы крупных языковых моделей и их применения в различных сценариях взаимодействия с текстами.

Zyda — это набор данных, предназначенный для обучения и тестирования языковых моделей. Он содержит текстовые данные, собранные из различных источников, что делает его полезным для задач генерации текста, анализа и обработки естественного языка. Набор данных может быть использован для создания диалоговых систем, улучшения навыков языковых моделей и разработки приложений, связанных с NLP.

MFAQ (Multilingual Frequently Asked Questions) — это многоязычный набор данных, созданный для задач вопросно-ответных систем. Он содержит часто задаваемые вопросы (FAQ) и их ответы на различных языках. Набор данных полезен для разработки и обучения моделей, ориентированных на мультиязычное понимание и генерацию ответов, а также для создания эффективных систем поддержки на основе FAQ.

OSCAR-2301 — это крупный многоязычный набор данных, извлеченный из веб-текстов, включающий тексты на более чем 100 языках. Он используется для обучения языковых моделей и охватывает широкий спектр доменов и тематик. Этот набор данных полезен для задач многоязычной обработки естественного языка, таких как машинный перевод, генерация текста и другие приложения в области NLP, требующие большого объема разнообразных текстовых данных.

CrossSum — это многоязычный набор данных, созданный для задачи автоматической суммаризации текста. Он охватывает статьи из новостных источников на разных языках и включает параллельные тексты для генерации кратких, информативных резюме. CrossSum полезен для обучения и тестирования моделей, ориентированных на создание автоматических текстовых аннотаций и генерацию кратких обзоров контента на разных языках.

StarcoderData — это набор данных, созданный для обучения моделей программирования, специально разработанный для генерации и понимания кода. Он включает текстовые данные из различных источников, таких как репозитории программного обеспечения, что делает его полезным для обучения моделей, ориентированных на задачи автодополнения кода, генерации и анализа программных решений. Набор данных способствует разработке более мощных языковых моделей для работы с кодом.