The post has been translated automatically. Original language: Russian
The response format determines not only what the questionnaire looks like. It affects how quickly a person responds, what meanings get into the data, and what the team can do after the research. You can turn the same question into a comment box, a scale, or a list of options, and get three different types of results.
Therefore, you should choose the format not out of habit and not according to the principle "it's shorter this way". It's more useful to start with a future solution.: What exactly do you want to compare, calculate, explain, or discover?
Start not with the interface element, but with the solution.
What the team will do after receiving the responses
Submit the result before launching the survey. If you need to distribute requests for known reasons, a list is useful. If it is important to see the change in the indicator from month to month, you need the same scale. If the team does not yet know what problems the clients will name, a premature list may hide unexpected topics — it is better to leave room for an answer in your own words.
A good check is: "Which solution will change depending on the answer?" If there is no answer to this question, the problem is probably not in the format of the field, but in the purpose of the question itself.
How important is comparability?
Closed formats make it easier to count and compare segments. Open answers provide more context, but require coding: the team will have to read the wording, highlight the topics, and agree on how to classify similar answers into the same category. The more regular the research and the larger the sample, the higher the price of such handwork.
List of options: when the categories are already known
One option for mutually exclusive answers
Choosing a single item is appropriate when the options really can't run at the same time. For example: "Which channel did you use for the last request?" or "What tariff is currently enabled?" Here the answer should describe one condition or one main event.
The options should be exhaustive and not overlap. The Pew Research Center guidelines specifically emphasize that the respondent needs a suitable item, and the boundaries of categories should not force him to guess. If it is difficult to provide a complete list, add "Other" with a short clarification.
Multiple options for parallel causes and actions
Multiple choice is needed when several answers can be correct at the same time: a person uses several channels, encounters several difficulties, or chooses several functions. But the wording should explicitly say: "You can choose several options."
Don't mix reasons, emotions, and desired improvements in the same list. Even if all the items relate to the product, they are different dimensions. It is better to ask three short questions than to get one set of marks that cannot be unambiguously interpreted.
Scale: when the degree is important, not the category
First, determine what exactly is being measured
The scale is suitable for intensity, frequency, lightness, confidence, or agreement. But a number without clear poles doesn't mean much. "Rate from 1 to 5" forces a person to decide for himself what a one and a five are. More accurately: "How easy was it to complete the task?" where the endpoints are labeled as "very difficult" and "very easy".
Do not change the direction of the scale within one questionnaire: if a high score means a positive experience, keep this logic further. And don't turn every question into a rating. When specific reasons are needed, an average value is no substitute for a meaningful answer.
The number of points depends on the differences that are important
A short scale reduces cognitive load, but divides grades more roughly. A longer one allows you to express shades, but creates the illusion of accuracy if the respondent does not actually distinguish between neighboring values. Choose the length of the scale before launching and do not change it between study waves if you want to compare dynamics.
A neutral point is appropriate when a neutral position is actually possible. It is better to separate the options "I don't know" and "not applicable" from the middle of the scale: lack of experience is not the same as an average grade.
An open question: when are the respondent's words important?
Use it to detect the unknown
An open format is useful at an early stage of research, after an unusual event, or where a pre-compiled list would impose its own worldview on the team. It helps to see the client's vocabulary, unexpected barriers and reasons that were not included in the hypotheses.
But the "Tell us more" field does not guarantee details. According to a Pew Research Center study, open-ended questions requiring multiple sentences are more likely to go unanswered than a single-word or short-phrase query. The clearer the expected volume, the easier it is for a person to get started.
Limit the task, not the content of the answer.
Instead of "Your comment", ask: "What made it most difficult to place an order?" or "Which one change would make this process more convenient?". The frame helps you focus, but it doesn't give you a specific reason.
An open question should be made mandatory only when research becomes meaningless without it. Forcing a large field often gives answers like "no" or a random set of characters, rather than useful feedback.
A combination of formats is often stronger than a single field
First the assessment, then the explanation
A practical copula is a closed question for comparison and an optional clarification for context. For example:
- "How easy was it to create the first project?" — a scale with signed poles;
- "What influenced your assessment the most?" — a short open field.
This is how the team sees the distribution of ratings and at the same time understands the reasons. If there is a large flow of responses, you can first study the comments of the extreme groups, but you should not consider them an explanation of the opinion of the entire audience without additional verification.
First the open question, then the categories
If the topic has not been studied yet, start with a small qualitative step. Collect the answers in your own words, highlight recurring topics, then turn stable categories into a list and test it. The U.S. Census Bureau's questionnaire design materials show why a closed list may skip an important new topic if the options were identified too early.
A short decision tree
- Do you need comparable shares in well-known categories? Select a list of options.
- Do I need to measure the degree or dynamics? Use a scale with clear poles.
- Do you need to find out unknown reasons or hear the vocabulary of the audience? Ask an open-ended question.
- Do you need both a metric and an explanation? Combine a closed question with an optional clarification.
- Are the categories unstable yet? First, collect the open answers, then develop a list and test it on a new group.
Check the format before mass launch
Run through more than just the ideal scenario
Ask several people to fill out the questionnaire without prompting and tell them how they understand the question. Check the extreme cases: none of the items are suitable, two are suitable at once, the person has no experience to evaluate, and the open field raises the question "what exactly should I write here?" Pre-testing helps to detect errors before they become part of the data set; this stage is described in detail in the standards of the U.S. Census Bureau.
Look at the questionnaire through the eyes of a mobile user
A long list is difficult to view on a small screen, a wide matrix requires horizontal scrolling, and a large open field looks like significant work. Sometimes the problem is solved not by changing the format, but by shortening the options, dividing the question, or clarifying the expected length of the answer.
If the team collects the questionnaire in Wobidobi, before distributing the link, conduct an internal run on your phone and computer: check the wording, the selected formats, the mandatory fields, and how unambiguously the answers will be interpreted during the analysis.
Typical errors
- use an open field where the team already knows the full set of categories.;
- suggest overlapping ranges or options;
- ask to select one item when there may be several reasons.;
- do not sign the meaning of the extreme points of the scale;
- consider "not applicable" as a neutral assessment;
- add a mandatory explanation to each rating;
- change the format of the question between waves, and then compare the results as a single metric.
Conclusion
It's an open question, the scale and the list of options don't compete with each other. Each the format solves its own problem. The list organizes the known categories, the scale shows the degree, and the open field helps to discover what the team has not yet been able to formulate in advance.
The best choice starts with a future decision and ends with a test on real people. If the answer is easy to give, unambiguously understood and practically used, the format is chosen correctly.
Формат ответа определяет не только то, как выглядит анкета. Он влияет на то, насколько быстро человек ответит, какие смыслы попадут в данные и что команда сможет сделать после исследования. Один и тот же вопрос можно превратить в поле для комментария, шкалу или список вариантов — и получить три разных типа результата.
Поэтому выбирать формат стоит не по привычке и не по принципу «так короче». Полезнее начать с будущего решения: что именно вы хотите сравнить, посчитать, объяснить или обнаружить?
Начните не с элемента интерфейса, а с решения
Что команда сделает после получения ответов
Представьте результат ещё до запуска опроса. Если нужно распределить обращения по известным причинам, пригодится список. Если важно увидеть изменение показателя от месяца к месяцу, нужна одинаковая шкала. Если команда пока не знает, какие проблемы назовут клиенты, преждевременный список может скрыть неожиданные темы — лучше оставить место для ответа своими словами.
Хорошая проверка звучит так: «Какое решение изменится в зависимости от ответа?» Если ответа на этот вопрос нет, проблема, вероятно, не в формате поля, а в цели самого вопроса.
Насколько важна сопоставимость
Закрытые форматы упрощают подсчёт и сравнение сегментов. Открытые ответы дают больше контекста, но требуют кодирования: команде придётся прочитать формулировки, выделить темы и договориться, как относить похожие ответы к одной категории. Чем регулярнее исследование и чем больше выборка, тем выше цена такой ручной работы.
Список вариантов: когда категории уже известны
Один вариант для взаимоисключающих ответов
Выбор одного пункта подходит, когда варианты действительно не могут выполняться одновременно. Например: «Какой канал вы использовали для последнего обращения?» или «Какой тариф подключён сейчас?» Здесь ответ должен описывать одно состояние или одно главное событие.
Варианты должны быть исчерпывающими и не пересекаться. В руководстве Pew Research Center отдельно подчёркивается: респонденту нужен подходящий пункт, а границы категорий не должны заставлять его угадывать. Если полный список предусмотреть трудно, добавьте «Другое» с коротким уточнением.
Несколько вариантов для параллельных причин и действий
Множественный выбор нужен, когда несколько ответов могут быть верными одновременно: человек использует несколько каналов, столкнулся с несколькими трудностями или выбрал несколько функций. Но формулировка должна прямо сообщать: «Можно выбрать несколько вариантов».
Не смешивайте в одном списке причины, эмоции и желаемые улучшения. Даже если все пункты относятся к продукту, это разные измерения. Лучше задать три коротких вопроса, чем получить один набор отметок, который невозможно однозначно интерпретировать.
Шкала: когда важна степень, а не категория
Сначала определите, что именно измеряется
Шкала подходит для интенсивности, частоты, лёгкости, уверенности или согласия. Но число без понятных полюсов мало что значит. «Оцените от 1 до 5» заставляет человека самому решать, что такое единица и пятёрка. Точнее: «Насколько легко было выполнить задачу?», где крайние точки подписаны как «очень сложно» и «очень легко».
Не меняйте направление шкалы внутри одной анкеты: если высокий балл означает положительный опыт, сохраняйте эту логику дальше. И не превращайте каждый вопрос в рейтинг. Когда нужны конкретные причины, среднее значение не заменит содержательный ответ.
Количество точек зависит от различий, которые важны
Короткая шкала снижает когнитивную нагрузку, но грубее разделяет оценки. Более длинная позволяет выразить оттенки, однако создаёт иллюзию точности, если респондент в реальности не различает соседние значения. Выбирайте длину шкалы до запуска и не меняйте её между волнами исследования, если хотите сравнивать динамику.
Нейтральная точка уместна, когда нейтральная позиция действительно возможна. Варианты «не знаю» и «не применимо» лучше отделять от середины шкалы: отсутствие опыта — не то же самое, что средняя оценка.
Открытый вопрос: когда важны слова респондента
Используйте его для обнаружения неизвестного
Открытый формат полезен на раннем этапе исследования, после необычного события или там, где заранее составленный список навязал бы команде собственную картину мира. Он помогает увидеть лексику клиента, неожиданные барьеры и причины, которые не вошли в гипотезы.
Но поле «Расскажите подробнее» не гарантирует подробности. По данным исследования Pew Research Center, открытые вопросы, требующие нескольких предложений, чаще остаются без ответа, чем запрос одного слова или короткой фразы. Чем яснее ожидаемый объём, тем проще человеку начать.
Ограничьте задачу, а не содержание ответа
Вместо «Ваш комментарий» спросите: «Что сильнее всего затруднило оформление заказа?» или «Какое одно изменение сделало бы этот процесс удобнее?». Рамка помогает сосредоточиться, но не подсказывает конкретную причину.
Открытый вопрос стоит делать обязательным только тогда, когда без него исследование теряет смысл. Принудительное большое поле часто даёт ответы вроде «нет» или случайный набор символов, а не полезную обратную связь.
Комбинация форматов часто сильнее одного поля
Сначала оценка, затем объяснение
Практичная связка — закрытый вопрос для сравнения и необязательное уточнение для контекста. Например:
- «Насколько легко было создать первый проект?» — шкала с подписанными полюсами;
- «Что больше всего повлияло на вашу оценку?» — короткое открытое поле.
Так команда видит распределение оценок и одновременно понимает причины. При большом потоке ответов можно сначала изучать комментарии крайних групп, но не следует считать их объяснением мнения всей аудитории без дополнительной проверки.
Сначала открытый вопрос, затем категории
Если тема ещё не изучена, начните с небольшого качественного этапа. Соберите ответы своими словами, выделите повторяющиеся темы, затем превратите устойчивые категории в список и протестируйте его. В материалах U.S. Census Bureau по конструированию анкет показано, почему закрытый список может пропустить важную новую тему, если варианты были определены слишком рано.
Короткое дерево решения
- Нужны сопоставимые доли по известным категориям? Выберите список вариантов.
- Нужно измерить степень или динамику? Используйте шкалу с понятными полюсами.
- Нужно узнать неизвестные причины или услышать лексику аудитории? Задайте открытый вопрос.
- Нужны и метрика, и объяснение? Соедините закрытый вопрос с необязательным уточнением.
- Категории пока неустойчивы? Сначала соберите открытые ответы, затем разработайте список и проверьте его на новой группе.
Проверьте формат до массового запуска
Прогоните не только идеальный сценарий
Попросите нескольких людей заполнить анкету без подсказок и проговорить, как они понимают вопрос. Проверьте крайние случаи: ни один пункт не подходит, подходят сразу два, человек не имеет опыта для оценки, а открытое поле вызывает вопрос «что именно сюда писать?» Предварительное тестирование помогает обнаружить ошибки до того, как они станут частью массива данных; этот этап подробно описан в стандартах U.S. Census Bureau.
Посмотрите на анкету глазами мобильного пользователя
Длинный список трудно просматривать на небольшом экране, широкая матрица требует горизонтальной прокрутки, а большое открытое поле выглядит как значительная работа. Иногда проблема решается не сменой формата, а сокращением вариантов, разделением вопроса или уточнением ожидаемой длины ответа.
Если команда собирает анкету в Wobidobi, перед распространением ссылки проведите внутренний прогон на телефоне и компьютере: проверьте формулировки, выбранные форматы, обязательность полей и то, насколько однозначно ответы будут интерпретироваться при анализе.
Типичные ошибки
- использовать открытое поле там, где команда уже знает полный набор категорий;
- предлагать пересекающиеся диапазоны или варианты;
- просить выбрать один пункт, когда причин может быть несколько;
- не подписывать смысл крайних точек шкалы;
- считать «не применимо» нейтральной оценкой;
- добавлять обязательное объяснение к каждому рейтингу;
- менять формат вопроса между волнами, а затем сравнивать результаты как одну метрику.
Вывод
Открытый вопрос, шкала и список вариантов не конкурируют между собой. Каждый формат решает собственную задачу. Список упорядочивает известные категории, шкала показывает степень, а открытое поле помогает обнаружить то, что команда ещё не смогла сформулировать заранее.
Лучший выбор начинается с будущего решения и заканчивается тестом на реальных людях. Если ответ легко дать, однозначно понять и практически использовать, формат выбран правильно.
Share
