Добавить в корзинуПозвонить
Найти в Дзене

Почему интернет-тесты на словарный запас врут на 30–40% — и как делают правильно

В интернете десятки тестов «узнайте свой английский за 3 минуты». Большинство из них — игрушки: показывают красивую цифру, но не имеют отношения к академической оценке. А цифра при этом часто завышена в полтора-два раза. Серьёзные лексические тесты разрабатывают исследователи второго языка с конца 1980-х. У них своя методология, свои ловушки и разные измерения для разных целей. Разберёмся, какие методы существуют и почему они работают по-разному. Самый старый и самый простой подход. Идею предложили британские исследователи Пол Мира и Барбара Бакстон в 1987 году в журнале Language Testing. Они искали быструю альтернативу длинным multiple-choice тестам, которые отнимали час и больше. Принцип такой: участнику показывают список слов, в каждом он отмечает «знаю» или «не знаю». Ничего не нужно переводить, не нужно выбирать значения. Просто бинарное решение по каждому слову. Тест занимает 5–10 минут и легко администрируется онлайн. Корреляция с длинными классическими тестами — высокая. Главна
Оглавление

В интернете десятки тестов «узнайте свой английский за 3 минуты». Большинство из них — игрушки: показывают красивую цифру, но не имеют отношения к академической оценке. А цифра при этом часто завышена в полтора-два раза.

Серьёзные лексические тесты разрабатывают исследователи второго языка с конца 1980-х. У них своя методология, свои ловушки и разные измерения для разных целей. Разберёмся, какие методы существуют и почему они работают по-разному.

Метод 1. Yes/No vocabulary test

Самый старый и самый простой подход. Идею предложили британские исследователи Пол Мира и Барбара Бакстон в 1987 году в журнале Language Testing. Они искали быструю альтернативу длинным multiple-choice тестам, которые отнимали час и больше.

Принцип такой: участнику показывают список слов, в каждом он отмечает «знаю» или «не знаю». Ничего не нужно переводить, не нужно выбирать значения. Просто бинарное решение по каждому слову.

Тест занимает 5–10 минут и легко администрируется онлайн. Корреляция с длинными классическими тестами — высокая.

Главная слабость: в чистом виде Yes/No-тест переоценивает словарь. Часть людей по неосторожности отмечает «знаю» рядом со словами, которые они на самом деле не знают, а просто видели где-то и приняли за знакомые. Этот эффект называется false alarm (ложная тревога). В чистой форме без коррекции тест может завысить результат на 20–40%.

-2

Метод 2. LexTALE и коррекция на псевдослова

Решение проблемы false alarms предложили нидерландские исследователи Кристен Лемхёфер и Мирьям Брёрсма в 2012 году в работе Introducing LexTALE: A Quick and Valid Lexical Test for Advanced Learners of English (журнал Behavior Research Methods).

Их идея — добавить в список псевдослова. Это правдоподобно звучащие наборы букв, подчиняющиеся правилам английской фонетики, но не существующие в языке. Например, plaudate, kermshaw, alberation, crumpish. Если человек отмечает их как «знакомые» — значит, у него высокая склонность к ложным узнаваниям, и его «yes» на реальных словах нужно дисконтировать.

Формула коррекции, разработанная Беекмансом и коллегами (Beeckmans et al., 2001):

скорректированная_доля = (доля_угаданных_реальных − доля_отмеченных_псевдослов) / (1 − доля_отмеченных_псевдослов)

Если человек отметил 80% реальных слов, но также отметил 20% псевдослов — его реальный показатель не 80%, а около 75%. Если отметил 80% реальных и 50% псевдослов — реальный результат всего 60%.

LexTALE стал стандартом для академических исследований второго языка и быстрых клинических замеров. Сейчас он используется в сотнях научных работ — от психолингвистики до тестов на афазию.

-3

Метод 3. Vocabulary Size Test (VST) Пола Нейшена

Более амбициозная попытка измерить именно размер словаря в семьях слов — Vocabulary Size Test, разработанный новозеландским лингвистом Полом Нейшеном (Paul Nation) в 2007 году.

Идея: словарь английского разбит на частотные полосы по 1000 семейств — самые частотные 1000, следующие 1000, и так до 14000–20000. На каждой полосе берётся репрезентативная выборка (10 слов из 1000) и проверяется через multiple choice — выбрать перевод или определение из 4 вариантов.

Если человек правильно отвечает на 7 из 10 слов в полосе 5000-плюс, считается, что он знает примерно 700 из 1000 слов этой полосы. Сумма по всем полосам даёт оценку общего размера.

VST даёт самые точные оценки, но занимает 30–60 минут — это серьёзный экзамен, не быстрый чек. И multiple choice имеет свою ловушку: правильные ответы можно угадывать. Чтобы это компенсировать, в тесте используют 4 варианта (вероятность угадывания 25%).

Метод 4. Productive Vocabulary Levels Test

Все три предыдущих метода меряют пассивный словарь — узнавание. Но человек может узнать 5000 слов и при этом активно использовать только 1500.

Для оценки активного словаря используют тесты типа Productive Vocabulary Levels Test, разработанного Лорой Лафер и Полом Нейшеном (Laufer & Nation, 1999). Принцип другой: участнику дают предложение с пропуском, и он должен вписать недостающее слово. Например:

«The garden was full of fra______ flowers and butterflies.»

(Правильный ответ — fragrant.)

Это уже не узнавание, а извлечение из памяти. Такой тест жёстче: тот, кто на пассивном тесте набирает 5000 слов, на продуктивном может показать 1500–2000.

Активный словарь — то, что реально определяет ваш разговорный уровень. Но мерить его сложно: процедура занимает много времени и требует ручной проверки ответов.

Какие тесты в интернете работают, а какие нет

Большинство быстрых тестов на 1–3 минуты используют упрощённый Yes/No без коррекции на псевдослова. Они дают красивую цифру, но завышают результат.

Признаки серьёзного теста:

Есть псевдослова или другие ловушки — без коррекции результат не считается академически валидным.
Слова берутся из частотного корпуса, а не списка «топ-100 крутых слов английского».
Раскрывается методика — авторы пишут, на основе чего считается результат, и ссылаются на исследования.
Учитывает уровень — не предлагает одни и те же слова и новичку, и профессору лингвистики.

Слабые признаки: тест занимает меньше 2 минут, обещает «точный размер словаря», но не объясняет, как считал, и не учитывает ваши ложные «yes».

Что мерять, чтобы понять свой уровень

Для большинства людей разумная стратегия — начать с быстрого пассивного теста с коррекцией (LexTALE-стиль). Это даёт «потолок» — сколько слов вы вообще знаете, пусть и в режиме узнавания. Дальше уже можно оценивать, сколько из этого реально работает в активной речи.

Знание этой цифры само по себе мотивирует. Часто «3500 слов на CEFR B2» становится точкой опоры: видно, что путь пройден большой, а до следующего рубежа осталось не «всё с нуля», а конкретный отрезок.

Пройти тест по методологии LexTALE

Бесплатный тест на 3 минуты построен по академической методологии Lemhöfer & Broersma (2012). 40 слов на чек-листе плюс 60 слов с коррекцией на псевдослова — то есть с поправкой на склонность к ложным узнаваниям.

Покажет ваш пассивный словарь в цифрах, уровень CEFR (A1–C2) и распределение знаний по частотным полосам. Без регистрации, результат сразу.

👉 Пройти тест: https://app.minileks.ru/test/

Источники:

  • Meara & Buxton (1987) «An alternative to multiple choice vocabulary tests» Language Testing;
  • Lemhöfer & Broersma (2012) «Introducing LexTALE» Behavior Research Methods; Nation (2007) «Vocabulary Size Test»;
  • Laufer & Nation (1999) «A vocabulary-size test of controlled productive ability»;
  • Beeckmans et al. (2001) «Examining the Yes/No vocabulary test» Language Testing.