Добавлено (2010-06-02, 9:41 PM)
---------------------------------------------
В пдф:
http://www1.ege.edu.ru/images/stories/ege2008/skali/metod_shkal.pdf

Добавлено (2010-06-02, 9:51 PM)
---------------------------------------------
ой)) блог тоесть

Боюсь что-нибудь написать, а то снова скажут, что я неадекватна... Лучше тихо посижу в углу на раковине и поем радугу.

В Федеральном институте педагогических измерений (ФИПИ) и в Центре тестирования Министерства образования (ЦТМО) не дети собрались, а серьезные ученые мужи, перекроившие на русский лад американскую систему тестирования Advanced Placement Examination.

У нас с вами, Владимир, голова тоже не мякиной набита. Сейчас мы посмотрим, чего там мужи придумали, а потом будем искать противоядие. "Зри в корень", - говорил Козьма Прутков. Давайте последуем этой мудрости, аккуратно возьмем ЕГЭ за стволик и выдернем его из благодатной почвы. Чего это там к корням прилипло?

Представьте себе электронную мясорубку с компьютерным приводом. Это и есть самая примитивная модель ЕГЭ. В бункер загружаются через сканер бланки ответов всех участников, а через решетку выдавливаются тестовые баллы. Процесс перемалывания первичных баллов в тестовые называется ШКАЛИРОВАНИЕМ.
Свет мой зеркальце, скажи, не Царица ли наук нам на свете всех милее?

Давайте, Владимир, от рассуждений перейдем к анализу. Вам же интересно узнать, на чьей стороне математическая статистика? Сильно умничать не будем, извлечем только самое необходимое для понимания сути процесса.

Подробно математическая модель шкалирования описана в докторской диссертации одного из главных идеологов ЕГЭ г-на Хлебникова. У нас имеется автореферат этого научного труда. Если вы, Владимир, имеете математические наклонности, то можете сей манускрипт скачать и вникнуть в подробности: http://rus-ege.com/download/disser.zip

Если выжать из научного труда сухой остаток, то можно сказать, что диссертационная работа построена на двух основных допущениях. Автор предполагает, что:

1.
результат теста зависит только от 2-х параметров:
а) от степени трудности заданий, используемых в КИМах, и
б) от степени подготовленности выпускников;
2.
распределение "трудностей" заданий и распределение "подготовленностей" выпускников подчиняются нормальному закону распределения (закон Гаусса, см. рисунок).

Основная числовая характеристика закона Гаусса называется МАТЕМАТИЧЕСКИМ ОЖИДАНИЕМ. Это наиболее вероятное значение на оси "х", которому соответствует максимум функции f(x).

Из допущений 1. и 2. непосредственно следует, что результаты участников ЕГЭ, выраженные в тестовых баллах, также будут распределены по нормальному закону.

Фокус состоит в том, что в процедуре шкалирования МАТ. ОЖИДАНИЕ искусственно принимается равным 50 тестовым баллам, а это не что иное, как средний по РФ тестовый балл.

При таком раскладе, как бы ни напрягались школьные учителя, при массовом тестировании, каковым и является ЕГЭ, оценки будут тяготеть к мат. ожиданию.

Проще говоря, об объективности оценок можно забыть, а средний тестовый балл будет равен пятидесяти, что и подтверждается официальной статистикой ЕГЭ-2007. Файл с данными можно скачать по ссылке: http://rus-ege.com/download/stat1.zip

Лопни мои глаза, если это не распределение Гаусса с математическим ожиданием 50 тестовых баллов! Вы согласны, Владимир? Если не согласны – возражайте.

Отличникам ликовать рано: им придется очень сильно напрячься, чтобы преодолеть "скатывание" тестового балла с верхней части 100-балльной шкалы к среднему значению.

К статистике результатов ЕГЭ мы еще вернемся в одном из следующих выпусков. Главное, что нужно понять сейчас: ЕГЭ – это состязание, в котором есть призеры и проигравшие. Постановка Цели + Прицельная Подготовка к ЕГЭ - вот формула вашего успеха!

А вот что нам пишет Денис: "...если честно, я не силен в математике, поэтому я абсолютно не понял объяснения с графиком. Не могли бы Вы перевести на нормальный язык?"

Может быть вы, Владимир, переведете "объяснения с графиком", на "нормальный" язык? Лучший перевод будет опубликован и вознагражден чем-то очень вкусным. Считайте это конкурсом с призовым фондом. Начало конкурса 15/01/2008.

Первый участник конкурса уже получил свой приз. Это Светлана Гилева. Читаем, что она пишет (стиль, орфография и пунктуация автора сохранены):

Прочитав первый выпуск, я сначала тоже не совсем поняла закон Гаусса (как и незнакомый мне, но упомянутый Вами Денис). Вернее я просто поверила, что результаты теста подчиняются этому закону, но в причины этого явления не вникала. Но, благодаря вашим выпускам, я лучше разобралась в особенностях шкалирования и спустя два дня пришла к неким выводам. Решила поделиться своими размышлениями с Вами.

Для того чтобы понять суть закона распределения, необходимо ответить на вопрос: «Почему средний тестовый балл остается на отметке 50?». Немного поразмыслив, я пришла к выводу, что ни от уровня подготовки, ни от сложности заданий это не зависит.

Первое, из чего я исходила: «Чем большее количество выпускников будет успешно выполнять определенное задание, тем меньшим количеством тестовых баллов это задание будет оцениваться». Этот вывод совсем несложно сделать, если внимательно читать ваши выпуски.

На данный момент времени существуют «задания-ловушки» (как Вы их называете), в которых большинство экзаменуемых допускают ошибки. Теперь предположим, что многие выпускники стали успешно справляться с такими заданиями. Исходя из первого утверждения, тестовый балл за эти задания снизится, а итоговые результаты учеников, успешно их выполнивших, «съедут» к «магической цифре 50».

Таким образом, как ни повышай уровень знаний, как ни упрощай задания, результат будет единый (может экзамен именно поэтому так и назван?). Вывод: Средний балл – величина постоянная, ни от чего не зависящая. Единственное, что будет меняться с развитием уровня подготовки учеников, - это «крутизна подъема» на пути к вершине. (Как я пришла к этому выводу объяснять не буду, а то и так письмо затянулось.)

Осталось объяснить, почему вывод именно такой. А он и не может быть другим, потому что тестовые баллы, как известно, – это не что иное, как дифференциация учащихся. И основана система шкалирования именно на том, чтобы определить средний уровень и выявить, кто ниже, а кто выше этого уровня. Может увеличиться средний первичный балл, но никак не средний тестовый! 50 – это середина 100-балльной шкалы, и как ни старайся этого изменить нельзя! А среднее значение есть у любой совокупности отличных друг от друга признаков.

Так что средний балл может измениться только в том случае, если все напишут работы абсолютно одинаково, а с учетом разных вариантов КИМов – либо все на 100, либо все на 0. А это, конечно, противоречит много чему, даже простому здравому смыслу!

Не знаю, может ли такое объяснение считаться «переводом на нормальный язык», но, по крайней мере, я очень старалась!

Отдельно взятый бланк тестовых заданий НЕ МОЖЕТ БЫТЬ ОЦЕНЕН. Это нужно понять и усвоить на 200% .

Централизованный компьютерный "обработчик результатов" ЕГЭ посредством процедуры шкалирования будет противопоставлять вашему результату достижения других участников. Фактически через механизм шкалирования каждому выпускнику предстоит в одиночку бороться против всех участников ЕГЭ.

В упрощенном виде правила поединка таковы: чем сильнее вы подготовлены, тем более сильных соперников будет против вас выставлять ЕГЭ. Так будет продолжаться до тех пор, пока ЕГЭ не положит вас на лопатки. Есть только один способ выстоять - одержать АБСОЛЮТНУЮ победу с результатом в 100 тестовых баллов.

Логит - это как бы "разность" между "подготовленностью" выпускника и "трудностью" выполняемого задания. Надеюсь, что все интуитивно понимают, что такое "вероятность события"? Так вот, если испытуемый выполнит упомянутое задание с вероятностью 0,73, то "разность" между его подготовленностью и трудностью задания будет равна 1 логиту.

Скорее всего, Владимир, логиты вам до лампочки, впрочем, как и нам. По жизни они на фиг никому не нужны, но эти самые логиты входят в формулу расчета тестового балла. Вот она, эта зловредная формула:

Ссылка на официальный документ, из которого мы выудили для вас эту красоту, находится в "Полезном" внизу страницы. Обратите внимание на магическую цифру "50", вокруг которой вертятся тестовые баллы. Это она определяет "скатывание" тестового балла к среднему значению как с "верхней", так и с "нижней" части шкалы.
Что мы имеем в сухом остатке?

Чтобы и дальше не утомлять вас, Владимир, математическими подробностями (на что жаловались читатели предыдущей версии рассылки), сразу перейдем к важным для практического применения выводам:

* первичные баллы не имеют ничего общего с оценкой качества знаний. Это как отвлеченные "да" и "нет": выбрал (или угадал?) испытуемый правильный ответ - значит, "да" (1), иначе - "нет" (0);
* точное соответствие между первичными баллами и тестовым баллом может быть установлено только после завершения ЕГЭ;
* 100-балльный результат не вычисляется, а тупо ставится в соответствие "всем выполненным заданиям". С нулевым тестовым баллом та же история.
* Один из вариантов ЕГЭ принимается за базовый. Какой именно - неизвестно, но это и не имеет никакого значения.
* 7-8 тестовых заданий будут совпадать во всех вариантах ЕГЭ. Это "ключевые задания", по которым сложность заданий остальных вариантов приводится к базовому.
* (*) При приближении к верхней границе шкалы тестовых баллов "цена" первичного балла нелинейно возрастает.
* (**) Процедура шкалирования дает не объективную, а относительную оценку знаний (по отношению к другим участникам процедуры).

Прочитайте по буквам отмеченные звездочками пункты, Владимир. На них мы остановимся подробнее.
Чем крепче нервы, тем ближе цель

Начнем с (*), но сначала я напомню вам, что наша с вами главная цель - заработать на ЕГЭ максимально возможный тестовый балл, поэтому мы оставим без внимания нижнюю часть шкалы оценок. В приведенной ниже таблице вы видите данные 2007 года.

На предстоящем ЕГЭ соотношение первичных и тестовых баллов может немного измениться, но характер зависимости останется прежним.

Нужны какие-нибудь комментарии к этой таблице, Владимир? Постройте график по точкам, и вы увидите, насколько круче пойдет подъем в гору с 55 первичных баллов. Для ленивых: http://rus-ege.com/download/gora.zip

Рейтинг - это процентное количество выпускников, получивших по результатам ЕГЭ такой же или более высокий тестовый балл в масштабах РФ. Поступающих в вузы этот параметр должен интересовать в первую очередь.

66 тестовых баллов - это нижняя граница школьной пятерки, которой соответствует рейтинг 86,92. При поступлении в вуз на этом уровне конкуренция достаточно высока, поэтому за критерий успеха мы примем значение 79 тестовых баллов. Обратите внимание, что шкала ТБ имеет разрывы. При всем желании невозможно получить, к примеру, 86 тестовых баллов.

79 тестовых баллов с рейтингом 97,21 и выше - это гарантированное поступление в вуз по результатам ЕГЭ, причем на бюджет. Есть за что бороться, Владимир? Задача стопроцентно решаемая и немного позже мы предоставим в ваше распоряжение нужные инструменты.
Гусь свинье не товарищ

Посмотрите на (**), Владимир. Здесь мы вторгаемся в мутную область педагогических измерений. Чтобы вам не думалось, что вы в дурдоме, замените названия домашних тварей в заголовке словами "КИМы" и "Тесты".

Определения:

ТЕСТ (англ. test - проба, испытание, исследование) в психологии и педагогике, стандартизированные задания, результат выполнения которых позволяет измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого, причем измерить с известной погрешностью.

КИМы - это контрольно-измерительные материалы. Применительно к ЕГЭ - набор заданий "А", "В" и "С", который никем не стандартизован. Измерять что-либо с помощью КИМов в точном смысле этого слова - утопия, т.к. погрешность не определена. Отсюда и проистекает относительность результатов ЕГЭ (**).

Фактически тестовый балл показывает, лучше или хуже других испытуемых вы справились с предложенным набором заданий. Используя КИМы, ЕГЭ в принципе не может дать объективных оценок знаний и умений выпускников. В глобальном смысле это не есть хорошо, НО (никому не говорите!) для абитуриентов это очень даже здорово. Нужно только знать, как этим воспользоваться.

Добавлено (2010-06-02, 9:57 PM)
---------------------------------------------
В среднем "отличники" ошибаются в 20% заданий КИМов, что примерно соответствует 8 ошибкам (пусть будет 7,5). Давайте, Владимир, из любопытства приблизительно подсчитаем (в тестовых баллах) среднюю "цену" этих ошибок.

- максимальный тестовый балл = 100

- максимальная сумма первичных баллов = 60

- условная граница (в тестовых баллах) школьной "пятерки" = 66

- "цена" ошибки (в тестовых баллах) = (100 - 66):8 = 4,25

Вспомним, что ошибка - это нулевой первичный балл. Мифическая "средняя цена" первичного балла при линейном шкалировании составила бы 100:60 = 1,66. Чувствуете разницу между линейным (1,66) и "статистическим" (4,25) шкалированием?

Не будем идеалистами, 100 баллов - это скорее случайность, чем закономерность. Кто бы ни гарантировал вам такой результат - плюньте ему в глаз. Причин здесь несколько, назовем основные.

(1) Фактор случайности: задания на определение лексического значения слова, постановку ударения, разграничение паронимов и некоторые другие проверяют скорее ширину кругозора и общую эрудицию, нежели чем знание правил. От ошибок в этих заданиях не застрахован никто.

(2) Наличие заданий, требующих знания частных случаев, тонкостей и исключений из правил. Мы называем такие задания "ловушками". Хотите пример? - Ирина Васильевна, дайте выпускникам задание из разряда "ловушек".

- С удовольствием. Найдите ошибку в следующем предложении: "Мы с вами не виделись более полугода, и все это время я очень по вам скучал". Ответ найдете в следующем выпуске.

(3) Наличие некоторого количества некорректных ("невычитанных") заданий и ответов. КИМы составляют живые люди, которым свойственно ошибаться.

"...считаю самыми трудными некорректно сформулированные задания, как было у меня то, в котором я ошиблась, -№30. Начало текста было рассуждением, а остальной текст-повествование. В итоге - горе от ума: тот, кто не заметил рассуждения, оказался прав, а у меня 1 ошибка, "съевшая" целых 4 балла. У моей одноклассницы-отличницы такая же ошибка".

Это цитата из письма Ирины Гадыдей. Ее результат на ЕГЭ-2007 - 96 тестовых баллов.

(4) Субъективность экспертных оценок письменных работ. Посмотрите на (1). В этом абзаце присутствует речевой недочет, который эксперт может пропустить, а может посчитать за ошибку и снизить балл. Попробуйте этот недочет обнаружить. По критерию речевых ошибок эксперт может "завалить" практически любого испытуемого.

(5) Технические ошибки при заполнении бланков ЕГЭ и ошибки по невнимательности. Читаем: "...хотелось бы посмотреть свою работу и апеллировать по поводу оценки задания B8 в ноль баллов лишь из-за того, что последовательность чисел была вписана без запятых...". Не повезло Евгению Коротаеву, апелляция здесь не поможет.

Важно! Ошибки в простых заданиях снижают тестовый балл гораздо сильнее, чем ошибки в заданиях средней трудности. Оборотная сторона этой медали: первичные баллы за правильно выполненные простые задания дают мизерный вклад в итоговый тестовый балл. Это не я придумал, утверждение принадлежит профессору А.Г. Шмелеву, руководителю официального портала www.ege.edu.ru. Выводы делайте сами.

Если КИМ ЕГЭ по предмету сильно не изменился, то результат можно приблизительно прикинуть.