www.VuzLib.com

Головна arrow Педагогіка arrow Тестування комунікативної компетенції в усному мовленні та ознаки його ефективності
Меню
Головна
Каталог освітніх сайтів

Тестування комунікативної компетенції в усному мовленні та ознаки його ефективності

Л. І. Морська,
доктор педагогічних наук, доцент
(Тернопільський національний педагогічний університет імені Володимира Гнатюка)

ТЕСТУВАННЯ КОМУНІКАТИВНОЇ КОМПЕТЕНЦІЇ В УСНОМУ МОВЛЕННІ ТА ОЗНАКИ ЙОГО ЕФЕКТИВНОСТІ

   Постановка проблеми. Відомо, що в межах комунікативного напряму в методиці навчання загальне володіння іноземною мовою визначають як комунікативну компетенцію (КК), а основним засобом комунікації є усне мовлення, навчання якого є головною метою у більшості навчальних закладів. Саме тому важливо чітко визначити вихідний рівень КК студентів в усному мовленні, щоб здійснювати планування подальшого навчання відповідно до їхнього рівня володіння іноземною мовою, доводячи його до бажаного, цільового. Комунікативний підхід до навчання іноземних мов повинен опиратися на систему контролю, яка б забезпечила можливість фіксувати динаміку формування КК в окремих видах мовленнєвої діяльності, а також давати об'єктивну оцінку рівня загального володіння мовою. Аналіз вітчизняних і зарубіжних досліджень дає право стверджувати, що одним із найефективніших засобів надійного та оперативного контролю за такого підходу є тест, принципова перевага якого поряд з іншими формами контролю полягає у здатності останнього здійснювати точні вимірювання. Сьогодні можна констатувати, що тестування отримало визнання у нашій країні і стало загальноприйнятою формою рубіжного, поточного та підсумкового контролю, орієнтуючись, в основному, на контроль засвоєння мовного матеріалу та рецептивних мовленнєвих умінь (слухання й читання). Проте до сьогодні в Україні, та і закордоном багато теоретичних і практичних питань тестових вимірювань залишаються практично не розробленими, особливо це стосується тестування усного мовлення.
   Тому метою статті є обґрунтувати можливості здійснення тестування КК в усному мовленні та охарактеризувати основні ознаки його ефективності.
   Аналіз досліджень і публікацій. Починаючи із 70-х років минулого століття зарубіжними ученими було опубліковано велику кількість наукових праць з проблеми тестування КК в усному мовленні, які в більшості розглядають проблеми надійності і валідності усних тестів, кореляцію між усними та іншими видами мовних тестів, методики їх оцінювання тощо (Ch. Alderson, D. Barwell, L. Bachman, W. Bartz, R. P. Barret, M. Canale, С Chapelle, J. A Van Ek, I. Kaplan, P. Lowe, A. Palmer, N. Underbill, P. Rea, S. Ross, S. Sarwark, M. Swain, R. Terry, J. Yule та інші). Серед українських науковців, що вивчали особливості тестування усного мовлення, варто зазначити О. Петращук [3], О. Петренко [2] та інші, які разом із іноземними авторами складають досить ґрунтовну загальну теорію тестового контролю у навчанні іноземної мови, ефективність якої характеризується міцною теоретичною базою, використанням науково достовірного матеріалу та результатами, що мають значну практичну цінність. Такий стан справ розробки проблеми тестування робить можливим подальше успішне дослідження, зокрема такого неоднозначного питання, як тестування КК в усному мовленні.
   У квітні 1997 року Радою Європи була схвалена остання редакція документу, що отримав назву "Сучасні мови: вивчення, навчання, оцінювання. Загальноєвропейська компетенція". У ньому подані взаємовідношення між категоріями, що визначають мету, завдання і зміст навчання іноземної мови, охарактеризовано підсумкові рівні володіння іноземною мовою. Функція цього документу - допомогти усім зацікавленим особам, в тому числі фахівцям, що займаються контрольно-оцінювальною діяльністю, зорієнтуватися у виборі того чи іншого шляху оволодіння іноземними мовами, а також надавати їм можливість ефективного обміну інформацією, що стосується сфери навчання. Та частина згаданого вище документу, що стосується визначення рівня володіння, розробки відповідних шкал, оцінювання навчальних досягнень учнів чи студентів, є особливо корисною для тестологів, оскільки через недостатню дослідженість ці проблеми залишаються дуже актуальними. У ньому також представлена методологія шкалювання та критерії, застосовані у розробці загальноєвропейської шкали визначення рівня володіння мовою з описом вимог до кожного рівня, орієнтованих на різні категорії користувачів мови. У цьому ж документі виділено шість рівнів володіння іноземною мовою, які відповідають класичному поділу на початковий, проміжний та вищий (просунутий) етапи (див. табл. 1). Крім того, він також розглядає різні підходи та критерії проведення контролю навчальних досягнень у вивченні мови та аналізує різні типи контролю. Більше того, в ньому розглядається питання про можливість введення особливого документу, що відображав би досвід студента чи учня стосовно вивчення і використання іноземної мови та вказував би на досягнутий рівень володіння. Цей документ отримав назву Європейського мовного портфеля (European Language Portfolio).

Таблиця 1

   Приступаючи до розгляду задекларованої вище проблеми, вважаємо за необхідне викласти наше розуміння терміну "тест", у якому ми керуємося визначенням, запропонованим В. Heaton. Отже, тест - це метод вимірювання, процедура виконання якого створює особливі психологічно комфортні умови для тестованих з метою визначення рівня сформованості КК набором попередньо підготовлених й апробованих на предмет ефективності завдань, і результати якого піддаються певному оцінюванню за заздалегідь встановленими критеріями [8, с 23]. Оскільки стаття присвячена проблемі тестування усного мовлення, вважаємо за доцільне дати робоче визначення характерних для цього виду тестів термінів. Усне тестування (oral testing) -це повторювана процедура, в якій тестований говорить й оцінюється на основі того, що і як він сказав. Воно може бути ізольованим або частиною комплексного комунікативного тесту. У такому тестування беруть участь: тестований, інтерв'юер, рейтер і маркер. Інтерв'юер (interviewer) - людина, яка проводить усне тестування, розмовляє із тестованим (interviewee) і спрямовує розмову. Він також може брати на себе роль рейтера, або бути одним із них У свою чергу, рейтер (rater, assessor) -людина, що слухає тестованого під час тестування або прослуховує його запис і проводить оцінювання на основі почутого та спеціальних шкал, які дають змогу максимально об'єкгивізувати тестування. Маркер (marker) - людина, яка не є присутньою під час тесту, а оцінює його пізніше на основі відео чи аудіо запису. Усний тест суттєво відрізняється від інших тестів. Як вважає N. Underbill [11], такі тести слід виділи™ в окремий клас і при розробці враховувати їхні особливості. Згаданий учений серед основних відмінностей усного тесту виділяє ставлення до тестованого.У традиційних тестах (під якими ми маємо на увазі тестування рівня сформованості рецептивних умінь та писемного мовлення) основна увага концентрується навколо самого тесту, а особистість тестованих, інтерв'юерів, рейтерів, маркерів відходить на другий план, їхня роль обмежена, або й зовсім не відчувається. При виконанні тестових завдань тестовані не мають можливості до самовираження (частково це можливо у тестуванні писемного мовлення), вони діють у заданих межах, а роль маркерів зводиться до ролі автоматизованих апаратів. Саме тому, вважає С Балуян, студенти й викладачі не отримують задоволення від участі в такому тестуванні [1]. В усному ж тесті головну роль відіграють люди й те, що між ними відбувається, а сам тест є другорядним. Тобто у процесі усного тесту неможливо вести мову про тест з відривом від людей, задіяних до його проведення, тому що він не може існувати на папері у вигляді переліку завдань. Саме тому при розробці такого тесту слід, у першу чергу, брати до уваги особистості учасників співбесіди (інтерв'ю). Однак саме згадана вище властивість усного тесту і ставить під сумнів його об'єктивність, а відтак виникає питання про те, яким чином забезпечити ефективність тестування усного мовлення. Термін "ефективність" запозичений нами у С Weir [12]. В інших авторів зустрічаємо термін "якість тесту" [3]), "критерії тесту" [4], "корисність тесту" (usefulness) [6] тощо. У класичній текстологічній науковій літературі основними ознаками ефективності вважають валідність і надійність тесту (R. Thorndike, A Davis, J. Stanly, L. Bachman, J. Alderson, С Clapham, К Kitao, А Анастазі та інші). Крім цих ознак, текстологи називають ще й такі: практичність, економність, обєктивність тощо (P. Linert, В. Коккота та інші). У нашому дослідженні ми використали концепцію, запропоновану зарубіжними вченими Л. Бахман та А Палмер і підтриману вітчизняними ученими (О. Петращук), які вважають, що ефективність комунікативних тестів забезпечують шість його ознак -надійність (reliability), конструкгна валідність (construct validity), автентичність (authenticity), інтерактивність (the quality of being interactive), вплив (impact), практичність (practicality) [3; 6].
   Досить часто у наукових публікаціях з досліджуваної проблеми зустрічається думка про те, що ознаки тесту слід розглядати як незалежні елементи, і підкреслюється необхідність максимально дотримуватися кожної. Однак вважаємо, що спроба максимально підвищити вплив однієї ознаки на ефективність тесту неминуче приведе до нівелювання або пригнічення іншої. На підтвердження цього N. Underbill та G. Heaton вважають, що валідність і надійність знаходяться у конфлікті одна з одною [8], a A Hughes зазначає, що неможливо сконструювати тести, які були б автентичні і водночас надійні, оскільки автентичність окрім галузевого спрямування мови передбачає також наявність впливу регіональних особливостей мови, які не входять до літературного стандарту, що й повинен засвоюватися студентами чи учнями у навчальному процесі, і який і рівень оволодіння яким і перевіряється за допомогою усного тесту [9]. Ми вважаємо, що попри певну несумісність між тестовими ознаками, немає потреби відмовлятися від котроїсь із них, а завдання текстолога - знайти оптимальний баланс між всіма ознаками ефективності тесту, більше того, він буде коливатися залежно від конкретної тестової ситуації для досягнення найвищого ступеня ефективності. Отже, ефективність усного тесту, на нашу думку, є таким показником, який відображає сукупність різних, але взаємопов'язаних ознак, кожна з яких певним чином впливає на загальну якість тесту. Із такого визначення можна виділити два принципи, якими слід керуватися при розробці ефективного усного тесту: 1) слід забезпечити максимальну ефективність тесту в цілому, а не кожну з його окремих ознак; 2) окремі ознаки тесту не можуть оцінюватися індивідуально, а лише в сукупності впливів на загальну ефективність. Зупинимося на суті виділених нами шести ознак ефективності усного тесту. Класичне визначення відмінності між валідністю і надійністю дали D. Campbel та D. Fiske [7, с. 83]: надійність - це узгодження між двома спробами виміряти одне і теж за допомогою максимально схожих методів, а валідність - максимально відмінних методів.
   Проаналізувавши низку наукових праць вітчизняних та зарубіжних учених (М. Kate, J. Alderson, L Bachman, С. Clapham, D. Wall), ми зробили висновок про те, що у відносно суб'єктивних тестах, таких як письмовий твір/есе чи усне інтерв'ю/бесіда, головним джерелом нестабільності результатів є оцінки рейтерів. Тому при аналізі ефективності таких тестів надійність можна виразити через: 1) коефіцієнт міжрейтерської надійності (inter-rater reliability), який визначають як коефіцієнт кореляції між результатами оцінювання двох або кількох рейтерів одного і того ж контингенту тестованих, який повинен в оптимальному варіанті бути в межах 0,80-0,90; 2) коефіцієнт внутрірейтерської надійності (intra-rater reliability), який визначається як коефіцієнт кореляції між результатами оцінювання одним і тим же рейтером двох послідовних тестувань однакового контингенту тестованих паралельною формою того самого тесту; 3) коефіцієнт надійності тесту (test-retest reliability), який визначають як коефіцієнт кореляції між результатами двох послідовних тестувань одного і того ж контингенту тестованих шляхом використання того самого тесту. Для кількісного розрахунку коефіцієнту надійності за допомогою формули Спірмена підраховується середній результат тесту (mean), стандартне відхилення (standard deviation) та діапазон результатів (range).
   Різні види валідності можуть визначатися по різному. Однак найбільш поширеною в науковій літературі є думка про те, що для усних тестів важливими є такі види: 1)зіставна (concurrent), яка відображає те, наскільки добре даний тест вимірює те, що хоче текстолог у порівнянні з іншим тестом чи оцінкою. Для її визначення результати тесту зіставляють з результатами іншого тесту або оцінками вчителів, що отримані відразу після або до даного тесту; 2) прогностична валідність (prognostic), що відображає те, наскільки добре результати даного тесту передбачають успішність, наприклад, майбутнього навчання чи здійснення трудової діяльності. Для її визначення результати даного тесту зіставляють (визначається кореляція) з результатами іншого тесту, який проводиться через певний часовий інтервал (наприклад, півроку). Якщо коефіцієнт кореляції становить не менше 0,5-0,6, то тест володіє прогностичною валідністю; 3) зовнішня (face validity), яка відображає ступінь цікавості, прагматичності тестових завдань для тестованих, викладачів, адміністраторів. Вона визначається шляхом відповідного аналізу мовного наповнення тесту та відгуків учасників тестування; 4) конструкгна (construct) валідність, що відображає ступінь врахування певної моделі КК в об'єктах тестування і характері завдань. В нашому випадку, визначається компонентний склад КК (наприклад, граматичний, стратегічний компоненти тощо), з яким узгоджується характер тестових завдань. Аналіз наукових праць свідчить про відсутність всезагального визнання автентичності як ознаки ефективності усного тесту, проте більшість тестологів вважають її однією з найважливіших ознак тесту саме усного мовлення. Тому, вслід за Л. Бахман та А. Палмер, ми визначаємо автентичність як ступінь відповідності завдань тесту ознакам завдань у галузі застосування мови [6]. Забезпечення автентичності у процесі розробки тесту вказує на те, наскільки добре його результат відображає здатність тестованого користуватися мовою у тій галузі, для застосування в якій здійснювалося навчання.
   Іншою ознакою ефективності тесту, як було зазначено вище, є інтерактивність, яку розуміємо як ступінь і характер залучення індивідуальних особливостей тестованого у виконання тестових завдань [5], де найбільш очевидними є стратегічна компетенція (strategic competence or metacognitive strategies), загальні знання теми (topical knowledge), емоційність (affective schemata). Тому тестові завдання розроблені з метою спонукання тестованого імплементувати стратегічну компетенцію, продемонструвати загальну світоглядну ерудицію, проявити емоційне ставлення до предмету обговорення під час інтерв'ю чи бесіди, є інтерактивними, а отже рівень їх ефективності значно зростає. Яскравим прикладом інтерактивності тестових завдань є інтерв'ю у тестовій системі IELTS (International English Testing System), яке складається із трьох частин, де перша частина стосується персональної інформації тестованого (наприклад, питання How important is fashion for you? What colour do you like? Do you dream at night? тощо), що спонукає до вираження емоційного стану тестованого. Друга частина інтерв'ю передбачає безперервний монолог протягом 2-3 хвилин на задану тему, що вимагає прояву стратегічної компетенції. Наприклад: Describe some important possession of yours. You should say: what the item is, where and when you got it, and explain why it is so important for you. І нарешті третя частина передбачає демонстрування загального академічного світогляду тестованого, що спонукає до презентації різних точок зору суспільства на задану проблему, можливі шляхи їх вирішення, що вимагає застосування елементів вищого рівня мислення (аналіз, синтез, узагальнення, оцінювання). Наприклад: What do you think will be the consequences of GM food for the mankind in about 20 years? Is good or bad for a child to have a hobby? Тобто, іншими словами, інтерактивний усний тест чітко нівелює можливість заздалегідь підготовленого (вивченого напам'ять) мовлення, що й свідчить про його ефективність для оцінювання рівня сформованості комунікативної компетенції.
   Іншою ознакою ефективності тесту є його вплив на суспільство, систему освіти, а також на індивіда всередині цієї системи. Сам факт проведення тесту й участі в ньому переслідує певну мету й має відповідні наслідки. Результати тестування також використовують з певною метою, що, відповідно, веде до певних наслідків (позитивних чи негативних). Як зазначає L. Bachman [5], тести повинні завжди служити потребам системи освіти чи суспільства в цілому. Вплив тесту на процес навчання і, відповідно, на викладачів, що відповідають за цей процес, текстологи називають зворотним ефектом (washback or backwash) [10]. Вважаємо,що три аспекти процедури тестування можуть мати очевидний вплив на тестованих: досвід участі у тестуванні й підготовки до нього; оцінювання їхніх знань, умінь і навичок; рішення, які можуть бути прийняті на основі оцінки/балу за тест. І нарешті остання ознака ефективності тесту - його практичність, під якою ми розуміємо співвідношення між ресурсами, що є необхідними для проектування, розробки й використання тесту, та наявними ресурсами. Визначення  "порогового рівня" (threshold level) практичності тесту має важливе значення під час його розробки, де практичність =наявні ресурси необхідні ресурси
   Якщо показник практичності більший 1, то тест є практичним, і, навпаки, якщо він менший 1, то це свідчить про непрактичність тесту, а отже і про його низьку ефективність. Ведучи мову про ресурси, ми маємо на увазі людські ресурси, матеріальні ресурси і час. До людських ресурсів відносимо розробників тесту, екзаменаторів, рейтерів, маркерів, адміністраторів процедури тестування, персонал, що бере участь у його підготовці та проведенні. До матеріальних ресурсів відносимо приміщення для розробки і проведення тесту, обладнання (комп'ютери, магнітофони, диктофони тощо) і матеріали (папір, малюнки, бібліотечні матеріали тощо). Час передбачає його витрати на розробку, проведення й оцінювання тесту. Маючи значний практичний досвід підготовки студентів до складання тесту у системі IELTS, вважаємо за доцільне подати приклад зниження рівня ефективності процедури тестування через її невідповідність такій ознаці як практичність. Це стосується тестового центру у м. Києві, де в ролі рейтерів і маркерів, а досить часто й інтерв'юерів, виступають мовці (громадяни англомовних країн), що забезпечує дотримання вимоги ознаки автентичності тесту, проте вони є непрофесійними рейтерами (про що свідчить відсутність у них відповідних сертифікатів та результати їхньої оцінювальної діяльності студентів з приблизно однаковим рівнем сформованості КК), що й зумовлює необ'єктивність оцінювання тестованих через відсутність у рейтерів належних знань щодо критеріїв оцінювання та вмінь їх ефективного застосування. Як наслідок недотримання цієї ознаки ефективності тесту знижується рівень ознаки впливу як на саме ставлення до IELTS та об'єктивності всієї системи, так і на подальшу долю тестованих після складання тесту.
   Висновок. Зважаючи на суть й особливості викладених вище ознак ефективного тесту можна зробити висновок про те, що: Дефективність будь-якого усного тесту забезпечується його надійністю, валідністю, автентичністю, інтерактивністю, практичністю й впливом на освітній процес; 2) забезпечення оптимального балансу всіх ознак ефективності розроблюваного тесту можливе лише за умови правильного вибору методики розробки тесту.
   Перспективи подальших пошуків у напрямку дослідження ми вбачаємо у теоретичному обґрунтуванні технології впровадження тестування комунікативної компетенції студентів ВНЗ.

ЛІТЕРАТУРА

1. Балуян С. Р. Тестирование коммуникативной компетенции в устной речи абитуриентов специальности "Лингвистика и межкультурная коммуникация" (на материале английского языка): дисс. ... канд. пед. наук: 13.00.02 / С. Р.Балуян. -Таганрог, 1999.-215 с.
2. Петренко О. П. Лінгвістичний аспект проблеми контролю умінь читання на початковому ступені середньої загальноосвітньої школи / О. П. Петренко // Вісник Київського державного лінгвістичного університету [Текст]. Сер. "Педагогіка та психологія". - К, 2000. - Вип. 3. - С 68-71.
3. Петрашук О. П. Значення апробації тестових завдань з метою їх включення в тест з іноземної мови / О. П. Петращук // Вісник Київського державного лінгвістичного університету [Текст]. Сер. "Педагогіка та психологія". -К., 2000.- Вип. 3. - С 100-104.
4. Alderson J. Report of the discussion on communicative language testing / J. Alderson // Issues in language testing. ELT Documents 111. -London : The British Council, 1981. -242 p.
5. Bachman L. Modem language testing at the turn of the century: Assuring that what we count counts / L Bachman // Language Testing. - 2000. -17 (1). - P. 1-42.
6. Bachman L, Palmer A. Language testing in practice / L. Bachman, A. Palmer. - Oxford : University Press, 1996. - 266 p.
7. Campbel D. Т., FiskeD. W. Convergent and Discriminant Validation by the Multitrait-multimethod Matrix /D. T. Campbel, D. W. Fiske//Psychological Bulletin, 1959. -№56.-P. 81-105.
8. Heaton B. Language testing / B. Heaton. - London : Modern English Publications, 1982. -346 p.
9. Hughes A. Testing for Language Teachers / A. Hughes. - Cambridge : University Press, 1989. -288 p.
10. Ebel R. A. Essentials of Educational Measurement / R. A. Ebel. -Englewood Cliffs, NJ : Prentice Hall, 1979. -264 p.
11. Underhill N. Testing Spoken Language / N. Underhill. - Cambridge : Cambridge University Press, 1987. - 346 p.
12. Weir С J. Communicative language testing / С J. Weir. - London : Prentice Hall, 1990.-224 p.

 
< Попередня   Наступна >

При використанні матеріалів сайту активне гіперпосилання на http://vuzlib.com обов'язкове!
Зворотний зв'язок
© 2010 www.VuzLib.com