Боднар А.М. Лекції з експериментальної психології

n1.doc (9 стор.)
Оригінал

1   2   3   4   5   6   7   8   9

Контроль змінних

Слід розрізняти контроль незалежної змінної і контроль "інших" або зовнішніх (побічних і додаткових змінних).

Контроль незалежної змінної. Існує два основних способи:

  1. контроль проводиться за допомогою активного маніпулювання, варіювання НП (зміна гучності сигналу, порядку пред'явлення стимулів і т.п.).

  2. контроль проводиться шляхом відбору необхідних значень НП з числа вже існуючих змінних. Це - пасивний контроль. Змінні, обирані таким чином - це суб'єктні змінні (IQ, авторитарність, гендер, раса, наявність чоловічих або жіночих гормонів, якесь якість або константних характеристика особистості, яку важко або неможливо змінювати довільно). Експериментатор не може змінити авторитарність людини, але він може вибирати випробовуваних з різним ступенем авторитарності.

Контроль впливу зовнішніх змінних. Результатом впливу ВП є ефект змішування. Далі ми розглянемо п'ять способів контролю ВП (пам'ятаючи, що вони не гарантія від впливу ВП, а профілактика): елімінація ВП; константність умов; балансування; контрбалансіровка; рандомізація.

  1. Е лімінація - усунення ВП (в психофізичних лабораторіях часто створюються експериментальні камери, ізолюючі випробуваного від зовнішніх звуків, шумів, вібраційного впливу та електромагнітних полів. Але не виключити вплив диференційно-психологічних змінних, таких як стать, вік або інтелект).

  2. Створення константних умов. Якщо зовнішні змінні не вдається виключити з експериментальної ситуації, то доводиться робити так, що їх вплив залишається незмінним на усіх випробуваних, при всіх значеннях НП і протягом усього експерименту.

Що стандартизуется? Фізичні, соц.-психол., Діфф.-психол. змінні, а також інструкція. Однак ця стратегія не дозволяє повністю уникнути ефекту змішання: строго кажучи, дані, отримані при константних значень зовнішніх змінних, можна переносити тільки на ті реальні ситуації, в яких значення ВП такі ж, якими вони були при дослідженні.

  1. Балансування. Коли відокремити вплив НП від впливу ВП не вдається, то щоб уникнути ефекту змішування формують експериментальну та контрольну групи (ЕГ і КГ).

Відмінність експериментальної та контрольної груп в тому, що експериментальне вплив здійснюється тільки на випробовуваних, включених в ЕГ. Тобто зміна ЗП в контрольній групі обумовлено лише ВП, а в експериментальній - спільною дією ВП і НП. Таким чином, ВП надають рівний вплив на ЗП в обох групах, тобто вплив ВП є збалансованим.

Іноді потрібно більше однієї КГ. Так у фармакології та корекційної психології для оцінки ефективності різних методів лікування поряд зі звичайною КГ використовується контрольна група плацебо. У підручнику Солсо описано експеримент з лікування мовних фобій методами поведінкової та раціональної терапії, в якому використовувалися дві різні контрольні групи - звичайна і плацебо (Солсо, с.64-65). Так як у групі плацебо результат виявився вищим, ніж в групі раціональної терапії, то фактично раціональна терапія виявилася плацебо-методом, з іншого боку, оскільки навіть в «чистій» контрольній групі результати покращилися, то результати цієї групи треба використовувати як точку відліку для оцінки різних методів (поліпшення при: поведінкової терапії - 100%, раціональної терапії - 60%, плацебо - 73%, контрольної - 30%).

Дещо відрізняється процедура балансування при контролі відомих ВП. Типовий приклад - виявлення впливу статі на результати експерименту. Для контролю цієї змінної організовуються дві експериментальні групи, чоловіча і жіноча, в кожній з яких виявляється ефект дії НП на ЗП.

  1. Контрбалансіровка. Цей прийом контролю додаткової змінної зазвичай застосовують тоді, коли експеримент містить у собі кілька серій і потрібно виключити ефект послідовності (в різних його проявах, таких як тренування, стомлення й ін).

Сенс контрбалансіровкі полягає в тому, що порядок пред'явлення різних завдань в одній із серій компенсується іншим порядком пред'явлення завдань в іншій серії, або, іншими словами, ВП компенсують один одного в різних серіях.

Контрбалансіровка буває внутрішньогрупових і міжгрупових. У першому випадку ті ж самі учасники експерименту в першій серії слідують порядку пред'явлення стимулів АВ, у другій серії - ВА. У другому випадку випробуваним однієї групи пред'являють порядок АВ, другої групи - ВА. Таким чином ефект послідовності цілеспрямовано розподіляється на всі експериментальні умови.

Приклад міжгруповий контрбалансіровкі. Експериментатори хочуть дізнатися, як колір вина впливає на його перевагу споживачами. Існує спосіб, за допомогою якого можна міняти колір вина, не впливаючи на його смак. В експерименті використовується вино натурального кольору - темно-рубінового і зміненого, зеленого. ЗП - оцінка переваг за 5-бальною шкалою. Оскільки при дегустації вина друга порція може здатися більш приємною не тому, що її смак краще, а через те, що дегустатору життя взагалі стала представлятися більш приємною, необхідно врівноважити процедуру. Урівноваження (контрбалансіровка) може бути досягнута, якщо перша половина піддослідних (перша група) спочатку буде пробувати забарвлене вино, потім вино натурального кольору (послідовність АВ), а друга - спочатку вино натурального кольору, потім забарвлене (послідовність ВА).

Група

Порядок пред'явлення вина

1-а

2-я

забарвлене - натурального кольору (АВ)

натурального кольору - забарвлене (ВА)


Приклад внутрішньогрупової контрбалансіровкі. При виконанні тестів інтелекту при пред'явленні випробуваному завдань від простої до складної більш інтелектуальні випробувані більше стомлюються і втрачають мотивацію. При пред'явленні завдань від складної до простої менш інтелектуальні випробувані відчувають стрес неуспіху і змушені вирішувати більше завдань, ніж їх більш інтелектуальні колеги. Контрбалансіровка (урівноваження) може бути досягнута, завдяки наступній міжгруповий схемою:

Серія

Порядок пред'явлення завдань

1-а

2-я

Легкі-важкі (АВ)

Важкі-легкі (ВА)




  1. Рандомізація. Рандомізації, як уже говорилося, називається процедура, яка гарантує рівну можливість кожному члену популяції стати учасником експерименту. Її застосування забезпечує однаковий рівень додаткових змінних у генеральній сукупності і у вибірці. І тому вона є способом, що дозволяє виключити вплив на результат експерименту таких ВП як індивідуальні особливості піддослідних.


Лекція 10
ПРОЦЕДУРА І ОСНОВНІ ХАРАКТЕРИСТИКИ

ПСИХОЛОГІЧНОГО ЕКСПЕРИМЕНТУ

(Продовження)
Валідність психологічного експерименту

До основних характеристик психологічного експерименту відноситься його валідність. Почнемо обговорення поняття валідності стосовно до психологічним вимірам.

На чому грунтується впевненість учених в оцінці таких речей, як час реакції, інтелект, сприйняття людьми соціальної підтримки і т.п.? Щоб відповісти на це питання, необхідно обговорити два ключові чинники: надійність і валідність вимірів.

Вимірювання вважаються надійним, якщо його результат повторюється при повторних вимірах. Хороший приклад надійного вимірювання - вимірювання часу реакції: людина при першій спробі реагує на сигнал через 0.18 сек, в наступних спробах зазвичай дає результати, близькі до цього, і умовно істинним ми вважаємо середнє з одержані близьких значень.

Надійність - це функція від кількості помилок вимірювання. Помилки є завжди, і залежать вони, зокрема, від якості вимірювального інструмента: чим більш мінливі результати від вимірювання до вимірювання, тим менш надійний інструмент. Наприклад, гумова лінійка буде явно менш надійним інструментом, ніж сталева, оскільки зі зрозумілих причин вимірювання з її допомогою будуть давати великий розкид.

Впевненість у надійності вимірювань у більшості випадків виробляється з часом в результаті їх повторення, формальне ж обчислення надійності зазвичай застосовується до тестів на стадії їх стандартизації.

Вимірювання психологічних характеристик вважається дійсним, якщо виміряли саме те, що збиралися. Тест на інтелект повинен вимірювати інтелект, а не щось інше. І якщо, тестуючи інтелект, нам пропонують міркувати і вирішувати завдання, то це представляється розумним, а про тест кажуть, що він має очевидну валідність. Однак володіння тільки очевидною валидностью - доля розважальних тестів. Наукові тести крім очевидної повинні мати ще критеріальну валідність. Так тест на інтелект буде критеріально валідним, якщо на його основі: а) можна передбачати успішність і б) якщо його результати подібні (корелюють) з результатами інших відомих інтелектуальних тестів.

Ще один вид валідності наукових інструментів, особливо важливих для експериментальних досліджень - Конструктная валідність. Апарат психології насичений конструктами - змінними, які неможливо спостерігати безпосередньо (інтелект, тривожність, статус, обсяг пам'яті і т.п.). Наявність таких гіпотетичних конструктів може бути виведено тільки з спеціально проведених вимірювань. Дослідження, в якому певним чином проводиться вимір конструкту, і яке дає раніше передвіщені результати, підтверджує і сам конструкт, і інструмент, використаний для його вимірювання.

Існують і інші види валідності, найважливіші з яких ми розглянемо, а поки відзначимо важливу річ: вимір матиме цінність для дослідження, якщо воно володіє одночасно і надійністю, і валідність. При цьому надійні вимірювання можуть не бути валідними, валідні ж повинні бути надійними. Приклад. Відомо, що вимірювання френологія володіли високою надійністю: наприклад, відстань між якимись двома точками черепа мало змінювалося від вимірювання до вимірювання. Але якщо стверджується, що на підставі таких вимірів визначається «деструктивна» здатність людини, то ми маємо підстави сумніватися в валідності такого твердження: воно не здається розумним (очевидна валідність), на його підставі неможливо передбачити прояви агрессівноті (критеріальна валідність), воно не узгоджується з іншими дослідженнями конструктів, пов'язаних з деструктивністю, наприклад, імпульсивності (Конструктная валідність).
Валідними можуть бути не тільки вимірювання психологічних конструктів. У більш загальному сенсі валідність характеризує дослідження цілком і означає правильність проведення експерименту: дослідження вважається дійсним, якщо воно дає таке пояснення поведінки, яке, як передбачалося, воно повинно давати.
Проблему валідності зручно обговорити, використовуючи прийом Готтсданкер, який запропонував розглядати реально проводяться експерименти через призму якогось уявного зразка - бездоганного експерименту.

Існує три види бездоганного експерименту: ідеальний, нескінченний і експеримент повної відповідності

Ідеальним експеримент був би тоді, коли в ньому вдалося б зупинити фізичний час. Виконання цієї умови означає, що 1) ні випробувані, ні умови не змінюються (тобто забезпечується головне - незмінність всіх побічних факторів), зміна допускається тільки для НП і 2) одному і того ж випробуваному в один і той же час можна висувати різні УМОВИ незалежної змінної (так ткаля повинна була б працювати в навушниках і без них в один і той же час, студент заучував б п'єсу одночасно цілісним і частковим методами - приклади Готтсданкер)

Нескінченний, т. тобто постійно триваючий, експеримент. Потрібен, щоб накопичити достатньо велику кількість даних, щоб їх усереднити і отримати надійний результат (усереднити і коливання власних оцінок).

Експеримент повної відповідності (ЕПС) - це точне відтворення реальної ситуації, тобто висновки експерименту будуть поширюватися на точно таку ж ситуацію, як і ситуація експерименту (якщо студент Готтсданкер хоче з'ясувати спосіб більш ефективного заучування сонат, то експериментувати він повинен з сонатами, а не з більш простими для заучування вальсами).

Зрозуміло, що бездоганний експеримент - як і всі бездоганне нереальний: ідеальний є неможливим, експеримент повної відповідності - безглуздим (хоча і можливим), нескінченний - тим і іншим. Навіщо ж потрібно це поняття? Значення ідеї бездоганного експерименту полягає в тому, що він дає зразок для оцінки реальних експериментів і точного визначення їх недоліків.

У будь-якому реальному експерименті ми повинні прагнути до того, щоб отримати результати як можна більш близькі до результатів бездоганного експерименту. Чим ближче реальний експеримент до бездоганного, тобто безпомилкового за планом і за процедурами, тим більше він валиден.

Валідність - Центральне поняття експериментальної психологи і словника експериментатора. Розрізняють декілька видів валідності, серед яких найважливішими є внутрішня і зовнішня.

Внутрішня валідність. Висока внутрішня валідність експерименту означає, що в ньому можна отримати те ж відношення між незалежною і залежною змінними, що і в ідеальному або нескінченному експериментах. Тобто внутрішня валідність - міра впливу НП на ЗП. Іншими словами, внутрішня валідність тим вище, чим більше вірогідність того, що експериментальний ефект (зміна ЗП) викликаний зміною НП. Т. тобто мова йде про усунення побічних впливів: чим більше впливають на залежну змінну неконтрольовані нами умови, тим нижче внутрішня валідність експерименту, тим, отже, більше вірогідність того, що факти, виявлені в експерименті, є артефактами.

Внутрішньо невалілний експеримент не дозволяє переконатися в достовірності знайденого відносини НП і ЗП. Так ми не вправі вважати результат експерименту достовірним, якщо нам не ясно, чому ткаля працювала краще: тому що носила навушники, або через гарної погоди.

Якщо ж експеримент дозволяє отримати ті ж результати, що й експеримент повної відповідності, тобто повністю відтворити зовнішню реальність, то говорять, що він володіє зовнішньої валідностио. Характеристикою зовнішньої валідності і є міра відповідності експериментальної процедури - реальності. Експеримент, що не володіє зовнішньої валідностьто, є неадекватним, тобто не відповідним перевіряється гіпотезі (але він може згодитися для перевірки іншої гіпотези). Так неадекватним буде розучування легких вальсів замість важких сонат. Але цей же експеримент виявиться нормальним, якщо метою буде пошук найбільш ефективного методу завчання вальсів.

Термін «зовнішній» відноситься до визначення тематики проведеного експерименту: чому саме він присвячений (методом заучування сонат, вальсів або методом заучування взагалі. Звідси експеримент з заучування вальсів не володіє зовнішньої валідностио для визначення ефективності методу завчання взагалі - результат не можна узагальнювати на інші види завчає матеріалу)

Резюмуємо сказане: 1) від внутрішньої валідності залежить достовірність експериментальних результатів, від зовнішньої - переносимість результатів з експериментальних (зокрема, лабораторних) умов на реальні процеси і узагальнення їх на інші сфери реальності (яким відповідають експериментальні змінні).

Однак зауважимо, що так розуміється зовнішня валідність має особливе значення лише для емпіричних психологічних досліджень. Адже в принципі можливі такі експерименти, які не відповідають жодним реальним життєвим ситуаціям, а служать лише для перевірки гіпотез з «переднього краю науки»: експерименти по сенсорної депривації л виробленні класичних умовних рефлексів, дихотического прослуховування. Саме тому про зовнішню валідності експерименту особливо піклуються прикладники: клінічні, педагогічні та організаційні психології, оскільки для вирішення своїх повсякденних завдань їм доводиться вдаватися до постановки експериментів, що імітують реальність (дублюючих реальний світ, по Готгсданкеру). За суті, історична дискусія прихильників лабораторного експерименту і «природного експерименту» була віддзеркаленням різного методичного підходу фахівців, які займалися фундаментальної чи прикладної психологією.

Звідси випливає, (Проведені в «польових» умовах) і лабораторні є відповідність НП або реальним умовам життя (Ест.Е), або теоретичним поняттям, розкриває через операціоналізації цих понять (Лаб.Е).

Щоб провести лабораторний експеримент, потрібно «очистити» його умови так, щоб можна було змінювати одиничні НП.

Справжніх лабораторних експериментів існує небагато, оскільки існує небагато теоретичних гіпотез, для перевірки яких вдається чітко операционализировать в конкретних методичних процедурах теоретичний конструкт з «переднього краю науки». Прикладом такого конструкту є поняття про функціональної асиметрії мозку, операционализировать за допомогою методики дихотического прослуховування. Е та методика дозволяє здійснити одночасне моноуральное сприйняття двох повідомлень, кожне з яких потрапляє в слуховий центр відповідного півкулі. Такого не буває в реальному житті, де слухове сприйняття біноурал'но, тобто кожне повідомлення завжди потрапляє в обидва вуха, а значить і в обидва слухових центру Штучно створена ситуація дихотического прослуховування потрібна для того, щоб перевірити гіпотезу про різні способи переробки інформації людиною, тобто припускає перенесення результату на світ теорії

Основна ж маса експериментів, здійснюваних у лабораторії - це так звані штучні експерименти чи, по Готтсданкер, експерименти, поліпшуючі реальний світ. Від щирого лабораторного вони відрізняються тим, що перенесення результату, отриманого в лабораторії, здійснюється на реальне життя. Штучні експерименти плануються тоді, коли відповідний природний (дублюючий реальність) експеримент не забезпечує достатньої внутрішньої валідності (тобто в ньому неможливо захистити ЗП від впливу побічних факторів).

У штучних експериментах вдається уникнути систематичних змішань, штучно стабілізуючи побічні чинники (в експерименті з нічними посадками літаків стабілізувалися, тобто робилися однаковими, такі фактори як зовнішній вигляд аеродрому та міста, умови видимості і т. п., з тим, щоб бути впевненими, що розходження в траєкторії посадки пояснюється лише зміною нахилу поверхні). Різниться і форма проведення лабораторного та штучного експерименту: останній проводиться за допомогою тренажерів, ігрових ситуацій і інш. так, щоб очищення умов не впливало на досліджувані процеси-аналоги тих, що мають місце в реальних ситуаціях.

Вище ми говорили, що експеримент, який не має зовнішньої валідності, вважається неадекватним, невірним. Тепер ми можемо уточнити, що це справедливо лише в тому випадку, якщо джерелом гіпотези є реальність, буденне знання, а не теорія. Якщо ж джерело гіпотези чисто теоретичний, то експеримент може не відповідати ніякої реальності, володіючи при цьому високою внутрішньої і операціонально валідність. Інша справа, що пряме перенесення його результатів у реальність неможливий (без урахування впливу на залежну змінну додаткових змінних).

Згадаємо ще раз, що штучні експерименти потрібні для того, щоб забезпечити внутрішню валідність. Але, підвищуючи внутрішню валідність за рахунок «поліпшення» реальності, ми, в принципі, ризикуємо втратити зовнішню валідність, бо «покращений» світ експерименту може стати неадекватним цієї реальності. Звідси виникає вимога шукати оптимальний спосіб поліпшення реального світу, тобто шукати баланс між зовнішньою і внутрішньою валидностью.
Внутрішня і зовнішня валідність - найважливіші, але не єдині показники правильності організації експерименту. Розглянемо ще два види валідності.

Операціональна валідність визначається як ступінь відповідності застосовуваних методик тим теоретичним поняттям, які входять в експериментальну гіпотезу. Справа в тому, що гіпотеза, яку ми хочемо перевірити, формулюється, як правило, в досить загальних і абстрактних поняттях, і ці поняття мають бути адекватно переведені на мову конкретного експерименту. Якщо такий переклад сумнівний, то говорять про слабку операціонально валідності експерименту.

Приклад сумнівного, з Готтсданкер, перекладу - експерименти Левіна з 10-річними хлопчиками за впливом на них авторитарного, демократичного та анархічного стилів керівництва (сумнівність - в ідентифікації стилів. Гсттсданкер педпочел б називати ці ситуації деспотією, ліберальної монархією і демократією). Інше питання, пов'язаний з ОПВ - наскільки ці короткочасні експерименти з дітьми, які живуть в дуже різною домашній обстановці, взагалі можуть говорити про поведінку людей, що постійно знаходяться у відповідних соціальних умовах.

Момент, коли відбувається оцінка ОПВ - це момент переходу від вже сформульованих гіпотез до процедур їх методичного втілення (Від 3 до 4 етапу описаної вище схеми основних етапів експериментального психологічного дослідження). У цей момент дослідник вирішує, яка саме методика краще реалізує уявну модель експерименту, тобто дозволяє краще варіювати НП і вимірювати ЗП. Цей вибір необхідний ще й тому, що одна і та ж ЗП може бути виміряна за допомогою різних методик.

Найважливішою умовою досягнення ОПВ є операціоналізація змінних, входять в експериментальну гіпотезу. операціонального визначення (ГО) - це докладний вказівку операцій, необхідних для подання та вимірювання понять. Для деяких змінних це зробити легко (інтервали між вправами, вроджена гіперплазія наднирників і т.п.). Але якщо змінні виражаються через абстрактні поняття (тривожність, інтелект, спонукання і т.п.), то ГО, що охоплює всю складність поняття і одночасно емпірично обгрунтоване, дати важче. Так кожна людина має уявлення про тривожності. Загальним моментом словникових визначень тривожності є те, що це емоційний стан, найбільш характерним компонентом якого є очікування. ГО тривожності давалися за допомогою «паперово-олівцевих» тестів, за допомогою методів контролю потовиділення, реєстрації КГР. ЧСС, рухів очного яблука. Кожне з цих ГО дає оцінку певної частини стану тривожності, але жодне не оцінює всій його складності. Психолог повинен так формулювати ГО, щоб воно відповідало конкретної ситуації. Абсолютно необхідно, щоб всі використовувані в експерименті змінні мали операціональні визначення.

У термінах бездоганного експерименту ОПВ означає, що конкретні експериментальні операції (створення умов та отримання ЗП) репрезентують НП і ЗП з ЕПС.

Визначення ОПВ за підручником Корнілової: ОПВ - це оцінка проведеного експерименту з точки зору відповідності методик завдання і вимірювання змінних, які використані в дослідженні (НП, ЗП і ВП) емпірично навантаженим поняттям цих змінних. У лабораторному експерименті може співпасти з Конструктная валідність.

Конструктная валідність (KB) експериментального дослідження означає, наскільки адекватно визначаються НП і ЗП (стоять за ними конструкти), що використовуються в дослідженні. Розглянемо, що це означає на прикладі такого конструкту як тривожність.

За словом «тривожність» часто ховається різне розуміння цього конструкту, однозначна інтерпретація його відсутня. Це означає, що різні автори, придумуючи методики для вимірювання тривожності (операціоналізіруя поняття «тривожність»), можуть вимірювати насправді різні аспекти цього конструкту, а то й різні конструкти.

Якщо взяти два популярних тесту: шкалу тривожності Тейлор та тест Айзенка (EPI), одна з шкал якого, нейротизм, вимірює тривожність, то зрозуміти, що саме ми виміряли, можна тільки знаючи авторські концепції тривожності, тобто теорію, що лежить в основі методики.

Після того, як методика придумана, постає завдання довести, що отриманий з її допомогою результат відповідає теоретичному конструкту (у нашому прикладі - насправді вимірює тривожність), тобто володіє КВ. Це досягається шляхом поступового накопичення інформації про вимірюваному конструктив, шляхом простежування зв'язку з практичними формами діяльності, з думкою експертів, з достовірністю прогнозу реального поведінки. Тобто КВ виробляється в міру того, як накопичуються дані і з'являється можливість їх опису за допомогою різних способів - але зводяться до єдиної основи - конструкту.

Чому важливо обгрунтувати КВ? - Тому, що після її обгрунтування дослідник може ввести вимірюване властивість в систему психологічних категорій, з психологічних позицій закономірно пояснювати (інтерпретувати) результати експериментів, прогнозувати поведінку, тобто робити теоретичні узагальнення. Як вже говорилося, психологічні конструкти можуть конкретизуватися різними методиками (це називається концептуальними реплікації). При цьому підвищується обгрунтованість висновків щодо цього конструкту, розширюється діапазон узагальнень

Підводячи підсумок, можна сказати, що в понятті KB виражається адекватність інтерпретації експериментальних даних - теорії і визначається ця адекватність правильністю вживання термінів тієї чи іншої теорії при інтерпретації даних експерименту.

За підручником Корнілової KB - це оцінка відповідності представлених в експериментальній гіпотезі змінних і відносини між ними - теоретичним конструктом і теоретичної гіпотези, з якої в якості слідства виводиться експериментальна гіпотеза.

Для з'ясування відносин між основними характеристиками експериментального дослідження корисно запам'ятати наступну схему:

Теорія

Конструктная В. Операційна В.

(Правильність інтерпретації)
І деальний експеримент Внутр. (Содержат.) У Реальний експеримент
Прогностична (теор.) В. Зовнішня В.

Реальність
Існує ряд факторів, що ускладнюють досягнення внутрішньої валідності. Ці фактори можна розділити на дві групи.

  1. Фактори, пов'язані з випробовуванимивибіркою):

  1. Побічні змінні, вплив яких призводить до наступних ефектів:

Серед факторів, що негативно впливають на зовнішню валідність експерименту, найважливішими є наступні:
Навчальний матеріал
© cozap.com.ua
При копіюванні вкажіть посилання.
звернутися до адміністрації