Стандарты оценивания УАО доступны на русском языке

Стандарты оценивания и профессиональные стандарты специалиста по оценке, разработанные экспертами Украинской ассоциации оценивания, переведены на русский язык. Стандарты были подготовлены в рамках совместного проекта УАО и российской Ассоциации специалистов по оценке политик, программ, проектов. Уже одно это предполагает, что результаты совместной работы должны быть доступны как на украинском, так и на русском языке. Помимо этого, мы хотели сделать стандарты полезными также для коллег из Евразийского альянса национальных ассоциаций в сфере оценки. Русская версия стандартов оценивания УАО доступна в разделе "Портфолио" нашего сайта.

Як порозумітися замовнику оцінювання із виконавцем?

Лариса Пильгун
зступник голови  правління ГО «Экспертная группа «СОВА»
заступник голови правління  Української асоціації оцінювання,
член Євразійського альянсу національних асоціацій у сфері оцінювання

Найчастіше в Україні оцінювання – це вимога донора, яку з превеликим небажанням виконує замовник. Замовник, як правило, вкрай рідко розуміється на методології , на стандартах оцінювання, на принципах проектної діяльності. Буває, що замовник не дуже розуміється і на тому, чим буде займатися (на що гроші отримав). Для замовника оцінювання – це формальність, відповідно угода між сторонами носить формальний характер і не враховує особливостей саме цієї діяльності, а технічне завдання складається із оголошення про тендер, купи документації про проект, усних вказівок замовника тощо. Часто замовник очікує, що звіт про оцінювання буде частково надиктований самим замовником …

У випадку, коли для виконавця оцінювання не є лише можливістю покращити своє фінансове становище і виконавець до своєї професійної діяльності ставиться з усією відповідальністю, лише складання технічного завдання на оцінювання перетворюється на битву титанів, обґрунтування бюджету та тривалості оцінювання викликає повне нерозуміння замовника, передача замовнику висновків оцінювання (звіту) більше нагадує іспит на посаду президента країни. Про можливі проблеми відносин сторін стосовно моніторингу та оцінювання політик, програм і проектів члени Української асоціації оцінювання нещодавно ініціювали дискусію. Наразі є низка проблем, якими доповнимо перелік попередніх, і пропозиції, як цих проблем можна уникнути.

Насамперед, спробуємо з’ясувати зміст оцінювання як професійної діяльності.

Якісне оцінювання – зазвичай тривалий, трудомісткий і недешевий процес.

Задля об’єктивності результатів оцінювання потрібно не лише ретельно вивчити документи (т.зв. кабінетне дослідження), але й поспілкуватися з причетними до справи особами (т. зв. польове дослідження). Географія та кількість інтерв’ю залежить від завдань оцінювання. Аби отримати потрібну інформацію, недостатньо володіти інструментами та методологією оцінювання або мати освіту соціолога. Для якісного оцінювання виконавець повинен мати глибокі знання із декількох сфер одночасно та відповідний професійний досвід, бути аналітиком, дипломатом, психологом, журналістом тощо, аби зібрати відповідні факти, проаналізувати їх та робити максимально об’єктивні висновки та рекомендації. Члени Української асоціації оцінювання[1] зробили досить детальний опис професійної компетентності фахівця з оцінювання[2].

Оцінювання – це системна діяльність, спрямована на глибоке вивчення об’єкту оцінювання, його внутрішнього та/ або зовнішнього середовища, його планових та наявних продуктів діяльності, його потенціалу тощо у результаті якого з’являється унікальний продукт під звичною назвою «Звіт». Цінність звіту за результатами оцінювання визначається предметом і завданнями оцінювання. Звіт за результатами оцінювання окремого проекту громадської організації цінний для донорів та виконавців, зацікавлених сторін та тих, чиї потреби задовольнили в результаті реалізації проекту. На звіт щодо моніторингу реформ, наприклад, з децентралізації, очікує широке коло зацікавлених сторін: органи влади і місцевого самоврядування, населення країни, іноземні донори та інвестори, представники бізнесу. Від висновків та рекомендацій залежать їх теперішня і майбутня діяльність. Відповідно, звіт за результатами оцінювання може містити лише відповіді на запитання замовника щодо успішності проекту, а може бути серйозним аналітичним документом з переліком виявлених проблем та пропозицій щодо їх вирішення (як щодо менеджменту організації, та і щодо політики на рівні держави).

Ніколи не можна наперед сказати, яким саме буде звіт, навіть якщо із замовником оцінювання досить чітко визначили мету, завдання і бажані результати оцінювання (що буває вкрай рідко). Так, наприклад, елементарне бажання знайти офіційне визначення певного терміну призводить до виявлення прогалин та невідповідностей у законодавстві, що відображається у звіті або рекомендаціях для відповідного органу влади. В процесі оцінювання можна виявити побічні результати запланованої діяльності та рекомендації щодо їх практичного застосування. Звичайно, такого рівня звіти можливі, коли до оцінювання долучаються фахівці із системним мисленням та широким світоглядом. Трапляються випадки, коли замовник оцінювання свідомо визначає обмеження на висновки. Так, наприклад, організація вже отримала кошти на проект, а оцінювання потреб має підтвердити необхідність саме цієї діяльності, а не іншої. Проте, в результаті оцінювання виявляється, що проблеми, на вирішення яких має бути спрямована проектна діяльність, це лише симптоми інших, більш глибоких проблем, які часто свідомо приховуються. Або замовник співпрацює з державною установою, і відмовляється від висновків, які свідчать про прогалини у діяльності цієї установи.

Оцінювання – це визначення змін за результатами реалізації політики, програми, проекту задля того, аби зрозуміти: Чи були досягнуті заплановані результати? Наскільки вірними були припущення щодо результатів? Наскільки ефективними, результативними і стійкими є зміни?[3].

Фахівець з оцінювання – це особа, що спеціалізується на оцінюванні та в своїй діяльності керується стандартами оцінювання[4]. Донедавна фахівці з оцінювання діяли в рамках міжнародних стандартів, а з 2016 р – вітчизняними стандартами оцінювання та професійними стандартами.

Вітчизняні стандарти оцінювання містять етичні норми оцінювання: фахівець з оцінювання несе відповідальність за свої дії, які мають бути екологічними стосовно тих людей, що дають інформацію, і тих людей, які у майбутньому будуватимуть свою діяльність на висновках оцінювання.

Оцінювання передбачає спілкування з людьми, які мають безпосереднє відношення до об’єкту оцінювання. Проте респонденти часто дають згоду на інтерв’ю за умови, що їх прізвище не буде оприлюдненим, або за умови, що найцінніша інформація не буде записана на диктофон тощо. Водночас замовнику потрібно звітувати перед донором про витрати на оцінювання, тому, як правило, замовник просить відзвітуватися не лише квитанціями про оплату готелю чи проїзду, але й надати так звану «первинну документацію»: аудіо, відео, фото звітність, документи, що стосуються предмету оцінювання, список респондентів з їх контактами тощо. Відповідно, фахівець з оцінювання потрапляє в досить неприємну ситуацію, коли доводиться думати, як задовольнити вимоги замовника та виконати зобов’язання перед респондентами. Труднощі також виникають при цитуванні респондентів, які не дали згоду на оприлюднення свого імені. З одного боку, респондент дає цінну інформацію в обмін на конфіденційність, з іншого боку замовнику потрібні докази про достовірність інформації. Водночас зберігання аудіо запису інтерв’ю із посиланням на респондента має відбуватися в рамках закону про захист персональних даних[5]. На кого покласти дотримання закону і відповідальність за його порушення? А якщо респондент відмовляється підписати згоду на обробку персональних даних?[6] Сторони мають домовитися попередньо про те, хто є «володільцем та розпорядником бази персональних даних» та про інші принципові речі, відповідно до зазначеного закону.

Ці та інші домовленості мають бути зафіксовані у договорі ще до початку оцінювання.

Саме тому члени Української асоціації оцінювання, виходячи з власного досвіду, та посилаючись на чинне законодавство (у т.ч. і міжнародне), а також на світові стандарти оцінювання, наразі працюють над типовою угодою на виконання оцінювання.

Головною метою типової угоди є бажання зекономити час на узгодження принципових речей та застерегти виконавців оцінювання від типових помилок, які можуть зіпсувати відносини із замовником та зруйнувати роками напрацьовані контакти, репутацію серед колег та довіру людей, завдяки яким і стало можливе оцінювання, запобігти порушенню законодавства, запобігти порушенню прав усіх осіб, задіяних до оцінювання.

Будь-яке оцінювання – це відповідь фахівця з оцінювання на запитання замовника щодо предмету оцінювання. Оцінювання, моніторинг, визначення потреб – передбачають пошук відповіді на запитання. Перелік цих питань має бути визначений замовником у технічному завданні. Виконавця має насторожити, якщо замовник відмовляється чітко визначити завдання. Важливо, все-таки, узгодити його (завдання) до початку виконання основної роботи.

Важливо дізнатися у замовника (і вписати у технічне завдання) про мету і обмеження чи потреби дослідження, про попередні напрацювання замовника. Виконавець може орієнтуватися на законодавство, на визнаних експертів, на думку більшості у своєму дослідженні. Водночас може виявитися, що замовник має власні висновки, які не співпадають із загальновідомими. Відповідно, результати оцінювання можуть кардинально відрізнятися від потреб і висновків замовника, що призведе до непорозуміння у момент звітування про результати оцінювання.

Результатом надання послуг є звіт (про це має бути зазначено у договорі). Звіт є оригінальним твором, який, як показує досвід, має захищатися авторським правом. Автори звіту також зобов’язані дотримуватися авторського права.

Замовник звіту має своє бачення щодо використання результатів оцінювання. Досить часто у відкритий доступ потрапляє видозмінений документ із розширеним списком авторів. Виконавці оцінювання можуть категорично не погоджуватися із оприлюдненим документом. Законодавство про авторське право чітко говорить про те, що створення так званих похідних творів, тобто створених на основі вже існуючих творів, - це одне з виключних прав автора оригінального твору.

Володіння екземпляром твору не є тим самим, що і володіння авторськими правами. Зважаючи на те, що оцінювання здійснюється під потреби та за кошт певної організації, майнові права на твір мають бути передані замовнику. Тобто замовник може передавати звіт донору, публікувати в електронному чи паперовому вигляді, розповсюджувати з метою реклами організації тощо, проте без змін у тексті. Будь-які зміни, скорочення, доповнення мають бути узгоджені із автором.

Звіт – це репутація не лише замовника, це репутація його автора. Будь-яке втручання у тест може спотворити сутність висловлювання автора. Лише автор несе відповідальність за міст і висновки звіту. Побажання замовника щодо звіту мають бути узгоджені ще на етапі формування технічного завдання. Далі допускається лише втручання редактора і відповідні зміни за згодою автора. Сторони мають також узгодити факт оприлюднення кінцевого звіту і можливість подальшого посилання на звіт.

Як правило, спілкування між замовником і виконавцем відбувається за допомогою електронної пошти. Часто виконавець на вимогу замовника надсилає проміжні варіанти звіту, або окремі його частини. У договорі має бути чітко визначено права замовника на чорнові матеріали звіту – це результати аналітичної роботи, які можуть самостійним життям[7].

Виконавець має бути готовим до того, що замовник, не розуміючи логіки і методології оцінювання, зробить помилкові судження щодо проміжних результатів оцінювання і, відповідно, виконавцю доводиться багато часу присвятити на роз’яснення. Набагато ефективніше відразу подавати кінцевий звіт. Проте, як правило, замовник в договір вписує право контролювати виконавця (на вимогу замовника виконавець має надати результати оцінювання станом на момент запиту). Варто добре продумати етапи звітності, аби у замовника не склалося враження, що виконавець займається не тим. Бувають випадки протилежні – замовник починає давати нові завдання щодо оцінювання, яких немає у технічному завданні і виконання яких потребує додаткових ресурсів, як часових, так і фінансових. Або виконання цих завдань ламає логіку вашої роботи. Тому варто теж узгодити із замовником подібні моменти і зафіксувати у договорі.

Окремої уваги потребують замовники, які в оголошенні про тендер вказують певні терміни оцінювання, а повідомляють про те, що ви відібрані на виконання оцінювання тоді, коли б це оцінювання мало вже підходити до завершення. Виконавцю вирішувати, чи погоджуватися працювати з таким замовником: досвід вказує на те, що з цим замовником буде вкрай важко працювати. Якщо виконавець і погоджується виконати саме це оцінювання, то все-таки має прискіпливо скласти договір і технічне завдання, а також визначити обмеження для сторін, як, наприклад, «замовник не може давати додаткові завдання …», або межі, в яких працює виконавець: дефініції, попередні напрацювання замовника тощо.

Компетентний фахівець з оцінювання знає про те, що доведеться звертатися до інших фахівців за роз’ясненнями специфічних питань. Тому право на «залучення третіх осіб» до оцінювання теж має бути прописано в договорі.

Трапляється, що оцінювання для замовника – це авторитетна доказова база для певного рішення, яке дозволяє Замовнику зняти з себе відповідальність за проект та/ або посилити свої позиції у внутрішньо організаційних або політичних інтригах та/ або задовольнити власні інтереси. Аби не зіпсувати власну репутацію, виконавцю варто у договір прописати, що його висновки будуть неупередженими, що він не підтримує жодну владу чи політичну силу тощо.

Висновки та рекомендації звіту – це консалтинг, який в кінцевому результаті призводить до організаційного розвитку та/ або грошових надходжень. Трапляються випадки, коли замовник, отримуючи кінцевий звіт, каже, що це не те, що він хотів, і оплачувати цю роботу відмовляється. Робота, не прийнята і не оплачена Замовником, може бути використана виконавцем на власний розсуд, - про результати такого оцінювання можна вільно інформувати громадськість.

Економіст Калверт Макхем про консалтинг сказав так: "Консалтинг – це армія, в якій наймолодший чин – полковник". П’ять років роботи консультантом — це те саме, що п’ятидесятирічний досвід звичайного бізнесмена - усі ці п’ять років консультант займався складними проблемами різних бізнесменів, організацій, країн тощо.

На звершення - байка про грибників.

Підприємець пішов до лісу по гриби. Доїхав до лісу на машині, залишив її на обочині і зайшов глибоко у ліс. З часом він зрозумів, що заблукав і не в стані повернутися до своєї машини. На галявині він присів, аби відпочити. Через якийсь час до місця, де він сидів, вийшов інший грибник. Підприємець радісно запитав:

- Перепрошую, чи могли б Ви мені сказати, де я знаходжуся?

Уважно поглянувши на нього, грибник відповів:

- Ви знаходитеся у лісі, біля джерела. Ви сидите на пеньку, який стоїть під високою сосною.

- Ви, мабуть, бізнес - консультант! - сказав той, який заблукав.

- Так, але як Ви про це дізналися? – запитав грибник.

- Ваша відповідь технічно вірна, але абсолютно марна, і фактично, я так і не знаю, як вийти до своєї машини.

- А-а-а, тоді Ви, мабуть президент крупної компанії! – посміхнувся консультант.

- Так, але як Ви здогадалися?

- Слідкуйте за думкою: Ви чудово бачите, де Ви знаходитеся, але все ж таки Ви не знаєте, де Ви знаходитеся, і Ви не знаєте, куди Вам рухатися далі. Реально Ви знаходитеся там само, як і до нашої з Вами зустрічі, але тепер Вашу проблему Ви, так або інакше, перетворили в мою помилку!

Список використаних джерел:

[1] Українська асоціація оцінювання. - http://www.ukreval.org/ua/
[2] Фахівець з оцінювання: стандарти оцінювання та професійні стандарти. – Київ: ФОП Філімончук М.М., 2016. – 32 с.
[3] Глосарій термінів з моніторингу та оцінювання / А.Горошко, Т. Нарчинська, І. Озимок, В. Тарнай. – Київ: ФОП Філімончук М.М., 2016. – 56 с. – (2-ге видання).
[4] Глосарій термінів з моніторингу та оцінювання / А.Горошко, Т. Нарчинська, І. Озимок, В. Тарнай. – Київ: ФОП Філімончук М.М., 2016. – 56 с. – (2-ге видання).
[5] ЗУ Про захист персональних даних. Відомості Верховної Ради України, 2010, № 34, ст. 481, Редакція від 30.09.2015, підстава 675-19.
[6] Будь-яка дія або сукупність дій, таких як збирання, реєстрація, накопичення, зберігання, адаптування, зміна, поновлення, використання і поширення (розповсюдження, реалізація, передача), знеособлення, знищення персональних даних, у тому числі з використанням інформаційних (автоматизованих) систем підпадають під дію закону Про захист персональних даних.
[7] 1) Будь-які твори охороняються авторським правом з моменту їх створення, без вимог дотримання формальностей. Авторське право порушується не залежно від того, чи отримує порушник прибуток, чи ні. Це впливає лише на розмір компенсації, яку визначає суд. Авторське право не втрачається в зв’язку з невикористанням протягом якогось терміну: це стосується лише товарних знаків. 2) Похідні твори, створені без дозволу авторів оригінальних творів, порушують права таких авторів. 3) Міри захисту авторського права в основному зводяться до цивільно-правових мір захисту. Разом з тим існують статті кримінального законодавства на перешкоду порушенням авторського права.
8 Минков А. 10 главных мифов об авторском праве. – Рекламное измерение: Портал по маркетингу, рекламе и Public Relations. - http://www.triz-ri.ru/market/?id=569&name=10_glavnyh_mifov_ob_avtorskom_prave.
9 Викентьев И. Л. Современный консалтинг: мифы и решения. Консалтинг и тренинги Санкт_петербурга. - http://www.treko.ru/show_article_524.

Експертиза системи моніторингу та оцінювання результативності реалізації державної регіональної політики

16 серпня 2016 року члени Української асоціації оцінювання Лариса Пильгун і Михайло Савва представили співробітниками Мінрегіону експертний висновок щодо  системи МіО результативності реалізації державної регіональної політики.

Рішення про надання допомоги Мінрегіону в поліпшенні системи МіО  державної регіональної політики було прийнято 30 червня 2016 року на зборах УАО. Підставою для цього стала пропозиція віце-прем'єра Геннадія Зубка долучитися експертам УАО до вдосконалення системи МіО регіонального розвитку. З цією пропозицією Г. Зубко звернувся до УАО на зустрічі з громадськістю в Києво-Могилянській академії. Зобов'язання підготувати експертний висновок на систему МіО Мінрегіону взяли на себе голова правління Експертної групи «СОВА» М. Савва і його заступник Л. Пильгун, комунікаційну складову УАО із Мінрегіоном забезпечив Артем Мірошниченко.

Директор департаменту регіонального розвитку Мінрегіону Олена Кучеренко та заступник директора цього департаменту - начальник відділу моніторингу регіонального розвитку Олена Бойко висловили своє бачення переваг і недоліків наявної системи МіО, висловили очікування до оновленої системи МіО від Мінрегіону (можливості  оцінити  рівень  конкурентоздатності  областей України, відповідність вимогам Європейського Союзу до МіО).

Експертний висновок було підготовлено протягом двох тижнів, документ містить  оцінку можливостей наявної  системи МіО,  її проблем і обмежень, а також безпосередньо  рекомендації щодо її удосконалення.

На думку авторів експертного висновку наявна система МіО Мінрегіону державної регіональної політики підготовлена досить компетентно. Система (в щорічному варіанті) є комплексною і дозволяє оцінювати всі значущі для регіону і країни зміни ... Ідеальні системи моніторингу та оцінки не створюються з першої спроби, оскільки обов'язково вимагають коректування за підсумками практичного використання. Діюча система може розглядатися в якості пілотного проекту, який вдосконалюватися. Експерти порекомендували, серед іншого, узгодити та/або інтегрувати наявні  системи моніторингу, зокрема систему моніторингу державної регіональної політики (створену фахівцями Мінрегіону) та систему моніторингу децентралізації (створену в рамках українсько-швейцарської програми DESPRO). 

Представники Мінрегіону повідомили, що вони вже працюють над впровадженням низки рекомендацій Л. Пильгун і М. Савви ( текстом експертного висновку працівники Мінрегіону ознайомилися напередолні зустрічі).

Представники Мінрегіону та експерти УАО обговорили також важливість вдосконалення процедур моніторингу та оцінювання регіональних стратегій розвитку. Міністерство активно впроваджує моніторинг і оцінювання в практику регіональних адміністрацій і готове співпрацювати в цьому напрямку з представниками громадянського суспільства.

Михайло Савва

Досвід соціального підприємництва

Експерти "СОВИ" продовжують поповнювати базу корисних публікацій. Ми розмістили в розділі "Портфоліо" статтю про російський досвід соціального підприємництва: Савва М.В. Социальное предпринимательство как технология общественного развития. Ця стаття створена в 2012 році в збірнику "Социальное предпринимательство: практический опыт". Стаття містить опис успішних прикладів соціального підприємництва.