교육프로그램 평가, 정재삼

CIPP프로그램 평가 모형, Context evaluation, Input evaluation, Process evaluation, Product evaluation

상황평가, 투입평가, 과정평가, 산출평가

	상황평가	투입평가	과정평가	산출평가
목적	조직 상황을 정의하고 상황 속 요구와 기회를 확인, 사정, 그리고 요구와 기회를 내포한 문제를 진단하기 위하여.	체제 가능성, 가능한 투입 전략과 전략 실행을 위한 설계를 확인하고 사정하기 위하여.	절차적 설계나 그 실행에 있어 약점을 확인하거나 예상하고 프로그램된 결정을 위한 정보를 제공하고, 절차적 사태와 활동기록을 유지하기 위하여	산출 정보를 목표에 관련시키고, 상황, 투입, 그리고 과정 정보에 관련시키기 위하여
방법	상황을 서술함으로써, 실제적 그리고 의도된 투입, 산출을 비교함으로써, 유만하고 가능성 있는 체제 수행을 비교함으로써, 실제와 의도 사이 모순의 가능한 원인들을 분석함으로써.	행동이 실행되는 진행 과정에서 관련성, 가능성, 경제성을 위해 이용 가능한 인적, 물적 자원,해결 전략, 그리고 절차적 설계를 서술하고 분석함으로써.	활동의 잠재적 진행 장애를 관찰하고 예상하지 않은 장애에 경계를 유지함으로써, 프로그램된 결정을 위한 세분화된 정보를 획득하고 실제과정을 서술함으로써.	목표와 관련 있는 준거를 조작적으로 정의하고 측정함으로써, 미리 결정된 기준이나 상대적인 기반과 이러한 측정을 비교함으로써, 그리고 기록된 상황, 투입과 과정 정보에 의해 산출를 해석함로써.
변화과정에서 의사결정과의 관련	제공되어야 하는 설정을 결정하고 요구 충족, 기회 이용과 관련된 목적, 그리고 문제 해결과(예: 요구되는 변화를 계획하기 위해) 관련 있는 목표에 대해 결정하기 위하여	지원, 해결 전략, 절차적 설계(예: 변화 활동을 구조화하기 위하여)의 자원을 선택하기 위하여.	프로그램 설계와 과정(예: 효과 있는 절차 조절을 위해)을 실행하고 다듬기 위하여	변화 활동을 지속, 종결, 수정, 또는 재조명할 것인지를 결정하고, 변화 과정(예: 변화 활동의 재활용)의 다른 주요 양상에 활동을 연결시키기 위하여

   

   

   

A	Analysis (분석)	요구분석 학습자 분석 환경분석 직무 및 과제분석
D	Design (설계)	수행목표 명세화 평가도구 설계 계열화/구조화 교수전략 및 매체선정
D	Development (개발)	교수자료(초안)개발 형성평가 및 수정 제작(대량생산)
I	Implementation (실행)	사용 및 설치 유지 및 관리
E	Evaluation (평가)	총괄평가 (교육훈련성과평가)

ADDIE: ISD 본유적 모형

   

ISD의 과정	역할(기능)	세부단계(활동)	산출물
Analysis (분석)	학습내용(What)을 정의하는 과정	요구, 학습자, 환경, 직무 및 과제 분석	요구, 교육목적, 제한점, 학습과제
Design (설계)	교수방법(How)을 구체화하는 과정	수행목표 진술, 평가 도구 설계, 조직화와 계열화, 교수전략 및 매체 선정	수행목표, 교수전략 등을 포함한 설계명세서
Development (개발)	교수자료를 만들어 내는 과정	교수자료개발, 형성평가 및 수정, 제작	완성된 프로그램
Implementation (실행)	프로그램을 실제의 상황에 설치하는 과정	프로그램의 사용, 설치, 유지 및 관리	실행된 프로그램
Evaluation (평가)	프로그램의 적절성을 결정하는 과정	총괄평가	프로그램의 가치 및 평가보고서

   

형성평가와 총괄평가의 비교

	형성평가(Formative Evaluation)	총괄평가(Summative Evaluation)
목적	프로그램의 질을 개선하기 위하여 문제되는 부분을 찾아냄	프로그램의 채택 또는 유지의 결정을 위하여 그 가치와 유용성을 판단함
단계	1:1 평가(임상평가) 소집단 평가 현장 검증	전문가 판단(일치도 및 질 분석) 현장 검증(성과 및 관리의 분석)
교수개발	조직 내에서 체제적으로 설계되고 조직의 필요에 맞게 개발됨	조직 내 혹은 조직 외에서 개발. 반드시, 체제적 접근을 하는 것은 아님
대상자료	한 세트의 자료	한 세트 또는 여러 세트의 자료
평가자	설계와 개발팀의 구성원(내부평가자)	개발팀 이외의 전문가(외부평가자)
결과	자료수정을 위한 처방	평가보고서 (프로그램의 설계, 절차, 결과, 권고사항 및 타당성을 포함)

   

   

CIPP에 따른 교육프로그램개발 모형 비교분석

   

요구분석을 통해 다음과 같은 문제가 분석된다.

• 수행과 관련된 문제가 있는가?
• 실제수행과 바람직한 수행에 있어 어떤 차이가 있는가?
• 왜 그 문제가 중요한가?
• 아무런 조치를 취하지 않으면 어떤 결과가 예상되는가?
• 그 문제 해결에 요구되는 기능(skill) 상의 결함이 있는가?
• 태도 개선을 필요로 하는가?
• 이 프로그램을 통해 기업 외적인 요구나 문제를 충족해야 할 필요성이 있는가?
• 이 프로그램의 내용을 필요로 하는 대상은 누구인가?
• 이 요구를 충족시켜줄 다른 대안이 있는가?
• 어느 정도 타부서의 지원이 필요한가?
• 이 프로그램을 실행하는 데 영향을 끼칠 자연적인 장애 요인이 있는가?
• 누가 이 프로그램을 재정적으로 지원할 것인가?

  => 이 요구 분석 결과를 토대로 하여 프로그램의 목적(goal) 즉 잠정적인 프로그램 목표가 개발되며, 이 목적은 6번째 단계에서 보다 구체적인 데이터가 수집된 후 프로그램 목표(Objective)g가 확정된다.

     

  평가 주체와 관련된 질문

• 강사가 평가를 수행할 것인가? 아니면 누가할 것인가?
• 학습자의 상사, 동료, 부하직원으로부터 정보를 수집할 것인가?
• 누가 데이터를 분석, 해석할 것인가?
• 추수평가는 누가 행할 것인가?
• 평가 과정의 수정 및 종결 여부는 누가 결정할 것인가?

  등…

     

  프로그램의 목적은… 도전적이고, 정확해야 하며, 시의성(timeliness)이 있어야 하고, 성취 가능한 것이어야 하며, 모든 학습자에게 이해되는 내용이어야 한다. 이상의 조건을 충족시키는 목표를 수립하기 위해, 내용전문가나 학습자, 관리자를 포함한 프로그램 관련자들의 목표수립 과정 참여가 강조되고 있으며…

     

  프로그램 목표와는 관련이 없으면서 알고 있으면 유익한 내용들은 효율성과 비용 차원에서 포함시키지 않는다.

     

  프로그램 평가의 절차

1단계	평가계획 수립 Designing Evaluation Plan
2단계	평가목표 수립 Specifying Objectives
3단계	평가설계 선정 Selecting Evaluation Design
4단계	평가도구 제작 Constructing Instruments
5단계	평가자료 수집 Collecting Information and Data
6단계	평가결과 분석 Analyzing Information and Data
7단계	평가결과 보고 Reporting Evaluation Results
8단계	평가결과 활용 Utilizing Evaluation Results

   

• Cognitive objectives 인지적 목표: 이해, 적용, 분석, 종합, 평가, 비교, 비판, 판단 등과 같이 주로 사고작용을 통해 획득하고 활용하는 학습내용과 행동이 진술된 학습목표

  예) 실시, 실습 등과 같이 동작을 학습하는 내용이라 할지라도 지필고사나 면접고사로 평가할 수 있게 진술된 목표.

• Affective objectives 정의적 목표: 어떤 사상(사실, 이론, 공법, 기술 등등)에 대한 학습자의 주의, 관심, 흥미, 태도, 의식, 가치, 신념 등의 변화와 관계되는 내용들이 담긴 학습목표

  예) 사회성, 책임감, 충동성 등과 같은 행동발달상황의 평가목표를 위시하여 학교 또는 교과에 흥미, 관심, 태도, 가치를 다루는 목표는 정의적 목표에 해당

• Psychomotor objectives: 신체의 일부나 전체를 움직이는 것과 관련되는 학습내용을 다룬 학습목표

  예) 기계의 조작, 분해, 조립, 가공 등을 비롯하여 무용, 체육, 미술, 피아노 실기 등을 다룬 학습목표

     

  학습목표(Learning objective) = 내용(Content) + 행동(Behavior)

     

  학습 목표의 구성 요소: A, B, C, D

• Audience: 진술문의 주어 또는 학습자
• Behavior: 학습을 통해 변화 또는 획득되기를 바라는 학습자의 행동
• Condition: 학습의 결과로 획득된 학습자의 행동에 일어나게 하는 상황
• Degree: 학습을 통해 획득된 내용과 행동의 양적 또는 질적 수준을 판단하는 준거 의미
• Gerlach

     

  Mager 진술방식: 1. 학습자의 2. 도달점 행동과 3. 그 도달점 행동이 일어나는 상황 및 조건 그리고 4. 도달점 행동이 어느 정도 숙련되어야 하는지 밝혀 놓은 준거가 명시

     

  Phillips 의 10가지 평가 목표

• 프로그램 목표가 달성되었는지의 여부를 결정하기
• HRD 프로그램의 강점과 약점을 파악하기
• HRD 프로그램의 비용 cost 와 수익 benefit 에 비교하기 (비용 수익분석)
• 미래의 프로그램에 참여할 대상을 결정하기
• 검사 및 학습자료(사례, 연습문제 등)의 명료성과 타당성을 검증하기
• 프로그램에서 가장 성공한 참가자들과 가장 실패한 참가자들 파악하기
• 추수평가 follow-up evaluation 을 통하여 참가자들의 주요 행동과 사항들을 강화하기
• 미래 프로그램의 마케팅에 도움이 될 데이터(프로그램의 효과 등)를 수집하기
• 프로그램이 구체적 요구에 대한 적절한 해결책이었는지를 결정하기
• 경영층의 의사결정을 도울 수 있는 데이터베이스 구축하기

     

  Kirkpatrick 4수준 평가 모형

  수준 1 (반응): 교육 참가자의 프로그램에 대한 느낌이나 만족도

  수준 2 (학습): 교육훈련의 결과로 교육 참가자의 지식, 기능, 태도를 향상시킨 정도, 학업성취도

  예) 인지적 영역에서는 지필검사, 사례연구로, 정의적 영역에서는 지필검사, 사례연구, 역할연기,

  시뮬레이션, 동료평가/심체적 영역에는 실기검사, 역할연기, 시뮬레이션 기법으로 평가자료 수집가능

  수준 3 (행동): on-the-job 행동이 변화되고 학습된 기능이 현업에 전이되는 정도, 현업적용도

  참여자의 행동이 변하기 위해서 1. 학습자의 변화의 욕망, 2. 학습자가 무엇을 해야 할 지, 어떻게

  해야할지를 알아야, 3. 학습자가 올바른 분위기에서 학습 또는 주어진 과제를 해결할 수 있어야 함,

  4. 변화에 대한 보상을 받아야 함.

  수준 4 (결과): 교육 참가로 인해 발생한 최종의 조직기여도 또는 경영성과, 조직기여도

     

	수준 1 반응	수준 2 학습	수준 3 행동	수준 4 결과
평가목적	반응도 평가 프로그램 개선	목표 달성도 효과성 판단	현업 적용도 학습전이도 및 근무조건 판단	경영 성과 기여도 교육 투자가치 확보
평가 시기	교육 (중) 후	교육 전,중,직후	교육 종료 3~6개월 후	교육 종료 6~12개월 후
평가 기능	형성적(총괄적)	총괄적(형성적)	총괄적(형성적)	총괄적(형성적)
평가대상	학습자 강사 연수진행자 교육프로그램	학습자의 지식 기능, 태토, 습득정도	근무조건 적용된 지식, 기능, 태도	경영성과 중에서 교육이 기여한 부분
평가방법	설문지 면접 관찰	설문지 필기시험 사례연구 역할연기	설문지 관찰 인터뷰	ROI 설문지 인터뷰

   

   

ROI 과정 모형

   

행동평가를 통해 밝혀야 할 내용

• 참가자들은 학습한 지식, 기능, 태도를 현장에서 활용하는가?
• 직무 환경이 이러한 지식, 기능, 태도를 활용하는데 지원적인가?
• 교육의 전이를 향상시키기 위해 프로그램을 어떻게 재구성할 수 있는가?
• 교육 프로그램을 향후 지속적으로 개설할 것인가?
• 직무수행에 있어 교육의 효과를 기타 영향으로부터 분리할 수 있는가?
• 어떤 기능과 행동들이 현업에서 가장 자주 또는 적게 사용되는가?
• 학습된 기능과 행동이 현업에서 전이되지 않는 이유는 무엇인가?
• 학습된 기능과 행동의 현업 전이 정도에 영향을 끼치는 요인은 무엇인가?

     

     

  

  학습전이시스템의 개념적인 틀

     

  Performance 평가를 위한 Checklist - Kirkpatrick

구분	세부사항
퍼포먼스 기준	기준이 현재의 업무에 반영하고 있습니까? 기준이 부과되어 있고 기준에 따라 평가되고 있습니까?
출근	출근상황이 규정에 따라 기록되고 있습니까? 결근에 대한 개인적인 변명을 자제하고 있습니까?
과거의 목표성취	과거(직전) 목표를 재진술하고 평가하고 있습니까? 과거(직전) 목표가 달성되지 못한 경우, 그 이유와 상황이 규명되어 있습니까?
행동특성	특성들이 점검되고, 업무 명세적인 행동 예들을 통해 지원이 됩니까? 행동특성들이 과거 수행을 확인하고 강화하는 일에 활용이 됩니까?
퍼포먼스 개선 요구	요구가 기준충족이나 목표성취의 실패와 관련이 있습니까? 조언들의 요구의 긴급성을 암시하고 있습니까? 조언이 업무와 관련되어 있고 명세적입니까? 조언의 요구 충족을 위해 직원이 제시한 의견을 반영하고 있습니까? 요구가 구체적이며, 개선을 필요로 하는 업무와 관련되어 있습니까? 요구가 현재의 직위와 관련되어 있습니까?
퍼포먼스 목표	퍼포먼스개선목표가 먼저 열거되어 있고 위의 요구와 관련되어 있습니까? 직원이 얼마나 훌륭히 수행해야 하는지 구체적으로 진술되어 있습니까? 퍼포먼스의 수용 기준이 구체적으로 명시되어 있습니까? 퍼포먼스의 조건(시간허용, 자원 활용 등)이 구체적으로 명시되어 있습니까? 조언이 목표에 대해 직원이 제시한 의견을 반영하고 있습니까?
퍼포먼스 평정	평정이 전체 퍼포먼스분석의 결과와 일관됩니까? 평정이 제로베이스 평가 원리에 따라 이루어집니까?
승진가능성	확인된 지위가 그 직원의 경험과 기능에 적합합니까? 열거된 지위가 적절하게 명명되고 관리되고 있습니까?
전보/이동	평가가 이루어 질 때에 원하는 전보지에 대해 상의할 수 있습니까?
감독자의 파견	견해가 업무와 관련되고 평가의 내용과 일치합니까? 견해가 평가의 경과를 효과적으로 요약합니까?
기타	필요한 모든 문서를 작성했습니까? 경력개발 프로그램에 참여하고 있을 경우, 계획서가 첨부되어있습니까? 평가가 쌍방의 대화 내용을 반영하고 있습니까? 평가가 납기 일정 내에 이루어졌습니까?

   

5수준		투자회수효과 ROI	사회적 성과 societal outcome
4수준	결과 result	경영결과 business result	조직적 결과 organizational output
3수준	행동 behavior	현업적용 job application	적용 application
2수준	학습 learning	학습 learning	획득 acquisition
1수준	반응 reaction	반응 reaction	반은 reaction
1수준		실천계획 planned action	실행자원 enabling
수준/구분	Kirkpatrick 4수준	Phillips 5수준	Kaufman 5수준

   

완성된 자료수집 계획(예)

4수준 경영성과	판매증가 불평의 감소 이직의 감소	불평건수 월별자원적종결건수	퍼포먼스 점검 설문지	감독자 회사기록	프로그램 후 6개월	프로그램 평가자
3수준 현업적용	지식 활용 기능활용 장애요인 파악	완성된 회의 기록	설문지 추수 모임 회사 기록 종업원설문	감독자 새로운 감독자와 종업원	프로그램 3개월 프로그램 6개월	교육담당자 현장감독자
2수준 학습	기능의 숙달 지식의 획득	진위형 기능실습	기능 실습 사전/사후 검사 관찰	감독자	시작과 종료시 실시 중	촉진자/강사
1수준 반응,만족도, 실천계획	긍정적 반응 개선 위한 제언 실천계획 파악		반응 설문지	감독자	종료시	교육담당자
수준/구분	목표	측정치/자료	자료수집 방법	자료원	시기	책임자

   

ROI 를 위한 자료 수집 방법

• 추수조사 follow-up survey: 프로그램을 통해 학습한 내용의 현장 활용 정도를 확인하는 방법, 주로 태도와 관련된 자료를 확보하는 '상대 평정측도'로 개발 (제3 수준의 평가에 유용)
• 추수 설문지 follow-up questionnaire: 훈련 결과의 적용상태를 확인하기 위해 사용되는 방법. 개방형 질문이나 폐쇄형 반응 질문들로 구성 (3,4 수준 평가 자료수집에 사용)
• 직무현장 관찰: 실제로 학습한 기능의 적용과 활용 상태를 확인하는 방법, 특별히 고객서비스 관련 프로그램의 결과를 확인하는 데 유용, 관찰자가 눈에 뜨지 않은 상태에서 실시될 경우 보다 효과적 (3수준 평강)
• 사후 인터뷰: 학습한 내용이 현장에서 활용되는 정도를 결정하는 방법. 특별한 내용의 적용상태를 구체적으로 밝힐 수 있음. (3수준 평가)
• Focus Group: 일단의 참가자들이 학습한 내용을 현장에 적용하고 있는지의 정도를 결정하기 위하여 사용한 방법 (3수준 평가)
• 프로그램 과제: 간단한 단기 프로젝트에 유용, 프로그램에서 배운 지식이나 기능을 활용하여 주어진 과제를 현장에서 완수하는 방법 (3,4수준 평가)
• 실천계획 action plan: 프로그램이 진행되는 도중에 입안되어 프로그램을 마친 후 현장에서 실행되는 것으로, 계획의 추수를 통하여 프로그램의 성공 여부에 대한 증거자료 제공 (3, 4수준 평가)
• 수행 계약 performance contract: 참가자와 참가자의 부서장, 강사 모두의 동의하에 교육과 훈련에 대한 특정성과를 달성하기 위해 실행하는 방법 (3,4수준 평가)
• 추수 모임: 평가 자료를 수집하고 부가적인 학습 자료를 제시하기 위한 목적으로 실시되며 참가자는 프로그램을 통한 성공 사례들을 공유함 (3,4 수준 평가)
• 수행 점검: 퍼포먼스 개선을 목적으로 다양한 수행 기록과 운영 데이터를 점검해야 할 경우 유용한 방법(4수준 평가)

     

  데이터의 금전적 가치 전환 전략

• 산출자료의 전환: Output data를 순익 공헌이나 비용 절감으로 전환한다. Output 증가량의 금전적 가치를 결절하는 일은 output 단위당 비용감소와 순익공헌에 근거하여 산정.
• 품질비용 계산: 품질개선 비용을 계산하고, 품질의 실제 개선 정도를 비용 절감액으로 전환
• 시간 절약: 직원의 업무시간 절약을 목적으로 하는 프로그램의 경우. 참가자의 임금과 수당을 시간의 가치로 전환, 다양한 교육프로그램들이 프로젝트를 완수하고 일상 업무를 처리하는 데 필요한 시간의 효율적인 활용을 목적으로 하기 때문에, 시간의 가치를 금전적인 효과로 전환하는 과정은 중요하고 필요.
• 역사적 비용: 프로그램 개설에 따르는 모든 비용과 프로그램의 결과 확보된 성과기록들을 활용하는 것. 비용 관련 데이터를 이용하여 구체적인 업무향상의 상대적인 가치를 결정
• 내부, 외부 전문가: 내부 전문가와 외부 전문가의 도움을 받아 프로그램의 가치를 금전적으로 추정, 전환하는 방법. 물론 추정치의 신뢰성은 전문가의 개인적인 능력이나 명성 등에 좌우,
• 외부의 데이터 베이스: 프로그램의 가치와 비용을 추정하기 위해 외부의 데이터베이스를 활용하는 방법. 연구소, 정부, 산업체의 데이터베이스를 통하여 프로그램의 성과 자료에 대한 중요한 정보를 확보할 수 있다. 그러나 구체적인 상황과 직접적으로 관련된 DB를 찾는 일이 어려움.
• 참가자 추정: 참가자 스스로 프로그램을 통한 성취 자료의 가치를 추정. 참가자에게 문제의 본질을 이해하도록 정확한 지시를 제공해야 하며, 참가자 역시 그러한 능력을 갖추고 있어야 함.
• 참가자 감독자의 추정: 참가자의 감독자 역시 프로그램을 통한 개선의 가치를 증명할 수 있고 또 자발적으로 그렇게 하려고 할 경우 효과를 추정. 일반적으로 참가자가 프로그램의 효과를 입증할 수 없는 상황이나 감독관이 각 참가자의 입증 자료를 확증해야 할 필요성이 있을 때 유용 하게 활용할 수 있는 방법
• 고위관리층의 추정: 고위관리층 역시 자발적인 의도에서 프로그램을 통한 개선의 가치를 추정. 특별히 고위 관리층이 중요하게 여기고 있는 수행결과의 가치를 입증해 보고자 할 경우 매우 유익한 방법
• HRD직원의 추정: 교육훈련 담당자들이 프로그램의 성취를 통한 가치를 추정. 이 경우 담당자의 편견이 배제 된 공정한 평가가 이루어지도록 주의.

     

     

  

  확장된 ROI 과정 모형