2-10

New World Kirkpatrick 모델

1.001

1950년대 Don Kirkpatrick 박사가 창시한 오리지널 4단계 교육평가는 New World Kirkpatrick 모델(2012, Jim & Wendy Kirkpatrick)에 의해 명확해 졌으며 다음은 원래 정의와 새로운 설명이 함께 있는 업데이트된 Kirkpatrick 교육평가 모델 개요입니다.

● Level 4 (Results): 교육훈련과 연속적인 강화의 결과 발생하는 목표 성과의 정도로 New World Kirkpatrick 모델에서는 핵심 행동들이 기대하는 결과에 긍적적 영향을 줄 수 있음을 제시하는 단기 관찰과 측정값인 선행 지표(Leading Indicators)를 추가함

● Level 3 (Behavior): 참가자가 교육기간 동안 학습한 것을 현업에 돌아갔을 때 적용하는 정도로 New World Kirkpatrick 모델에서는 업무에서 중요한 행동의 수행을 강화하고 장려하고 보상하는 프로세스와 시스템과 같은 필수 동인(Required Drivers)을 추가함

● Level 2 (Learning): 참가자들이 교육 참가에 기초하여 의도된 지식, 기술, 태도들을 획득하는 정도로 New World Kirkpatrick 모델에서는 Confidence(자신감)과 Commitment(확신)의 2가지를 더 추가함

● Level 1 (Reaction): 참가자들의 선호하는 반응의 정도로 원래의 정의는 오직 그 교육에 대한 참가자의 만족도만 측정되었으나 New World Kirkpatrick 모델에서는 2가지를 더 추가함
– Engagement(몰입): 참가자가 학습 경험에 적극적으로 참여하고 헌신하는 정도
– Relevance(관련성): 참가자가 교육을 통해 학습한 것들을 자신의 업무 안에서 사용하거나 적용하려는 기회를 갖게 되는 정도

Kirkpatrick 방법론

Dr. Donald Kirkpatrick은 1954년 그의 박사학위 논문을 통해 Kirkpatrick 모델을 창시했습니다. 그 이후로 Kirkpatrick 모델은 교육 평가에 대한 업계 표준이 되었습니다.

2008년에 Dr. Jim Kirkpatrick과 Wendy Kirkpatrick은 그들의 책 “Training on Trial”에서 논의한 바와 같이 원래의 4단계를 확장시킨 Kirkpatrick Business Partnership 모델을 창시했습니다. 그들은 Kirkpatrick 평가를 뒷받침하는 주요 신념을 설명하기 위해 Kirkpatrick 기초원리를 만들었습니다.

2010년에 Jim과 Wendy Kirkpatrick은 New World Kirkpatrick 모델을 통해 Kirkpatrick 4단계의 원래 의도를 분명히 했습니다.

Stephen Covey’s Comments

“Kirkpatrick 4단계는 교육효과평가에 있어서 내가 본 것 중 최고이다. 그것은 시계열적이고 통합되어 있으며 종합적이고 장기 평가를 포함하여 스마일 시트 뛰어넘어 실제 학습, 행동 변화 그리고 실제 결과에 이른다. 단연 최고로 뛰어난 모델이다!”

Stephen R. Covey

Author

The 7 Habits of Highly Effective People and The Leader in Me

2.002

New World Kirkpatrick 기초원리

Kirkpatrick 기초원리는 Kirkpatrick 교육평가를 뒷받침하는 주요 신념입니다.

● “끝은 시작입니다”. 즉, 효과적인 교육평가는 프로그램이 시작되기도 전에 시작됩니다.
Don Kirkpatrick은 Evaluating Training Programs: The Four Levels (1st Edition, Berrett-Koehler, 1993)의 26페이지가 – “트레이너는 원하는 결과로 시작하여 목표를 달성하는 데 필요한 행동을 결정해야 합니다. 그런 다음 트레이너는 원하는 행동을 유도하는 데 필요한 태도, 지식 및 기술을 결정해야 합니다. 마지막 과제는 참가자가 알아야 할 것을 배우고 프로그램에 호의적으로 반응할 수 있도록 교육 프로그램을 제공하는 것입니다”- 단연 최고라고 합니다. 결과가 측정 가능한 용어로 정의되어 모든 참가자가 그 계획의 최종 목적지를 볼 수 있도록 하는 것이 중요합니다. 명확하게 정의된 결과는 미션을 달성하기 위해 자원이 가장 효과적이고 효율적으로 사용될 가능성을 높입니다. 프로그램이 개발되고 전달된 후에 Kirkpatrick 4단계 평가를 적용하려고 하는 것은 불가능하지는 않지만 상당한 교육 가치를 창출하기가 어렵습니다. 프로그램 설계, 실행, 측정의 모든 단계에서 4단계 평가를 고려해야합니다.

● Return on expectations (ROE, 기대수익률)는 가치의 궁극적인 지표입니다.
경영진이 새로운 교육을 요청하면 많은 학습 전문가들이 각 부서로 돌아가 적합한 프로그램을 설계하고 개발하기 시작합니다. 피상적인 요구 평가가 수행될 수는 있지만 전반적인 비즈니스 계획에서 교육 기여에 대한 기대를 완전히 분명하게 하는 지점에는 거의 도달하지 않습니다. 이해 관계자의 기대는 교육 전문가가 제공해야할 가치를 정의합니다. 학습 전문가는 Kirkpatrick 4단계 평가에 대한 기대치를 명확히 하고 세분화하기 위해 이해 관계자에게 질문해야 하며 레벨 4 결과부터 시작해야 합니다. 이것은 교육 전문가가 이해관계자가 만족하려는 기대와 이용 가능한 자원들로 성취를 이루어내려는 기대를 확실하게 하는 협상 과정입니다. 일단 이해관계자의 기대가 분명해지면 교육 전문가는 “성공은 귀하에게 어떤 모습입니까?”라는 질문을 함으로써 일반적으로 원하는 것들을 관찰 가능하고 측정 가능한 성공결과로 변환해야 합니다. 그 결과는 레벨 4 결과가 됩니다.

● ROE를 높이기 위해서는 비즈니스 파트너십이 필수적입니다.
연구 결과에 따르면 자체 교육 과정에서 일반적으로 약 15 %의 실무 적용을 유발하는 것으로 나타났습니다. 응용 프로그램 및 프로그램 결과에 따른 적용도를 향상시키기 위해서는 정식 교육 전후에 추가적인 조치가 필요합니다. 전통적으로 학습 전문가의 역할은 레벨 1과 2 또는 교육 이벤트였습니다. 당연히 많은 전문가들이 그곳에서 거의 모든 시간을 보냅니다. 그러나 ROE를 창출하려면 강력한 level 3 실행 계획이 필요합니다. 그러므로 결과를 극대화하기 위해 비즈니스 파트너에게 성공이 무엇처럼 보이는지를 분명히 하는 것을 돕는 것뿐만 아니라, 학습 및 성과 프로세스 전반에 걸쳐 공동의 노력을 디자인하는 것이 중요합니다. 학습 전문가는 교육을 받기 전에 교육을 위한 참가자를 준비하기 위해 감독자 및 관리자와 협력해야 합니다. 더욱 중요한 것은 훈련 후 관리자 또는 감독자의 역할입니다. 그들은 지원과 책임감을 통해 새롭게 배운 지식과 기술을 강화하는 핵심 인물입니다. 이 보강과 코칭의 정도는 개선된 성과와 긍정적인 결과에 직접적으로 관련이 있습니다.

● 가치는 설명되기 전에 증명되어야 합니다.
연구에 따르면 90 %의 교육 리소스는 15 %의 실무 적용을 산출하는 교육 이벤트의 설계, 개발 및 전달에 소비됩니다. 교육 이벤트 후에 하는 보강은 교육 이벤트 전에 하는 보강에 비해 높은 교육효과를 생산합니다. 현재 학습 전문가는 대부분의 자원을 가장 낮은 수준의 비즈니스 성과를 내는 교육과정에 두고 있습니다. 그들은 조직이 추구하는 긍정적인 행동 변화와 결과(Level 3 & 4)로 이어지게 하는 사전 교육과 후속 활동에 비교적 적은 시간을 보내고 있습니다. 공식 교육은 성과와 결과의 기초입니다. 그러나 궁극적인 가치와 ROE를 창출하기 위해서는 Level 3 활동에 강한 주의를 기울여야 합니다. 조직 내에서 최대한의 가치를 창출하려면 학습 전문가가 자신의 역할을 재정의하고 전문 기술, 참여 및 영향력을 Level 3 & 4로 확장하는 것이 중요합니다.

● 확고한 증거의 사슬(chain of evidence)는 bottom-line 가치를 증명합니다.
교육 산업은 조직에 전달된 가치를 초과하여 자원을 소비하는 비즈니스 리더에 의해 비난받고 있습니다. Kirkpatrick 기초 원리를 따르는 것과 Kirkpatrick 4단계 교육평가를 사용하는 것은 전체 비즈니스 파트너십 노력의 가치를 보여주는 증거의 사슬을 만들어냅니다. 그것은 4 단계를 순차적으로 연결하고 비즈니스의 학습과 강화의 궁극적인 기여를 보여주는 양적 질적 데이터로 구성됩니다. 직장 내 학습 전문가가 핵심 비즈니스 파트너와 협력하여 작업을 할 때, 이러한 증거의 사슬은 파트너십 노력을 지원하고 전반적인 임무를 완수하기 위한 팀으로 일하는 것의 비즈니스 가치를 보여줍니다. 증거의 사슬은 학습 및 비즈니스 기능을 통합하는 데 사용되며 교육을 격리시키거나 분리시키지 않습니다. 이러한 통합은 비즈니스 가치가 창출되는 Level 3 실행에 중요합니다. 예를 들어 Kirkpatrick Partners 증거의 사슬을 보면 2000 명이 넘는 Kirkpatrick 공인 전문가가 Kirkpatrick 4단계 평가 인증 프로그램에서 배운 것을 적용하여 조직에 제공하는 가치를 알 수 있습니다. 이러한 원칙에 중점을 두면서 ROE가 향상될 수 있는 방법에 대해 알아보시기 바랍니다.

기대수익률(ROE)

ROE는 교육의 조직적 가치를 창출하고 시연하는 실무자의 접근 방식입니다. 그것은 성공한 교육 이니셔티브가 주요 비즈니스 이해 관계자에게 기대를 충족시킨 정도를 보여주는 것입니다. ROE에 대한 자세한 내용은 T&D (2011년 11 월), 60-64 페이지에 게시 된 “Creating ROE: The End Is the Beginning”라는 기사의 전문을 읽어보세요.

ROE 창출 : 끝은 시작입니다.
이니셔티브의 가치를 보여줄 수 있는 가장 실용적이고 효과적인 방법은 ROE입니다. ROE는 성공적인 교육 이니셔티브가 주요 비즈니스 이해 관계자의 기대를 충족시키는 정도를 입증하는 것입니다. 그것이 적절하게 되었을 때는 절대 실패하지 않습니다. 이것은 비즈니스 파트너십과 계약의 플랫폼이 처음부터 끝까지 세워졌기 때문입니다.
거의 모든 목표 설정 철학은 원하는 최종 결과에 대한 명확한 비전으로 시작됩니다. 이 원리는 아주 간단하고 이해하기 쉽지만, 그것을 무시한 사람들의 사례는 풍부합니다. 교육 및 개발의 세계에서, 최선의 의도를 가진 많은 직장 학습 전문가는 프로그램의 결과로 예상되는 것에 대한 명확한 비전없이 교육 프로그램을 설계, 개발 및 제공하기 시작합니다.
또한 교육 프로그램의 “결과”로서의 자격이 무엇인지에 대한 명확성이 부족합니다. 그 결과는 최대한의 조직적 영향을 달성하기 위해 전체 회사의 전략적 수준에 있어야 합니다. 영리 법인의 매출 증가 또는 수익성 향상, 정부 또는 비영리 조직의 사명 달성 등이 그 예입니다. 조직의 사명은 생명을 구하고 시민을 보호하는 것부터 물 공급을 깨끗하게 유지하는 것까지 다양합니다.
조직의 사명에 교육 이니셔티브를 연결하는 것은 교육은 결과에 영향을 미치는 무수한 전술 중 하나일 뿐이라는 것을 의미합니다. 이로 인해 달성된 조직 결과에 대한 교육 프로그램의 영향만 분리하는 것은 비용이 많이 들고 수학적으로 불가능합니다.

ROE를 달성하기 위한 단계는 Kirkpatrick 교육평가 모델에 기반하며, 4 단계는 역순으로 사용됩니다.
1. 조직의 사명에 초점(Kirkpatrick Level 4: Results)
2. 선행 지표 파악
3. 중요한 행동 정의(Kirkpatrick Level 3: Behavior)
4. 필수 동인을 결정
5. 학습 디자인(Kirkpatrick Level 2: Learning).
6. 모니터 및 조정

Chain of Evidence

교육의 가치를 어떻게 보여주느냐는 Kirkpatrick®가 받는 가장 일반적이며 타당한 질문입니다.

ROE 창출 : 끝은 시작입니다.

교육전문가가 그들 노력의 가치를 보여줄 수 없다면, 그들은 이해관계자들의 눈에 매우 “전문적”이지 않게 보일 것이고 전문가라는 지위가 위험해질 것입니다. Chain of evidence를 만드는 것은 각 레벨에 성취된 결과들을 연결시켜 큰 그림의 결과를 얻는 데 도움을 줄 수 있습니다.

Chain of evidence는 four levels를 순차적으로 연결하는 질적, 양적 데이터를 통해 전체 비즈니스 파트너십 노력에 대한 조직의 가치와 동시에 비즈니스의 강화와 궁극적인 러닝의 기여도를 보여줍니다. 예를 들어, 우리가 제공하는 Kirkpatrick Partners chain of evidence에서는 2000 명이 넘는 Kirkpatrick 공인 전문가가 Kirkpatrick Four Levels 평가 인증 프로그램에서 배운 것을 적용하여 조직에 제공하는 가치를 알 수 있습니다.