生成AI研修の効果を測るときは、研修の前に「どの業務の、どの数字を変えたいか」を1つ決め、その数字を研修の前と後で同じ測り方で記録します。
研修直後のアンケートは、満足度より「自分の業務に関係していたか」「来週一人で使える自信があるか」を聞きます。
1か月後には、研修で決めた業務で実際に使っているかを確かめます。
研修評価の枠組みとして広く使われているカークパトリック・モデルの4つの段階に沿って、測る項目とアンケートの質問例をまとめます。
記録用のExcelシートも配っています。
4つの段階で何を測るか
カークパトリック・モデルは、研修の効果を反応・学習・行動・成果の4段階で測ります。
このモデルを扱う Kirkpatrick Partners は、どの段階を測るときも、まず4段階目の成果、つまりその研修で組織の何を変えたいかを決めることが欠かせないとしています。
| 段階 | 測ること | いつ・どうやって |
|---|---|---|
| 4 成果 | 目的の業務の数字が変わったか(1件あたりの作成時間、件数、ミスの数など) | 研修の前と、1か月後・3か月後。研修前と同じ測り方で記録する |
| 3 行動 | 研修で決めた業務で、実際に使っているか | 研修の1〜2週間後から。受講者と上司で確認する |
| 2 学習 | 業務で使える手順が身についたか。一人で使える自信と、使うつもりがあるか | 研修の直後。アンケートと、研修中に作った成果物 |
| 1 反応 | 研修の内容が自分の業務に関係していたか | 研修の途中と直後。アンケート |
Kirkpatrick Partners は、反応の段階で最も大事なのは関連性(自分の業務に関係があるか)だとしています。
受講者の業務に関係のない内容は、ほぼ確実に業務で使われないためです。
学習の段階では、知識や技能に加えて、自信と実行の意思も測るよう勧めています。
この2つは、職場に戻ってから何が起きるかを早めに予測する手がかりになるからです。
行動の段階は、研修から90日もたってから測り始めるのでは遅く、軌道修正の機会を逃すおそれがあるとしています。
研修の前に決める3つのこと
| 決めること | 記入例 |
|---|---|
| 研修の目的(1文) | 営業担当者の提案書1件あたりの作成時間を4割減らす |
| 成果の指標と測り方 | 提案書1件あたりの作成時間。担当者が業務ごとに件数と合計時間を記録する |
| 記録の期間 | 研修前の2週間と、研修の1か月後からの2週間 |
研修の後になってから「効果を測りたい」と考えても、研修前の数字がないと比べられません。
研修前の記録は、研修の日程が決まった時点で始めます。
指標は、社内ですでに記録している数字(日報、受注件数、問い合わせの対応時間など)から選ぶと、新しく記録する手間が減ります。
研修直後アンケートの項目
5段階(5=とてもそう思う、1=まったくそう思わない)で聞く8問と、自由記述の3問です。
| 段階 | 質問 |
|---|---|
| 反応 | Q1 研修の内容は、自分の担当業務に関係していた |
| 反応 | Q2 研修で使った題材は、自分が実際に扱う書類や作業に近かった |
| 反応 | Q3 研修の進み方(速さ・説明の量)は、手を動かすのにちょうどよかった |
| 学習 | Q4 研修で決めた業務について、生成AIを使う手順を自分で再現できる |
| 学習 | Q5 生成AIの出力を、元の資料や数字と照らして確かめる方法が分かった |
| 学習 | Q6 社内のルールで、入れてよい情報と入れてはいけない情報の区別が分かった |
| 学習(自信) | Q7 来週の業務で、研修で学んだ手順を一人で使える自信がある |
| 学習(意思) | Q8 研修後1週間以内に、研修で決めた業務で実際に使うつもりだ |
| 自由記述 | Q9 研修後1週間以内に使う業務を1つ、具体的に書いてください |
| 自由記述 | Q10 その業務で使うときに妨げになりそうなこと(時間・ルール・ツールの権限など) |
| 自由記述 | Q11 研修で足りなかったこと、追加で練習したい業務 |
Q1〜Q3は、研修の途中でも短く聞くと、その場で進め方を直せます。
Q1が低い受講者は、研修の題材と担当業務が合っていない可能性があります。
Q7とQ8が低い受講者には、1か月後の確認より前に声をかけます。
Q10に書かれた妨げは、研修を足すより、権限やルールを直すほうが早いことがあります。
「研修は満足でしたか」「講師の説明は分かりやすかったですか」だけのアンケートでは、業務で使われるかどうかは分かりません。
満足度を聞く場合も、関連性と自信の質問と並べて聞きます。
業務時間の記録と計算
研修の前と後で、同じ業務を、同じ人が、同じ数え方で記録します。準備や確認の時間を含めるかどうかも、前後でそろえます。
| 項目 | 計算 | 記入例(仮の数字) |
|---|---|---|
| 研修前の1件あたり | 研修前の合計時間 ÷ 件数 | 63時間 ÷ 20件 = 3.15時間 |
| 研修後の1件あたり | 研修後の合計時間 ÷ 件数 | 33時間 ÷ 20件 = 1.65時間 |
| 1件あたりの削減率 | 1 − 研修後 ÷ 研修前 | 約48% |
| 月の削減時間 | (研修前 − 研修後)× 部署全体の月の件数 | 1.5時間 × 160件(記録した5人を含む部署20人分)= 240時間 |
| 月の削減額(研修以外の要因を含む変化全体) | 月の削減時間 × 1時間あたりの人件費 | 240時間 × 3,000円 = 72万円 |
記入例の月の削減時間は、記録した5人の削減幅を、記録していない担当者にも当てはめた推計です。
数字の変化には、研修以外の要因(繁忙期、人員の増減、ツールの変更など)も影響します。
Kirkpatrick Partners は、複雑な組織では成果が1つの研修だけで生まれることはまれで、研修を唯一の原因として切り出すより、改善のうち研修に結びつけられる部分を示すほうが信頼できるとしています。
報告では、同じ期間に起きたほかの変化も書き添え、削減額を研修だけの効果とは書かないようにします。
人材開発支援助成金の事業展開等リスキリング支援コース(令和8年度)で「企業内の人事及び人材育成に関する計画」を作る場合は、計画の中に訓練の効果を測ることができる生産性向上やスキル習得などの指標を設けることが求められています。
研修前に決めた指標は、その指標を設定するときの材料にできます。
人件費の削減額ではなく、作業時間などの生産性の指標として書きます(申請の流れと書類)。
1か月後の確認
受講者ごとに、研修で決めた業務で使っているか、週に何回使っているか、妨げになっていることを、本人と上司で確かめます。
使っていない人の理由は、共有フォルダを読ませる権限がない、社内ルールで使ってよいか分からない、業務が忙しく試す時間がない、といった研修の外の問題であることがあります。
理由ごとに、権限・ルール・時間のどれを直すかを決めます。
入力してよい情報の決め方は生成AIの利用規程のひな形にまとめています。
効果測定シート(Excel)
上の4段階をそのまま記録できるExcelシートです。
アンケートの平均、研修前後の1件あたりの時間、削減率、月の削減額、1か月後に使っている人の割合が、報告のシートに自動で集まります。
研修の費用対効果を稟議に書く場合は、稟議書と費用対効果の計算表(Word・Excel)と組み合わせて使えます。
測れる形で研修を組みたい方へ
Radineer の生成AI研修は、題材にする業務と測る数字を研修の前に決め、受講者の職務の業務(見積・報告書・日報など)で使い方を練習します。
研修後の1〜3か月のフォロー(オプション)では、実際の業務で使えているかを確かめます。
