2018年03月06日
当記事は、2018年3月のKnerd Blogに投稿されたKnetwonのデータ・サイエンス チームによる"Interpreting Knewton’s 2017 Student Mastery Results"(Knewton Altaの成果実証報告)の翻訳記事です。
結果。有効性。成果。
学習者の成功は、学習テクノロジーの究極の目標です。にもかかわらず、学習や学業成績に対するEdTechの影響を示す、指導者や管理者が利用できる信頼性の高いデータは、驚くほど不足しています。
altaとそれを支えるKnewtonのアダプティブ・テクノロジーの効果をより明確に示すために、私たちはaltaのプラットフォームで学生が学んだ成果を分析しました。この分析結果は、私たちが開発した習得度の尺度（詳細は後述）について有効性を検証し、学生の学習成果に対するaltaの影響について、指導者や管理者が必要とする透明性を提供することを目的としています。
当記事では、私たちがどのようにしてこれらの結果にたどり着いたのか、そしてなぜこれが重要なのかについて、教育関係者やEdTechコミュニティの方々に明確なイメージを持っていただけるよう、背景や説明をしていきたいと思います。
本レポートの調査結果は、2017年にaltaで130,000以上の課題と17,000以上の小テストを累積的に完了した11,586人の学生の結果から導き出されています。
このデータセットには、altaにおける2017年の春・夏の学生のインタラクションがすべて含まれています。講師が小テストを実施しないコースの小テストのスコアなど、関連する集計が不可能なケースのみが除外されています。これらの結果は無作為化対照試験によるものではありませんが、可能な限り多くの学生データを利用し、altaのユーザー全体のパフォーマンスを正確に反映しています。
当社のアダプティブ・テクノロジーは、学習者がコースの学習目標に関連する概念を習得すれば、そのコースにおける学習が成功し、将来のコースでも成功する準備ができるという前提に基づいています。また、Knewtonの学習者の知識状態に関する数学的なモデル（Knewtonの習熟度モデルと呼んでいます）が、学生が（学習目標に関連する概念を）習得したこと(mastery)を判定できるという前提に基づいています。
この習得(mastery)を前提とした考え方は、altaにおける学習者の学習体験に現れています。学生がaltaで取り組むすべての課題は、講師がコースのために選択した学習目標に関連付けられています。学生がaltaの課題を「完了」するのは、altaの習熟度モデルが、学生がその課題で取り上げられた学習目標をすべて習得したと判定したときです。
2017年の成果実証報告では、2つのことを明らかにしようとしています。1点目は学生がaltaでmasteryを達成する頻度、2点目はmasteryを達成した（していない）学生のその後の成績です。
今回の分析では，学生のあらゆる能力レベルにおける習得の影響を評価したいと考えました。各学生が学習開始段階での習熟度を把握するために，各学生がコースで取り組んだ全ての学習の概念ごとに、最初に答えた2つの問題について集計しました。これにより、学生がコース開始時に教材をどの程度知っていたかについて、シンプルながらも合理的に見積もることができます。
私たちはこのスコアの分布を集計し、各学生に全ユーザーの中での順位を示すラベルを付けました。
注：Knewtonの習熟度モデルでは、この指標は使用しておらず、学習者に「能力ラベル」を割り振るけることもありません。Knewtonのアダプティブ・テクノロジーは、学習者がコースに取り組むたびに、さまざまなコンセプトに基づき、各学習者の習熟度を詳細に計算し、個別に対応します。しかし、今回の成果実証研究のために、私たちは、学習を始めた段階での能力が似ている学習者を比較するために、便宜的にこれらのラベルを使用することにしました。
学生の課題完了の状況を分析すると、altaでは学生が高い確率でmasteryを達成していることがわかりました。Fig. 1に見られるように、すべての学生において、87％の学生がaltaで課題に取り組んでmasteryを達成しています。ある課題を完成させるのに苦労した学生でも、最終的に82％がmasteryを達成しました。
altaの習得度はどのような影響を与えるのでしょうか？私たちのモデルが、学生が習得したことを示したとき、その学生は以降の大学での課題、小テスト、テストでどのくらいの成績を残せるでしょうか？
Knewtonのアダプティブ・ラーニング・テクノロジーは、学習開始段階の能力レベルを問わず、時間と努力を惜しまない学生が効果的に習得できるように設計されています。Knewtonのmasteryを検証するために、学習開始段階の能力レベルが同程度の学生について、altaで学習概念を習得した学生と、学習概念を習得していない学生について、講師が出題した(非アダプティブの)テストの結果を比較しました。
Fig. 2は，テスト範囲である学習目標について、アダプティブ・ラーニングで出題された課題に多く取り組んで習得した学生と、多く取り組まず習得しなかった学生について、講師が出題したテストの平均スコアを比較しています。初期段階において同様のスキルを持つ受験者について、アダプティブ・ラーニングで出題された課題でテスト対象の学習目標の少なくとも3/4を習得していた受験者は、学習目標の1/4以下しかマスターしていなかった場合と比べて、テストのスコアは大幅に高くなりました。
アダプティブ・ラーニングで出題された課題で習得に取り組むことで、学習開始時点では苦戦していた学生のテストの平均スコアは38ポイント上昇し、アダプティブ・ラーニングをスキップした(学習開始段階での)成績優秀者のスコアを上回りました。
課題に取り組む際に初期の段階で学習目標を習得した学生は、その後のより発展的な課題でも良い結果を出す傾向がありました。
Fig. 3が示すように、学生全体の初期段階での能力レベルを平準化すると、任意の課題の前提となる学習目標の3/4を(アダプティブ・ラーニングで）習得した学生は、習得していない学生よりもはるかに高い割合で課題を完了する傾向がありました。これはmasteryの好循環であり、学生が習得すればするほど、将来の学習に向けてより良い準備ができるということを意味しています。
課題の学習目標を習得することは、学生の時間を節約することにもつながります。前提条件のほとんどを習得してから課題に取り掛かると、課題を完了するために必要な問題数が大幅に少なくなる傾向があります。前提条件の少なくとも3/4を習得した学生は、習得していない学生に比べて、課題を完了するのに必要な質問数が30～45%少なくなりました（Fig. 3参照）。前提条件を習得することで，どの能力レベルにある学生も、より速く学習できるようになりますが，中でも苦戦している学生がより少ない時間で課題を完了することができます。
今回の成果にはそれなりの自己評価を与えることができます。私たちは、データについてできる限り透明性を保つよう努めてきましたが、一方で、データの妥当性や発表方法に疑問を持つ方がいることも理解しています。
しかし、私たちの結果を報告することで、EdTechコミュニティの他の方々が同じ透明性の精神を持ち、成果報告をするきっかけになればと願っています。多くの意味で、これらの結果は、決定的な終着点としてではなく、学習成果に対するテクノロジーの影響について、より生産的な会話の始まりとなることが意図されています。
最後に、2017年のStudent Mastery Resultsは勇気づけられる結果となりましたが、一方で私たちは常に変化する世界の中にあることを知っています。高等教育における課題は、より大きく、より複雑になっています。学生層はますます多様化しています。私たちのテクノロジーと学習へのアプローチは進化しています。
今年、私たちはこれらの数字を更新し、他の分析結果を提供することを計画しています。その目的は、altaの効果についての透明性を高め、学生の学習方法についてより深い洞察を提供することです。