【論文】精密教育における電子書籍マーキングスキルの自動診断

タイトル・著者

From Human Grading to Machine Grading: Automatic Diagnosis of e-Book Text Marking Skills in Precision Education
Albert C.M. Yang, Irene Y.L. Chen, Brendan Flanagan and Hiroaki Ogata

使用したツール・使い方

本研究で使用したツールはBookRollである。台湾の大学で開講されている12週の会計講座を受講する、130名の学部生を対象として以下のように使用してもらった。

• 最初の週に、受講者は自己調整学習 (SRL)に関する事前アンケートに回答した。その後、講師が本講座のシラバスの紹介とBookRollの機能を使ったデモンストレーションを行った。
• 受講生は毎週の授業前に、講師によってBookRollにアップロードされた教材をあらかじめ見ておくことが求められた。さらに、BookRollにおけるマーカーの使用やメモの追加などの使用が学習活動の成績に加算されることになった。
• 講師は、生徒に注目してもらいたい文章にマーカーを引いたり、メモを貼ったりして、より詳しい説明をすることができる。
• 8週目と12週目には、それぞれ中間試験と期末試験が行われた。

評価指標

• マーキングの質とマーキング頻度が学習成果と相関しているか
  • マーキングスコア（BERTによって教材から抽出された概念を参考に、学生のマーキングを採点したもの）
  • マーキング頻度
  • 学生の学習成果（中間試験（30％）、期末試験（40％）、授業中の学習活動の成果（30％））
• k-meansクラスタリング
  • 学生の読解力（マーキングスコア）
  • マーカー使用の積極性（マーキング頻度）
• SRLに関するアンケート（「目標設定」「環境構成」「タスク戦略」「時間管理」「助けを求める」「自己評価」の6項目）

結果

機械は人間と同じように、教材におけるマーキング採点のための重要概念を抽出できるか？

• 機械による採点結果と人間による採点結果を比較したところ、2つの採点結果は中程度の一致を示し、また高い相関関係が見られた。
• さらに、マーキングスコアが0.2未満、0.2以上かつ0.8未満、0.8以上という3つの区分で採点結果を比較したところ、マーキングスコアが0.2未満の場合は採点精度が高く、0.8以上の場合は採点精度が低いことがわかった。これは、今回採点に利用したモデルが、マーキングが苦手な学生を特定するのに優れている一方で、マーキングが上手な学生に対して低いスコアを生成してしまう場合があることを意味する。
• 以上の結果から、機械は重要な概念をマーキングできない学生を特定するのに役立ち、講師はその後の支援に集中できる。

マーキングの質、マーキングの頻度、および学習成果の間にはどのような関係があるか？

• マーキングスコアと頻度は、成績の高い学生と低い学生の間で大きく変わらなかった。これは、マーキングのみがオンライン学習コースでの成功を決定しない可能性があることを意味する。
• 多くの学生が電子書籍システムの多くの機能の使用に慣れていない可能性があるため、講師はオンライン学習においてマーキングの適切な使用方法を学生に指導する必要がある。また、マーキングの効果は使い方のトレーニングを受けることで最適化される事がわかっている。以上のことから、講師によるマーキング方法のトレーニングを行うことで、マーキングスキルは学習成功の予測因子と成りうる。

読書スキルのレベルが異なるグループ間で、学習パフォーマンスやSRLに違いがあるか？

• k-meansクラスタリングを用いて、学生を「マーキングを好む高スキルの学生」「マーキングを好まない高スキルの学生」「マーキングを好む低スキルの学生」「マーキングを好まない低スキルの学生」の4つのグループに分類した。
• マーキングを好む高スキルの学生は、マーキングを好まない高スキルの学生に比べて、学習パフォーマンスと時間管理が有意に優れていた。時間管理が上手な学生は、学習中にマーキング戦略を適用することで、読書や学習の効率を向上させることができると考えられる。
• マーキングを好む高スキルの学生は、マーキングを好まない低スキルの学生に比べて、SRLと環境構成において有意に優れていた。
  • SRL、メタ認知戦略、モチベーションの高い学生は、マーキングが学習において有益であると考えており、それがマーキングによる学習戦略のより良い使用につながっていると考えられる。
  • 勉強に集中できる環境を見つけられる学生や、学習過程で様々な学習ツールを使いこなすことが得意な学生は、電子書籍のマーカー機能の恩恵を受けることができる。
• マーキングを好む高スキルの学生は、他のグループに比べて、タスク戦略が有意に優れていることがわかった。 タスク戦略が発達している学生は、マーカー機能を使って関連する情報を識別し、些細なことは無視することで、読書の効率を高めている。
• 以上の発見は、マーキングの質と頻度の組み合わせが、学生の学習パフォーマンスとSRLの指標になることを示唆している。 講師は、テキストマーキングスキルのトレーニングという形でタイムリーな介入を行うことができる。

実践への示唆

• 講師は、システムを使って学生のマーキングパターンを追跡し、マーキングパターンからリスクのある学生を予測し、個々の学生にタイムリーにパーソナライズされたフィードバックを提供することができる。
• 生徒は、このシステムを通じて自分のテキストマーキング能力を認識することができる。たとえば、毎週自分のマーキングスコアとマーキング頻度をモニターすることで、自分の学習戦略が効果的であるかどうか、またリーディングスキルを向上させるべきかどうかを判断することができる。