Alternative Titleピアアセスメントのための項目反応理論と整数計画法を用いたグループ構成最適化
Note (General)In recent years, large-scale e-learning environments such as Massive Online Open Courses (MOOCs) have become increasingly popular. In such environments, peer assessment, which is mutual assessment among learners, has been used to evaluate reports and programming assignments. When the number of learners increases as in MOOCs, peer assessment is often conducted by dividing learners into multiple groups to reduce the learners’ assessment workload. In this case, however, the accuracy of peer assessment depends on the way to form groups. To solve the problem, this study proposes a group optimization method based on item response theory (IRT) and integer programming. The proposed group optimization method is formulated as an integer programming problem that maximizes the Fisher information, which is a widely used index of ability assessment accuracy in IRT. Experimental results, however, show that the proposed method cannot sufficiently improve the accuracy compared to the random group formulation. To overcome this limitation, this study introduces the concept of external raters and proposes an external rater selection method that assigns a few appropriate external raters to each learner after the groups were formed using the proposed group optimization method. In this study, an external rater is defined as a peer-rater who belongs to different groups. The proposed external rater selection method is formulated as an integer programming problem that maximizes the lower bound of the Fisher information of the estimated ability of the learners by the external raters. Experimental results using both simulated and real-world peer assessment data show that the introduction of external raters is useful to improve the accuracy sufficiently. The result also demonstrates that the proposed external rater selection method based on IRT models can significantly improve the accuracy of ability assessment than the random selection.近年，MOOCsなどの大規模型eラーニングが普及してきた．大規模な数の学習者が参加している場合には，教師が一人で学習者のレポートやプログラム課題などを評価することは難しい．大規模の学習者の評価手法の一つとして，学習者同士によるピアアセスメントが注目されている．MOOCsのように学習者数が多い場合のピアアセスメントは，評価の負担を軽減するために学習者を複数のグループに分割してグループ内のメンバ同士で行うことが多い．しかし，この場合，グループ構成の仕方によって評価結果が大きく変化してしまう問題がある．この問題を解決するために，本研究では，項目反応理論と整数計画法を用いて，グループで行うピアアセスメントの精度を最適化するグループ構成手法を提案する．具体的には，項目反応理論において学習者の能力測定精度を表すフィッシャー情報量を最大化する整数計画問題としてグループ構成問題を定式化する．実験の結果，ランダムグループ構成と比べて，提案手法はおおむね測定精度を改善したが，それは限定的な結果であることが明らかとなった．そこで，本研究ではさらに，異なるグループから数名の学習者を外部評価者として各学習者に割り当て外部評価者選択手法を提案する．シミュレーションと実データ実験により，提案手法を用いることで能力測定精度を大幅に改善できることを示す．
2017
Collection (particular)国立国会図書館デジタルコレクション > デジタル化資料 > 博士論文
Date Accepted (W3CDTF)2018-05-04T12:13:37+09:00
Data Provider (Database)国立国会図書館 : 国立国会図書館デジタルコレクション