• 私たちは

学生の学習を評価し、医学部における教育効果を測定するための包括的な基準を開発 |BMC医学教育

カリキュラムと教員の評価は、医学部を含むすべての高等教育機関にとって重要です。学生による教育評価 (SET) は通常、匿名のアンケートの形式をとっており、もともとはコースやプログラムを評価するために開発されましたが、時間が経つにつれて、教育の効果を測定し、その後の教育関連の重要な決定を下すためにも使用されるようになりました。教師の専門能力開発。ただし、特定の要因やバイアスが SET スコアに影響を与える可能性があり、教育効果を客観的に測定することはできません。一般的な高等教育におけるコースや教員の評価に関する文献は十分に確立されていますが、医療プログラムのコースや教員を評価するために同じツールを使用することには懸念があります。特に、一般の高等教育におけるSETをそのまま医学部のカリキュラム設計や実施に適用することはできません。このレビューでは、SET を機器、管理、および解釈のレベルでどのように改善できるかについて概要を説明します。さらに、この記事では、ピアレビュー、フォーカスグループ、自己評価などのさまざまな方法を使用して、学生、同僚、プログラムマネージャー、自己認識などの複数のソースからデータを収集し、三角測量することで、包括的な評価システムを構築できることを指摘しています。構築される。教育効果を効果的に測定し、医学教育者の専門能力開発をサポートし、医学教育における指導の質を向上させます。
コースとプログラムの評価は、医学部を含むすべての高等教育機関における内部品質管理プロセスです。学生による教育評価(SET)は、通常、人々が同意または同意の程度を示すことができるリッカート尺度(通常は 5、7、またはそれ以上)などの評価尺度を使用した匿名の論文またはオンライン アンケートの形式をとります。私は特定の記述に同意しません)[1、2、3]。SET はもともとコースやプログラムを評価するために開発されましたが、時間が経つにつれて、教育効果を測定するためにも使用されるようになりました [4、5、6]。教育効果と生徒の学習の間には正の関係があると想定されているため、教育効果が重要であると考えられています[7]。文献ではトレーニングの有効性が明確に定義されていませんが、通常は「グループの相互作用」、「準備と組織」、「学生へのフィードバック」などのトレーニングの特定の特性を通じて指定されます [8]。
SET から得られる情報は、特定のコースで使用される教材や指導方法を調整する必要があるかどうかなど、有益な情報を提供します。SET は、教師の専門能力開発に関連する重要な決定を下すためにも使用されます [4、5、6]。しかし、高等教育機関が、より高い学術ランクへの昇進(多くの場合、年功序列や昇給に関連する)や教育機関内の主要な管理職など、教員に関する決定を行う場合、このアプローチの適切性には疑問があります [4, 9] 。さらに、教育機関は、多くの場合、新しい教員に対して、新しい職への応募に以前の教育機関からの SET を含めることを要求し、それによって、教育機関内での教員の昇進だけでなく、潜在的な新しい雇用主にも影響を与えます [10]。
カリキュラムと教師の評価に関する文献は一般の高等教育の分野では十分に確立されていますが、医学とヘルスケアの分野ではそうではありません[11]。医学教育者のカリキュラムやニーズは、一般の高等教育とは異なります。たとえば、チーム学習は総合医学教育コースでよく使用されます。これは、医学部のカリキュラムが、さまざまな医学分野での訓練と経験を持つ多数の教員によって教えられる一連のコースで構成されていることを意味します。この構造の下では、学生はその分野の専門家の深い知識から恩恵を受けることができますが、多くの場合、各教師の異なる指導スタイルに適応するという課題に直面します[1、12、13、14]。
一般の高等教育と医学教育の間には違いがありますが、前者で使用されるSETは医学およびヘルスケアコースでも使用される場合があります。しかし、一般の高等教育でSETを導入することは、医療専門家プログラムにおけるカリキュラムと教員評価の点で多くの課題を引き起こします[11]。特に、指導方法や教師の資格の違いにより、授業評価結果にはすべての教師またはクラスの学生の意見が含まれていない場合があります。Uytenhaage と O'Neill (2015) による研究 [5] は、生徒が複数の教師の評価を覚えてコメントすることはほぼ不可能であるため、コースの終了時に生徒にすべての教師を個別に評価するよう求めるのは不適切である可能性があることを示唆しています。カテゴリー。さらに、多くの医学教育教師は医師でもあり、教育はその責任のほんの一部に過ぎません [15、16]。彼らは主に患者のケアに携わり、多くの場合は研究に携わっているため、指導スキルを磨く時間がほとんどないことがよくあります。しかし、教師としての医師は、組織から時間、サポート、建設的なフィードバックを受ける必要があります[16]。
医学生は、(国際的な競争と厳しいプロセスを経て)医学部への入学を成功させる、意欲的で勤勉な個人である傾向があります。さらに、医学部在学中、医学生は短期間で大量の知識を獲得し、多数のスキルを開発するだけでなく、複雑な内部的および包括的な国家評価に合格することが期待されています[17,18,19]。 ,20]。したがって、医学生には高い基準が求められるため、医学生は他の分野の学生よりも批判的であり、質の高い教育に対する期待が高い可能性があります。したがって、上記の理由により、医学生は他の分野の学生に比べて教授からの評価が低い可能性があります。興味深いことに、これまでの研究では、生徒のモチベーションと個々の教師の評価との間に正の関係があることが示されています[21]。さらに、過去 20 年にわたって、世界中の医学部のカリキュラムのほとんどが垂直統合化されており [22]、学生はプログラムの早い段階から臨床実践に触れることができます。したがって、過去数年にわたって、医師は医学生の教育にますます関与するようになり、プログラムの初期段階であっても、特定の教員集団に合わせて調整されたSETを開発することの重要性を支持しています[22]。
上述の医学教育の特殊な性質のため、単一の教員が教える一般的な高等教育コースを評価するために使用されるSETは、統合されたカリキュラムと医学プログラムの臨床教員を評価するために適応されるべきである[14]。したがって、医学教育におけるより効果的な適用のために、より効果的なSETモデルと包括的な評価システムを開発する必要があります。
現在のレビューでは、(一般)高等教育における SET の利用における最近の進歩とその限界について説明し、その後、医学教育コースと教員に対する SET のさまざまなニーズについて概説しています。このレビューは、SETを手段、管理、および解釈のレベルでどのように改善できるかについての最新情報を提供し、効果的なSETモデルと、教育効果を効果的に測定し、専門の健康教育者の育成を支援し、教育の改善を支援する包括的な評価システムを開発するという目標に焦点を当てています。医学教育における教育の質。
この研究は、Green らの研究に続くものです。(2006) [23] にアドバイスを、Baumeister (2013) [24] に物語のレビューを書く際のアドバイスを求めました。このタイプのレビューは、このトピックについて幅広い視点を提示するのに役立つため、このトピックについて物語的なレビューを書くことにしました。さらに、ナラティブレビューは方法論的に多様な研究に基づいているため、より広範な質問に答えるのに役立ちます。さらに、物語的な解説は、トピックについての思考や議論を刺激するのに役立ちます。
SET は医学教育でどのように使用されていますか、また一般の高等教育で使用されている SET と比較した課題は何ですか。
Pubmed および ERIC データベースは、「学生の指導評価」、「指導効果」、「医学教育」、「高等教育」、「カリキュラムと教員の評価」という検索用語の組み合わせを使用して検索され、Peer Review 2000 では論理演算子が使用されました。 。2021 年から 2021 年の間に出版された論文。 包含基準: 包含された研究はオリジナルの研究または総説論文であり、研究は 3 つの主要な研究課題の分野に関連していました。除外基準:英語ではない研究、論文全文が見つからないか、3 つの主要な研究課題に関連しない研究は、現在のレビュー文書から除外されました。出版物を選択した後、それらは次のトピックと関連するサブトピックに編成されました: (a) 一般的な高等教育における SET の使用とその限界、(b) 医学教育における SET の使用と医学教育の比較に関連する問題への対処との関連性。 SET (c) 効果的な SET モデルを開発するために、手段、管理、および解釈のレベルで SET を改善します。
図 1 は、レビューの現在の部分に含まれ、議論されている選択された記事のフローチャートを示しています。
SET は伝統的に高等教育で使用されており、このトピックは文献でよく研究されています [10、21]。しかし、多くの研究で、その多くの限界と、これらの限界に対処するための取り組みが調査されています。
研究によると、SET スコアに影響を与える変数は数多くあることがわかっています [10、21、25、26]。したがって、管理者や教師がデータを解釈して使用する際には、これらの変数を理解することが重要です。次のセクションでは、これらの変数の概要を説明します。図 2 は、SET スコアに影響を与えるいくつかの要因を示しています。これについては、次のセクションで詳しく説明します。
近年では紙のキットに比べてオンラインキットの利用が増えています。ただし、文献の証拠は、学生が完了プロセスに必要な注意を払わなくてもオンライン SET を完了できることを示唆しています。Uitdehaage と O'Neill による興味深い研究 [5] では、存在しない教師が SET に追加され、多くの生徒がフィードバックを提供しました [5]。さらに、文献の証拠は、学生はSETを完了しても学力の向上につながらない、と信じていることが多く、医学生の多忙なスケジュールと相まって、回答率の低下につながる可能性があることを示唆している[27]。研究によると、テストを受ける生徒の意見はグループ全体の意見と変わらないものの、回答率が低いと教師が結果をあまり真剣に受け止めなくなる可能性があります[28]。
ほとんどのオンライン SET は匿名で完了します。この考えは、生徒が自分の意見が将来の教師との関係に影響を与えることを前提とすることなく、自由に意見を表現できるようにすることです。アルフォンソらの研究[29]では、研究者らは匿名の評価と、評価者が名前を明かさなければならない評価(公開評価)を利用して、研修医や医学生による医学部教員の教育効果を評価した。その結果、匿名の評価では教師の得点が一般に低いことがわかりました。著者らは、参加している教師との仕事上の関係が損なわれているなど、公開評価では特定の障壁があるため、匿名評価では学生がより正直であると主張している[29]。ただし、オンライン SET にしばしば伴う匿名性により、評価スコアが生徒の期待を満たさない場合、一部の生徒が講師に対して無礼で報復的になる可能性があることにも注意する必要があります [30]。しかし、調査によると、学生が無礼なフィードバックを行うことはめったになく、建設的なフィードバックを提供するように学生に教えることで、後者はさらに制限される可能性があります[30]。
いくつかの研究では、生徒の SET スコア、テストの成績期待、テストの満足度の間に相関関係があることが示されています [10、21]。たとえば、Strobe (2020) [9] は、生徒は簡単なコースに報酬を与え、教師は悪い成績に報酬を与えるため、不十分な指導を助長し、成績のインフレにつながる可能性があると報告しています。最近の研究では、Looi et al.(2020) [31] 研究者らは、より有利な SET が関連しており、評価が容易であると報告しています。さらに、SET がその後のコースでの生徒の成績と逆相関しているという憂慮すべき証拠があります。つまり、評価が高いほど、その後のコースでの生徒の成績は悪くなります。コーネルら。(2016)[32] は、大学生が SET を高く評価した教師から比較的多くのことを学ぶかどうかを調べる研究を実施しました。その結果、コース終了時に学習が評価される場合、最も高い評価を得た教師は、最も多くの生徒の学習にも貢献していることがわかりました。ただし、その後の関連コースの成績によって学習を評価する場合、比較的スコアの低い教師が最も効果的です。研究者らは、生産的な方法でコースをより挑戦的にすることで評価は下がるが、学習は向上する可能性があると仮説を立てました。したがって、生徒の評価が教育を評価する唯一の基準となるべきではなく、認識されるべきです。
いくつかの研究では、SET のパフォーマンスがコース自体とその構成に影響されることが示されています。Ming と Baozhi [33] は、彼らの研究で、異なる科目の生徒間で SET スコアに有意な差があることを発見しました。たとえば、臨床科学の SET スコアは基礎科学よりも高くなります。著者らは、これは医学生が医師になることに興味があるため、基礎科学コースに比べて臨床科学コースに個人的な興味と参加意欲が高いためであると説明した[33]。選択科目の場合と同様、その科目に対する生徒のモチベーションもスコアにプラスの影響を与えます[21]。他のいくつかの研究でも、コースの種類が SET スコアに影響を与える可能性があることが裏付けられています [10、21]。
さらに、他の研究では、クラスの規模が小さいほど、教師が達成するSETのレベルが高くなることが示されています[10、33]。考えられる説明の 1 つは、クラスの規模が小さいため、教師と生徒の交流の機会が増えるということです。また、評価が実施される条件も結果に影響を与える可能性があります。たとえば、SET スコアは、完了した評価よりも、コースが教えられる時間と曜日、および SET が完了した曜日によって影響されるようです (例、週末に完了した評価は、より良いスコアをもたらす傾向があります)。週の初めに。[10]。
Hessler らによる興味深い研究でも、SET の有効性が疑問視されています。[34]。この研究では、救急医学コースでランダム化比較試験が実施されました。医学部 3 年生は、対照グループまたは無料のチョコレートチップ クッキーを受け取ったグループ (クッキー グループ) のいずれかにランダムに割り当てられました。すべてのグループは同じ教師によって教えられ、トレーニングの内容とコース教材は両方のグループで同じでした。コース終了後、すべての生徒はセットを完了するように求められました。結果は、Cookie グループが対照グループよりも教師の評価が大幅に優れていることを示し、SET の有効性に疑問を投げかけました [34]。
文献の証拠も、性別がSETスコアに影響を与える可能性があることを裏付けています[35,36,37,38,39,40,41,42,43,44,45,46]。たとえば、いくつかの研究では、生徒の性別と評価結果との関係が示されており、女子生徒の方が男子生徒よりも得点が高かった[27]。ほとんどの証拠は、生徒が男性教師よりも女性教師の評価を低くしていることを裏付けています[37、38、39、40]。たとえば、Boring et al.[38] は、男性と女性の学生の両方が、男性は女性よりも知識が豊富で、より強いリーダーシップ能力を持っていると信じていることを示しました。性別と固定観念が SET に影響を与えるという事実は、MacNell らの研究によっても裏付けられています。[41] 彼は、彼の研究で学生が教育のさまざまな側面において女性教師の評価を男性教師よりも低く評価したと報告した[41]。さらに、モーガンら[42]は、女性医師は男性医師と比較して、4つの主要な臨床ローテーション(外科、小児科、産婦人科、内科)において低い指導評価を受けているという証拠を提供した。
Murray et al. (2020) の研究 [43] では、研究者らは、教員の魅力とコースに対する学生の関心が高い SET スコアと関連していると報告しました。逆に、コースの難易度は、SET スコアの低下に関連しています。さらに、学生は若い白人男性の人文科学教師や正教授の職にある教員に高いSETスコアを与えた。SET の指導評価と教師のアンケート結果の間には相関関係はありませんでした。他の研究でも、教師の身体的魅力が評価結果にプラスの影響を与えることが確認されています[44]。
クレイソンら。(2017) [45] は、SET が信頼できる結果をもたらし、クラスと教師の平均が一貫しているという一般的な合意があるものの、個々の生徒の反応には依然として不一致が存在すると報告しました。要約すると、この評価レポートの結果は、学生が評価を求められた内容に同意しなかったことを示しています。生徒による教育の評価から得られる信頼性の尺度は、妥当性を確立するための基礎を提供するには不十分です。したがって、SET は教師ではなく生徒に関する情報を提供する場合があります。
健康教育 SET は従来の SET とは異なりますが、教育者は文献で報告されている保健専門職プログラムに特化した SET ではなく、一般の高等教育で利用できる SET を使用することがよくあります。しかし、長年にわたって行われた研究により、いくつかの問題が明らかになりました。
ジョーンズら (1994)。[46] は、医学部の教員を教員と管理者の観点からどのように評価するかという問題を決定するための研究を実施した。全体として、最も頻繁に言及されるのは教育評価に関する問題です。最も一般的なのは、現在の成績評価方法の不備に関する一般的な苦情であり、回答者は、SET や学業報酬システムにおける教育に対する認識の欠如についての具体的な苦情も述べています。他にも、評価手順や昇進基準が部門間で一貫していない、定期的な評価が行われていない、評価結果が給与に結びついていないなどの問題も報告された。
Royal et al (2018) [11] は、一般的な高等教育における医療専門家プログラムのカリキュラムと教員を評価するために SET を使用する場合の制限の一部を概説しています。研究者らは、高等教育におけるSETは医学部のカリキュラム設計やコース指導に直接適用できないため、さまざまな課題に直面していると報告している。講師やコースに関する質問など、よくある質問は 1 つのアンケートにまとめられていることが多いため、学生はそれらを区別するのに苦労することがよくあります。さらに、医療プログラムのコースは複数の教員によって教えられることがよくあります。Royalらによって評価された生徒と教師の間のやり取りの数が限られている可能性があることを考えると、これは妥当性について疑問を引き起こします。(2018年)[11]。Hwangらによる研究では、(2017) [14]、研究者らは、遡及的なコース評価がさまざまな講師のコースに対する学生の認識をどのように包括的に反映するかという概念を検討しました。彼らの結果は、統合された医学部カリキュラム内で複数の学部のコースを管理するには、個別のクラス評価が必要であることを示唆しています。
Uitdehaage and O'Neill (2015) [5] は、医学生が複数学部の教室コースでどの程度意図的に SET を受講したかを調査しました。2 つの前臨床コースにはそれぞれ架空の講師が登場しました。学生はコース終了後 2 週間以内にすべての講師 (架空の講師を含む) に匿名で評価を提供する必要がありますが、講師の評価を拒否することもできます。翌年も同じことがあったが、その中には架空の講師の肖像画が掲載されていた。66% の学生が類似性のないバーチャル インストラクターを評価しましたが、類似性があるとバーチャル インストラクターを評価した学生は少なかった (49%)。これらの調査結果は、多くの医学生が、たとえ写真が添付されていたとしても、講師のパフォーマンスはおろか、誰を評価しているのかを注意深く考慮することなく、やみくもに SET を完了していることを示唆しています。これはプログラムの質の向上を妨げ、教師の学業の進歩に悪影響を与える可能性があります。研究者らは、学生を積極的かつ積極的に参加させる、SETとは根本的に異なるアプローチを提供するフレームワークを提案しています。
他の一般的な高等教育プログラムと比較して、医学プログラムの教育カリキュラムには他にも多くの違いがあります[11]。医学教育は、専門的な健康教育と同様に、明確に定義された専門的役割 (臨床実践) の開発に明らかに焦点を当てています。その結果、医療および保健プログラムのカリキュラムはより固定的なものとなり、コースや教員の選択肢は限られています。興味深いことに、医学教育コースは多くの場合、すべての学生が各学期同時に同じコースを受講するコホート形式で提供されます。したがって、多数の生徒 (通常は n = 100 以上) を登録すると、教師と生徒の関係だけでなく、指導形式にも影響を与える可能性があります。さらに、多くの医学部では、ほとんどの機器の心理測定特性は最初の使用時に評価されず、ほとんどの機器の特性は不明のままである可​​能性があります[11]。
過去数年間にわたるいくつかの研究は、手段、管理、解釈レベルで SET の有効性に影響を与える可能性のあるいくつかの重要な要因に対処することで SET を改善できるという証拠を提供しています。図 3 は、効果的な SET モデルを作成するために使用できる手順の一部を示しています。次のセクションでは、さらに詳しく説明します。
効果的な SET モデルを開発するために、手段、管理、および解釈のレベルで SET を改善します。
前述したように、ジェンダーバイアスが教師の評価に影響を与える可能性があることが文献によって確認されています[35、36、37、38、39、40、41、42、43、44、45、46]。ピーターソンら。(2019) [40] は、学生の性別が偏見緩和の取り組みに対する学生の反応に影響を与えるかどうかを調査する研究を実施しました。この研究では、SET は 4 つのクラス (2 つは男性教師によって教えられ、2 つは女性教師によって教えられました) で実施されました。各コース内で、学生は標準的な評価ツール、または性別による偏見を軽減するように設計された言語を使用する同じツールを受けるようにランダムに割り当てられました。この研究では、バイアス防止評価ツールを使用した生徒は、標準の評価ツールを使用した生徒よりも女性教師の SET スコアが大幅に高いことがわかりました。さらに、2 つのグループ間で男性教師の評価に差はありませんでした。この研究の結果は重要であり、比較的単純な言語介入が生徒の教育評価におけるジェンダーバイアスをどのように軽減できるかを示しています。したがって、すべての SET を慎重に検討し、その開発におけるジェンダーバイアスを減らすための言語を使用することは良い習慣です [40]。
SET から有益な結果を得るためには、評価の目的と質問の文言を事前に注意深く検討することが重要です。ほとんどの SET 調査では、コースの組織的側面に関するセクション (つまり「コース評価」) と教員に関するセクション (つまり「教師の評価」) が明確に示されていますが、一部の調査では違いが明らかでない場合や、学生の間で混乱が生じる可能性があります。これらの各領域を個別に評価する方法について説明します。したがって、アンケートのデザインは適切であり、アンケートの 2 つの異なる部分を明確にし、各領域で何を評価すべきかを学生に認識させる必要があります。さらに、学生が意図した方法で質問を解釈しているかどうかを判断するために、パイロット テストを行うことが推奨されます [24]。Oermannらによる研究では、(2018) [26]、研究者らは、看護およびその他の医療専門家プログラムにおける SET の使用に関するガイダンスを教育者に提供するために、学部教育および大学院教育の幅広い分野での SET の使用について記述した文献を検索および統合しました。この結果は、SET 機器の項目や質問を講師の意図どおりに解釈できない可能性がある生徒を対象に機器をパイロットテストするなど、SET 機器を使用前に評価する必要があることを示唆しています。
SET のガバナンス モデルが学生の参加に影響を与えるかどうかを調査した研究がいくつかあります。
ドーミエら。(2004) [47] は、回答数と評価を比較することにより、授業で完了したインストラクタートレーニングに対する学生の評価とオンラインで収集した評価を比較しました。調査によると、オンライン アンケートは通常、授業中のアンケートよりも回答率が低いことがわかっています。ただし、この研究では、オンライン評価では従来の教室での評価と大幅に異なる平均成績が得られないことが判明しました。
オンライン (ただし印刷されたものが多い) SET を完了する際に、生徒と教師の間で双方向のコミュニケーションが欠如しており、その結果、説明の機会が不足していると報告されています。したがって、SET の質問、コメント、学生の評価の意味が必ずしも明確であるとは限りません [48]。一部の教育機関は、学生を 1 時間集め、オンライン (匿名) で SET を完了するための特定の時間を割り当てることで、この問題に取り組んでいます [49]。Maloneらの研究では、(2018) [49] は、SET の目的、誰が SET の結果を見るのか、その結果がどのように使用されるのか、および学生が提起したその他の問題について学生と話し合うため、数回の会議を開催しました。SET はフォーカス グループと同じように実施されます。集合グループは、非公式の投票、討論、説明を通じて自由形式の質問に答えます。回答率は 70 ~ 80% 以上で、教師、管理者、カリキュラム委員会に広範な情報が提供されました [49]。
上で述べたように、Uitdehaage と O'Neill の研究 [5] では、研究者らは、研究の学生が存在しない教師を評価したと報告しました。前述したように、これは医学部のコースではよくある問題であり、各コースは多数の教員によって教えられる可能性がありますが、学生は各コースに誰が貢献したか、各教員が何をしたかを覚えていない可能性があります。一部の教育機関は、学生の記憶をリフレッシュし、SET の有効性を損なう問題を回避するために、各講師の写真、名前、提示されたトピック/日付を提供することでこの問題に取り組んでいます [49]。
おそらく、SET に関連する最も重要な問題は、教師が SET の定量的および定性的な結果を正しく解釈できないことです。教師の中には、何年にもわたって統計的な比較をしたいと考えている人もいるかもしれませんし、平均点のわずかな増加/減少を意味のある変化とみなす人もいるでしょうし、すべての調査を信じたいと考えている人もいますし、どの調査にも全く懐疑的な人もいます[45、50、51]。
結果を正しく解釈できなかったり、生徒のフィードバックを処理できなかったりすると、教師の授業に対する態度に影響を与える可能性があります。Lutovacらの結果。(2017) [52] 生徒にフィードバックを提供するには、支援的な教師のトレーニングが必要であり、有益です。医学教育には、SET の結果を正しく解釈するためのトレーニングが緊急に必要です。したがって、医学部の教員は、結果の評価方法と重点を置くべき重要分野についてのトレーニングを受ける必要があります[50、51]。
したがって、記載された結果は、SET の結果が教員、医学部管理者、学生を含むすべての関連利害関係者に有意義な影響を与えるように、SET を慎重に設計、管理、解釈する必要があることを示唆しています。
SET にはいくつかの制限があるため、教育効果の偏りを軽減し、医学教育者の専門能力開発をサポートするための包括的な評価システムの構築に引き続き努力する必要があります。
臨床教員の教育の質をより完全に理解するには、学生、同僚、プログラム管理者、教員の自己評価などの複数のソースからデータを収集し、三角測量することで得られます[53、54、55、56、57]。次のセクションでは、トレーニングの効果をより適切かつ完全に理解するために、効果的な SET に加えて使用できる他のツール/方法について説明します (図 4)。
医学部における教育の有効性を評価するためのシステムの包括的なモデルを開発するために使用できる方法。
フォーカス グループは、「特定の問題セットを検討するために組織されたグループ ディスカッション」と定義されます [58]。過去数年にわたって、医学部は学生から質の高いフィードバックを入手し、オンライン SET の落とし穴のいくつかに対処するためにフォーカス グループを作成してきました。これらの研究は、フォーカスグループが質の高いフィードバックを提供し、学生の満足度を高めるのに効果的であることを示しています[59、60、61]。
ブランドルらによる研究では、[59] 研究者らは、コースディレクターと学生がフォーカスグループでコースについて話し合うことを可能にする学生評価グループプロセスを導入した。結果は、フォーカス グループのディスカッションがオンライン評価を補完し、コース評価プロセス全体に対する学生の満足度を向上させることを示しています。学生はコースディレクターと直接コミュニケーションをとる機会を大切にしており、このプロセスが教育の改善に貢献できると信じています。コースディレクターの考え方も理解できたと感じました。学生に加えて、コースディレクターも、フォーカスグループが学生とのより効果的なコミュニケーションを促進すると評価しました[59]。したがって、フォーカス グループを使用することで、医学部は各コースの質と各教員の教育効果をより完全に理解できるようになります。ただし、フォーカス グループ自体には、すべての学生が利用できるオンライン SET プログラムと比較して少数の学生しか参加できないなど、いくつかの制限があることに注意する必要があります。さらに、さまざまなコースのフォーカス グループを実施することは、アドバイザーや学生にとって時間のかかるプロセスとなる可能性があります。これは、特に多忙なスケジュールを立て、地理的に異なる場所で臨床実習を行う可能性がある医学生にとっては、重大な制限となります。さらに、フォーカス グループには経験豊富なファシリテーターが多数必要です。ただし、評価プロセスにフォーカス グループを組み込むことで、トレーニングの有効性に関するより詳細かつ具体的な情報を提供できます [48、59、60、61]。
Schiekierka-Schwacke et al.(2018) [62] は、ドイツの 2 つの医学部における教員のパフォーマンスと学生の学習成果を評価するための新しいツールに対する学生と教員の認識を調査しました。教員と医学生を対象に、フォーカスグループディスカッションと個別面接が行われました。教師は評価ツールによって提供される個人的なフィードバックを高く評価し、学生は評価データの報告を奨励するために目標と結果を含むフィードバック ループを作成する必要があると報告しました。したがって、この研究の結果は、学生とのコミュニケーションのループを閉じ、評価結果を学生に知らせることの重要性を裏付けています。
Peer Review of Teaching (PRT) プログラムは非常に重要であり、高等教育では長年にわたって実施されてきました。PRT には、指導を観察し、指導の効果を向上させるために観察者にフィードバックを提供する共同プロセスが含まれます [63]。さらに、内省演習、構造化されたフォローアップディスカッション、訓練を受けた同僚の体系的な割り当ては、PRT の有効性と学部の教育文化を改善するのに役立ちます [64]。これらのプログラムは、教師が過去に同様の困難に直面した可能性のある同僚の教師から建設的なフィードバックを受け取るのに役立ち、改善に役立つ提案を提供することでより大きなサポートを提供できるため、多くの利点があると報告されています[63]。さらに、ピアレビューを建設的に使用すると、コースの内容と提供方法を​​改善し、医学教育者の指導の質を向上させることができます[65、66]。
Campbellらによる最近の研究。(2019) [67] は、職場のピアサポートモデルが臨床保健教育者にとって受け入れられ、効果的な教師育成戦略であるという証拠を提供しています。別の研究では、Caygill et al.[68] は、特別に設計されたアンケートをメルボルン大学の保健教育者に送信し、PRT の使用経験を共有できるようにする研究を実施しました。この結果は、医学教育者の間で PRT に対する根強い関心があり、自発的で有益な査読形式が専門能力開発にとって重要かつ貴重な機会であると考えられていることを示しています。
PRT プログラムは、観察された教師の不安の増大につながることが多い、批判的な「管理的」環境を作り出すことを避けるために慎重に設計されなければならないことは注目に値します [69]。したがって、目標は、安全な環境の構築を補完および促進し、建設的なフィードバックを提供する PRT 計画を慎重に策定することです。したがって、査読者を訓練するには特別なトレーニングが必要であり、PRT プログラムには真に関心のある経験豊富な教師のみが参加する必要があります。これは、PRT から取得した情報が、より高いレベルへの昇進、昇給、重要な管理職への昇進などの教員の決定に使用される場合に特に重要です。PRT は時間がかかり、フォーカス グループと同様に多数の経験豊富な教員の参加が必要なため、リソースの少ない医学部ではこのアプローチを導入することが困難であることに注意する必要があります。
ニューマンら。(2019) [70] は、トレーニング前、トレーニング中、トレーニング後に使用される戦略、ベスト プラクティスを強調し、学習上の問題の解決策を特定する観察を説明しています。研究者らは査読者に次のような 12 の提案を提供しました。(1) 言葉を賢明に選択してください。(2) 観察者が議論の方向性を決定できるようにする。(3) フィードバックを機密にし、フォーマットを保ってください。(4) フィードバックを機密にし、フォーマットを保ってください。フィードバックは、個々の教師ではなく、指導スキルに焦点を当てます。(5) 同僚のことを知りましょう (6) 自分自身と他人に配慮しましょう (7) フィードバックを提供する際に代名詞が重要な役割を果たすことを忘れないでください、 (8) 質問を使って教育の観点を明らかにしましょう、 (10) プロセスの信頼を確立してください(11) 学習の観察をWin-Winにする、(12) 行動計画を作成する。研究者らはまた、観察に対するバイアスの影響や、学習、観察、フィードバックについて議論するプロセスがどのようにして双方に貴重な学習体験を提供し、長期的なパートナーシップと教育の質の向上につながるのかについても調査している。ゴマリーら。(2014) [71] は、効果的なフィードバックの質には、(1) 指示を提供することによるタスクの明確化、(2) さらなる努力を奨励するモチベーションの向上、(3) それが価値のあるプロセスであるという受信者の認識が含まれるべきであると報告しました。信頼できる情報源から提供されています。
医学部の教員は PRT に関するフィードバックを受け取りますが、フィードバックを解釈する方法について教員を訓練し (SET 解釈のトレーニングを受けることの推奨と同様)、受け取ったフィードバックを建設的に反映する十分な時間を教員に与えることが重要です。


投稿日時: 2023 年 11 月 24 日