はいどーもー！
Xイノベーション本部の宮澤響です！
Xイノベーション本部では、有志メンバーで論文輪読会を月次開催しています。 （詳細はこちらの記事をご参照ください）
本記事では、私が担当した先日の論文輪読会で紹介した論文について、箇条書きベースでごくごく簡単にまとめます！
どんな論文？
書誌情報は以下です。
Anam Ahmad Khan, Sadia Nawaz, Joshua Newn, Ryan M. Kelly, Jason M. Lodge, James Bailey, and Eduardo Velloso. 2022. To type or to speak? The efect of input modality on text understanding during note-taking. In CHI Conference on Human Factors in Computing Systems (CHI ’22), April 29-May 5, 2022, New Orleans, LA, USA. ACM, New York, NY, USA, 15 pages. https://doi.org/10.1145/3491102.3501974
一言で言えば、ノートのとり方（キーボードと音声のどちらでノートをとるか）が文章理解に与える影響について検討した論文です。
論文の全体像を1枚にまとめたスライドがこちらです。 なお、こちらは「落合メソッド」「落合フォーマット」などと呼ばれる論文のまとめ方（参考）を簡略化したものです。
論文内容紹介
ここから実際に論文の内容を大まかなセクションごとに紹介します。
目的
以下のリサーチクエスチョン（以下、RQ）を明らかにすることを目的としています。
- RQ1：ノートのとり方は文章理解にどのような影響を与えるか？
- RQ2：ノートのとり方はノートの内容にどのような影響を与えるか？
- RQ3：ノートのとり方はメタ理解の判断にどのような影響を与えるか？
- RQ4：音声ノートを学習活動に利用することの利点と課題は何か？
手法
2つのテキストに対してキーボードまたは音声でノートをとってもらい、テキストの内容についての理解度テストを実施するという実験を実施しました。
実験参加者
実験参加者は、以下のような属性をもつ、オーストラリアの大学院生60名でした。
| 属性 | 内訳 |
|---|---|
| 年齢 | 21～35歳（平均年齢27.04歳） |
| 性別 | 男性31名、女性29名 |
| 母語 | 英語16名、イタリア語3名、中国語15名、ウルドゥー語4名、ヒンディー語5名、ペルシャ語7名、シンハラ語6名、韓国語2名 |
| 学歴 | 修士課程在籍者29名、博士課程在籍者31名 |
実験に用いたテキスト
実験には、以下の2つのテキストを使用しました。
- ブレーキに関する英語の文章（792語）
- ポンプに関する英語の文章（850語）
実験手順
実験は、全てオンラインで、下図のような流れで実施されました。
- Briefing・Demo
- 実験の説明
- ノートをとる操作の実演、練習
- Pre-test
- テキストに関する予備知識を測定するためのテスト
- 多肢選択問題6問
- 4つの正答候補＋“I don’t know”の計5択
- 多肢選択問題6問
- テキストに関する予備知識を測定するためのテスト
- Note taking task
- テキストを読んでノートをとるタスク
- 2つのConditionで異なるテキストを使用
- ブレーキ
- ポンプ
- 2つのConditionで異なる入力形式を利用
- キーボード
- 音声
- 時間制限なし
- 2つのConditionで異なるテキストを使用
- テキストを読んでノートをとるタスク
- Survey
- 主観的な項目として以下を報告
- 確信度
- Post-testで正答できる自信がどれくらいあるか（0～100）
- 関心度
- テキストの内容にどれくらい関心をもてるか（1～7）
- 難易度
- テキストの内容がどれくらい難しいと感じるか（1～7）
- 確信度
- 主観的な項目として以下を報告
- Distracting task
- 指定された数から7ずつ減算していく過程を報告するタスク
- 2分間
- Condition1では200から
- 200、193、186、…
- Condition2では203から
- 203、196、189、…
- 指定された数から7ずつ減算していく過程を報告するタスク
- Post-test
- Interview・Debrief
- 操作感などに関するインタビュー
- 全体のまとめ
結果
RQ1：ノートのとり方は文章理解にどのような影響を与えるか？
- キーボードでノートをとった場合と音声でノートをとった場合のPost-testの成績（以下、成績）の間に有意差は見られませんでした。
- ノートのとり方（キーボード、音声）と問題種別（事実問題、推論問題）の間の交互作用が有意でした。そのため、一対比較を実施したところ、以下の結果が得られました。
- ノートのとり方に関して
- キーボード：事実問題の成績が推論問題の成績よりも有意に高い
- 音声：事実問題と推論問題の成績の間に有意差なし
- 問題種別に関して
- 事実問題：キーボードと音声の成績の間に有意差なし
- 推論問題：音声の成績がキーボードの成績よりも有意に高い
- ノートのとり方に関して
RQ2：ノートのとり方はノートの内容にどのような影響を与えるか？
- 音声でとったノートに含まれるアイデアユニットの数が、キーボードでとったノートに含まれるアイデアユニットの数よりも有意に多いことが分かりました。
- 音声でとったノートに含まれるエラボレーション（例、類推、個人的な経験）の数が、キーボードでとったノートに含まれるエラボレーションの数よりも有意に多いことが分かりました。
- ノートのとり方が成績に与える直接効果は有意であることが分かりました。
- アイデアユニットの数を媒介としてノートのとり方が成績に与える間接効果は有意であることが分かりました。
- エラボレーションの数を媒介としてノートのとり方が成績に与える間接効果は有意ではないことが分かりました。
RQ3：ノートのとり方はメタ理解の判断にどのような影響を与えるか？
- キーボードでノートをとった場合と音声でノートをとった場合のメタ理解の正確性（確信度と成績の差の絶対値）の間に有意差は見られませんでした。
RQ4：音声ノートを学習活動に利用することの利点と課題は何か？
- 参加者の意見をグルーピングした結果、以下のように6カテゴリーの利点と5カテゴリーの課題が浮かび上がりました。
- 利点
- 簡便な入力
- 瞬間的な思考の記録
- 共同的なノート作成
- リハーサルとエンコード
- 内容への注意
- 能動的な説明と反映
- 課題
- 録音と再生
- 編集
- 検索と見直し
- 構造化とスケッチ
- 共有空間での利用
- 利点
考察
RQ1：ノートのとり方は文章理解にどのような影響を与えるか？
- 音声でノートをとることは、テキストの情報に基づく推論を手助けし、情報を横断してアイデアやコンセプトを結びつけている可能性が示唆されました。
- 推論問題では複数のアイデアユニットを結びつける必要があり、テキストに対する概念的な理解が試される可能性が示唆されました。
- 音声でとったノートに関して、「音声でとったノートはより多くのアイデアユニットを議論できる→ノートをとりながらテキストについてより良い推論を行える→テキストに対する概念的理解が深まる→推論問題の成績が高くなる」という一連の流れが示唆されました。
RQ2：ノートのとり方はノートの内容にどのような影響を与えるか？
- 音声でノートをとる際は人称直示詞（人称代名詞）を多く使用するため、仮想の聴衆に話しかけるような、社会的関与が高い内容になる可能性が示唆されました。
- 社会的関与の高さがより多くのアイデアユニットの議論とエラボレーションに繋がる可能性が示唆されました。
RQ3：ノートのとり方はメタ理解の判断にどのような影響を与えるか？
- 音声でノートをとることは、テキストに対する概念的理解を増加させても、学習パフォーマンスの知覚には影響を与えない可能性が示唆されました。
RQ4：音声ノートを学習活動に利用することの利点と課題は何か？
- 仮想の聴衆に話しかけることで豊かな表現が生まれる可能性が示唆されました。
- テキストを読みながら同時にノートをとれるため、学習内容自体に注意を向けやすい可能性が示唆されました。
- 音声でノートをとることのメリットは、ノートを見直すときよりもノートをとるときの方がより明確になる可能性が示唆されました。
- 音声でとるノートの利便性はデジタル学習環境で発揮されやすい可能性が示唆されました。
限界と今後の課題
実験の限界と、そこから考えられる今後検討すべき課題は以下のとおりです。
| 限界 | 課題 |
|---|---|
| 実験に使用したテキストがやや複雑（難易度が高い）だと認識されていた | より複雑でないテキストに対して一般化されるかの調査 |
| ノートのとり方が文章理解に与える短期的な影響を調査するに留まった | より長期的な影響の調査 |
| キーボードと音声で見直しに要する時間が異なり交絡因子となるおそれがあるため、Post-testの前にノートを見直す時間を設定しなかった | 入力（キーボード／音声）と出力（文章／音声）の組み合わせによる実験 |
| 大学院生を対象として管理された環境で実施した | 異なる参加者集団や、より現実的な環境での実験 |
| 音声でとるノートは空間的な構造化を必要としない情報のみしか記録できない | 数式やマインドマップなど、視覚的な表現が有効な場合の調査 |
結論
- ノートをとる際の入力形式をキーボードから音声へ変更することで、より多くのアイデアユニットの議論とエラボレーションを行える可能性が示唆されました。
- 基本的な知識を得ることが目的であれば、キーボードと音声どちらでノートをとった場合も同じようなパフォーマンスを示す可能性が示唆されました。
- 推論することによってより深く概念を理解することが目的であれば、音声でノートをとる方がより効果的である可能性が示唆されました。
- キーボードと音声どちらでノートをとった場合も、文章理解におけるメタ理解の判断には同程度の効果をもたらす可能性が示唆されました。
- 音声でとるノートはデジタルテキストの概念的な理解を可能にするため、デジタル学習環境に組み込める可能性が示唆されました。
個人的な感想など
この論文を題材に選んだきっかけ
この論文を題材に選んだ理由としては、タイトルに惹かれたというのが大きいです。 というのも、私は教育関係の事柄に強い興味をもっています。 また、私は学生時代（ほんの2年半前ですが）、音や音楽に関する研究をしていました。 そのため、「ノートをとる」という部分が私の教育センサーに、「音声」の部分が私の音・音楽センサーに引っかかり、アブストラクトに目を通しても面白そうな内容だったので、今回の論文輪読会の題材としました。
論文内容に関して
いわゆる典型的なIMRAD形式（参考）だったこともあり、論文の構成が分かりやすかったです。
また、なるほど確かにと思える部分が多かったです。 例えば、音声でノートをとる場合はテキストから視線を逸らさずにノートをとれる、音声でとったノートは編集、検索、見直しに課題がある、などは、確かにそうだなぁという感覚でした。
疑問点として、「社会的関与の高さがより多くのアイデアユニットの議論とエラボレーションに繋がる」というのは、日本語の場合でも同様なのか気になりました。 これは、日本語は英語と違い主語や目的語を省略できるため、理由として考察されていた人称直示詞があまり登場しないのでは、と思ったためです。
おわりに
本記事では、論文輪読会で私が紹介した論文について簡単にまとめました。
論文輪読会は、知見のインプットとアウトプット、両者の力を伸ばせる取り組みですので、皆さんの会社や部署などでも実施してみてはいかがでしょうか？
最後までお読みいただき、本当にありがとうございました！
私たちは同じ事業部で共に働いていただける仲間を募集しています！
論文輪読会をはじめとした各種勉強会に気軽に参加できるような環境で働くことに興味のある皆様、ぜひご応募お待ちしています！
フルサイクルエンジニア執筆：@miyazawa.hibiki、レビュー：@yamashita.tsuyoshi （Shodoで執筆されました）
