論文査読の仕方
どうも大家さんが払った家賃の返還に応じてくれるかビクビクしているぼくです！！！
世間は「100 日後に死ぬワニ」の話題で持ちきりだと思いますが
僕も例に漏れず読んでました。
難しいことは置いといて友達っていいなぁ とか、
毎日をちゃんと生きよう とか
しみじみ思いながら日々目を通しておりました。
ここで話題は変わりますが
渡航が伸びたことでアメリカ奮闘記的な書く機会を逸したこともあり、
研究にまつわることも書いてみようと思います。
最近査読をすることも増えてきたのですが
やり方を習ったこともないのになんとなくやっていました...
なので、人の役に立つ査読ができるようになるため
”査読” (peer review) の書きかたについてまとめたことを書いていく回となります。
そう、いつだって完全に自分のため…
今回まとめてみて良かったのは
査読で気をつける点 = 論文を書く上で重要な点
であることに気がつきました！！！！！ (みんな知ってる)
？？？まず査読とは？？？
日本語・英語問わず科学論文のだいたいは
学術雑誌編集者 ＋ 同業者(同じ分野)の評価により掲載の可否が決まります。
まあ、細かくはWikipediaでも見てください…
以降はWileyの
をまとめて少々長くなっています。 (和訳のぎこちない感じは勘弁を...)
忙しい人用に最初に要チェックポイントを。
？？？査読する時にはどのようなことを意識して読むべき？？？
- ”より良い論文” にするためのコメントを考えること
普段自分が意識しているencourageするってことを論文査読では忘れがちなので肝に銘じる.
人にされたら嫌なことをしないってことですよ 違うか… - Limitationとinconsistencies
「明らかにしたこと」と「明らかにしなかったこと」との境界を明示するのが
良いレビュー. 結果(データ)と解釈の一貫性はとても大切.
これは
ultrabem.jimdofree.comで紹介されていて、刺さった表現でした。
- 問題を具体的にする 問題を提示するなら解決策も提示する
- 大きな問題と小さな問題に分ける (General- Specific or Major-Minor coments)
ここから長くなるので先にいつもの奴を
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
最近寝る前の湿布は
もっぱら温感湿布をハの字型に貼っています。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
以下、和訳した詳細
The First Read-Through
- 査読の依頼が来た時要旨は読めるので、
この段階で研究目的、鍵となるデータ、結論の３つがわかるはず。
--> これが明確でない場合は、どうすれば分かるかフィードバックを与える - 最初はskim read(通し読みで良い)
- 論文の第一印象は？ accept or rejectの印象は？
＜気をつけること＞
読みながら、どんどん書き込んでいく
- この研究で取り組んでいる一番大きな問題は？関連性はある？面白い？
- 話題はどれぐらい独自性がある？ 他の研究との違いは？
- しっかりかけているか？ 読みやすい？
- もし著者が一般的な(業界の)意見と相反する場合、十分な論拠があるか？
ない場合はどうやって？証明する？ - その図や表はわかりやすい、必要？
<Spotting Potential Major Flaws>
- 最初に主要な問題を明確にする
どの問題を解決すれば良いのか具体的に提案するのは望ましい
主要な問題を見つけた場合は、その点と証拠を参考文献も含め書き込む！
例:
全体を通して
- 統計的・定量的な証拠と矛盾する結論になっている
- 方法が疑わしい
- 影響しうる既知のプロセスが無視されている
方法について
- 実験デザインが論文の主体 : 方法部分を問題なさそうかチェック
- 分析の論文 : サンプリングはOK？
- データ処理 : 精度は大丈夫？
- 時間依存の研究 : サンプリングの一貫性は大丈夫？
データについて
- 不十分 – 統計的に有意でないばらつき – 見づらいデータテーブル
- 一貫性のないデータ
- 結論と矛盾するデータ
<Concluding the first read>
- 読み終わったらメモ書きと見つけた主要な問題を使ってreview reportの最初の２段落を書く
第一段落: 取り組まれた課題について述べ、目的・方法・結論をまとめる
- エディターが研究を正しく解釈できるように、レフリーの判断を考慮できるように
- 著者にどんな内容が読者に伝わっているかを示す
- 著者が納得するために論文のうまくいっている部分をかく
第2段落: このリサーチの貢献(どんな意味があるのか)のまとめをかく
- 議論の根拠となっているものは面白く、重要か？
- 方法は正しく使われている？
- データは結論を支持している？
深刻な欠陥がありreject? --> 途中でそう思っても最後まで読む！(良いとこを見つける)
だいたいにおいてaccept? --> 丁寧、丁寧、ていねーに読む (サクナクション風)
<Before Starting the Second Read-Through>
- 受理を支持するかどうかの基準は、この論文は何らかの意味・寄与があるのか？
- 必ずしも完成している必要はなく、暫定的でも良い
研究というのは結局完全なものはなく、on-goingな側面があるので
(なるほど完璧主義でなくとも良いのか) - The detailed read-through should take no more than an hour for the moderately experienced reviewer.
(これぐらいの英語の堪能さと研究分野に精通していれば良いと基準に使えそう) - 書き込みだけなく、別個のノートを用意
- 同様の気になるところ・褒めるところをまとめる
- 気になる部分の行番号はメモる
- 図やテーブルは印刷したり、別のモニターに移す
<Doing the Second Read-Through>
議論をする上で気をつけること
- 意味が曖昧な部分は？
- Factual error (事実誤認？)は？
- 説得力のない議論は？
- タイトルは適切？
- 要旨は十分内容をまとめてる？
- キーワードは内容を反映してる？
- 原稿は適切な長さ？
- 鍵となるメッセージは短く、正確で、明快か？
Check Language とOn Grammar and Punctuation は直される側なのでスキップ
<The Second Read-Through: Section by Section Guidance>
- イントロダクション
- 議論が整然と提示されている
- 話題に関連した最近の研究がまとめてある
- どういった理解が不足しているのか？や既存のモデルの矛盾があったりするのかを強調
- その話題における研究に求めれるものを示すことで、研究目的の独自性を確立
- 対象となる読者層の考え、なぜその研究が行われたか、新規性・話題性についてなどを示す
- サンプルと方法
- 学術研究は再現可能、繰り替えし可能、もっともらしいことが必要がある反復不可能な研究の場合、その論文はrejectされるべき
- メソッドが十分・詳細でなければ改定を求めることは一般的
- データが不十分であれば改定を勧めることは適切
- 結果と議論
このセクションは一貫していないといけない
何が起きたか？何が発見されたか？何が確かめられたか？
以下のことが報告されている必要
- データが何を示すか簡単な記述で始まっているか
- 統計的有意か、フィットはできているかについての言及があるか
- 結果記述がされたのち、観測された傾向を評価する必要. 一般的な理解に対して結果の重要性を説明する必要性
- 結果は集められたデータの批判的解析(critical analysis)をしたものである必要
- もしストーリーにギャップや矛盾があれば、著者はこれらに取り組む必要がある。あるいは、結果を確かめる将来の研究を示唆したり、研究を進める必要がる
- 結論
- 結論のセクションは数段落以下なのが普通。
- 結論が目的を反映したものである必要 (達成されたかどうかは置いといて)
結論が証拠に基づいてなければ、書き直しの要求は適切
- 情報集約 (画像、グラフ、データテーブル)
- もしある情報が議論と繋がらないことに気がついた時は、改善を求めることができる。
この問題はタイトル、ラベル、統計的な表記、画質にも当てはまる
情報が明確な場合、以下をチェック
- データが誤差を含む場合、結果はもっともらしいか？
- 観測される傾向は議論や結論と整合的か？
- 十分なデータがあるか？
画像が話の中身を強調するように編集・加工されているかどうか？
画像が変死されていることを明示する時のみ適切
説明なしに加工されている気がする時は、エディターのみへのコメントで強調すべき
<レポートの書きかた>
summary, major issues, minor issuesの３つのセクションとする
Summary
- まず、ポジティブなフィードバックを与える
そのほうが著者はちゃんと読むから。 - 論文が何についてか、発見は何かをまとめる
- その論文の発見を既存の先行研究や現在の知識の文脈に入れる
- 研究の意義や新規性があるものor確証を得たもの(confirmatory)かを示す
- 研究の強みや質、完成されているかを示す
- 主要な欠陥や弱い部分をのべる特別に考慮すべき点(重要な先行研究の見逃しなど)を記す
Major Issues
- 主要な欠陥がある場合はそれが何か、その影響の大きさを述べる
- 著者が気づいていない同様の先行研究がないか？
- 一般的な考えに反する発見の場合はそれを支持するほど強い証拠か？
反対意見の関連する研究も正しく引用しているか？ - もしmajor revisionが必要なら、それが何かを明示する
- 表現に関する問題はあるか? (図・表、英語、原稿の構造)
Minor Issues
- 意味で曖昧な部分はあるか？ どのようにすれば訂正できる？
- 正しく引用されている？ その代わりに引用されるべきものは？ 加えて引用されるべきものは？ 引用しすぎ？ 一部しか引用されていない？ バイアスかかってない？
- 結果の間違った認識や数字や単位の間違いは？
- 表や図は適切で、十分で、正しくラベルがつけられている？
On Presentation and Style
レビューは著者が原稿を改善するためのものである
- 礼儀ただしく、正直に、明確に
- 客観的に、建設的に。
- ポイントに番号をつけて、対応するページと行数に言及
Criticisms & Confidential Comments to Editors
The Recommendation
- 査読者の評価がどこに述べられるべきか、雑誌のpreferenceをチェックする必要がある
- 掲載の可否につい提案することを求めていないジャーナルもある
- 選択しから選び (e.g. accept, reject, revise and resubmit, etc.)、コメントはテキストボッkすうに入力する場合も
Recommending Acceptance
- 受理を勧める場合は、 改善されるべき部分も合わせ、理由の概略を書く
Recommending Revision
- major または minor revision が一般的
- 改定後の査読に参加するか聞かれる場合も
- 具体的にどう直すかを提案
