片瀬久美子氏の付録への疑問─番外編&備忘録─

もう終わりにしようかと思っていたのだが、その後もいろいろな発言が飛び出しているので、いくつか拾い出して批判しておきたい。
なおこの記事は必要に応じて随時追加していく。

(1)Impact Factorはいつから論文の信頼性をはかる尺度になったのか。(2011.12.29)

北米で福島原発事故以降乳幼児の死亡数が増加しているとする論文が各所で批判されている。特にその統計的主張が誤りであるようだ。私はそのことを否定したいわけではない。
しかし私は片瀬氏の次のような発言を看過することはできない。

ちなみに、シャルマンさん達の論文を掲載した専門誌のImpact Factorは0.98。信頼性は低い方です。

ここで言及されている専門誌とはINTERNATIONAL JOURNAL OF HEALTH SERVICES誌で、私が調べたところ、2010年のデータではIF値0.869だった。2005年だと0.595。2000年だと1.217だった。

雑誌のImpact Factorは、トムソン・ロイター社の提供するデータを用いて当該論文誌に掲載された論文数と論文の被引用数に関する直近3年分のデータを用いて算出される数値である。Wikipediaにある説明を見るだけで計算の方法はわかる。このIF値が大きければその論文誌に掲載された論文は平均的に見て引用されやすく学会に与えるインパクトが大きいということになる。

片瀬氏の上の発言は二重の意味で間違っていると考える。
第一に、IF値を使って個別の論文の被引用数に関する質を論じること自体が誤りである。
第二に、If値を使って個別の論文の結果に信頼がおけるかどうかを論じること自体が誤りである。

Wikipediaの説明にも書いてあるように、「インパクトファクターは「学術雑誌」の評価指標であって、学術雑誌論文はもとより研究者の評価に用いるものではない。」上の片瀬氏の発言はまさにその誤りを地でいくものである*1インパクトファクターが高い雑誌に載っているから質が良いとか、インパクトファクターが低い雑誌に載っているから質が悪いと断定すること自体間違っている。IF値はそういう使い方をしてはいけない。

IF値が高い雑誌に掲載された論文の引用頻度は相対的に高いであろうと推定することには、ある程度の合理性があると考える向きもあるかもしれない。しかし、IF値はあくまでも平均的な値に過ぎない。IF値が高い雑誌であっても、あまり引用されていない論文が掲載されていることはある。逆にIF値が低い雑誌の場合はさらに微妙だと考える。IF値が低いということから考えられる大きな可能性は、その論文自体もあまり引用されていないということ以外にも、論文誌の中に注目を浴びる論文とそうでもない論文とが多数混在しているような状況がありうる。特に年間の掲載論文数が多い雑誌の場合には、半分程度が注目されるものであったとしても、それらの実際の引用状況よりもIF値が低く出てしまうことになる。こうした点からも、ある論文が実際にどの程度引用され影響力を持っているかということは、個別の論文ごとに議論する以外にないのであり、掲載雑誌のIF値は参考値にさえならないと私は考える*2

こうした観点から、特にIF値が低い雑誌に掲載されている論文の引用頻度やインパクトが低いと断定することは間違っている。それは個別の論文の引用頻度を直接調べる以外に正確なことはなにもいえない。

そしてより重要な点は、第二の点、つまりIF値が低い雑誌に掲載されている論文だからといって、その論文の述べている結果の信頼性が乏しいなどというのは暴言だということだ。IF値が低いということは、その雑誌に掲載されている論文たちは、平均的に見るとあまり引用されておらず学会におけるインパクトが低い可能性があるということだけしか教えてくれない。上でも述べたように個別の論文の引用頻度という質は掲載雑誌のIF値を見るだけではなにも判断できず、個別の論文ごとに判断するしかない。繰り返すが、ここで言っている質というのは、引用頻度=学会に与えるインパクトが大きいかどうかという点だ。片瀬氏はあろうことか影響度という質だけではなく、論文の内容そのものの信頼性をIF値ではかろうとしている。それは誤りだ。あまり引用されていない論文というものは、内容がマイナーだったり結論が注目を集めるほどsuprisingなものではなかったというものであり、引用されていないからといってその結果の信用性に問題があるわけではない。上の片瀬氏の発言のように、「IF値0.98の専門誌の信頼性が低い」などという一般的な価値判断をしてしまったら、INTERNATIONAL JOURNAL OF HEALTH SERVICES誌に掲載されている全ての論文の信頼性を断定していることになってしまう。その他のIF値の低い雑誌に掲載されている全ての論文がその射程に入っているのだ。そこまでの覚悟をもって発言しているとは思えない気軽さが問題であると考える。IF値が低いことをもって信頼性が低いなどと包括的に断定すること自体が失礼だし、ある論文の信用性をそのような概括的な基準から演繹して批判するなどもってのほかだと言わざるをえない。論証はあくまで個別の論文ごとに行う以外にないのである。

まさか片瀬氏は、インパクトが低い(あまり引用されていない)ということと「結果の信頼性」を同じものだとみなしているのだろうか。そんなことはにわかには信じられない。しかし

という4つの発言を時系列順に並べてみると、片瀬氏の発言はかなりエスカレートしているように見える。最初のうちは少なくとも引用という意味でのインパクトが問題にされていた。ここでもすでに個別の論文の引用頻度という質が掲載雑誌のIF値と結びつけるという誤りが行われている。しかし、第3、第4の発言は、論文の信頼性へ疑義がIF値を根拠にして行うという第二の誤りが現われている。

片瀬氏は、IF値が高い雑誌に掲載された論文の中にも質が悪いものが混じっていると考えているが、IF値が低い雑誌の場合には、その論文の信用性に疑いが生じると考えているように見える。片瀬氏はIF値と引用回数と信用性を同じものとみなして、当該論文の信用性をあたかも掲載雑誌のIF値で判断できると考えているのではないかという疑念さえ生じる。そんな議論は全く根拠のない暴論であると言わざるを得ないのである。


少し別の角度で見てみたい。片瀬氏は、科学研究の組み立て方−アップルペクチン(ビタペクト)論文の検証付きの中で、セシウムの排出と被験者の体重の関係について、HEALTH PHYSICS誌に掲載された論文を引用して、被験者の体重データを明記しなかった点を問題視していた。以下にHEALTH PHYSICS誌のIF値とINTERNATIONAL JOURNAL OF HEALTH SERVICES誌のIF値を10年分列挙してみる。

IF値がかなり似通っていることは一目瞭然である。片瀬氏の議論に従えば、HEALTH PHYSICS誌も「信頼性は低い方」だということになるにも関わらず、その「信頼性の低い」雑誌*3に掲載された論文を根拠に、別の論文の結果の信頼性に疑問を呈していたのはほかならぬ片瀬氏自身ではなかったか。このような議論の仕方は、少なくとも私にとっては二重基準であるとしか見えない。

さらに2点追記する。

第1に、科学研究の組み立て方−アップルペクチン(ビタペクト)論文の検証付きの中で、セシウムの排出に関する生態半減期についての「従来の知見」を取り上げている。参考にされている資料は食品安全委員会作成の資料だが、それによれば、セシウムの生態半減期に関して引用されている論文の出版雑誌は、HEALTH PHYSICS誌とRADIATION RESEARCH誌が多いようだった。RADIATION RESEARCH誌のIF値は2010年2.578(5年IF値は2.795)で、2004年3.208だった。確かにこれは前の2誌よりは大きな値である。
しかし、片瀬氏は以前に

『Journal of Gerontology』のImpact factorは3.083。これだけが指標ではないけれど一流誌とするかどうかは…。むしろやや中堅誌という感じ? それと最終的な評価は論文そのものの内容と質であるし、掲載誌のレベルだけからは判断はできませんしねぇ…。

という発言を見ると、IF値が3程度でもどうやら質に疑問を持っている様子である。疫学的な結果は様々な雑誌に掲載されているのだろうが、片瀬氏のIF値を用いた発言は、自分の批判したい論文に対しては概括的演繹という断定として用いられ、自分が引用した結果に関しては十分に検討されていないと言わざるをえず、これは明確な二重基準である。論文の内容に問題があるなら、その問題点を指摘すればよいのであって、IF値という外形的なものを誤った方法で適用したり二重基準に陥ったりするのは避けるべきだ。

第2に、片瀬氏は、「ジャネット・シェルマンさんら再び」の記事中で、Scientific Americanに掲載されたMichael Moyer氏による批判記事を「翻訳」している。
そこでMoyer氏の記述
Now the authors have published a revised study (PDF) in the International Journal of Health Services. A press release published to herald the article warns, “14,000 U.S. Deaths Tied to Fukushima Fallout.” This is an alarming accusation. Let’s see how the authors defend it.
に対して、

今回、その著者らは修正した調査(PDF)をInternational Journal of Health Services*[参考:Impact factor=0.98] で発表しました。その記事の警告を告知する報道発表はこちらです「福島からの放射性降下物に関連する米国の死者は14000人*」。これは驚くべき告発です。著者らがどの様にそれを主張しているのか見てみましょう。

という訳文を付し、もとのMoyer氏の文章にはなかったIF値の情報を付加している。Moyer氏がIF値を記述していない以上、片瀬氏の主観的判断でこうした加工を施したことになる。翻訳と言いながら訳文に原文にはない情報を挿入するという加工をすることには疑問がある。私はIF値の情報など内容を信頼性を判断するためには何の役にも立たないと思うが、どうしてもそうした情報を追記したければ、その後の片瀬氏自身のコメントの中で述べるべきであろう。最低限、「参考」ではなく「訳者注」とするべきだ。これは「翻訳家の倫理」とでも言うべき問題ではなかろうか。

片瀬氏はシェルマン氏らの論文の内容的信頼性を批判したいのだろう。しかし、IF値などという論文の内容的信頼性とはほとんど無関係の「属性」を持ち出すことのは無意味だし、それで何かが論証されているなどという印象操作を行うのは間違っている。

(2)内田氏に対する発言の問題(2011.12.29)

私の記事でも指摘した内田麻里香氏に関する片瀬氏のコメントについて、片瀬氏は12/25に次のように発言している。

1年程前に、内田麻理香さんが科学リテラシーは一般の人には不要ではないかと書いておられた記事に対して、私が科学リテラシーの必要性を感じないのは彼女が若く経験不足だからではないかとあるブログのコメントに書いたのは、私の勝手な憶測からの偏見であり、ご指摘を頂いて何度も謝罪をしております。

私は、片瀬氏が問題の本質を外していると考える。

確かに、片瀬氏が内田氏を「若くて未経験であるに違いない」という主旨の批判をしたことは事実であり、そのことも問題だ。特にそのことに対する表現「人生の明るい面しかまだ知らない無邪気なお嬢さんという印象」もまずかった。

しかし、片瀬氏の発言で問題なのは、むしろコメントの後段にある。それは、片瀬氏が能力を持っているにも関わらず、能力のない内田氏がその若さと容姿を理由に採用されているというような断定をしたことである。「おばちゃん博士よりも若くて大衆受けが良さそうな女性の方が「サイエンスコミュニケーター」の適格者なのでしょうねぇ。」とか

「「科学についての造詣が深くて」きちんと理解した上で分かり易く正しく一般の人達に科学を伝えて啓蒙する能力が高い人かどうかよりも、まだ未熟でも仕事をさせていくうちに覚えていくだろうしそれよりも「イベントを盛り上げられる華やかさ」のある人を中心に考えられている」

という発言がそれだ。

私が問題にしていた片瀬氏の議論における態度とは、造詣のある自分と不勉強で未熟な相手という構図を極めて安易に多用している点であるといってよい。単に若くて未経験であることを批判したことが問題なのではなく、自分の方が豊富な知識と能力を持っているというある種の「上から目線」という「勾配」を設定してしまうことが問題なのである。片瀬氏はそこがわかっていないのではないだろうか。

(3)可能性と蓋然性の問題(2011.12.29)

片瀬氏は今回のブログの記事を書いた以降も、別件で「可能性」の問題について発言を続けている。

「可能性は0ではない」これを持ち出したら、世の中の数多くの事象がこれにあてはまり、何でもありの世界になります。でも、実際はあり得る程度は様々です。全てが同程度に起こり得ると錯覚しては判断を誤ります。「どの程度」の判断を加えることは必要でしょう。
「どの程度」という感覚は大切ですよね。 RT @Rsider:流産・死産・先天性異常の可能性を取りざたするなら「どの程度」を問わないと意味ないよ。ただの可能性だったら常にあるんだから。「ない」と言うことはサイエンスにはできないんだから。

私が問題としていたことは、可能性を論じるのではなく蓋然性を根拠付けて述べるべきだということだったのだが、片瀬氏にはそのような論点は目に入らなかったようだ。率直に言って、「2000〜2008年の調査では、動物試験を一通りパスしたものが人の臨床試験でも成功する確率は18%でした」という情報も持っている片瀬氏が、「マウスでもある程度普遍的なことを言えるのではないか?というのは、甘いですねぇ。実際を知らないからなんでしょう。」などと発言して18%の可能性を極めてありえないことであるかのうように扱い、他方でO157が米のとぎ汁乳酸菌に混入する可能性がかなり高いかのように発言する。そのような判断を行っている片瀬氏が、「可能性」ではなく「どの程度」を問題にすることが大事だと発言しても、私は到底信用することができないのである。

(4) トラックバックは削除されたのか?(2012.1.30)

科学研究の組み立て方−アップルペクチン(ビタペクト)論文の検証付き」に対して私がつけたトラックバックが削除されたのではないかと私は考えている。私は片瀬氏を「御用学者」とか「エア誤用」であるとか、「安全厨」であるなどとレッテル張りしたわけでもなく、氏の議論の中の拙いと考える部分についてできるかぎり冷静に指摘し、かつ応答したつもりである。片瀬氏は自身のことを「生物学の研究者」であるとか「生物学者」であると述べておきながら、自身の記事に対する批判的な引用さえも、自身の足を引っ張る議論であるとして削除してしまうのであろうか。百歩譲ってせめてこちら側へ一言あってもよいのではないか。何度も強調しているように、私は片瀬氏の研究者としてのこうした有り様に疑問を抱いているのである。

*1:まさか片瀬氏はIF値というものが分野を越えて比較するのに適しているなどとは思っていないだろうが、例えば自然科学の中でも例えば数学のような分野だと、統計学に関する論文誌を除いてしまうと、雑誌のIF値はは他の分野に比べてかなり小さい。2010年のデータだとIF値が1を越えている雑誌は49誌。2を越えているものはわずか9誌しかない。最高値も4.864だ。片瀬氏のような何の留保もつけずにIF値だけを取り上げる方法はこうした点でも問題があると考える。まさか片瀬氏も数学におけるIF値が0.98の論文誌を「信頼性は低い方です」とは言わないだろうと信じたい。

*2:もちろんIF値が高い雑誌の掲載基準はかなり厳しいものであることが多く、その点で査読を通過したということはそれなりの審査を経たものであろうというような推量は合理的だと考えられる。しかしIF値が低い雑誌の場合は、その論文の査読がゆるいものであったのだという推測は不合理だ。

*3:念のため、私はHEALTH PHYSICS誌が信頼性の低い雑誌であると思っているわけではない。2010年度のデータで見ると、直近の2年で280件の論文が掲載され、2010年に338回引用されている。これは、INTERNATIONAL JOURNAL OF HEALTH SERVICES誌の場合が、84件掲載73回引用であるのに比べてみれば違いは一目瞭然であると思う。同じようなIF値でも内実は様々である。私は両雑誌が信頼性に乏しいというつもりもないし、両者の格を云々したいわけでもない。