日本学術会議が、「ホメオパシーの治療効果は科学的に明確に否定されている」とし、その根拠としてあげたのが、2005年、スイスのベルン大学のシャン医師らのグループが発表した英医学誌ランセットの論文【Shang A, Huwiler K. Nartey L, Jüni P, Dörig S, Stern J, Pewsner D, Egger M. Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. The Lancet 2005; 366:726-732.】です。
この論文で、シャン医師らは、ホメオパシー の医学的効果を調べた110件の研究例（論文105本分）をメタアナリシスという手法で検証した結果、「ホメオパシーの医学的効果はプラセボ効果に過ぎない」と結論づけています。
しかし、この論文は＜ランセット＞の学術誌としての価値をおとしめたと言われているいわくつきの論文です。ホメオパシーを支持しているわけではないクラウス・リンデとウェイン・ジョナスなど、複数の科学者が欠陥論文であると指摘しており、＜ランセット＞ともあろうものが、この手の「不備のある」調査結果を掲載したことに愕然としていると言わしめた学術的価値のない論文です。
今回のスイス連邦政府によるホメオパシーの有効性レポートの中に、スイス補完医学評価プログラムの一環として、正式にこの論文を調査したホメオパシーＨＴＡレポートでは、このメタ分析の不十分さを指摘する多くの論文を考察し、シャンらの論文を再調査した結果、ホメオパシーの臨床効果がプラセボ効果であるとしたこの論文を支持しないと結論づけています。
日本学術会議ともあろう団体が、きちんと調査することもなく、ランセットの価値を貶めたとまで言われている欠陥論文をもって、ホメオパシーの治療効果は科学的に明確に否定されていると公式発表したことは、日本学術会議の価値を貶める軽率な行為と言わざるを得ません。同時に偽りの情報を発表し、未だ訂正していないことは、日本国民からホメオパシーの恩恵を受ける機会を喪失させ続けているという点で大きな過失であると言えます。
――ＨＴＡレポートから一部引用――
シャンらによる研究はさまざまな側面から批判を呼んだ：
■著者がメタ分析を行うにあたり、有効値の評価データと調査されている研究の信頼区間と同様に記述データを明記するというQUORUMガイドラインに忠実ではなかった。「詳細の欠如は、強い臨床結論を出す論文では容認できない」（LindeとJonas, 2005）。
■どの程度選択された研究がホメオパシーの実態を表現するか（つまり、対外的に有効か）、説明されていない （Walachら, 2005a）。
■添付データを組み合わせることは、もし異なった試験が同じ効果を計測している時のみ意味をなす。たとえば、もしホメオパシーが何らかの症状を助け、他の症状を助けなかったら（Jonasら, 2003参照）、ファンネルプロットは評価することができないし、組み合わされた有効値は意味を成さない（LindeとJonas, 2005）。
■効果サイズが全てのプラセボ対照試験に対して同じであるという仮定は、おそらくどちらも持ちこたえられない；ＣＡＭ療法は一般的に高いプラシーボ反応割合があるように見える。ホメオパシーの研究におけるプラセボ効果が一部、従来の介入の診察効果の上に横たわっているように（Walachの有効性逆説で知られる現象, 2001, Walachほか, 2005aから引用）。
■従来医学の実験の中でも、いわいるプラセボ効果は、強く異なっている（Walachほか, 2005b）。
■サンプルサイズは病理、介入、選択された結果によるので、大きな試験に限定された分析は偽陰性結果の危険を抱いている。したがって、それは述べられた依存性と純粋な先入観を区別することは可能ではない（LindeとJonas, 2005）。
■主な結論が、6つか8つの（おそらくマッチしない）試験に依存しているので、その結果は、高い信頼区間を説明する、可能性に簡単に起因するだろう（LinedとJonas, 2005）。
Skandhanら（2005）はインドで誘発された研究と論説の抗議を反映する素晴らしいコメントを発表した。ホメオパシーはインドで広く普及しており、アロパシー医師達や団体権威者達と同様に、インドの国民に高く評価されている」。そして施設や官庁が管理している。それは世界保健機関（WHO）によってサポートされている。アーユルベーダとホメオパシー、ヨガの副大臣であるUma Pillaiは、「たった一つの研究で、全体系を却下することなど不可能である」とコメントしている。
私たちはここで示されたほとんどの懸念を共有し、とくに外部的な有効性とモデル妥当性が十分に考察されていないという批評を指示する。
――ＨＴＡレポートの結論――
要するに、メタ分析にはよくあることだが、もし形式的基準が過大評価され、外的妥当性やモデル妥当性基準の内容あるいは判断に関して差別化がなされないならば、かなりのバイアス(歪み)リスクが存在することになると言ってよい。
遡及的な選択をしたり、交絡因子が欠如しているため、メタ分析は、顕在的あるいは潜在的バイアスに対しても保護されているわけではない。
「もしRCT(無作為臨床試験)をこのような方法で評価した下ならば、コクランテストでは不合格になってしまうだろう」(Wegscheider 2005;13章221ページ参照）。
上記の論拠によって、「ホメオパシーが有効である」という正反対の結論に導くことにはならないにしても、「Shang他の研究(2005a)はホメオパシーの無効性を立証しない」という主張を支持することにはなる。この研究の明らかな潜在的誤りを考慮すれば、Uma Pillaiの言葉「たった一つの研究で、全体系を却下することなど不可能である」(Skandhan他 2005a）に同意するしかないのである。
【注記】
① メタ分析：過去に行われた統計的分析の複数の研究結果を収集、統合し、色々な角度からそれらを統合したり比較することで、より信頼性の高い結果を求めること、またはそのための手法や統計解析のこと。「分析の分析」を意味する。
② 交絡因子：調べようとする因子以外の因子で、病気の発生に影響を与えるもの。例えば、飲酒とがんの関連性を調べようとする場合、調べようとする因子（飲酒）以外の因子（喫煙など）ががんの発生率に影響を与えているかもしれない。このとき、喫煙が交絡因子に該当し、喫煙が調査に影響を与えないように、データを補正する必要がある。
③ コクラン法：医学分野では対象や研究方法が多様で、各種のバイアスが入りやすく、また研究の質のばらつきが大きい。例えば、公表論文は有意な結果のみが発表されることが多い。これは研究者がポジティブな結果が得られたときにのみ発表する「報告バイアス」や、学会誌等の編集者が，統計学的に有意な結果の得られていないものはリジェクトする「出版バイアス」のためである。このため、単に報告を集めるだけでは、ポジティブ方向へバイアスがかかるという懸念が指摘されている。また、質の低い論文を他の優れた研究成果と同等に評価対象としてしまうと過大評価することになる。メタ分析では、バイアスの影響を極力排除し、評価基準を統一して客観的･科学的に多数の研究結果を数量的、総括的に評価しようとしている。
こうしたメタアナリシス研究を押し進めることを目的として、1992年には、英国政府の支援のもとにオックスフォードにコクラン・センター（Cochrane Centre）が作られた。The Cochrane Libraryとは、コクラン共同計画が行っているメタアナリシスである。ランダム化比較試験の行われたデータをすべて集め、その中から信頼できるものを選び、総合評価を行っている。