Tuesday, November 26, 2013

On score range of BP debate 女性大会、今年は参加しました (2)スコアレンジについて


皆さんは何故ディベートするでしょう。
世の中の色々なことを知ることができるリサーチ力をつけたいから?
論理的に考える力、批判的思考力をつけたいから?
世の中を良くするための提案を作る問題解決力をつけたいから?
その提案の良さを他の人に説得して一緒に世の中を良くする仲間をつくる説得的プレゼン力を身につけたいから?

-------------------------------------------------------------------------------

さて、今回のJWDC、前日になって審査員ブリーフィングの資料を見てビックリしました。
だってBPなのにスコアレンジが65-85なの!ええ?50-100でしょ?と。

それで、「なんで65-85に狭めたんですか?」と質問したら回答がこれまたビックリ。
「え?BPは65-85ですよね?それ以外のレンジのBPの大会なんて見たことありません」と。
悶絶。うっそーん。

世界大会はじめ私の知るBPの大会は殆どが50-100です。
世界大会のルールにも、そのルールを書いた人物が出しているハンドブックにも50-100と記されています。
どうやら日本(及び北東アジアの一部の大会)のローカル・ルールで65-85らしいのです。
そして誰に聞いてもそのローカル・ルールが決まった経緯や理由が分からない。

ちなみに2チーム対抗で1チーム3人のAustralasiansは65-85でminimum marginが0.5。maximum marginが15と決まっています。(同じ3on3のアジア大会は分裂したりくっついたりしたので正直今のルールを読み込む気力がなくなりましたが、とりあえず分裂前はもう少し狭いスコアレンジでmaximum marginが12でした。)
ひょっとしたらBPの審査をロクに知らない人が3on3を参考にレンジを設定してしまったのか?とも思われます。そうだとしたらホントろくでもない。

で、私はこのBPのローカル・ルールに強く反対です。
バカじゃないかと思う。
何故か。

1) 予選結果順位の点差

現在日本の大学英語即興ディベートのコミュニティで主に一年の前半に汎用されている3on3のフォーマット、その中でも例えばAustralasiansでは、前述の通り65-85のスコアレンジを採用しています。1スピーチあたり20点のレンジ幅です。3人1チームで、1チームあたり3スピーチ+総括スピーチ(総括スピーチは半分の点数)なので、1試合でチームあたりだと20×3+10=70点のレンジ幅があることになります。予選8試合行うと70points×8roundsで560点の幅が生まれます。仮に審査員たちがこのスコアレンジを最大限活用してくれることを想定、Australasiansに仮に150チーム参加したとして、予選結果順位の1位と2位の差、2位と3位の差、といったチーム間の点差は理論的には560/150で約3.7点です。これは、1試合あたり0.5点未満の違いで順位が変わってしまうということです。

これに対し、BPでは1スピーチあたり50-100のレンジ、50点のレンジ幅。2人1チームで1チーム2スピーチなのでチーム辺りのレンジ幅は100点です。大学の世界大会で予選9試合すると900点のレンジ幅。同じく審査員たちがスコアレンジを最大限活用してくれることを想定し、420チーム参加したとして、予選結果順位のチーム間の点差は約2.1点です。1試合あたり0.2点程の差で順位が変わってしまうのです。

ここからも世界大会の審査員のスコア感度を均質化することがいかに重視されるかお分かりになるのではないでしょうか。

2) 最低マージン

予選の試合数や参加チーム数とは関係ない視点でも見てみましょう。

3on3は2チーム対抗です。勝敗をつけるだけ。必要な最低マージンは0.5点です。
これに対しBPは4チーム対抗。1-4の順位をつけなければなりませんので、1位と4位の間に必要な最低マージンは3点です。
つまりBPは3on3の6倍点差をつけなければならないのです。

3on3は70点のチームスコアのレンジ幅の中の0.5点、BPは100点の同レンジ幅で3点。
6倍の点差を1.5倍ないレンジ幅の中でつけなければならない。
6/(100/70)で4.2倍の精度が求められる計算です。
これもまたいかにBPの審査に精度/高いスコア感度が求められるかという指標になるでしょう。

3) スコアリングにかける時間

同じく予選試合数や参加チーム数に寄らない一般的指標を見てみましょう。
時間の観点、どの位時間をかけてスコアをつけているのか、というのは如何でしょうか。

大会で審査にかけられるのは最大15分くらい。
どの大会でも勝敗(BPだと順位)の方がスピーカースコアよりも優先して予選順位が決まりますので前者の方が重視されますし審査も慎重になります。

3on3では一人一人が独立して審査します。15分中8分を勝敗を決めることに、4分をスコアリングに、3分を主審が副審2人とフィードバックの内容の擦り合わせにかけたとしましょうか。4分で8スピーチのスコアをつけるので1スピーチ30秒かけてスコアリングしていることになります。

BPでは審査は合議制です。順位付けもスコアも3人以上の審査員が話し合って決めます。15分中11分かけて順位を合意できたとしましょう。残り4分でスコアを話し合います。8スピーチのスコアをつけるのに4分でやはり1スピーチ30秒でのスコアリングです。しかしここでも話し合う手間があるのです。一人一人の審査員が10秒で各スピーチの適性スコアを考え、残り20秒の内12秒(一人あたり4秒)で自分が良いと思ったスコアを他に伝えたとします。残り8秒で擦り合わせです。

8/30で約1/4の時間(30/8で3.75倍の俊敏さ)で審査することが求められるのです。
これもまたいかにBPの審査に精度/高いスコア感度が求められるかという指標になるでしょう。

にも拘らず、選手には心外かもしれませんが、8秒で擦り合わせるには妥協が不可欠です。3点以内の妥協は容易に行います。5点となると抵抗が生じます。10点ずれている審査員がいるとなるともう大事件です。8秒でどうにかできるレベルではありません。ですのでスコア感度の悪い(スコアレンジの感覚がずれた)審査員がいると本当に困ります。本当なら1点の誤差が許されない、0.2点の差で予選順位が変わってしまう世界なのに3点の妥協がやむを得ない、調整する主審も辛いのです。その中でぶっ飛んだ点数を主張する副審、そんなのがいたらフィードバックシートには「次の試合からはこいつはトレイニー(見習い)にしろ」と書かざるを得ないわけです。

4) 総合すると。。。

1/4の時間で4.2倍の細かい採点をする。。。ざっくり3on3の16倍の審査精度を必要とされるBP。
しかも予選通過できるかどうかが2/5の点差で変わってしまうことも加味するとなれば40倍の審査精度が求められることに。。。もうそんなの本当に可能なの?というレベルです。

だからこそ世界大会の審査員レベルというのはReason for Decisionの良さと同時にスコア感度もとても重視して評価されるのです。1試合あたり0.5点の差で予選通過できるか変わってしまうAustralasiansのジャッジも大変ですが、BPのジャッジングはそれ以上に大変なんです。また、だからこそ近年の大会のブリーフィングでは審査員に口が酸っぱくなるほど「スコアレンジはできるだけフルに活用してくれ」と言ってくるのです。

それがですよ、スコアレンジが2/5に狭まったらどうなってしまうと思います?
16倍どころか40倍、40倍どころか100倍の審査精度を求められるということに。
もうなんでそんなことするの!!????逆でしょ??バカヤロー―――!!と頭をかきむしりたい状況です。

5) ローカル・ルールの愚

さて、これだけ審査員のスコア感度にピリピリしている世界で、日本だけスコアレンジが違うと言うのです。本来50-100のところ、65-85ということは上下合わせて30点分スコア感度がずれています。

BPでは3点程度の妥協はやむを得ないとされている。それ以上均質な審査基準を300人以上の審査員に求めるのは現実的ではないのです。ロボットではなく人間ですから。しかし10点ずれていたら大問題だ、ということは上記の通りです。その時にこの国の審査員たちは30点ずれた審査練習をしているらしいのです。

もう絶句。

どうしてそんなことするの?????

日本の審査員が活躍できない筈だよ。
30点ずれてる人なんて絶対に絶対に絶対にトレイニーにしかできません。
なんでわざわざ自分達が活躍できないようにするの?????

6) 審査員が活躍しない国の選手は活躍できない

「日本の常識は世界の非常識」
日本人審査員がいない大会ではまさにそうなのです。
しかし審査員の2割を日本人が占める大会ではそうではない。
日本人審査員が参加できないということは日本の選手、日本的な議論は評価されないということなのです。

国際大会で差別されたと感じる選手は大勢います。
彼らは英国やアイルランド、オーストラリア中心の審査で、そうした国の選手が贔屓されていると感じているかもしれない。
しかしね、審査員プールの何割がそうした国の審査員で占められるか考えてごらんなさい。

何故審査員プールの多様化が必要であり、自分たちが良質な審査員を提供することが義務であるだけでなく自分たちに利するのだということに気が付かないのですか???
何故自分たちが連れていく審査員のトレーニングに必死にならないの???

その昔、国際大会ではより評価の高い審査員をトップルーム(パワーペアリングで勝ち数の多いチームの集まった試合)に配し、評価の低い審査員をボトムルーム(負けのこんでいるチームが集まった試合)に回すのが一般的でした。

その結果、日本チームの中には9試合中7試合くらい、試合の途中で駆け出して行ってトイレでゲーゲー吐く二日酔い審査員や、試合中に眠りに落ちる審査員や、ノートを全く取ってくれないような審査員、明らかに人種差別的傾向のある審査員といった真面目に審査する気のないダメ審査員にあたってしまうケースもありました。1round目で勝てば天国負ければ地獄だった。

私たちは長くその制度と戦いました。同じ額の参加費を払っているのだから、良いジャッジにあたるチャンスも、悪いジャッジにあたるリスクも、全参加チームが共有するべきだ、と主張したのです。その主張は広く受け入れられました。現在では3人のジャッジ・パネルの総合評価をできるだけ均し、勝率に関係なくランダムに配置するというシステムを採用してくれる大会が増えました。EFLがEFLだからという理由でクズジャッジばかり回されるという状況は減ったのです。

最近日本の大学チームが国際大会で活躍できるようになって、昔の日本チームより自分たちが上手になったのだ、昔の日本のディベーターが下手くそだったのだと思っている人がいるようです。おめでたい勘違いも甚だしい。後輩たちが活躍できるように努力して環境を変えた先輩たちに謝って頂きたい。

折角そうした先輩たちのおかげでまともな審査員を回してもらえるようになったのに、何故自分たちでそれを台無しにするの?

2008年のタイで開かれた世界大会に、とある日本の大学が殆どBPの経験のない、スコアレンジも知らない人たちを大量に審査員として連れていきました。その時のことはこのブログの以下の記事に書きました。

http://toseisha.blogspot.jp/2008/01/on-responsibility-as-participating.html

この時以来、日本に対する批判は爆発しました。
ロクな審査員を連れてこないクセに良い審査員を要求し、本来良い審査員を必要とする人々を苦しめる迷惑で厚顔無恥な国であると思われるようになったのです。

最初に起きた動きの一つは、そもそも世界大会に参加できる国は地域ごとに選抜してはどうか、地域大会で優秀な成績を収めた大学だけが参加できるようにしたらどうかというものでした。

ここで私は、世界大会は世界一を決めるだけのものではない、世界大会は世界とディベート文化を共有するためのものでもある、参加者の多様性は保たれるべきだという議論を展開しました。

ほぼ同時に起きた動きとして、本戦の審査員に多様性など必要ない、優秀さのみを基準とすべき、というものがありました。

ここで私は、世界で一番説得力のある人を選びたいのであれば、世界の一部ではなく世界中の人を説得できる人間を選ぶべきだ、そのために本戦の審査員もまた世界中から集められるべきだ、という議論を展開しました。

自国からやってくる審査員のレベルが遅々として上がらない中、こうした議論をしつこく展開することで私は多くの友人を失いました。2010年のトルコで開かれた世界大会ではこうしたEFLの動きに対して痛烈な差別発言に直面しました。

三つめの動きがありました。これは、現実のものとなりました。優秀なジャッジに対する補助制度の確立です。

この制度は、「審査員プールの質を向上しなければならない」という文句のつけようのない正当化がされていました。この記事の前半に書いたことを読んでいただければ、世界大会の審査員に求められている審査精度がいかに凄まじいものかお分かりいただけるでしょう。ですから私もこればかりは反論できなかった。

けれどね、様々な大会で活躍したCVを持っているのは誰ですか?結果的に審査員プールのかなり大きな部分と多額の資金の使途が、特定の地域の審査員に占められるようになったのです。この制度ができてから今までに何人の審査員がこの制度で招聘され補助金を受けたか知っていますか?その中に日本人が何人いたか、知っていますか。

「日本の常識は世界の非常識」
日本人審査員がいない大会ではまさにそうなのです。
しかし審査員の2割を日本人が占める大会ではそうではない。
日本人審査員が参加できないということは日本の選手、日本的な議論は評価されないということなのです。

それなのに皆さんは審査員プールの日本人割合が上がったのか下がったのか、EFLの割合が上がったのか下がったのか、マイナー大学の審査員割合が上がったのか下がったのか、多様性が上がったのか下がったのか、一向に調べる気配がない。全くの無頓着です。どうしてそんなに無知でいられるの?

この環境で、2012年大会の副審査委員長の任に就くことは当初私は全く気が進みませんでした。国外で吹き荒れるバックラッシュにも、一向に状況を理解してくれない国内のコミュニティにも疲れきっていました。それでも副審査委員長になった時、毎晩のようにサンドバックかボロ雑巾のようになりながらも、何とかそれまで通りコミュニティにとって正しいと思う主張をし続けることができました。その全てを受け入れてもらえたわけではなかった。悔しかった。でもできるかぎりのことをしたし、聞き入れて貰って実現したことも色々ありました。予選が終わった時の解放感は忘れられません。

道半ばだな、とにかくより多様な地域、多様な集団に良質の審査員がいる状況にしなければ、これ以上は難しいな、と思いました。

そんな折、日本はなんとわざわざ世界大会と審査基準を変え、ローカル・ルールに移行し、そして今までよりも更にスコア感度の悪い審査員ばかり生んでいるというのです。

ホント、バカなんじゃないの?????
バカバカしくて付き合いきれない気持ちになります。

---------------------------------------------------------------

かの友人Tは「Debate is not a hobby but life style」と言いました。
その意味では日本のディベーターの殆どは実際にはディベーターとは呼べません。

ディベート界だって小さくても社会です。
ディベートでリサーチ力をつけたい人が何故ルールすら知らない、読んだことがないの?
ディベートで批判的思考力を付けたい人が何故、なぜ諸処の大会のルールが現状のようになっているのか考えないの?なぜ日本だけスコアレンジが違うことを疑問に思わないの?
ディベートで提案力・問題解決能力を身につけたい人が何故大会のルール変更を提案しないの?どういうルールが自分たちの大会に相応しいか考えないの?
ディベートで説得的プレゼン力を身につけたい人が何故この手の話をすると敬遠して同調も反論もしないの?そもそも何故意見を持たないようにするの?

日本のディベーターの殆どの人は実生活ではディベートしません。
試合会場で、選手の時にしか議論しないのです。
議論しないだけじゃない。調べもしないし考えもしないらしいのです。
なんちゃってディベーターであって全然ディベーターではない人達の集まりなのではないかな、と思います。

ちったあ頑張れよ、若造たち。

2 comments:

Anonymous said...

日本語ディベートのいくつかの組織で役員をやっている者ですが、なんだか信じられないような話ですね。
(ちなみにそのうちの一つの役員会は、もう会話のすべてがそのままディベートの試合かのような高速トークでさくさく会議を決めていくような組織文化です。criticalな反駁は当たり前、どんなに仲が良かろうがぶつけあう…)
失礼な話ではありますが、「ディベートをしたい」のではなく、「サークル活動を楽しみたい」というスタンスの方が多いのでしょうか?(仮説)

go said...

ありゃりゃ、どなたでしょう。私の存じ上げている方でしょうか?

そうですねぇ。。。日本語ディベートも一括りにしている投稿にも読めるので失礼だったかもしれませんね。日本のディベーターの殆ど、とここで述べたのは多くの国際大会がある英語即興ディベートコミュニティの日本のディベーターを指しています。

とはいっても、日本語ディベートにこの傾向が皆無かと言うと。。。どうなんでしょうね。正直明言しかねます。あまり本格的に運営に回っていないから、という理由が大きいですが。

「ディベートをしたい」のではなく~の分析は、うーん、まぁ、そういうことなんでしょうか。。。そうだとすればちょっと残念。数多あるサークルから何故ディベートを選んだの?という疑問も残ります。