技術イベントへの参加と登壇で配点に傾斜をつける - TechEvent

[nunukim]

モチベーション

v2.0.0では、TechEvent スコアは技術系のイベント(タイトルから判断)の参加数をスコアとしているが、参加者と登壇者、管理者を分けていない。
アウトプットという観点では、ただ参加するだけではなく登壇した場合により点数をつけるべきであると考えられる。

ちなみに、EXPでは以下の配点としている。

• 参加: 1 EXP
• 主催(管理者): 2 EXP
• 登壇: 10EXP

状況

LAPRASのDBに保存さ入れているConnpass のイベントのうち、登壇者と主催者の紐付き状況の統計
(LAPRASでクロールしているユーザーに紐づいているかどうかなので、Connpass 上で登壇者登録されているものが全て反映されているわけではないので注意)

これを見ると、主催者については88%のイベントが紐づいているが、登壇者については11%程度しか紐づいていない。

論点

• Connpass で登壇者に登録されていないケースが多い問題をどうするか
  • 「登壇者としてスコアに参入するためには登壇者登録してください」というスタンスで、登壇者になっていない場合は通常の参加者として扱うか？
  • 登壇者にイベントの管理権限がない場合など、不可抗力で登壇者登録できない場合もあるので、不公平になってしまわないか？
• 管理者をどう位置付けるか？
  • 会社のイベントに事務局として毎回機械的に管理者になっている場合など、アウトプットとして含むには不適切な場合もある
  • 一方で、実際には登壇しているが登壇者ではなく管理者として登録されている場合もある。
• 登壇した場合、イベントの規模（参加者数）などで配点に傾斜をつけるか
  • 大きなイベントで登壇した方がより大きな貢献をしていると考えることができる。
  • 一方で、100人のイベントが10人のイベント10回分の価値があるかと言われるとそうでもないので、どのような配点をするかは議論がある。

[rockymanobi]

👍 👍 👍 👍
(やりたい気持ちが強いので盲目的になっているかもしれませんが)

登壇した場合、イベントの規模（参加者数）などで配点に傾斜をつけるか

大規模イベントへの登壇のほうが、ハードルも高く、影響力も大きいのは事実なので、配点に傾斜をつける考え方には賛成です。
ただ、一方で、これからスコアを少しずつアップデートしていくという意味では、まずは「聴衆として参加」と「登壇者として参加」のギャップを埋めることを優先して、傾斜をつけずにスタートしてもよいかなと思いました！

[nunukim]

そうですね、一旦傾斜なしで参加をデバフする形でパラメータ調整しようと思います。

[rockymanobi]

Connpass で登壇者に登録されていないケースが多い問題をどうするか

登録が漏れのケアよりも、第一には登録していることをスコア計算の考慮に入れたほうがよさそうと感じたので、登壇した方には管理者の方とコミュニケーションをとって頂く...というのが現実線なのかなと思いました。

世の中的にもデータとして正しく表現される方向に向かうというのもありますかね

[nunukim]

そうですね。スコアの信頼性・納得感の観点からは、偽陰性よりも偽陽性をよりケアすべきですね。
スコアに算入するためには発表者として登録いただく、ということで。

[ryo-endo]

会社のイベントに事務局として毎回機械的に管理者になっている場合など、アウトプットとして含むには不適切な場合もある

私がまさにこれでして。
スコア計算やポートフォリオに含める含めないをイベント個別に設定できると嬉しいなと思いました。

デフォルトは加点でいいと思うのですが、利用者自身が実情との違和感を感じたときに自身でコントロールしたい。

[nunukim]

今回は「発表者」だけを対象とし、管理者は通常の参加と同様にナーフする形にしようと思います。
対象とするかどうかを個別に選べるようにするかはまた追々・・・

[tktcorporation]

今回行う TechEvent スコアに対する調整について、方針をまとめましたので共有します。
以下の修正を v2.1.0 としてリリース予定です。

結論

• TechEventScore内の配点として、登壇をこれまでの2倍、参加をこれまでの1/10倍として計上する
• raw_tech_event_score の raw_e_score_v2 への寄与のパラメータも変更する
  • 調整を行っている箇所: https://github.com/lapras-inc/lapras-score-v2/blob/be9fc81c2f505bd47fb0746c25ae164371b6f35c/lib/lapras_score_v2/calculate_raw_e_score_v2.py#L30
    • a: 0.30 → 0.20
    • b: 0.27 → 0.54

なぜこの変更内容とするか

「登壇 vs 参加」の配点比

• 登壇: 2 / 参加: 0.1
  参加のみよりも登壇が大きく評価されるよう、スコア差を明確に設定しました。

技術力スコアへの影響調整

• 背景
  • 登壇回数を重ねていったときに、50回、100回と登壇を重ねても減衰があまりかからずスコアが伸び続けるようなパラメータが設定されていたためこれを修正します。
• 対応
  • TechEventスコアが低い段階(例: 登壇数が5回以下)では、これまでと大きな差が出ないようにしつつ、登壇数が多い場合は寄与が徐々に抑制されるような重み(パラメータ)に変更。
  • 具体的には、raw_tech_event_score が高くなり過ぎないよう全体スコアへの反映率にカーブを設け、50件登壇=raw_tech_event_scoreが100で約20%寄与が小さくなるように重みを変更しました。
    

その他論点のまとめ

Connpass で登壇者に登録されていないケースが多い問題をどうするか

• 方針
  「登壇者としてスコアを付与するには、Connpass上で『登壇者』登録がされていることを条件とする」
• 理由
  • 実際には登壇していないのにスコアがついてしまう“偽陽性”を避けるため。
  • 不可抗力で登録できない例も考えられますが、まずは「正しく登録された登壇実績のみ評価」することを重視する。

管理者の扱い

• 方針
  • 管理者/主催者は参加者と同様に重みを0.1倍とする
• 理由
  • 「参加していない管理者/主催者をスコアリング対象とすべきか」という論点はあるが、今回は「登壇と参加」のパラメータ変更にフォーカスした変更とするため変更は加えない。

イベント規模による差の扱い

• 方針
  参加人数の大小などでスコアを変えることは継続検討とする。
• 理由
  • 参加人数によって傾斜をつけることには意義があると思われるが、今回のリリースには含めず、継続検討とする。

[nunukim]

v2.1.0でリリースされました 🚀
lapras-inc/lapras-score-v2#2