夜間収集フリートは終了。手元の約 2,070 万対話に対し、今夜 2ch.sc 全 849 板の過去ログを実測センサスした結果、掘り済みは推定全量の約 4% と判明した。代表 6 板の試掘実測も踏まえると、全戦略の完遂で対話数は 1.3〜2.5 億(現在の 6〜12 倍)まで伸ばせる見込み。
| プラットフォーム | 収集単位 | 対話数 | 収集効率 対話/リクエスト実測 | 判定 |
|---|---|---|---|---|
| 5ch (2ch.sc) | 73 板 / 65 万スレ | 20,210,482 | 28.2 (板差 0.4〜320) | 主力・続行 |
| したらば | 775 板 / 3.1 万スレ | 450,285 | ~11 | 第 2 鉱脈・続行 |
| ニコニコ大百科 | 1,242 記事 | 42,130 | 1.6 | 日次トリクルに縮小 |
| Misskey | local TL 55 日分 | 11,657 | 0.29 | 打ち切り |
| ふたば / 5ch.io | 試掘のみ | 107 | — | 保留 |
| 合計 | — | 20,714,661 | — | — |
実測で 約 100 倍の効率差がある。時間あたりでは差はさらに開く(2ch.sc は 0.3s 間隔 × サーバ並列が可能)。ユーモアが対話単位に散在する以上「量 × 後段フィルタ」が正攻法であり、増量投資は 2ch.sc としたらばにほぼ全振りすべき、が結論。
| 残量の内訳 | 残スレ数 レス15+ | 実測/推定 対話収率 | 対話換算 | 所要 0.3s間隔 |
|---|---|---|---|---|
| 雑談・アイドル・ニュース系 未収集 780 板 + poverty/狼/news の残り | ~600 万 | 10〜90 /スレ 実測+試掘 | +6,600 万〜1.5 億 | 3〜5 日 サーバ並列 |
| livejupiter なんJ・上限で切断 | 434 万 | 8.6 /スレ 実測 | +3,700 万 | 15 日 単一サーバ律速 |
| news4vip VIP・上限で切断 | 291 万 | 3.1 /スレ 実測 | +900 万 | 10 日 同上 |
| TV・スポーツ実況系 livenhk 等 | ~115 万 | 低い見込み 未実測 | 試掘してから判断 | — |
未収集の大型板 6 つを試掘して収率を実測した: 芸スポ+ 87.3(8,148 スレの本格実測)、東アジア+ 320 / 競馬 152 / スマホアプリ 96 / 地下アイドル 60(各 50 スレ)、モ娘(狼) 2.6(ID 非表示板は低い)。板差は 300 倍あるが、大型板ほど収率が高い傾向がはっきり出ている。
| 施策 | 計算根拠 | 保守シナリオ | 中央シナリオ |
|---|---|---|---|
| ① 未収集 780 板ディグ | 419 万スレ × 収率 10〜30 (試掘 60〜320 を深さバイアスで割引) | +4,200 万 | +1.26 億 |
| ① poverty / news / 狼 の上限解除 | 残 182 万スレ × 実測収率 15.3 / 33.5 / 2.6 | +2,450 万 | +2,450 万 |
| ② livejupiter + news4vip | 残 725 万スレ × 実測収率 8.6 / 3.1 | +4,630 万 | +4,630 万 |
| ③ したらば 上限解除 + 全カテゴリ走査 | 実測: 解除分 +10 万。残 ID 空間 28 万 × 9〜24 対話/ID | +280 万 | +500 万 |
| ④ ニコ百 日次 cron | +500〜2,000 対話/日 × 90 日 | +5 万 | +15 万 |
| — Misskey / ふたば | 打ち切り / 保留 | +0 | +0 |
| 到達対話数 (現在 2,071 万 + 上記) | — | ~1.3 億 | ~2.2 億 |
| humor≥4 の上澄み (~10%) | Haiku 対話単位フィルタ後 | ~1,300 万 | ~2,200 万 |
最大の不確実性は①未収集板の平均収率(試掘は大型板・新しめスレに偏る)。①を 1〜2 日掘った時点の実測で全体見積もりを更新するのが前提。それでも保守側に倒しても現在の 6 倍、上澄みだけで open2ch 全体の 1.6〜2.7 倍に届く。
全量掘ると raw+normalized で ~1.7TB、NAS 空きは 1.2TB で足りない。dat はテキストなので gzip で 1/4 になる(ふたばで実装済みの方式を 2ch.sc に展開)。これを先にやらないと途中でディスクが尽きる。
高収率が実証されている雑談・生活・アイドル・ニュース系から効率順に。news の残り(33.5 対話/スレ)と poverty・狼の上限解除も含む。13 サーバ並列で回せば大半が 3〜5 日で終わる。今回のセンサス結果(板→サーバ→残量)をそのまま作業リストにできる。
収率は低い(8.6 / 3.1)が物量が別格。単一サーバ律速なので常駐ジョブとして裏で回し続けるのが正解。急ぐなら間隔を 0.1s に詰めて 5 日/3.4 日(ユーザー方針上は許容範囲)。
上限 123 板の解除は実測で +10 万どまり(残スレは ID 非表示板に集中)。本命は走査の拡大: 全カテゴリの ID 空間は約 29 万で走査済みはまだ 3%、しかも game カテゴリは ID 61,485 まで存在し未走査の新しい帯(52,000〜61,485)が丸ごと残っている。
ニコ百はキャッシュをほぼ消化済み → discover フィードの日次 cron(+500〜2,000 対話/日のトリクル ≒ 四半期 +5〜15 万)に縮小。53.5 万記事の総当たりは 18 日かかる割に大半が過疎で却下。Misskey は 0.29 対話/req で打ち切り。ふたば(FTBucket 統合)は品質最高だが量が僅少なので保留。
採点は収集と独立に回せる。手元の約 2,100 万対話への全量バッチ採点は 約 $1,000〜1,500(Haiku 4.5 バッチ 50% 引き)。humor≥4 の上澄み ~210 万対話を先に切り出せば、収集完了を待たずに CPT v1 データセットが作れる。全戦略完遂後の 1.3〜2.2 億を全量採点する場合は $7,000〜16,000 になるため、その段階では事前フィルタ(長さ・NG・板単位の足切り)で採点対象を絞る。
ユーモアは板やプラットフォームではなく対話単位に散在する(全ソース humor 平均 1.5〜2.5 の狭帯、humor≥4 は 7〜12%)。だから「良い板を選ぶ」より「大量に集めて対話単位でフィルタ」が正しく、上の戦略はすべてこの前提から導いている。抽出品質は噛み合い率 87〜96% で良好。