Continued Pre-Training — Data Status & Strategy

gemma4 ユーモア CPT データ収集 現況と戦略

夜間収集フリートは終了。手元の約 2,070 万対話に対し、今夜 2ch.sc 全 849 板の過去ログを実測センサスした結果、掘り済みは推定全量の約 4% と判明した。代表 6 板の試掘実測も踏まえると、全戦略の完遂で対話数は 1.3〜2.5 億(現在の 6〜12 倍)まで伸ばせる見込み。

2026-07-12 23時 時点 / 全収集ジョブ停止中  ·  対話サンプルビューワ →
2,071
収集済み対話
open2ch 814 万の 2.5 倍(試掘 +74 万含む)
1.3〜2.5
全戦略完遂後の到達見込み
中央シナリオ ~2 億。下の試算表参照
1,440
未回収スレ(実測)
2ch.sc 過去ログ・レス15以上のみ
~10 %
humor≥4 の割合
Haiku 評価。対話単位で散在

プラットフォーム別 最終集計

プラットフォーム収集単位対話数収集効率 対話/リクエスト実測判定
5ch (2ch.sc)73 板 / 65 万スレ20,210,48228.2 (板差 0.4〜320)主力・続行
したらば775 板 / 3.1 万スレ450,285~11第 2 鉱脈・続行
ニコニコ大百科1,242 記事42,1301.6凍結(4.2 万で確定)
Misskeylocal TL 55 日分11,6570.29打ち切り
ふたば / 5ch.io試掘のみ107保留
合計20,714,661

効率の物差し — 1 リクエストで対話が何件取れるか

2ch.sc28.2 対話/req · 0.3s間隔
したらば~11 対話/req · 1s間隔
ニコ百1.6 対話/req · 3s間隔
Misskey0.29 対話/req · 1s間隔

実測で 約 100 倍の効率差がある。時間あたりでは差はさらに開く(2ch.sc は 0.3s 間隔 × サーバ並列が可能)。ユーモアが対話単位に散在する以上「量 × 後段フィルタ」が正攻法であり、増量投資は 2ch.sc としたらばにほぼ全振りすべき、が結論。

2ch.sc 全板センサス(今夜実測)

「5ch はほぼ頭打ち」は誤りだった。 全 849 板の過去ログ倉庫をサンプリング実測(板ごとに kako インデックス + subject.txt 3 点、dat 実在も 40/40 で確認)。レス 15 以上のスレが残り約 1,440 万あり、掘り済み 64 万スレは全量の約 4%。前回「頭打ち」の根拠は 10 万スレ/板 の自前上限に当たっただけで、鉱脈自体は残っていた。
残量の内訳残スレ数 レス15+実測/推定 対話収率対話換算所要 0.3s間隔
雑談・アイドル・ニュース系 未収集 780 板 + poverty/狼/news の残り~600 万10〜90 /スレ 実測+試掘+6,600 万〜1.5 億3〜5 日 サーバ並列
livejupiter なんJ・上限で切断434 万8.6 /スレ 実測+3,700 万15 日 単一サーバ律速
news4vip VIP・上限で切断291 万3.1 /スレ 実測+900 万10 日 同上
TV・スポーツ実況系 livenhk 等~115 万低い見込み 未実測試掘してから判断

未収集の大型板 6 つを試掘して収率を実測した: 芸スポ+ 87.3(8,148 スレの本格実測)、東アジア+ 320 / 競馬 152 / スマホアプリ 96 / 地下アイドル 60(各 50 スレ)、モ娘(狼) 2.6(ID 非表示板は低い)。板差は 300 倍あるが、大型板ほど収率が高い傾向がはっきり出ている。

戦略別の伸びしろ試算 — どこまで増やせるか

施策計算根拠保守シナリオ中央シナリオ
① 未収集 780 板ディグ419 万スレ × 収率 10〜30 (試掘 60〜320 を深さバイアスで割引)+4,200 万+1.26 億
① poverty / news / 狼 の上限解除残 182 万スレ × 実測収率 15.3 / 33.5 / 2.6+2,450 万+2,450 万
② livejupiter + news4vip残 725 万スレ × 実測収率 8.6 / 3.1+4,630 万+4,630 万
③ したらば 上限解除 + 全カテゴリ走査実測: 解除分 +10 万。残 ID 空間 28 万 × 9〜24 対話/ID+280 万+500 万
— ニコ百 凍結全記事総当たりでも 52.5 万記事 × 実測 2.31 対話/記事 = +121 万。ただし 0.96 対話/req・44 日 → 却下+0+0
— Misskey / ふたば打ち切り / 保留+0+0
到達対話数 (現在 2,071 万 + 上記)~1.3 億~2.2 億
humor≥4 の上澄み (~10%)Haiku 対話単位フィルタ後~1,300 万~2,200 万

最大の不確実性は①未収集板の平均収率(試掘は大型板・新しめスレに偏る)。①を 1〜2 日掘った時点の実測で全体見積もりを更新するのが前提。それでも保守側に倒しても現在の 6 倍、上澄みだけで open2ch 全体の 1.6〜2.7 倍に届く。

選定した戦略 — 効率順に掘る

0

前提整備: raw の gzip 化(半日)

全量掘ると raw+normalized で ~1.7TB、NAS 空きは 1.2TB で足りない。dat はテキストなので gzip で 1/4 になる(ふたばで実装済みの方式を 2ch.sc に展開)。これを先にやらないと途中でディスクが尽きる。

1

2ch.sc 非実況系 780 板を全量ディグ

高収率が実証されている雑談・生活・アイドル・ニュース系から効率順に。news の残り(33.5 対話/スレ)と poverty・狼の上限解除も含む。13 サーバ並列で回せば大半が 3〜5 日で終わる。今回のセンサス結果(板→サーバ→残量)をそのまま作業リストにできる。

期待収量 +6,600万〜1.5億所要 3〜5 日コスト 電気代のみ
2

livejupiter / news4vip を低速常駐で継続

収率は低い(8.6 / 3.1)が物量が別格。単一サーバ律速なので常駐ジョブとして裏で回し続けるのが正解。急ぐなら間隔を 0.1s に詰めて 5 日/3.4 日(ユーザー方針上は許容範囲)。

期待収量 +4,600万所要 10〜15 日(常駐)
3

したらば: 80 スレ上限の解除 → 全カテゴリ走査

上限 123 板の解除は実測で +10 万どまり(残スレは ID 非表示板に集中)。本命は走査の拡大: 全カテゴリの ID 空間は約 29 万で走査済みはまだ 3%、しかも game カテゴリは ID 61,485 まで存在し未走査の新しい帯(52,000〜61,485)が丸ごと残っている。

期待収量 +280万〜500万所要 3〜4 日
4

縮小・打ち切り

ニコ百は凍結(4.2 万対話で確定)。実測で対話の 42% は「BBS 新着フィードで見つけた活発 90 記事」由来(199 対話/記事)で、リアルタイム収集を対象外とすると残る手段は全記事総当たりのみ。それは 2.31 対話/記事 × 52.5 万 = +121 万だが 0.96 対話/req・44 日かかり効率最下位のため却下。Misskey は 0.29 対話/req で打ち切り。ふたば(FTBucket 統合)は品質最高だが量が僅少なので保留。

収集と並行: Haiku 対話単位スコアリングを開始

採点は収集と独立に回せる。手元の約 2,100 万対話への全量バッチ採点は 約 $1,000〜1,500(Haiku 4.5 バッチ 50% 引き)。humor≥4 の上澄み ~210 万対話を先に切り出せば、収集完了を待たずに CPT v1 データセットが作れる。全戦略完遂後の 1.3〜2.2 億を全量採点する場合は $7,000〜16,000 になるため、その段階では事前フィルタ(長さ・NG・板単位の足切り)で採点対象を絞る。

コスト ~$1,000〜1,500成果物 高密度ユーモア ~200万対話

品質の前提(確定済みの知見)

ユーモアは板やプラットフォームではなく対話単位に散在する(全ソース humor 平均 1.5〜2.5 の狭帯、humor≥4 は 7〜12%)。だから「良い板を選ぶ」より「大量に集めて対話単位でフィルタ」が正しく、上の戦略はすべてこの前提から導いている。抽出品質は噛み合い率 87〜96% で良好。

数値の注記: