Continued Pre-Training — Data Status & Strategy

gemma4 ユーモア CPT データ収集 現況と戦略

収集済みは約 2,074 万対話 / 14.75 億トークン。2ch.sc 全板センサス(2026-07-12)と各プラットフォームの密度実測(2026-07-13)で残量を再試算し、保守 110 億 / 中央 180 億 tok まで伸ばせる見込み。品質は Haiku 対話単位採点でユーモア平均 1.77〜2.06 の狭帯・hi(≥4) 6.6〜11.4% と、板やプラットフォーム間の差は小さい。

2026-07-13 時点 / 収集ジョブ停止・品質採点継続中  ·  対話サンプルビューワ →
2,074
収集済み対話
6 プラットフォーム合算 · open2ch 814 万の 2.5 倍
14.75 億 tok
収集済みトークン
tiktoken o200k 実測換算 (0.78〜0.82 tok/字)
110〜180 億 tok
到達見込み (保守/中央)
現収集分 + 残量再試算。詳細は下のカード
6.6〜11.4 %
humor≥4 の割合
Haiku 対話単位採点 (n≈4,921 / 2026-07-13)

プラットフォーム別 収集状況と面白さ分布

ターン数: 2 3 4–5 6–9 10–19 20+ 面白さ: 1 2 3 4 hi 5 hi
5ch (2ch.sc)主力・続行
2,021 万対話
73 板 / 65 万スレ · 全体の 97.5%
= 14.33 億 tok (0.808 tok/字)
51%1
27%2
16%3
6.5%4
0.1%5
humor 平均1.79 hi (≥4)6.6% 噛み合う87% n1,000
対話ターン数の分布
2ターン 86.9%3 8.4%4–5 3.5%6–9 1.0%10+ 0.2%
取得可能 (残) +1.3億+2.2億 対話 +92 〜 156 億 tok 2026-07-12 全板センサス + 6 板試掘実測。①未収集 780 板を掘り始めた 1〜2 日でパイロット実測により更新予定。
したらば第 2 鉱脈・続行
47.7 万対話
775 板 / 3.2 万スレ
= 0.377 億 tok (0.821 tok/字)
52%1
26%2
15%3
6.3%4
0.3%5
humor 平均1.77 hi (≥4)6.6% 噛み合う95% n997
対話ターン数の分布
2ターン 83.6%3 8.2%4–5 6.5%6–9 1.5%10+ 0.2%
取得可能 (残) +523 万+1,066 万 対話 +4.1 〜 8.4 億 tok 2026-07-13 無作為サンプリング実測。過去ログ倉庫込み — アーカイブ寄与は 9〜35 万で軽微、本命は全 ID 空間走査。
ニコニコ大百科推定実測中
4.21 万対話
1,245 記事 · 現時点で確定
= 0.040 億 tok (0.813 tok/字)
46%1
24%2
21%3
8.8%4
0.5%5
humor 平均1.93 hi (≥4)9.3% 噛み合う94% n998
対話ターン数の分布
2ターン 94.4%3 4.7%4–5 0.9%6+ 0.1%
取得可能 (残) 目安 +121 万 対話 +1.16 億 tok 全 53.5 万記事プローブ実測中 — 実測値で更新予定。効率下位のため戦略上は凍結継続。
Misskey拡張候補
1.17 万対話
local TL 55 日分
= 78 万 tok (0.782 tok/字)
50%1
24%2
16%3
10%4
0.3%5
humor 平均1.87 hi (≥4)10.5% 噛み合う94% n1,000
対話ターン数の分布 — 最も長尾に厚い
2ターン 61.4%3 24.1%4–5 11.1%6–9 3.1%10+ 0.3%
取得可能 (残) +110 万+320 万 対話 +0.74 〜 2.14 億 tok 全履歴遡行可を実測確認。母数は 1.69 億 note。上記は mastodon の実測ファネル密度からの粗い外挿。
Mastodon新規・収集中
326 対話
収集中 → 1,200 対話予定 (mstdn.jp + maud.io)
= 2.3 万 tok (0.803 tok/字)
46%1
30%2
13%3
11%4
0%5
humor 平均1.90 hi (≥4)11.4% 噛み合う92% n326 暫定
対話ターン数の分布 (scored サンプルから)
2ターン 32.8%3 32.5%4–5 28.8%6–9 5.5%10+ 0.3%
取得可能 (残) +26 万+64 万 対話 +0.18 〜 0.45 億 tok 2026-07-13 mstdn.jp + maud.io の密度実測。長尾ターン分布が唯一 6 割超という特徴、hi 率も最高で密度は良好。
ふたば / 5ch.io流量型・保留
601 対話
品質は最上位だが量が僅少
= 4.8 万 tok (0.825 tok/字)
34%1
35%2
24%3
7.8%4
0%5
humor 平均2.06 最高 hi (≥4)7.8% 噛み合う90% n600 暫定
対話ターン数の分布
2ターン 86.0%3 12.1%4–5 1.9%
取得可能 (残) 流量型 — 総量推定は保留 live のみ・過去ログ実質なし 継続的に発生し続けるが在庫は存在しない。品質は humor 平均 2.06 で最高だが、量の伸びしろは時間依存。

面白さ (humor) はプラットフォーム差が小さい — 平均 1.77〜2.06、hi(≥4) は 6.6〜11.4% の帯に全てが収まる。噛み合い率は 87〜95% で抽出品質は良好。ふたば・Mastodon が humor 平均で上位に来るのは長尾ターン分布が厚いためで、対話が続くほど採点が上がる傾向と整合する。しかし量では 2ch.sc としたらばが桁違いのため、増量投資は引き続き「量 × 対話単位フィルタ」で 2ch.sc・したらばに全振り。

2ch.sc 全板センサス(今夜実測)

「5ch はほぼ頭打ち」は誤りだった。 全 849 板の過去ログ倉庫をサンプリング実測(板ごとに kako インデックス + subject.txt 3 点、dat 実在も 40/40 で確認)。レス 15 以上のスレが残り約 1,440 万あり、掘り済み 64 万スレは全量の約 4%。前回「頭打ち」の根拠は 10 万スレ/板 の自前上限に当たっただけで、鉱脈自体は残っていた。
残量の内訳残スレ数 レス15+実測/推定 対話収率対話換算所要 0.3s間隔
雑談・アイドル・ニュース系 未収集 780 板 + poverty/狼/news の残り~600 万10〜90 /スレ 実測+試掘+6,600 万〜1.5 億3〜5 日 サーバ並列
livejupiter なんJ・上限で切断434 万8.6 /スレ 実測+3,700 万15 日 単一サーバ律速
news4vip VIP・上限で切断291 万3.1 /スレ 実測+900 万10 日 同上
TV・スポーツ実況系 livenhk 等~115 万低い見込み 未実測試掘してから判断

未収集の大型板 6 つを試掘して収率を実測した: 芸スポ+ 87.3(8,148 スレの本格実測)、東アジア+ 320 / 競馬 152 / スマホアプリ 96 / 地下アイドル 60(各 50 スレ)、モ娘(狼) 2.6(ID 非表示板は低い)。板差は 300 倍あるが、大型板ほど収率が高い傾向がはっきり出ている。

戦略別の伸びしろ試算 — どこまで増やせるか

施策計算根拠保守シナリオ中央シナリオ
① 未収集 780 板ディグ419 万スレ × 収率 10〜30 (試掘 60〜320 を深さバイアスで割引)+4,200 万+1.26 億
① poverty / news / 狼 の上限解除残 182 万スレ × 実測収率 15.3 / 33.5 / 2.6+2,450 万+2,450 万
② livejupiter + news4vip残 725 万スレ × 実測収率 8.6 / 3.1+4,630 万+4,630 万
③ したらば 上限解除 + 全カテゴリ走査実測: 解除分 +10 万。残 ID 空間 28 万 × 9〜24 対話/ID+280 万+500 万
— ニコ百 凍結全記事総当たりでも 52.5 万記事 × 実測 2.31 対話/記事 = +121 万。ただし 0.96 対話/req・44 日 → 却下+0+0
— Misskey / ふたば打ち切り / 保留+0+0
到達対話数 (現在 2,071 万 + 上記)~1.3 億~2.2 億
humor≥4 の上澄み (~10%)Haiku 対話単位フィルタ後~1,300 万~2,200 万

最大の不確実性は①未収集板の平均収率(試掘は大型板・新しめスレに偏る)。①を 1〜2 日掘った時点の実測で全体見積もりを更新するのが前提。それでも保守側に倒しても現在の 6 倍、上澄みだけで open2ch 全体の 1.6〜2.7 倍に届く。

選定した戦略 — 効率順に掘る

0

前提整備: raw の gzip 化(半日)

全量掘ると raw+normalized で ~1.7TB、NAS 空きは 1.2TB で足りない。dat はテキストなので gzip で 1/4 になる(ふたばで実装済みの方式を 2ch.sc に展開)。これを先にやらないと途中でディスクが尽きる。

1

2ch.sc 非実況系 780 板を全量ディグ

高収率が実証されている雑談・生活・アイドル・ニュース系から効率順に。news の残り(33.5 対話/スレ)と poverty・狼の上限解除も含む。13 サーバ並列で回せば大半が 3〜5 日で終わる。今回のセンサス結果(板→サーバ→残量)をそのまま作業リストにできる。

期待収量 +6,600万〜1.5億所要 3〜5 日コスト 電気代のみ
2

livejupiter / news4vip を低速常駐で継続

収率は低い(8.6 / 3.1)が物量が別格。単一サーバ律速なので常駐ジョブとして裏で回し続けるのが正解。急ぐなら間隔を 0.1s に詰めて 5 日/3.4 日(ユーザー方針上は許容範囲)。

期待収量 +4,600万所要 10〜15 日(常駐)
3

したらば: 80 スレ上限の解除 → 全カテゴリ走査

上限 123 板の解除は実測で +10 万どまり(残スレは ID 非表示板に集中)。本命は走査の拡大: 全カテゴリの ID 空間は約 29 万で走査済みはまだ 3%、しかも game カテゴリは ID 61,485 まで存在し未走査の新しい帯(52,000〜61,485)が丸ごと残っている。

期待収量 +280万〜500万所要 3〜4 日
4

縮小・打ち切り

ニコ百は凍結(4.2 万対話で確定)。実測で対話の 42% は「BBS 新着フィードで見つけた活発 90 記事」由来(199 対話/記事)で、リアルタイム収集を対象外とすると残る手段は全記事総当たりのみ。それは 2.31 対話/記事 × 52.5 万 = +121 万だが 0.96 対話/req・44 日かかり効率最下位のため却下。Misskey は 0.29 対話/req で打ち切り。ふたば(FTBucket 統合)は品質最高だが量が僅少なので保留。

収集と並行: Haiku 対話単位スコアリングを開始

採点は収集と独立に回せる。手元の約 2,100 万対話への全量バッチ採点は 約 $1,000〜1,500(Haiku 4.5 バッチ 50% 引き)。humor≥4 の上澄み ~210 万対話を先に切り出せば、収集完了を待たずに CPT v1 データセットが作れる。全戦略完遂後の 1.3〜2.2 億を全量採点する場合は $7,000〜16,000 になるため、その段階では事前フィルタ(長さ・NG・板単位の足切り)で採点対象を絞る。

コスト ~$1,000〜1,500成果物 高密度ユーモア ~200万対話

品質の前提(確定済みの知見)

ユーモアは板やプラットフォームではなく対話単位に散在する(全ソース humor 平均 1.5〜2.5 の狭帯、humor≥4 は 7〜12%)。だから「良い板を選ぶ」より「大量に集めて対話単位でフィルタ」が正しく、上の戦略はすべてこの前提から導いている。抽出品質は噛み合い率 87〜96% で良好。

数値の注記: