記録 01七つの版を作り直した。間違っていたのは道具ではなく、進め方だった
記録 01 / 2026-10-30
七つの版を作り直した。間違っていたのは道具ではなく、進め方だった
一日で七つの版を作り、七つとも作り直しになりました。HTML から PDF を出す道具は一度も止まらなかった——止まらなかったからこそ、間違いも速く積み上がりました。
01 何が起きたか
- 「流れ」を出力の仕組みだけだと思っていました。切る、描く、はみ出しを見る。そこは数分で回ります。けれど「この頁に何を置き、なぜか」を決める関所がどこにもなく、そのうえ七頁をまとめて作って見せていました。判断が一つ違えば七頁が同時に違い、道具が速いほど間違いも速く出ます。
- 言葉どおりに動いて、意図を確かめませんでした。「規則を出して」と言われて十二条の規則を作り、その規則を守るために良い素材を外した。「定稿」と言われた文章を逐語で条目に落とした。合う素材が無い頁にも、数字の表や箱の流れ図を置いた——「無ければ空けておいて」と言われていたのに。どれも「読む人はこの頁で何を受け取るか」を一度も問わなかったことの現れです。
- 文章は指摘を受けるたびに一文ずつ継ぎ足したもので、頁と頁のつながりを通して書き直したことがありませんでした。数字に対する慎重さがそのまま版面に漏れ、どの頁にも灰色の但し書きが付きました。そして作り手が三者——本人、私、別の AI——いて、誰が最終版に責任を持つかが決まっていなかった。版は増えても、良くはなりませんでした。
02 判断と修正
- 順番を固定し、各段階で一つだけ見せる。相手の骨組み → 続けて読める文章 → 削る（最後の頁が回収するものだけ残す）→ 一頁か一枚の図で方向を決める → 残りを作る。道具の検査は下限だけ（はみ出さない、字が小さすぎない、但し書きを頁ごとに置かない）。「毎頁に図が要る」のような上限は作らない。素材が無い頁は空けて「未定」と書く。
- 始める前に確かめる——読むのは誰で、何分で、何を一文で持ち帰ってほしいか。「良い」の参照は形容詞ではなく実物を二、三枚。素材の可・不可・空けてよい。そして誰が最終版を決めるか。言われた言葉を実行する前に、この質問を必ず先に置く。
根拠課題選考デッキ v3〜v7 の作業記録（非公開）process · design · communication
記録 02 / 2026-09-26 / J-Grad Admission RAG
AI に何度も使いを頼むのをやめ、資料を一式そろえて一度だけ渡した
「在職中の人がこの専攻に出願するとき、英語の成績は要りますか」——この一問に答えるのに、画面は 30 秒待ってから「タイムアウト」と表示していました。
01 何が起きたか
- 最初の作りは、一つの質問をいくつかの小さな質問に分け、その一つひとつを AI に別々に尋ね、返事を型に流し込んでつなぐ、というものでした。使いを何度も頼んでいるようなもので、一回ごとに待ち時間が積み上がりました。
- 時間を区切って計ると、質問の理解には成功し、文章を書く段階で外部サービスの制限時間にぶつかっていました。
- 制限時間を延ばしても、失敗が少し遅くなるだけです。
02 判断と修正
- 順番を変えました。質問を一度理解したら、資料を探す・学校の範囲で絞る・ルールを照合する、という確定できる作業はすべて手元のプログラムで済ませ、集めた根拠を一つの束にして AI に渡し、文章を一度だけ書いてもらいます。同じ質問が二度来たら、前の答えをそのまま返します。
- AI の呼び出しは、一つの質問につき多くても二回になりました。速くなったのは AI ではなく、AI に頼む回数です。
根拠Issue #171 ↗Issue #180 ↗ADR 0006 ↗RAG · latency · design
記録 03 / 2026-09-25 / J-Grad Admission RAG
検査を増やすほど、正しい答えが落ちていった
「情報工学系の英語は満点 100 点、面接はオンライン」——前半は資料にあり、後半は資料にありません。この回答は、私たちの検査をすべて通過しました。
01 何が起きたか
- AI が資料にないことを言わないように、私は「回答に根拠のない記述があれば、プログラムが必ず見つけること」を受け入れ条件に書きました。
- 一版目は言葉の一致を見る検査、二版目は単語ごとに意味を照らし合わせる検査。反例が見つかるたびに規則を足した結果、「最高で 100 点取れる」という正しい言い換えまで弾くようになりました。
- 三版目が文の主語と目的語を解析しはじめたところで、気づきました。私はもう、この検査が何をしているのか説明できませんでした。自動テストはずっと合格のままでした。
02 判断と修正
- この方向をやめました。「資格があるか」「何を出すか」のような判断は、人がレビューしたルールにプログラムが従って答え、AI には文章にする役目だけを残します。AI の回答には「参考」と明示します。
- 以後の決まり：反例は原因を探す手がかりであって、そのまま新しい規則にはしない。そして、自分で説明できない仕組みは、テストが合格でも使わない。
根拠PR #176 ↗PR #178 ↗PR #179 ↗LLM · review · scope
記録 04 / 2026-10-24
禁止事項だらけの指示書が、監査報告みたいな返事を生んだ
「三回の実行権限は使い切りました。四回目の権限はありません。未知の使用量は全額占有のまま保持します。」——AI が何を理解したのか、読んでも分かりませんでした。
01 何が起きたか
- 原因は、私が書いた指示書にありました。禁止事項と用語の定義だけで、何のための仕事なのかが一行もありませんでした。
- AI は指示書の文体を鏡のように返します。禁止が多いほど、「〜とはみなしません」という自己弁護が増えました。
- 要件を深掘りするための道具を足しても変わりませんでした。問題は要件ではなく、文章の目的が書かれていないことでした。
02 判断と修正
- 指示書の先頭に三つの文を置くようにしました。何のためか、誰が使うか、何ができたら終わりか。禁止事項は、元に戻せない操作だけに絞りました。
- 翌日、同じ AI の言い直しはこうでした。「日本の AI 職の要件とあなたの成果を照らし合わせ、技術面の不足を短い報告にまとめて提出したら終了、と理解しました。」
根拠COLLABORATION.md（内部）agents · prompting
記録 05 / 2026-09-28 / J-Grad Admission RAG
「分からない」を「いいえ」にしない
在職かどうかを入力していない人に、システムは「在職証明の提出は不要です」と答えていました。本当の答えは「在職かどうかを確認してください」です。
01 何が起きたか
- 多くのプログラムは判断を「はい・いいえ」の二択で作ります。入力が空なら「いいえ」。その結果、「在職中の人は提出」という規則が、未入力の人には「提出不要」と読まれました。
- 出願の現場でいちばん怖いのは、この種の間違いです。「出さなくていい」と言われた学生は、確認しません。
- 東京大学の資料を追加したとき、この取り違えが一か所見つかりました。
02 判断と修正
- 判定は常に三択にしました。該当・非該当・情報不足。情報が足りないときは、何が足りないかを返します。
- この三択のしくみは一つだけ作り、両方の大学の条件判定が同じものを使います。学校ごとに判定の仕組みを増やさないのは、同じ間違いを二度直さないためです。
根拠PR #215 ↗ADR 0012 ↗rules · design · safety
記録 06 / 2026-10-01 / J-Grad Admission RAG
自分が伝言係になっていた
開発を担当する AI の要約を、設計を担当する AI に貼り、その返事をまた貼り戻す。気がつくと私は、小さな修正を往復させるだけで、何ができあがったのかを見ていませんでした。
01 何が起きたか
- 新しい書類を一つ追加するたびに、同じ内容を画面・レポート・出典の説明という別々の場所に書いていました。書く場所が増えるほど、どこかが古くなります。
- 私が伝言係になったのは、一つの質問に一つの返事、という細かい往復で進めていたからです。段階の区切りで成果をまとめて見る機会がありませんでした。
- 一つの書類を追加する作業が、人の判断ではなく転記で埋まっていました。
02 判断と修正
- やり方を二つ変えました。質問は一度にまとめて出し、修正は段階の終わりに成果一式としてまとめて受け取る。そして、人が確認した一つの整理表から、画面もレポートも設定も自動で生成する。
- 時間を測り比べた記録はないので、「何割速くなった」とは言いません。言えるのは、同じことを五か所に書く作業がなくなり、私が見るのは中身の正しさだけになったことです。
根拠PR #277 ↗PR #289 ↗ADR 0017 ↗agents · process
記録 07 / 2026-09-27 / J-Grad Admission RAG
二校目を入れたら、一校目の知識がコードの中から出てきた
何も入力していないのに、プログラムは東京科学大学の学院名を 25 件「見つけて」きました。知識は PDF からではなく、コードから来ていました。
01 何が起きたか
- 最初の学校の資料に合わせて書いたコードには、「7 ページ目は共通事項」「2027 年度の条項」「この学院はこの名前」といった知識が埋め込まれていました。一校だけのときは誰も気づきません。
- 東京大学の資料を同じコードに通すと、東京科学大学のページ割りや学院名がそのまま混ざります。
- これは自動で名前や関係を抜き出す方法が使えない証拠ではなく、作り方の問題でした。ただ、一校目で正しく動いたものが、二校目でも正しいとは限らないことを教えてくれました。
02 判断と修正
- 古いコードは「一校目専用」と名札を付けて隔離し、それ以外の学校には使えないようにしました。新しい学校の知識は、人がレビューした抜粋と関係からしか入れません。
- 以後、学校を追加するときの確認項目に一つ増えました。「前の学校の知識が、コードのどこかに残っていないか」。
根拠PR #208 ↗ADR 0011 ↗data · multi-school · testing
記録 08 / 2026-09-01 / J-Grad Admission RAG
「出典ページ付き」をうたいながら、半分以上のページが分からなかった
最初の本物の募集要項を読み込ませたとき、取り出した事実の半分以上が「何ページから来たか」を答えられませんでした。テストはすべて合格していました。
01 何が起きたか
- AI が書いたコードは、PDF のページ情報をいったん捨てて文章に変換し、あとから本文中の「Page N」という文字を探してページを推測していました。
- 見出しのない段落にはその文字がなく、ページが失われました。テストに使っていたのは見出しの付いた作り物のデータだったので、この経路は一度も通っていませんでした。
- 気づいたのは、本物の PDF から作った結果の中で「ページ：空」を数えたときです。
02 判断と修正
- ページ番号は、PDF を読んだ瞬間に各段落へ付け、最後まで持ち運ぶようにしました。表示用の文章から逆算することはしません。
- 以後、どの段階でも最初の区切りは「本物の PDF で端から端まで一度通す」になりました。作り物のデータで合格しても、それは始まりにすぎません。
根拠Issue #3 ↗PR #10 ↗RAG · data · testing
記録 09 / 2026-09-14 / J-Grad Admission RAG
テストは全部合格。数学系だけの例外が「全学共通」になっていた
「数学系では英語の成績の扱いが異なる」という一文が、「全学共通」の規則として登録されていました。隣の一文にはテストがあり、そちらは正しく「全学共通」でした。
01 何が起きたか
- 資料の各文に「誰に当てはまるか」を付ける処理で、大きな章の見出しを優先し、学系の名前を見るのを後回しにしていました。
- この種の間違いは、検索や回答の前の段階で起きます。「誰に当てはまるか」を取り違えると、出典も引用も正しく見えたまま、別の学生に別の学系の規則を当ててしまいます。
- テストは、直したかった一文だけを守っていました。
02 判断と修正
- 「全学共通」と判定できるのは、資料の構造上ほんとうに共通の位置にある段落だけに絞りました。特定の文や言葉を特別扱いする直し方はしません。
- 同じ本物の PDF から、隣り合う正しい例と間違った例を両方テストに加えました。一文を直すときは、隣の一文も一緒に確かめます。
根拠PR #108 ↗RAG · testing · scope
記録 10 / 2026-10-24 / J-Grad Admission RAG
README の数字に、裏付けの記録がなかった
公開ページに書いてあった検索の成績と、リポジトリに保存されていた唯一の結果ファイルの数字が、一致しませんでした。
01 何が起きたか
- 気づいたのは別の AI でした。公開リポジトリを読み、保存ファイルから成績を計算し直して「合わない」と報告してきました。
- リポジトリ全体を探すと、公開ページの数字は文章の中にしか存在せず、結果ファイルは一度しか保存されていませんでした。
- おそらく、保存対象外の作業フォルダで試した別の実行の数字が、文章にだけ残ったのだと思います。
02 判断と修正
- 三か所の数字を保存ファイルの値に訂正し、数字の横に「いつ、何問で、どのデータで測ったか」を書きました。古い文書にも訂正の一行を残しています。
- 以後、公開する数字は必ず保存された記録に結び付けます。記録がない数字は、たとえ覚えていても書きません。
根拠PR #300 ↗保存レポート ↗evaluation · honesty
記録 11 / 2026-09-26 / J-Grad Admission RAG
同じ索引が、すでに 5 か所にあった
動作確認を始めるたびに、7 分ほど待たされました。資料の索引を作り直しているのです。しかし索引は、とっくにできているはずでした。
01 何が起きたか
- 「索引を読み込む」と「索引を作る」が同じ関数に入っていて、置き場所が読めないと「存在しない」と判断して作り直していました。
- 直前に権限のエラーが出たとき、AI は新しい作業フォルダを作って解決しました。その結果、索引も丸ごと作り直されました。
- 数えてみると、まったく同じ中身の索引が 5 か所にありました。
02 判断と修正
- 決まりを三つ書きました。機能側は既存のデータを読み取り専用で使う。作り直し・複製・ダウンロードは、そのつど承認を得る。権限がないことと、データがないことを同一視しない。
- 「作る前に、あるものを数える」が、私がレビューで必ず見る項目になりました。
根拠Issue #183 ↗PR #184 ↗data · ownership
記録 12 / 2026-10-24 / Japanese Speaking Coach
文法は全部正しい。でも、その相手にその質問はおかしい
日本人の同僚に向かって、アプリは「日本に来てどれくらいですか？」と聞き返す返答を提案していました。形式も文法も丁寧さも、検査はすべて合格でした。
01 何が起きたか
- 同じ場所にいるのに「そちらはどうですか？」と聞く。相手が先に「お疲れさまです」と言ったのに、返さない。どれも文としては正しく、丁寧さの段階も合っていました。
- 自動の検査は満点でした。生成する側の AI の「自分で確認する」手順も、一度も止めませんでした。
- 気づいたのは、別に用意した評価役の AI です。相手の立場から読んで、二回続けて同じ指摘をしました。
02 判断と修正
- 返答の決まりに一つ足しました。聞き返しや挨拶は、相手の立場から見ても自然に成り立つこと。そのうえで、もう一度まとめて確認しました。
- 評価役も AI なので、同じ見落としをする可能性があります。最終的な判断は日本語を母語とする人の確認に置きますが、それはまだ行っていません。
根拠status.md ↗D-005 ↗evaluation · LLM-as-judge
記録 13 / 2026-09-27 / J-Grad Admission RAG
結論の出なかった実験を、結論の出なかった実験として閉じた
新しい PDF 解析ツールを試す比較実験で、処理したページ数が予算の二倍を超えていました。途中で中断と再開を繰り返し、どの結果がどの実行のものか分からなくなっていました。
01 何が起きたか
- 実験の設計では、決まったページ数の予算と、合格の基準をあらかじめ決めていました。予算は「結果が出るまで回し続ける」ことを防ぐための仕組みです。
- 途中で「代替として採用する」という案が出て、結論になりかけました。別の設定が止まったときは「このツールは遅い」と言いたくなりました。
- どちらも根拠が足りませんでした。止まった原因は、私たちが書いた監視プログラムの側にありました。
02 判断と修正
- 結果を良く見せるための再実行はせず、「不採用」として閉じました。実行した記録はすべて残し、検証できなかった項目を明記しています。
- 予算を超えた実験は、数字が良くても成立しません。これを、実験を始める前の約束として扱うことにしました。
根拠Issue #177 ↗ADR 0009 ↗evaluation · decision