NLP / DOCUMENT UNDERSTANDING

文書の見た目から、
機械の理解を考える。

同じ文章でも、書体や余白、見出しが変わると、機械は同じ構造を読み取れるのでしょうか。文書構造の理解と RAG における検索の関係を研究し、文書を根拠に回答するシステムを開発しています。

東京科学大学 · 修士1年 · NLP · 中国からの留学生
2028年修了予定 / AI・MLエンジニア・研究開発職を志望 / 前職：銀行基幹システムのバックエンド開発

成果物を見る研究の背景を読む GitHub

「複雑な表」「ページ間」「図と本文」で、文書を見る視点を切り替えられます。

FIG. 01 / DOCUMENT ATLASSELECT A LENS

一枚の中に、いくつもの構造。

見出し、表、図、注。それぞれの関係が、文書の読み方をつくります。

関係を順にたどる →

観察台は自作資料の説明用図です。モデルの出力や実験結果ではありません。

01成果物

成果物の一覧を見る →

PROJECT 01公開デモあり・保守中

J-Grad Admission RAG

日本の大学院募集要項から、出願に関する情報を出典ページとともに確認できる検索システムです。

PROJECT 02開発中（第2段階：字幕・返答候補・資料参照・復習が動作）

Japanese Speaking Coach

会話中の聞き取りと返答を支える Windows アプリです。PC 音声をふりがな付き字幕にし、発話の区切りで「そのまま言える」返答候補を3つ表示します。推奨の返答は結論を先に示し、自分の授業資料から出典付きで答えることもできます。

02研究マップ

文献 → 研究の方向 → 自分の問い

文書を根拠に回答する仕組みで、必要な根拠が処理の途中で失われないかを研究しています。RAG は、関連資料を検索し、その内容を参照して回答する方法です。文書には、廃止された規則や例外条件が含まれることがあります。文字を読み取れても、規則の有効性や適用条件を取り落とすと、もっともらしい誤答につながります。同じ文章の状態表示や見た目を変え、検索・読解・根拠の選択のどの段階で違いが生じるかを分けて確かめることが狙いです。

T1テキスト・構造RAGにおける根拠の意味と構造の保持開発時の観察あり T2視覚テキスト理解における失敗要因の切り分け準備中 T3タイポグラフィの変化に対するページ単位の画像検索の安定性準備中 T4受動的なタイポグラフィと根拠の取捨選択候補

正式な結論に達したテーマはまだありません。各テーマの状態は下の四段階で示します。 · 文献65件 · 研究方向7件 · テーマ4件 · 関連183件

03AI協働の記録

記録を読む →

AI に何を任せ、どこで判断し直したのかを記録しています。成果だけでなく、私の判断と検証の過程も残しています。

AI との進め方や検証のしかたから、個別の設計の問題へ。ほかの開発にも応用しやすい順に並べています。

記録の構成

出来事 → 判断と修正 → 根拠

最終更新 2026-10-26