筆者（p1ass氏）が、AIが生成した日本語に頻出する単語・言い回しを検出するtextlintルールプリセット「textlint-rule-preset-ai-words-ja」を開発し、その仕組みを紹介しています。検出対象は「効く」「踏み込む」「照合」「実測」「切り分ける」などを含む50語の単語・表現です。
実装では形態素解析にkuromojin、トークン比較にmorpheme-match-textlintを使用し、決定論的にAI特有の表現を検出できる点が特徴です。参考にした逆瀬川氏の分析では、2019〜2022年と2026年の約7万件のQiita記事が比較されたとのことです。「AIが書いた日本語に出てきやすい単語と言い回しを見つけることで、文章のクオリティーを一定に保つうえで役立つ」と紹介されています。
出典が伝えている要点
- 筆者は「textlint-rule-preset-ai-words-ja」というtextlintルールプリセットを作った
- このプリセットはAIが生成した日本語に出てきやすい単語・表現を検出する
- 検出対象は「効く」「踏み込む」「照合」「実測」「切り分ける」などを含む50語の単語・表現
- 実装には形態素解析にkuromojin、トークン比較にmorpheme-match-textlintを使用している
- 検出手法は決定論的にAI特有の表現を指摘するものである
- 参考にした逆瀬川氏の分析では2019〜2022年と2026年の約7万件のQiita記事が比較された
原文より
AI が書いた日本語に出てきやすい単語と言い回しを見つけることで、文章のクオリティーを一定に保つうえで役立つ
出典: blog.p1ass.com