跳到正文
阿里雲開發者社區 AI·· 4 天前AI 評分62

AI 引用檢測:用 60 行 Python 實作可復盤方案

AI 引用检测:60 行 Python 落地

AI 導讀

文章提出一套 AI 引用檢測方案,以固定問題集、同日取樣及分開計算提及率與引用率,並提供 60 行零第三方依賴的 Python 實作。方案建議固定 20 條問題,在同一天向三個平台各提問三次,並保留問題、平台、時間戳和答案原文。提及率衡量答案是否出現品牌,引用率只計自有網域連結;兩者對照可區分品牌未被關聯與內容未被視為信源。

正文

简介: AI 有没有引用你的内容,不能靠搜一下看看。这篇给一套可复盘的检测方案:20 条固定问题、同一天三平台各三次、提及率与引用率分开算,附 60 行零依赖 Python 实现,以及跑完之后那张表怎么读。

上一篇写的是《中文短文本相似度实测:字符 n-gram 的 n 该取几?》,那篇的问题很窄:n 取几,不靠经验,靠跑数。那篇末尾留了个尾巴,说下一步要把 embedding 余弦放进同一张表,看字面分和语义分在哪类样本上分开。那一组对照单独写,这篇先补更靠前的一步。

两篇底下是同一套做法,先把口径写死,再让代码去数。相似度那篇容易出错的地方,是把 n 当成一个约定俗成的值;这篇容易出错的地方,是把“提了一句”和“给了链接”混成同一个“还行”。

先补这一步的原因:语义分再准,也只回答“这两句话像不像”。客户要问的是“AI 有没有提我”,那问的是别人写出来的答案,不是两段文本之间的距离。口径没定下来,相似度算得再细也没地方落。

没有度量,后面所有优化都是猜。这篇给一套能落到本地的检测方案:一份固定的问题集、一条取样规则、一套判定口径、一份 60 行的实现,以及跑完之后那张表该怎么读。

一、先说清楚:为什么“搜一下看看”不算检测

我见过常见的做法是:想起来的时候问 AI 一句“我们公司怎么样”,答得好就放心,答得差就着急。这不叫检测,原因有三个。

一是答案本身是随机的。 同一个问题、同一个平台,隔十分钟再问一次,答案的结构、引用来源、甚至推荐对象都可能变。单次结果没有统计意义。

二是没有基线就没有对比。 十一月看到“答案里有我”,你不知道十月有没有、十二月会不会掉。没有连续记录,任何变化都无法归因。

三是常被忽略的一点:没人定义过“算被引”。 答案里提了公司名算一件,答案里给了官网链接算另一件,答案引用的是行业目录站转载你的那篇文章算是第三件。这三件事在业务上的含义完全不同,但在“问一句看看”的做法里被混成了一个模糊的“还行”。

检测的第一步不是写代码,是把这三件事拆开定义。

二、固定三样东西,检测才可复盘

可复盘的检测,只要求你把三个变量写死。

  1. 问题集:写死,不随心情改

准备 20 条客户真的会问的话。要求有三条:带地域(深圳宝安、东莞长安)、带场景(要加工小批量、要做招牌)、带顾虑(会不会反复、有没有售后)。

这 20 条一旦定下来,三个月内不许改。改了就跟自己的历史数据对不上,后面所有趋势都作废。

  1. 取样规则:同一天、同一批平台、各三次

固定“同一天、三个平台、同一个问题各问三次”。三次是为了压掉随机性,同一天是为了避免模型版本在中间换了。

每条记录要存四个字段:问题原文、平台、时间戳、答案原文。答案必须原样存,不要摘抄——后面判域名、判提及都靠原文。

  1. 判定口径:三个指标,分开算

| 指标 | 定义 | 业务含义 |

|---|---|---|

| 提及率 | 答案正文里出现品牌名或别名的比例 | AI 认不认得你 |

| 引用率 | 答案给出的链接里,出现自有域名的比例 | AI 信不信你,愿不愿意把你当信源 |

| 首位提及率 | 品牌名在答案中出现的相对位置落在前三分之一的比例 | 你在候选里排得靠不靠前 |

三个数分开看,能定位到不同问题。这一点后面第五节展开。

三、实现:抽链接、判归属、算比率

整个脚本零第三方依赖,只用标准库。核心就三段。

3.1 抽链接:中文标点会把 URL 粘住


import re

from urllib.parse import urlparse

URL_RE = re.compile(r"https?://[^\s))\]】,。;、\"'<>]+")

def domains_of(text):

out = []

for u in URL_RE.findall(text):

host = (urlparse(u).hostname or "").lower()

if host:

out.append(host[4:] if host.startswith("www.") else host)

return out

这里的字符集是踩出来的:中文答案里链接后面常紧跟全角右括号、顿号、句号,不排掉就会把 https://a.com/x) 整段吃进 URL,域名解析直接失败。半角的 ) 和 ] 同理。

3.2 判归属:子域要算命中


def host_match(host, owned):

for d in owned:

d = d.lower().strip().lstrip("www.")

if d and (host == d or host.endswith("." + d)):

return True

return False

news.example.com 命中 example.com,example.com.evil.net 不命中。用 endswith("." + d) 而不是 d in host,避免被拼后缀的域名骗过去。

3.3 判提及与聚合

提及判定用别名表,不区分大小写,同时记下首次出现的位置(用来算首位提及率)。引用判定只认链接里的自有域名,纯文本里的品牌名不算引用——这两个必须分开,混在一起就失去了诊断价值。


def score(rec, brand_aliases, owned_domains):

text = rec.get("text", "") or ""

hosts = domains_of(text)

own = [h for h in hosts if host_match(h, owned_domains)]

low = text.lower()

pos = [low.find(b.lower()) for b in brand_aliases if low.find(b.lower()) >= 0]

return {
   

"q": rec.get("q", ""),

"platform": rec.get("platform", ""),

"mentioned": int(bool(pos)),

"cited": int(bool(own)),

"n_urls": len(hosts),

"n_own_urls": len(own),

"brand_first_pos": min(pos) if pos else -1,

}

完整脚本在文末附录,含 CSV 落盘和 HTML 汇总页。跑法:


python geo_probe.py --answers answers --brand "品牌名,简称,英文名" \

--domains "example.com,example.cn" --out out

answers/ 放你自己存下来的 json,一个批次一个文件:


[{
   "q": "深圳宝安精密五金加工找哪家",

"platform": "doubao",

"ts": "2026-11-18T10:00:00",

"text": "……AI 原样回答,含链接……"}]

脚本不碰任何平台接口,也不替你登录。原因在第六节。

四、跑出来的样子

下面是示例数据(3 条记录,只为验输出格式)的真实运行输出:


样本 3 条|提及率 33%|引用率 67%

按平台

deepseek n=1 提及 100.0% ████████████████████████████

doubao n=2 提及 0.0% ····························

按问题

深圳 GEO 优化找谁靠谱 n=2 提及 50.0% 引用 100.0%

东莞制造业怎么让 AI 搜到 n=1 提及 0.0% 引用 0.0%

同目录会写出三份东西:


out/report.csv 逐条明细,每行一条答案,方便你自己加维度透视

out/summary.txt 按平台、按问题的汇总,就是上面那段

out/dashboard.html 一页汇总,带三个总指标和分平台表格

report.csv 里保留了原始字段(平台、时间、答案长度、链接总数),所以想按时间看趋势、想按平台看差异,在表格里加个透视表就行,不用改脚本。

五、怎么读这张表:四个组合,四种问题

指标算出来之后,单看“提及率 30%”没有意义。要看两个数的关系。

| 提及率 | 引用率 | 说明什么 | 该动哪里 |

|---|---|---|---|

| 低 | 低 | 没进候选,AI 根本没把你和这个问题关联起来 | 先补实体信息与问答结构 |

| 高 | 低 | 认得你,但不把你当信源 | 补可核验的事实页、参数页 |

| 低 | 高 | 页面被引用了,可答案里没出现你的名字 | 检查被引页面是否第三方转载、是否只留了链接 |

| 高 | 高 | 这条链路通了 | 换下一个问题集,扩场景 |

第三种情况常被误判。页面被目录站转载、被行业文章引用,链接确实指向了你,但你打开答案看不见自己的名字,团队就会觉得“白做了”。实际上链路通了,问题在转载页把署名和出处压掉了。

第四种情况也不是终点。提及率和引用率都高,只说明这条路通了,不代表客户会选你——转化是另一件事。

六、三个必须守的边界

6.1 不要自动抓取

各家答案接口都要登录态。写脚本替账号登录、批量拉答案,一是违反平台条款,二是风控一封号,检测数据也就断了。

正确做法是人工问、脚本算。二十个问题、三个平台、各三次,一百八十条记录,两个人半天能采完,一个月一次完全够。

6.2 引用率不等于推荐率

被引用是“AI 拿你的内容当证据”,推荐是“AI 建议客户选你”。前者是后者的前提,不是同一件事。检测只能告诉你证据在不在,告诉不了你客户会不会下单。

6.3 模型更新会让历史数据不可比

每次采集都要记平台和日期。模型大版本更新之后,前后两批数据不能直接比趋势,只能比结构(比如各来源类型的占比变化)。

七、小结

这套东西的价值不在脚本,在三个被写死的变量:20 条问题、同一天三次、三个分开的指标。脚本只是把人工从“数链接”里解放出来。

有了基线,你才能回答三个以前答不上来的问题:这次改动有没有效果、效果出现在哪个平台、下一步该动内容还是动信源。

下一篇讲第三层:拿到检测结果之后,怎么按来源类型反推内容该改成什么结构——哪些页面适合当证据、哪些注定只能当线索。

附录:完整实现


#!/usr/bin/env python

-*- coding: utf-8 -*-

"""geo_probe.py —— AI 引用检测精简实现(零第三方依赖,Python 3.8+)"""

import argparse, csv, glob, io, json, os, re, sys

from urllib.parse import urlparse

URL_RE = re.compile(r"https?://[^\s))\]】,。;、\"'<>]+")

CJK_RE = re.compile(u"[\u4e00-\u9fa5]")

FIELDS = ["q", "platform", "ts", "mentioned", "cited",

"n_urls", "n_own_urls", "brand_first_pos", "answer_len"]

def domains_of(text):

out = []

for u in URL_RE.findall(text):

host = (urlparse(u).hostname or "").lower()

if host:

out.append(host[4:] if host.startswith("www.") else host)

return out

def host_match(host, owned):

for d in owned:

d = d.lower().strip().lstrip("www.")

if d and (host == d or host.endswith("." + d)):

return True

return False

def score(rec, brand_aliases, owned_domains):

text = rec.get("text", "") or ""

hosts = domains_of(text)

own = [h for h in hosts if host_match(h, owned_domains)]

low = text.lower()

pos = [low.find(b.lower()) for b in brand_aliases if low.find(b.lower()) >= 0]

return {
   "q": rec.get("q", ""), "platform": rec.get("platform", ""),

"ts": rec.get("ts", ""), "mentioned": int(bool(pos)),

"cited": int(bool(own)), "n_urls": len(hosts),

"n_own_urls": len(own), "brand_first_pos": min(pos) if pos else -1,

"answer_len": len(CJK_RE.findall(text))}

def rate(rows, key):

return 100.0 * sum(r[key] for r in rows) / len(rows) if rows else 0.0

def main():

ap = argparse.ArgumentParser()

ap.add_argument("--answers", default="")

ap.add_argument("--brand", default="")

ap.add_argument("--domains", default="")

ap.add_argument("--out", default="out")

a = ap.parse_args()

brand = [b.strip() for b in a.brand.split(",") if b.strip()]

owned = [d.strip() for d in a.domains.split(",") if d.strip()]

records = []

for p in sorted(glob.glob(os.path.join(a.answers, "*.json"))):

with io.open(p, encoding="utf-8") as f:

data = json.load(f)

records.extend(data if isinstance(data, list) else [data])

rows = [score(r, brand, owned) for r in records]

os.makedirs(a.out, exist_ok=True)

with io.open(os.path.join(a.out, "report.csv"), "w",

encoding="utf-8-sig", newline="") as f:

w = csv.DictWriter(f, fieldnames=FIELDS)

w.writeheader()

for r in rows:

w.writerow(r)

print(u"样本 %d 条|提及率 %.0f%%|引用率 %.0f%%" % (

len(rows), rate(rows, "mentioned"), rate(rows, "cited")))

for name in sorted({
   r["platform"] for r in rows}):

sub = [r for r in rows if r["platform"] == name]

print(u" %-10s n=%-3d 提及 %5.1f%% 引用 %5.1f%%" % (

name, len(sub), rate(sub, "mentioned"), rate(sub, "cited")))

if __name__ == "__main__":

main()

完整版就是在附录这份上加两段:按问题汇总、一个 HTML 汇总页。不加也能用,附录这份已经能出 CSV。

让认真做事的人被看见

作者:GEO优化阿文

用 Python 做生成式引擎(GEO)检索实测,十二年实体门店运营经验。

來源:阿里雲開發者社區 AI · developer.aliyun.com