什么是 llms.txt
llms.txt 是 2024 年 Jeremy Howard(Fast.ai 创始人)提出的提案文件,类似 robots.txt 的定位,但服务于大语言模型。
robots.txt 告诉搜索引擎哪些可以爬;llms.txt 告诉大语言模型哪些是网站的核心事实。
llms.txt 是社区提出的 LLM 友好索引格式,部分工具和平台已出现相关实践;实际读取情况取决于具体平台。
文件格式
llms.txt 使用 Markdown 格式,放在网站根目录:
# 网站名称
> 一句话描述网站的核心价值
## 关键页面
- [页面名称](https://example.com/page): 简短描述
- [页面名称](https://example.com/page): 简短描述
## 核心事实
- **事实名称**:具体描述
- **事实名称**:具体描述
建议同时提供两个版本:
/llms.txt— 简版,核心索引(建议 2KB 以内)/llms-full.txt— 完整版,包含详细事实卡片
部署方法
- 创建文件:在网站根目录创建
llms.txt和llms-full.txt - 声明引用:在 HTML <head> 中添加 <link rel="alternate" type="text/plain" href="/llms.txt">
- 更新 robots.txt:确保不阻止 AI 爬虫访问 llms.txt
- 更新 sitemap.xml:将 llms.txt 纳入站点地图
- 定期更新:内容变更时同步更新 llms.txt
最佳实践
- 保持简洁:llms.txt 应该是索引,不是完整内容
- 使用绝对 URL:所有链接使用完整域名
- 事实优先:只包含可验证的事实,不包含营销话术
- 结构清晰:使用 Markdown 标题和列表,方便 AI 解析
- 定期维护:内容变更时同步更新
常见问题
llms.txt 现在到底有没有 AI 在读?
llms.txt 是社区提出的 LLM 友好索引格式,部分工具和平台已出现相关实践;实际读取情况取决于具体平台。即使部分模型暂未读取,文件本身也能作为面向人工 reviewer 的友好索引。
llms.txt 和 robots.txt 有什么区别?
robots.txt 告诉搜索引擎哪些可以爬、哪些不能爬;llms.txt 告诉大语言模型哪些是网站的核心事实和内容索引。
想让我们帮你部署 llms.txt?
预约咨询 →