知识库 · 技术指南

llms.txt 使用指南

2024 年 Jeremy Howard 提出的 AI 索引文件。告诉大语言模型:你的网站有哪些核心事实。

什么是 llms.txt

llms.txt 是 2024 年 Jeremy Howard(Fast.ai 创始人)提出的提案文件,类似 robots.txt 的定位,但服务于大语言模型。

robots.txt 告诉搜索引擎哪些可以爬;llms.txt 告诉大语言模型哪些是网站的核心事实。

llms.txt 是社区提出的 LLM 友好索引格式,部分工具和平台已出现相关实践;实际读取情况取决于具体平台。

文件格式

llms.txt 使用 Markdown 格式,放在网站根目录:

# 网站名称

> 一句话描述网站的核心价值

## 关键页面

- [页面名称](https://example.com/page): 简短描述
- [页面名称](https://example.com/page): 简短描述

## 核心事实

- **事实名称**:具体描述
- **事实名称**:具体描述

建议同时提供两个版本:

  • /llms.txt — 简版,核心索引(建议 2KB 以内)
  • /llms-full.txt — 完整版,包含详细事实卡片

部署方法

  1. 创建文件:在网站根目录创建 llms.txtllms-full.txt
  2. 声明引用:在 HTML <head> 中添加 <link rel="alternate" type="text/plain" href="/llms.txt">
  3. 更新 robots.txt:确保不阻止 AI 爬虫访问 llms.txt
  4. 更新 sitemap.xml:将 llms.txt 纳入站点地图
  5. 定期更新:内容变更时同步更新 llms.txt

最佳实践

  • 保持简洁:llms.txt 应该是索引,不是完整内容
  • 使用绝对 URL:所有链接使用完整域名
  • 事实优先:只包含可验证的事实,不包含营销话术
  • 结构清晰:使用 Markdown 标题和列表,方便 AI 解析
  • 定期维护:内容变更时同步更新

常见问题

llms.txt 现在到底有没有 AI 在读?

llms.txt 是社区提出的 LLM 友好索引格式,部分工具和平台已出现相关实践;实际读取情况取决于具体平台。即使部分模型暂未读取,文件本身也能作为面向人工 reviewer 的友好索引。

llms.txt 和 robots.txt 有什么区别?

robots.txt 告诉搜索引擎哪些可以爬、哪些不能爬;llms.txt 告诉大语言模型哪些是网站的核心事实和内容索引。

想让我们帮你部署 llms.txt?

预约咨询 →