llms.txt 完全指南：让 AI 读懂你的网站

一个被 90% 网站忽视的 AI 入口

2024 年 9 月，llms.txt 提案由 Answer.ai 的 Jeremy Howard 正式提出。短短一年后，它已经成为 AI 时代网站最重要的基础设施之一——但绝大多数网站至今仍未部署。

llms.txt 是什么？ 它是一个放在网站根目录的纯文本文件，使用 Markdown 格式编写，专门为大型语言模型（LLM）设计，告诉 AI"这个网站有什么核心内容、哪些页面最重要、怎么高效获取信息"。

简单类比：robots.txt 告诉搜索引擎爬虫什么可以抓，sitemap.xml 告诉搜索引擎有哪些页面，llms.txt 告诉 AI 模型网站核心内容是什么。

为什么 AI 特别需要 llms.txt

AI 抓取网页时面临两个核心挑战。挑战一：上下文窗口有限。 一个企业官网可能有几百甚至几千个页面，AI 不可能全部读取，它需要知道哪些页面最重要。挑战二：网页噪声太大。 导航栏、侧边栏、页脚链接、广告——这些对 AI 理解品牌核心内容毫无帮助，反而稀释了关键信息。

llms.txt 同时解决了这两个问题：给 AI 一个清晰的"内容导航"，让它直接定位到最有价值的信息。

llms.txt 标准格式

# 公司名称
> 一句话描述核心业务和定位

## 核心内容
- [首页](https://example.com)：公司介绍和价值主张
- [产品](https://example.com/products)：产品线完整说明
- [案例](https://example.com/cases)：客户案例和成果数据
- [博客](https://example.com/blog)：行业洞察和实践指南

## 可选内容
- [关于我们](https://example.com/about)：团队背景和发展历程

llms-full.txt：给 AI 的完整品牌手册

如果说 llms.txt 是目录，llms-full.txt 就是全书。它把核心页面的正文内容完整汇集在一个文件中，让 AI 一次性获取品牌完整信息。为什么必须两个文件都提供？如果只有 llms.txt，AI 需要逐页抓取每个链接——在实时对话场景中几乎不可能完成。有了 llms-full.txt，AI 在一次读取中就获得充分信息，推荐的概率和准确度大幅提升。

完整部署清单

根目录放置 /llms.txt（内容索引）和 /llms-full.txt（完整内容）
在 robots.txt 中添加 LLMs: /llms.txt 指令
在首页 head 中添加 link rel="llms.txt">
确保文件编码为 UTF-8，不被防火墙或 CDN 拦截
确认主流 AI 爬虫（GPTBot、Claude-Web 等）未被 robots.txt 屏蔽
建立更新机制：产品更新、新案例上线时同步更新两个文件

常见问题

llms.txt 和 sitemap.xml 有什么区别？ sitemap.xml 面向搜索引擎，列出所有 URL 和更新频率。llms.txt 面向 AI 模型，列出核心内容的描述和组织结构。两者互补而非替代。

llms.txt 对 SEO 有影响吗？ 直接来看不影响传统排名。但间接来看，AI 推荐品牌时会带动用户主动搜索品牌名，从而提升品牌搜索量和自然流量。GEO 和 SEO 是互补关系。

部署 llms.txt 是一个成本几乎为零的战略动作。 创建一个文本文件、放到服务器根目录——技术难度不高于写一篇公众号文章。但它代表的是品牌对 AI 时代的关键态度：被动等待 AI 来猜测，还是主动告诉 AI 你是谁？未来两年内，这个选择将拉开品牌在 AI 可见度上的差距。

#llmstxt #aicrawling #geo | 关键词：llms-txt、ai-crawling、geo | 原文首发于赢弘科技官网