llms.txt：AI 时代网站的基础设施标配

一个被 90% 网站忽视的 AI 基础设施

如果 robots.txt 告诉搜索引擎什么可以抓，sitemap.xml 告诉搜索引擎有哪些页面，那 llms.txt 就是告诉 AI 模型：这个网站的核心内容是什么、哪些页面最重要、怎么高效获取信息。

2024 年 9 月，llms.txt 提案由 Answer.ai 的 Jeremy Howard 正式提出。短短一年多，它已经成为 AI 时代网站最重要的基础设施之一——但绝大多数网站至今仍未部署。部署一个 llms.txt 的技术难度不高于写一篇公众号文章，但它对品牌 AI 可见度的影响可能是决定性的。

llms.txt 解决的核心问题

AI 抓取网页时面临两个核心挑战：

挑战一：上下文窗口有限。 一个企业官网可能有几百甚至几千个页面，即使是最先进的 AI 模型也不可能全部读完。AI 需要知道哪些页面最重要——但如果没有 llms.txt，AI 只能靠猜。

挑战二：网页噪声太大。 导航栏、侧边栏推荐、页脚链接、广告横幅、弹窗提示——这些元素对访客浏览体验有用，但对 AI 理解"这个品牌做什么、有什么优势"毫无帮助，反而严重稀释了核心信息。

llms.txt 同时解决了这两个问题：给 AI 一个清晰的"内容导航"，让它直接定位到最有价值的信息源，而不是在噪声中摸索。

llms.txt 标准格式与编写要点

llms.txt 使用 Markdown 语法，结构简洁但信息密度高：

网站名称和一句话定位：用 H1 标题和 blockquote 描述核心业务，建议控制在 50 字以内
核心内容列表：列出最重要的页面链接，每条附带一句简短说明，解释该页面对 AI 的价值
可选内容列表：列出次要但仍有参考价值的页面

最重要的编写原则是优先级排序——最重要的页面放在最前面，因为 AI 倾向于优先处理靠前的内容。保持简洁——llms.txt 是索引文件而非内容文件，详细内容应放在 llms-full.txt 中。

llms-full.txt：配套的完整内容包

如果说 llms.txt 是目录，llms-full.txt 就是全书。它把核心页面的正文内容完整汇集在一个 Markdown 文件中，让 AI 一次性获取品牌完整信息。

为什么必须两个文件都提供？当客户向 AI 提问"有哪些靠谱的 B2B SaaS 服务商"时，AI 的工作流程是：先检索发现 llms.txt 了解网站结构，如果内容相关，再读取 llms-full.txt 获取详细信息。如果只有 llms.txt 而没有 llms-full.txt，AI 需要逐页抓取每个链接——在实时对话场景中几乎不可能完成。有了 llms-full.txt，AI 在一次读取中就获得充分信息，推荐概率和准确度都会大幅提升。

llms-full.txt 建议控制在 1MB 以内，按 llms.txt 中的顺序组织内容，每个页面用 H2 标题分隔，只保留正文内容。

完整部署清单：半小时完成

在网站根目录放置 llms.txt（内容索引）和 llms-full.txt（完整内容），确保可通过 HTTPS 公开访问
在 robots.txt 中添加 LLMs: /llms.txt 声明，主动告知 AI 爬虫
在首页 HTML head 中添加 <link rel="llms.txt" />
确保文件编码为 UTF-8（否则中文字符可能乱码），且不被防火墙、CDN 或 WAF 拦截
确认主流 AI 爬虫（GPTBot、Claude-Web、Google-Extended）未被 robots.txt 屏蔽
建立更新机制：产品更新、新案例上线、重要内容发布时同步更新两个文件

常见问题

llms.txt 和 sitemap.xml 有什么区别？ sitemap.xml 面向搜索引擎，列出所有 URL 及更新频率；llms.txt 面向 AI 模型，列出核心内容的描述和组织结构。两者互补而非替代。

llms.txt 对 SEO 有影响吗？ 直接来看不影响传统搜索引擎排名。但间接来看，AI 推荐品牌时会带动用户主动搜索品牌名，从而提升品牌搜索量和自然流量。GEO 和 SEO 是互补关系。

部署 llms.txt 是一个成本几乎为零的战略动作。创建一个文本文件、放到服务器根目录——技术难度不高于写一篇公众号文章。但它代表的是品牌对 AI 时代的关键态度：被动等待 AI 来猜测你是谁，还是主动告诉 AI 你究竟是谁？未来两年内，这个选择将显著拉开品牌在 AI 可见度上的差距。

#llmstxt #aisearch | 关键词：llms-txt、ai-search | 原文首发于赢弘科技官网