什么是llms.txt?
你可能已经知道robots.txt——告诉搜索引擎爬虫哪些页面可以抓取、哪些不能。
llms.txt是这个概念的自然延伸,但对象是AI大语言模型的爬虫。它告诉AI:“这些是我最重要的页面,它们解决什么问题,请优先阅读和引用。”
为什么llms.txt在2026年如此重要?
AI爬虫在抓取网站时面临”信息过载”问题——一个中型网站可能有数百甚至上千个页面,AI爬虫的抓取深度和频率有限。
llms.txt直接解决了这个问题。它像一份”内容目录”或”摘要说明书”,让AI爬虫在最短时间内找到最有价值的内容。
标准格式
# 网站名称 - 简短描述
> 核心价值主张(一句话)
## 核心页面
- [页面标题](URL): 页面内容简介(20-30字)
## FAQ
- 最高频的问题1?
- 最高频的问题2?
部署位置与注意事项
- 放置在网站根目录
/llms.txt - 每季度更新一次
- 核心页面不超过10个
- FAQ覆盖最高频的用户问题
- 不要包含过时的、低质量的内容链接
llms.txt虽然简单,但它是GEO优化中投入产出比最高的技术手段之一。5分钟部署,效果立竿见影。