網站 SEO、GEO 檢查清單:撰寫更多文章前應先檢查的 6 個範疇
Kiểm tra SEO, GEO website: checklist 6 nhóm nên rà trước khi viết thêm bài
作者整理了一份網站 SEO、GEO 檢查清單,建議新增文章前先確認搜尋及 AI 服務的爬蟲能否讀取和引用網站內容。清單涵蓋區分搜尋、用戶請求與訓練爬蟲,檢查 robots.txt、防火牆及 nosnippet 設定、初始 HTML 內容和結構化資料,並指出 llms.txt 是社羣提案,尚未獲大型廠商正式承諾採用。
Disclosure: mình tham gia xây dựng Onic Web Doctor, công cụ được nhắc ở cuối bài. Phần checklist dưới đây dùng được độc lập, không cần công cụ nào.
Khi người dùng hỏi chatbot thay vì tìm trên Google, câu hỏi kỹ thuật không còn chỉ là "Google có index trang này không" mà còn là "crawler của các dịch vụ AI có đọc được và trích được trang này không". Dưới đây là checklist mình dùng để rà một website.
- Tách bot tìm kiếm khỏi bot huấn luyện Các hãng thường có nhiều user-agent với vai trò khác nhau:
Tìm kiếm: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot
Thao tác theo yêu cầu người dùng: ChatGPT-User, Claude-User, Perplexity-User
Huấn luyện: GPTBot, ClaudeBot, Google-Extended, CCBot
Chặn nhóm huấn luyện là quyết định về dữ liệu của bạn. Chặn nhầm nhóm tìm kiếm có thể khiến trang không xuất hiện trong câu trả lời. Tên và hành vi của các bot có thể thay đổi, nên hãy đối chiếu tài liệu chính thức của từng hãng.
Kiểm tra robots.txt và tường lửa
robots.txt chỉ là một lớp. CDN hoặc tường lửa cũng có thể chặn theo user-agent hoặc IP. Phép thử nhanh dưới đây chỉ kiểm tra chặn theo user-agent, không thay thế việc xác minh IP:
for ua in "OAI-SearchBot" "Claude-SearchBot" "PerplexityBot"; do
code=$(curl -s -o /dev/null -w "%{http_code}" -A "$ua" https://example.com/)
echo "$ua -> $code"
done
Mã 403 hoặc 429 ở một user-agent cụ thể là dấu hiệu cần xem lại cấu hình.Đừng gắn nosnippet nhầm chỗ
nosnippet hoặc max-snippet:0 ngăn trích đoạn, kể cả trong các tính năng trả lời của công cụ tìm kiếm. Hãy chắc chắn bạn chủ ý dùng chúng.Nội dung phải có trong HTML ban đầu
Dùng curl -s URL | grep "một-câu-trong-bài" để xem nội dung có hiện khi chưa chạy JavaScript không. Không phải mọi crawler đều render JavaScript.Đoạn trả lời ngắn và nguồn dẫn
Mở bài bằng một đoạn trả lời trực tiếp. Khoảng 15 đến 90 chữ là một quy ước thực dụng, không phải quy định của hãng nào. Kèm theo đó: heading dạng câu hỏi, và link tới nguồn gốc cho số liệu.Dữ liệu có cấu trúc phải khớp nội dung hiển thị
JSON-LD nên mô tả đúng những gì người dùng thấy trên trang (Organization, Article, Product, FAQPage...). Schema lệch nội dung dễ gây hại hơn là không có.llms.txt
llms.txt là một đề xuất của cộng đồng. Chưa có cam kết chính thức từ các hãng lớn rằng họ dùng nó, nên hãy coi đây là phần bổ sung rẻ, không phải yếu tố quyết định.
Tự động hóa các kiểm tra này
Mình gom các kiểm tra trên, cộng thêm kỹ thuật, on-page, nội dung, chuyển đổi và tốc độ, thành một công cụ miễn phí chấm điểm riêng cho ChatGPT, Google AI, Perplexity và Claude: Onic Web Doctor.
來源:DEV Community · dev.to