> For the complete documentation index, see [llms.txt](https://speedyindex-1.gitbook.io/speedyindex-docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://speedyindex-1.gitbook.io/speedyindex-docs/vi/xac-minh-googlebot-that-trong-log-may-chu.md). # Xác minh Googlebot thật trong log máy chủ Cách xác minh Googlebot thật trong log máy chủ: tra cứu DNS ngược và xuôi, các tệp dải IP do Google công bố và những gì cần xem sau khi lọc bỏ bot giả. Log máy chủ là nơi duy nhất cho thấy trình thu thập dữ liệu của Google thực sự đã yêu cầu những URL nào, vào lúc nào và máy chủ trả lời ra sao. Vấn đề là chuỗi user-agent chỉ là văn bản. Bất kỳ công cụ cào dữ liệu nào cũng có thể tự xưng là `Googlebot`. Vì vậy, trước khi rút ra kết luận về thu thập dữ liệu hay lập chỉ mục từ log, bạn cần tách Googlebot thật khỏi các bot giả mạo. ## Vì sao user-agent là không đủ Một dòng log có thể trông như sau: ``` 66.249.66.1 - - [21/Oct/2026:08:14:02 +0000] "GET /san-pham/ao-thun/ HTTP/1.1" 200 18234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ``` Phần duy nhất có thể tin được là địa chỉ IP, và chỉ sau khi đã kiểm tra. Nếu đếm theo user-agent, bot giả sẽ làm số liệu phình to, che đi những khu vực mà Google không hề ghé thăm. ## Cách 1: tra cứu DNS ngược rồi DNS xuôi Tài liệu của Google mô tả cách kiểm tra thủ công cho từng IP: 1. Chạy tra cứu DNS ngược cho địa chỉ IP trong log, ví dụ `host 66.249.66.1`. 2. Kiểm tra tên miền trả về có thuộc `googlebot.com`, `google.com` hoặc `googleusercontent.com` hay không. 3. Chạy tra cứu DNS xuôi cho tên miền đó. 4. Xác nhận kết quả trùng với địa chỉ IP ban đầu. Cả hai chiều đều quan trọng. Chủ sở hữu một dải IP có thể tự đặt DNS ngược trả về tên `googlebot.com`; chỉ bước tra cứu xuôi mới chứng minh tên đó thật sự thuộc về Google. ## Cách 2: đối chiếu với dải IP do Google công bố Với log lớn, cách nhanh hơn là đối chiếu IP với các tệp JSON mà Google công bố: | Tệp | Phạm vi | | ------------------------------------- | ------------------------------------------------------------------------------------- | | `common-crawlers.json` | Các trình thu thập thông thường như Googlebot | | `special-crawlers.json` | Các trình thu thập đặc biệt như AdsBot | | `user-triggered-fetchers.json` | Trình tìm nạp do người dùng kích hoạt, phân giải về `gae.googleusercontent.com` | | `user-triggered-fetchers-google.json` | Trình tìm nạp do người dùng kích hoạt, do Google kiểm soát, phân giải về `google.com` | | `user-triggered-agents.json` | Các tác nhân do người dùng kích hoạt | Các tệp nằm tại `developers.google.com/static/crawling/ipranges/` và được cập nhật theo thời gian, vì vậy hãy tải bản mới mỗi lần phân tích thay vì ghi cứng dải IP vào cấu hình. ## Quy trình cho cả tệp log 1. Lọc các dòng có user-agent nhắc đến trình thu thập của Google. 2. Lấy danh sách IP duy nhất. 3. Đối chiếu từng IP với các dải IP, dùng tra cứu DNS cho trường hợp không khớp. 4. Gắn nhãn từng dòng: thật, giả hoặc chưa rõ. 5. Chỉ phân tích các dòng đã xác minh. Nếu không muốn viết script, bạn có thể dùng một công cụ chạy ngay trong trình duyệt để [tìm lượt truy cập Googlebot thật trong log](https://indexfixtools.com/vi/googlebot-log-analyzer/) mà không cần tải tệp lên máy chủ. ## Cần xem gì sau khi đã lọc * **Mã trạng thái.** Nhóm các yêu cầu đã xác minh theo mã phản hồi. Theo tài liệu của Google, lỗi `5xx` khiến trình thu thập tạm thời giảm tốc độ, và URL liên tục trả lỗi máy chủ cuối cùng có thể bị loại khỏi chỉ mục. * **Khu vực không được thu thập.** So sánh đường dẫn đã xác minh với sitemap. Thư mục có nhiều URL nhưng không có lượt truy cập nào trong vài tuần thường do liên kết nội bộ yếu hoặc quy tắc robots.txt. * **Lượt thu thập lãng phí.** URL có tham số, trang tìm kiếm nội bộ, tổ hợp bộ lọc vô tận. * **Chuỗi chuyển hướng.** Nhiều yêu cầu kết thúc bằng `301` hoặc `302` cho thấy URL cũ vẫn còn được liên kết nội bộ. ## Lỗi thường gặp * Tin vào nhãn "bot" của công cụ phân tích log mà không biết công cụ dựa vào đâu. * Chặn theo user-agent, vô tình chặn luôn Googlebot thật. * Dùng danh sách IP cũ đã lỗi thời. * Coi lượt tìm nạp do người dùng kích hoạt là thu thập dữ liệu cho tìm kiếm. ## Danh sách kiểm tra nhanh * [ ] Googlebot được xác minh bằng dải IP hoặc DNS ngược và xuôi * [ ] Đã loại các dòng "Googlebot" giả khỏi mọi thống kê * [ ] Yêu cầu đã xác minh được nhóm theo mã trạng thái * [ ] Đã so sánh với sitemap * [ ] Tệp dải IP được tải mới mỗi lần phân tích ## Nguồn * Google Search Central: [Xác minh Googlebot và các trình thu thập dữ liệu khác của Google](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=vi) * Google Search Central: [Mã trạng thái HTTP, lỗi mạng và lỗi DNS ảnh hưởng thế nào đến Google Tìm kiếm](https://developers.google.com/search/docs/crawling-indexing/http-network-errors?hl=vi) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://speedyindex-1.gitbook.io/speedyindex-docs/vi/xac-minh-googlebot-that-trong-log-may-chu.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.