Googlebot 是 Google 使用的網路爬蟲軟體，它負責為 Google 搜尋引擎建立使用者可搜尋的網路索引，Googlebot 包括兩種不同類型的網路爬蟲，分別為 Googlebot Desktop 和 Googlebot Mobile。
這幾天發現一個代管網站的流量不正常，半個月時間 Visits 突然快速增加；平常時候一天的造訪量在 100 ~ 200 Visits 左右，現在一天的 Visits 造訪量在 3000 ~ 4000 之間。
將 access.log 打開來看，並沒有異常的地方，請求 Kinsta 工程師協助分析，是否有惡意流量或攻擊。
看到這一張 bots 的 24 小時分析，是不是很驚呀 !
好樣的 Googlebot 一天可以吃掉我 2,033 Visits，我的 Visits 是要花錢買的。
簡單計算 2,033 x 30 天 = 60,990 Visits
若以 Kinsta 額外的 Visits 來計算費用：
60,990 ÷ 1,000 = 60.99 美金
Kinsta 的 Visits 計算方式，一個獨立 IP 在 24 小內計算為 1 次，但是，這些機器人爬蟲，都必須計算在內。
這些的機器人爬蟲 Bots 來到你的網站爬取資料，一樣要消耗伺服器的效能，所以，必須計算在內。
Kinsta
就因這一點，Kinsta 對 Visits 計算結果，會與 GA4 的數據相差很多。
降低 Googlebot 檢索頻率 ?
我想，沒有人會這麼做，況且 Google 警告，這會造成 Googlebot 能發現的新網頁會變少，重新整理現有網頁的頻率也會降低。
結論
有可能 bots 不是每天都這麼多，也有可能變少。
不是每個人都像我一樣使用 Kinsta 主機，Googlebot 當然是來越多越好，並不會影響你的荷包。
在對 Kinsta 這類的主機平台，這就像一把刀兩面刃，希望 Googlebot 最好天天都來，但是，又吃掉 Visits 的額度，老闆的心會淌血 😭。
Featured image on Unsplash+
發佈留言