跳到主要內容

從連勝文官網看搜尋引擎怎麼收錄你的網站

8/25『連勝文官網』的搜尋結果

是說 SEO 要做的事情有好多,其中有一項,外面的很多教學都告訴你說一定要做,那就是 robots.txt 的建置。我直接跳結論:我已經很多年都不特別設定 robots.txt ,更多時間我是直接寫入 .htaccess 或是用其他方式限制爬蟲權限,因為 Google 的爬蟲常常不理會 robots.txt 的設定啊!另外一個理由,把一些重要的資料夾寫在 robots.txt 中,根本就是在告訴一些人:您好,我的重要資料夾都寫在 Disallow 底下唷


一、 robots.txt disallow 及 Allow 有順序性?

最近這個 robots.txt 因為連勝文競選官網的原因被新聞報導說『官方網站正式上線1個多小時,在搜尋引擎上還是找不到網站位置』,媒體不專業沒關係,當然就引起了一番討論,幾位『專家』(如)的討論,沒錯在 robots.txt 裡面的 disallow 跟 allow 是有順序性的,在官方的說明文檔當中也舉了範例:


所以一開始把 DisAllow : / 寫在最前面真的很傷,但這其實不是我們今天要聊的主要故事

二、Googlebot 有機會不理會 robots.txt?

這件事是真的,在過去 SEO 的經驗中,有幾次 Google 並不理會 robots.txt disallow 的內容,在跟幾個前輩討論求教的時候,其中連啟佑前輩有點出 Google 其實有一段特別的說明

雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引,但如果我們在網路上的其他網頁中發現封鎖網址的資訊,仍然會建立這些資訊的索引。因此,網頁網址以及其他可能的公開資訊 (例如網站連結中的錨點文字) 仍然會出現在 Google 搜尋結果中。如要完全避免這種情形,請使用 robots.txt 輔以其他封鎖網址方法,例如使用密碼保護伺服器上的檔案或在 HTML 中插入中繼標記。
其實從 Google 本身的建議來說,如果要加速或是讓 Bot 更加了解你的網站的時候,除了內容的建設之外,你還必須多在外部加強連結的導入,可以讓 Googlebot 更加了解你的網站。所以如果真的有需要不希望 Google 來爬的內容,真的不要隨便放上去或是做加密。此外我個人及前輩的建議都是:
  1. 使用 .htaccess 來禁止 bot 訪問
  2. 使用  meta name="robots" 來設定 noindex 範圍(但不用特別設 index )

留言

這個網誌中的熱門文章

2022年了, Google 都建議你不要做 sitemap 了:重新認識 SEO 中的 Sitemap

首先,如果我跟你說你的網站 其實可能「不」需要 Sitemap ,我想這句話會顛覆多數人的認知,但實際上這句話卻是 Google 官方文件白紙黑字寫出來的[1],以下是可能「不」需要 Sitemap 的情況: 網站規模很「小」:所謂的規模很「小」,指的是網站的 網頁數不超過 500 個  (以您認為有需要納入搜尋結果的網頁為準)。 網站內部的連結完善:這表示 Google 可以透過首頁的連結找出網站上所有的重要網頁。 要顯示在搜尋結果中的媒體檔案 (影片、圖片) 或新聞網頁數量不多:Sitemap 可協助 Google 在您的網站上找出影片和圖片檔或新聞報導,並加以解讀。如果您不需要讓這些內容出現在圖片、影片或新聞搜尋結果中,可能就不需要 Sitemap。 其實絕大多數各位手邊的網站,真的有需要納入搜尋結果的網頁,各位請自行捫心自問一下:真的有超過 500 頁嗎?如果是電商,你的商品數真的有那麼多嗎?當然這是極端的說法,因為我相信大家都會覺得說:那有一天我超過 500 個怎麼辦,或是我是新網站怎麼辦?

為什麼我的網站排名突然掉了?因為你可能忽略了 Mobile-First

最近有許多朋友紛紛來找我做 SEO ,而且絕大多數都是舊的網站要做 SEO ,而經過我想都不用想馬上打開了 PageSpeed Insight 檢查這些朋友的網站,95% 以上都有共通的問題: Mobile-First 這件事情沒有做好, 讓行動版的排名連帶影響了桌面版的搜尋排名。

做 SEO 看 DA, DS, DR 等第三方評比分數真的是對的嗎?

 據說整個爭議都源自於這個留言 為什麼我會有這個反應呢?源自於該文作者的一段話 當然我絕對不反對「 反向連結,是另一個SEO『最大的』排名要素 」、「 內容,是SEO『最大的』兩大排名要素之一 」,這兩句話絕對沒有問題,但當拿 kknews 來做舉例的時候,這中間影響排名要素就不是只有「連結」跟「內容」了,所以我舉了一個 Pchome 新聞 DA87 (DR85) ,也有豐富內容來做反例之後,後面的整個 SEO 重點就跑偏了。 做連結跟做內容是錯誤觀念,建立使用者搜尋關鍵字跟網頁相關性才是本質 「相關性」,其實是搜尋引擎在判斷哪些網要優先出來在搜尋結果內的核心關鍵,而一個頁面的相關性建立最基礎的兩個方式: 搜尋者的關鍵字有沒有出現在該頁面中,包含 title, description 跟內文等等等 其他講這個關鍵字的外部跟內部頁面會不會也連到該頁面中 所以為什麼連結建立跟內容優化會是 SEO 的關鍵。當然排名要素還有很多,不單只是這兩個排名要素,那 kknews 跟 Pchome 新聞到底差在哪呢? 全站內同一關鍵字可能有 N 篇文章,我們先來看熱門的文章之一「俄羅斯女孩,為什麼結婚前很漂亮,結婚後迅速變大媽?」 文章很棒、很有價值,妹也夠正,搜尋「俄羅斯女孩」也的確排在很前面,1, 2 名都是 kknews 的結果 但,這真的是高 DA 或高 DR 的結果嗎?根據多年做 SEO 的經驗談,往下看延伸閱讀才會是真正的關鍵結果。 kknews 這種農場最擅長的是,就是把同一篇文章換句話說改寫成數以百計的文章(黑帽說法: 偽原創 ),來增加「俄羅斯女孩」在整站裡的相關性,並且每篇文章都還會用「相關文章」互相連結,這個才是讓 kknews 長期佔據搜尋結果排行榜的關鍵。反觀 Pchome 新聞,由於新聞大多數時間都是「單一事件」,同一關鍵字在 Pchome 新聞站內的內容不多,所以站內連結也少,更重要的是:大多數的新聞都非原創。 從此可知,單靠一篇文章就想要好的排名其實是不太可能的(當然有時候有例外,但那是非常冷門的關鍵字)針對單一主題或關鍵字,從內容的持續生成策略、內部頁面網網相連,到外部網站的支持、社群的分享,做連結跟內容如果沒有從相關性提升的邏輯下去操作,基本上就會是錯誤的觀念。 那連結怎麼建立才會是對的?DA, DS, DR 只是結果 為什麼現在有一堆網站都提出了