跳到主要內容

從連勝文官網看搜尋引擎怎麼收錄你的網站

8/25『連勝文官網』的搜尋結果

是說 SEO 要做的事情有好多，其中有一項，外面的很多教學都告訴你說一定要做，那就是 robots.txt 的建置。我直接跳結論：我已經很多年都不特別設定 robots.txt ，更多時間我是直接寫入 .htaccess 或是用其他方式限制爬蟲權限，因為 Google 的爬蟲常常不理會 robots.txt 的設定啊！另外一個理由，把一些重要的資料夾寫在 robots.txt 中，根本就是在告訴一些人：您好，我的重要資料夾都寫在 Disallow 底下唷！


一、 robots.txt disallow 及 Allow 有順序性？

最近這個 robots.txt 因為連勝文競選官網的原因被新聞報導說『官方網站正式上線1個多小時，在搜尋引擎上還是找不到網站位置』，媒體不專業沒關係，當然就引起了一番討論，幾位『專家』（如他跟她）的討論，沒錯在 robots.txt 裡面的 disallow 跟 allow 是有順序性的，在官方的說明文檔當中也舉了範例：


所以一開始把 DisAllow : / 寫在最前面真的很傷，但這其實不是我們今天要聊的主要故事

二、Googlebot 有機會不理會 robots.txt？

這件事是真的，在過去 SEO 的經驗中，有幾次 Google 並不理會 robots.txt disallow 的內容，在跟幾個前輩討論求教的時候，其中連啟佑前輩有點出 Google 其實有一段特別的說明：

雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引，但如果我們在網路上的其他網頁中發現封鎖網址的資訊，仍然會建立這些資訊的索引。因此，網頁網址以及其他可能的公開資訊 (例如網站連結中的錨點文字) 仍然會出現在 Google 搜尋結果中。如要完全避免這種情形，請使用 robots.txt 輔以其他封鎖網址方法，例如使用密碼保護伺服器上的檔案或在 HTML 中插入中繼標記。
其實從 Google 本身的建議來說，如果要加速或是讓 Bot 更加了解你的網站的時候，除了內容的建設之外，你還必須多在外部加強連結的導入，可以讓 Googlebot 更加了解你的網站。所以如果真的有需要不希望 Google 來爬的內容，真的不要隨便放上去或是做加密。此外我個人及前輩的建議都是：
  1. 使用 .htaccess 來禁止 bot 訪問
  2. 使用  meta name="robots" 來設定 noindex 範圍（但不用特別設 index ）

Post by 邱煜庭.
標籤：

留言

張貼留言

這個網誌中的熱門文章

2022年了， Google 都建議你不要做 sitemap 了：重新認識 SEO 中的 Sitemap

首先，如果我跟你說你的網站 其實可能「不」需要 Sitemap ，我想這句話會顛覆多數人的認知，但實際上這句話卻是 Google 官方文件白紙黑字寫出來的[1]，以下是可能「不」需要 Sitemap 的情況： 網站規模很「小」：所謂的規模很「小」，指的是網站的 網頁數不超過 500 個  (以您認為有需要納入搜尋結果的網頁為準)。 網站內部的連結完善：這表示 Google 可以透過首頁的連結找出網站上所有的重要網頁。 要顯示在搜尋結果中的媒體檔案 (影片、圖片) 或新聞網頁數量不多：Sitemap 可協助 Google 在您的網站上找出影片和圖片檔或新聞報導，並加以解讀。如果您不需要讓這些內容出現在圖片、影片或新聞搜尋結果中，可能就不需要 Sitemap。 其實絕大多數各位手邊的網站，真的有需要納入搜尋結果的網頁，各位請自行捫心自問一下：真的有超過 500 頁嗎？如果是電商，你的商品數真的有那麼多嗎？當然這是極端的說法，因為我相信大家都會覺得說：那有一天我超過 500 個怎麼辦，或是我是新網站怎麼辦？
張貼留言
閱讀完整內容

做 SEO 看 DA, DS, DR 等第三方評比分數真的是對的嗎？

 據說整個爭議都源自於這個留言 為什麼我會有這個反應呢？源自於該文作者的一段話 當然我絕對不反對「 反向連結，是另一個SEO『最大的』排名要素 」、「 內容，是SEO『最大的』兩大排名要素之一 」，這兩句話絕對沒有問題，但當拿 kknews 來做舉例的時候，這中間影響排名要素就不是只有「連結」跟「內容」了，所以我舉了一個 Pchome 新聞 DA87 (DR85) ，也有豐富內容來做反例之後，後面的整個 SEO 重點就跑偏了。 做連結跟做內容是錯誤觀念，建立使用者搜尋關鍵字跟網頁相關性才是本質 「相關性」，其實是搜尋引擎在判斷哪些網要優先出來在搜尋結果內的核心關鍵，而一個頁面的相關性建立最基礎的兩個方式： 搜尋者的關鍵字有沒有出現在該頁面中，包含 title, description 跟內文等等等 其他講這個關鍵字的外部跟內部頁面會不會也連到該頁面中 所以為什麼連結建立跟內容優化會是 SEO 的關鍵。當然排名要素還有很多，不單只是這兩個排名要素，那 kknews 跟 Pchome 新聞到底差在哪呢？ 全站內同一關鍵字可能有 N 篇文章，我們先來看熱門的文章之一「俄羅斯女孩，為什麼結婚前很漂亮，結婚後迅速變大媽？」 文章很棒、很有價值，妹也夠正，搜尋「俄羅斯女孩」也的確排在很前面，1, 2 名都是 kknews 的結果 但，這真的是高 DA 或高 DR 的結果嗎？根據多年做 SEO 的經驗談，往下看延伸閱讀才會是真正的關鍵結果。 kknews 這種農場最擅長的是，就是把同一篇文章換句話說改寫成數以百計的文章（黑帽說法： 偽原創 ），來增加「俄羅斯女孩」在整站裡的相關性，並且每篇文章都還會用「相關文章」互相連結，這個才是讓 kknews 長期佔據搜尋結果排行榜的關鍵。反觀 Pchome 新聞，由於新聞大多數時間都是「單一事件」，同一關鍵字在 Pchome 新聞站內的內容不多，所以站內連結也少，更重要的是：大多數的新聞都非原創。 從此可知，單靠一篇文章就想要好的排名其實是不太可能的（當然有時候有例外，但那是非常冷門的關鍵字）針對單一主題或關鍵字，從內容的持續生成策略、內部頁面網網相連，到外部網站的支持、社群的分享，做連結跟內容如果沒有從相關性提升的邏輯下去操作，基本上就會是錯誤的觀念。 那連結怎麼建立才會是對的？DA, DS, DR 只是結果 為什麼現在有一堆網站都提出了
張貼留言
閱讀完整內容

SEO建議做在QDM內建還是WordPress上比較好？電商內容行銷實務分享

那天有一位社團成員匿名發問：SEO建議做在QDM內建還是WordPress上比較好？他的問題是： 我們家使用QDM系統，有意願做SEO，之前因為QDM內建的部落格版面老闆覺得醜，所以另外用Wordpress自建了一個部落格目前兩邊都是有文章的，想問大家這個情況，SEO建議做在QDM內建的還是Wordpress上比較好呢？ 其實他的問題是：如果我想透過內容行銷或產生文章來做好 SEO ，那我應該用電商平台內建的部落格功能，還是另外架設一個外部網站（如用 WordPress）來放內容呢？這個問題嚴格來說是老生常談，但在回答這個問題之前，我們先複習一下先前 台灣電商開店平台 SEO 能力大解析 中，電商平台 有沒有部落格功能這一評分標準 ，其實就會跟我們今天的解答有關係。
張貼留言
閱讀完整內容