跳到主要內容

從連勝文官網看搜尋引擎怎麼收錄你的網站

8/25『連勝文官網』的搜尋結果

是說 SEO 要做的事情有好多,其中有一項,外面的很多教學都告訴你說一定要做,那就是 robots.txt 的建置。我直接跳結論:我已經很多年都不特別設定 robots.txt ,更多時間我是直接寫入 .htaccess 或是用其他方式限制爬蟲權限,因為 Google 的爬蟲常常不理會 robots.txt 的設定啊!另外一個理由,把一些重要的資料夾寫在 robots.txt 中,根本就是在告訴一些人:您好,我的重要資料夾都寫在 Disallow 底下唷


一、 robots.txt disallow 及 Allow 有順序性?

最近這個 robots.txt 因為連勝文競選官網的原因被新聞報導說『官方網站正式上線1個多小時,在搜尋引擎上還是找不到網站位置』,媒體不專業沒關係,當然就引起了一番討論,幾位『專家』(如)的討論,沒錯在 robots.txt 裡面的 disallow 跟 allow 是有順序性的,在官方的說明文檔當中也舉了範例:


所以一開始把 DisAllow : / 寫在最前面真的很傷,但這其實不是我們今天要聊的主要故事

二、Googlebot 有機會不理會 robots.txt?

這件事是真的,在過去 SEO 的經驗中,有幾次 Google 並不理會 robots.txt disallow 的內容,在跟幾個前輩討論求教的時候,其中連啟佑前輩有點出 Google 其實有一段特別的說明

雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引,但如果我們在網路上的其他網頁中發現封鎖網址的資訊,仍然會建立這些資訊的索引。因此,網頁網址以及其他可能的公開資訊 (例如網站連結中的錨點文字) 仍然會出現在 Google 搜尋結果中。如要完全避免這種情形,請使用 robots.txt 輔以其他封鎖網址方法,例如使用密碼保護伺服器上的檔案或在 HTML 中插入中繼標記。
其實從 Google 本身的建議來說,如果要加速或是讓 Bot 更加了解你的網站的時候,除了內容的建設之外,你還必須多在外部加強連結的導入,可以讓 Googlebot 更加了解你的網站。所以如果真的有需要不希望 Google 來爬的內容,真的不要隨便放上去或是做加密。此外我個人及前輩的建議都是:
  1. 使用 .htaccess 來禁止 bot 訪問
  2. 使用  meta name="robots" 來設定 noindex 範圍(但不用特別設 index )

留言

這個網誌中的熱門文章

2022年了, Google 都建議你不要做 sitemap 了:重新認識 SEO 中的 Sitemap

首先,如果我跟你說你的網站 其實可能「不」需要 Sitemap ,我想這句話會顛覆多數人的認知,但實際上這句話卻是 Google 官方文件白紙黑字寫出來的[1],以下是可能「不」需要 Sitemap 的情況: 網站規模很「小」:所謂的規模很「小」,指的是網站的 網頁數不超過 500 個  (以您認為有需要納入搜尋結果的網頁為準)。 網站內部的連結完善:這表示 Google 可以透過首頁的連結找出網站上所有的重要網頁。 要顯示在搜尋結果中的媒體檔案 (影片、圖片) 或新聞網頁數量不多:Sitemap 可協助 Google 在您的網站上找出影片和圖片檔或新聞報導,並加以解讀。如果您不需要讓這些內容出現在圖片、影片或新聞搜尋結果中,可能就不需要 Sitemap。 其實絕大多數各位手邊的網站,真的有需要納入搜尋結果的網頁,各位請自行捫心自問一下:真的有超過 500 頁嗎?如果是電商,你的商品數真的有那麼多嗎?當然這是極端的說法,因為我相信大家都會覺得說:那有一天我超過 500 個怎麼辦,或是我是新網站怎麼辦?

用 ChatGPT 來做 SEO 的基礎內容建設是否能被搜尋引擎接受?實驗不到一個月我有了答案

身為一個 SEOer ,看到任何有趣的新東西,自然就是在思考:這個東西對 SEO 是不是有幫助?就像當年寫部落格是為了外鏈自建跟內容生成, Facebook 剛開始的年代,上面的外鏈全部是 DoFollow(具有價值的連結),所以我玩起了 FB 。但這麼多年來, ChatGPT 真的是我花最大量心思去投入的工具,因為他對我的 SEO 策略真的太有幫助了,但這些想法都是假設,於是我自己展開了實驗。我利用 ChatGPT 以及其他延伸的工具來產出「相對可能沒那麼 100% 專業,但應該有 80 分水準以上,適合普羅大眾觀看」的內容,大概步驟如下:

SEO建議做在QDM內建還是WordPress上比較好?電商內容行銷實務分享

那天有一位社團成員匿名發問:SEO建議做在QDM內建還是WordPress上比較好?他的問題是: 我們家使用QDM系統,有意願做SEO,之前因為QDM內建的部落格版面老闆覺得醜,所以另外用Wordpress自建了一個部落格目前兩邊都是有文章的,想問大家這個情況,SEO建議做在QDM內建的還是Wordpress上比較好呢? 其實他的問題是:如果我想透過內容行銷或產生文章來做好 SEO ,那我應該用電商平台內建的部落格功能,還是另外架設一個外部網站(如用 WordPress)來放內容呢?這個問題嚴格來說是老生常談,但在回答這個問題之前,我們先複習一下先前 台灣電商開店平台 SEO 能力大解析 中,電商平台 有沒有部落格功能這一評分標準 ,其實就會跟我們今天的解答有關係。