如何分析搜尋引擎爬蟲日誌

第三，當我們有多個關鍵詞排名時，站的目的就出現了，哪個關鍵詞能給我們帶來更多的流量，更多的轉化率，這些好的、轉化率高的關鍵詞自然需要我們更多的關注。 畢竟，站長做車站是為了賺錢。

如果需要細分的話，大致可以分為十一點：

1.在開始施工之前，您需要選擇關鍵字並展開它們。 一種常見的方法是在搜尋框中輸入擴充套件關鍵字並檢視相關頁面以確定關鍵字競爭的程度。

5、在內容頁面做長尾關鍵詞，長尾關鍵詞比做數量好，用數量來帶動目標關鍵詞。 這就像乙個金字塔，自下而上慢慢建立起來，將目標關鍵詞帶到頂部。

10. 分析競爭對手：前 3 名需要分析其規模、數量和內容頁面。 一般來說，內容頁面中存在長尾關鍵詞，我們需要看看這些文章是原創的還是原創的，甚至是**。

11、收集對手資料後，建立情況表，供對手分析。

有了光年日誌分析工具，每個人都會使用它。

您可以轉到統計資訊中的索引進行檢視，也可以檢視 IIS 日誌，可以檢查它。

如果是空間，請登入空間控制平台，找到日誌，然後到本地檢視。 伺服器，只需在IIS伺服器中查詢相應的**登入即可**檢視**。 主要分析百度蜘蛛的訪問量、時間等！

但是，免費使用者只能檢視小於 20 MB 的日誌檔案。

此內容太多，但您可以通過查詢以下**來完成分析。

302 狀態程式碼：請求的資源現在臨時響應來自其他 URI 的請求。

404 狀態碼：請求失敗，未在伺服器上發現請求的資源。

500 狀態程式碼：伺服器遇到不可預見的情況，阻止它完成請求。

提供爬網程式執行哪些頁面以及反映哪些型別的問題。

通常，它儲存在根目錄中包含日誌的資料夾中（如果支援日誌功能）。

分析日誌是從內容的不同維度（使用者行為、伺服器條件、爬蟲資料）獲取資料。

通過長期的資料跟蹤，做一些更科學的調整和**。

做什麼是有目的的，你讓分析**記錄，是看蜘蛛路徑還是看其他IP訪問，或者那些？

沒有明確的目的，更不用說正確的分析了。

1. 什麼是日誌。

1.日誌是記錄各種原始資訊的檔案，例如 Web 伺服器收到的請求和執行時錯誤。

2.通過日誌，可以清楚地知道使用者在什麼IP下訪問了哪個頁面，什麼時間，什麼作業系統，什麼瀏覽器，什麼解析裝置，以及訪問是否成功。

1.抓取頻率：爬蟲頻率是搜尋引擎在單位時間（天級別）內抓取**伺服器的總次數，如果搜尋引擎對網站的抓取頻率過高，很可能導致伺服器不穩定，爬蟲會根據內容更新頻率和伺服器壓力等因素自動調整抓取頻率。

3）頁面分析：通過頁面分析，我們可以了解哪些頁面經常被反覆抓取，並可以進行相應的優化和調整。例如，一些註冊頁面和像**這樣的登入頁面經常被抓取很多次，當我們發現這種情況時，我們通常會遮蔽登入註冊頁面。

1. 日誌能為我們做什麼？

1、可以分析爬蟲抓取頁面的有效性（降低搜尋引擎對一些嘈雜頁面的爬取頻率：重複頁面、低質量頁面、空內容頁面、404頁面、非排名頁面）;

2. 檢查**頁面中的404錯誤頁面和500伺服器錯誤。

3、頁面重要內容是否已經被爬蟲抓取，完整快速遍歷;

4.正確區分蜘蛛和爬蟲。

2. 常見HTTP狀態碼的解釋。

**，表示蜘蛛正常爬行。

**，此鏈結訪問是錯誤的鏈結。

**，永久重定向。

**，表示臨時重定向。

**，客戶端已執行 GET，但檔案未更改。

，表示內部程式或伺服器存在錯誤。

日誌的含義，大家可以看一下日誌中每個資料代表什麼，總之，這個檔案就是記錄當天發生的一些行為。 當我們得到這樣的日誌時，我們可以通過分析日誌檔案來檢視我們的日誌並解決存在的問題;

3. 日誌的解釋**。

可以從日誌檔案中推斷出兩個部分：

注意：真蜘蛛或假蜘蛛可以通過 nslookup IP 識別。

低質量的過載頁面）。

低質量的過載頁面）。

下載（低質量頁面）。

死鏈結），但這裡有乙個問題，這個頁面返回的狀態碼是200而不是404，但是頁面跳轉到404頁面，從中可以發現伺服器設定一定有問題;

因此，當我們有一些不希望它們抓取的頁面時，我們需要在機械人中對它們進行規範化。 調節機械人的乙個重要手段是： 抓取工具更正，使抓取工具能夠更專注於我的詳細資訊頁面。

2. 使用者訪問。

關於使用者的訪問情況，主要分析使用者的訪問行為軌跡和使用者屬性，Bing SEO這裡就不多說了。

登入到 ftp，鏈結到 Data，然後找到 Logs 資料夾。 （注意：一般情況下，**日誌所在的資料夾與**檔案是同乙個資料夾，並且有單詞log。

只有在少數情況下，日誌資料夾才會位於根目錄下。 ）

開啟資料夾，**Log Zip File！ （**方法很簡單，只需選擇中文檔案直接拖拽到電腦桌面上，然後瀏覽檔案在本地**目錄左下角“右鍵-傳輸佇列”！ ）

建立乙個新的 excel 並開啟它！ 在頂部工具欄中找到資料工具。

點選“匯入資料”，預設直接開啟資料檔案，然後選擇“選擇資料來源”。

選擇解壓縮的 txt 檔案並開啟它！

預設值為“其他編碼”。

選擇“分隔符號”和“下一步”;

勾選所有選項，然後勾選“下一步”;

預設為“常規”和“完成”;

您需要做的就是保留所需的資料項。 刪除不需要的資料項！ （如圖所示，僅保留資料分析所需的訪客IP、訪問檔案、訪問狀態碼、訪客名稱。 ）

選擇整個訪客姓名列，然後單擊“開始”部分中的“過濾器”工具。

單擊訪客姓名列上方的三角形下拉按鈕;

取消全部，找到蜘蛛的訪客名稱，選擇並“確定”;

我們可以獲取蜘蛛在日誌當天訪問的所有資料。

最後將資料儲存到**每日分析日誌中，如果房東麻煩，可以選擇搜尋6個系統（注：每天更新原始內容的**在分析日誌時一般需要保留時間資料。 ）