מומחה Semalt: מדריך למניעת סריקת Sitemaps ישנה של Google

ככל שהאתר שלך יגדל, תשתדל כמיטב יכולתך למצוא דרכים לשיפור הנראות והאמינות שלה באינטרנט. לפעמים ההשפעות של האופן בו האתרים שלנו עבדו נשארו מאחור, וכאן עלינו לשים לב.

צא לטיפים הבאים של מקס בל, מנהל הצלחת הלקוחות של Semalt , כדי למנוע מ- Google לסרוק אתרים ישנים.

לפני מספר שבועות, אחד הלקוחות שלי אמר לי שיש לו אתר למסחר אלקטרוני. זה עבר שינויים שונים: ממבנה ה- URL ועד ה- Sitemap, הכל שונה כדי להפוך את האתר לגלוי יותר.

הלקוח הבחין בכמה שינויים במסוף החיפוש של גוגל שלו ומצא שם את שגיאות הסריקה. מה שהוא ציין שיש מספר גדול של כתובות URL ישנות וחדשות שיצרו תנועה מזויפת. עם זאת, חלקם הראו שגיאות Access Denied 403 ו- Not Found 404.

הלקוח שלי אמר לי שהבעיה הגדולה ביותר הייתה לו מפת אתר ישנה שקיימת בתיקיית השורש. אתר האינטרנט שלו השתמש במגוון תוספים של גוגל XML Sitemaps בעבר, אך כעת הוא היה תלוי ב- WordPress SEO של Yoast עבור ה- Sitemap. עם זאת, תוספי Sitemap ישנים שונים יצרו בלגן. הם היו קיימים בתיקיית השורש המכונה sitemap.xml.gz. מאז החל להשתמש בתוספי Yoast ליצירת מפת האתר עבור כל הפוסטים, קטגוריות העמודים והתגיות, הוא לא היה זקוק יותר לתוספים האלה. לרוע המזל האדם לא הגיש את ה- sitemap.xml.gz למסוף החיפוש של Google. הוא רק הגיש את מפת האתר שלו ביוסט, וגם גוגל סורק את ה- Sitemaps הישנים שלו.

מה לזחול?

האדם לא מחק את ה- Sitemap הישן מתיקיית השורש, כך שהוא גם נכנס לאינדקס. חזרתי אליו והסברתי שמפת אתר היא רק הצעה למה שיש לסרוק בתוצאות מנוע החיפוש . אתם בטח חושבים שמחיקת ה- Sitemaps הישנה תמנע מגוגל לסרוק את כתובת האתר המנותקת, אך זה לא נכון. הניסיון שלי אומר שגוגל מנסה להוסיף לאינדקס כל כתובת URL ישנה מספר פעמים ביום, תוך שהיא מוודאת כי שגיאות ה- 404 הן אמיתיות ולא תאונות.

Googlebot יכולה לאחסן את הזיכרון של קישורים ישנים וחדשים שהיא תמצא במפת האתר של האתר שלך. הוא מבקר באתר שלך בפרקי זמן קבועים, ודואג שכל עמוד באינדקס נכון. Googlebot מנסה להעריך אם הקישורים תקפים או לא חוקיים כך שהמבקרים לא יתקלו בבעיה.

ברור כי מנהלי האתרים יתבלבלו כאשר מספר שגיאות הסריקה שלהם יגדל. כולם רוצים לצמצם את זה במידה רבה. כיצד להודיע ל- Google להתעלם מכל מפת האתר הישנה? אתה יכול לעשות זאת על ידי הריגת כל סריקות ה- Sitemap הלא רצויות והמוזרות. בעבר, הדרך היחידה לאפשר זאת הייתה קבצי ה- .htaccess. תודה לוורדפרס שסיפקה לנו כמה תוספים.

באתרי WordPress יש קובץ זה בתיקיות השורש שלהם. אז אתה רק צריך לגשת ל- FTP ולאפשר את הקבצים הנסתרים ב- cPanel. עבור אל אפשרות מנהל הקבצים כדי לערוך קובץ זה לפי דרישתך. אל תשכח כי עריכתו בצורה לא נכונה עלולה לגרום נזק לאתר שלך, ולכן עליך תמיד לגבות את כל הנתונים.

לאחר שתוסיף את קטע הקוד לקובץ, כל כתובות האתרים שפג תוקפן ייעלמו משגיאות הסריקה שלך תוך זמן קצר. אל תשכח שגוגל מעוניינת לשמור על האתר שלך פעיל, ותקטין את הסיכוי לשגיאות 404.