למה שסוכן AI יקרא את האתר שלכם? ומה קורה כשהוא לא מצליח

רגע, למה שסוכן AI בכלל יקרא לי את האתר?

כי הלקוחות שלכם כבר לא תמיד מגיעים דרך גוגל. חלק מהם שואלים את ChatGPT "איפה כדאי לקנות X" או "כמה עולה Y", והמודל יוצא לאינטרנט ומביא תשובה. אם הוא מצליח להיכנס לאתר שלכם, התשובה נבנית מהמידע שלכם - המחיר שלכם, התנאים שלכם, המוצרים שלכם.

ואם הוא לא מצליח? הוא לא אומר ללקוח "לא הצלחתי". הוא עונה בכל זאת, ממה שמצא במקום אחר: מאתר מתחרה, מפורום, מרשומה ישנה. במחקר שנלווה למפרט החדש, תשובות כאלה היו בסבירות גבוהה פי 3.7 שלא יכילו אף אחת מהעובדות שהמשתמש ביקש.

זה ההבדל המעשי: לא "להיות בטרנד של AI", אלא מי מספק את המידע על העסק שלכם כשנשאלת עליו שאלה.

מה הושק

AgentReady הוא מפרט פתוח, לא תקן מחייב ולא תג הסמכה. הוא מנסה לענות על שאלה שהפכה מבלבלת: יש היום llms.txt, MCP, WebMCP, A2A, Web Bot Auth ועוד פרוטוקולים - מה מהם באמת נחוץ לעסק שלי, ובאיזה סדר?

התשובה שלו מחולקת לשכבות, לפי הסדר שבו סוכן פוגש אתר. שתיים מהן נוגעות לכל אתר:

• Find - שיוכל להגיע. להתיר גישה לסוכנים ב-robots.txt ובהגנות הבוט, ולפרסם את המידע בעמוד רשמי משלכם.
• Read - שיוכל להבין. התשובה החשובה צריכה להופיע ב-HTML הראשוני, עם קודי תגובה אמיתיים וקישור למשאבים כמו llms.txt ונתונים מובנים.

יש גם שכבה שלישית, Act, שעוסקת בלאפשר לסוכן להשלים פעולה ולא רק לקרוא. היא רלוונטית למוצרי תוכנה ולשירותים שסוכן אמור לבצע בהם משימה - לא לאתר עסקי או לחנות, ולכן לא נרחיב עליה כאן.

הדרישות מדורגות ב-MUST, SHOULD ו-MAY, והן נשענות על יותר מ-250 אלף הרצות סוכנים. הסורק של Ora בדק כ-124 אלף אתרים ומצא ש6% בלבד מקבלים ציון B ומעלה; הממוצע עומד על 42.

מה באמת הפיל את הסוכנים

זה החלק השימושי. בניסוי המבוקר הוצג אתר תיעוד אחד ב-19 תצורות שונות, ורק שני שינויים שברו את הסוכנים: חסימת גישה (תגובת 403), ותוכן שנטען רק אחרי הרצת JavaScript. ב-16 התצורות האחרות - שכללו שינויים ב-llms.txt, בנתונים מובנים ובגרסאות Markdown - הסוכנים שלפו את התשובה בלי קשר.

זו לא פסילה של שאר העבודה, אלא סדר עדיפויות: קודם לוודא שהסוכן נכנס ומקבל טקסט, ורק אחר כך להתעסק בקבצים הייעודיים.

שני ממצאים נוספים שווים תשומת לב. ה-sitemap כמעט לא בשימוש: סוכנים הגיעו לעמודי תיעוד ב-83% מההרצות ולעמוד הבית ב-69%, אבל ל-sitemap.xml ב-4% בלבד. הם גולשים כמו אנשים, דרך הדף הראשי והקישורים. ומכאן גם שllms.txt לבדו לא עושה כלום - קובץ שנועד למכונות נקרא רק אם משהו שכבר נקרא מקשר אליו.

המחירים: הפער הגדול ביותר במחקר

במחקר רחב יותר שליווה את ההשקה - 37,927 מסלולי סוכן על 1,056 עסקים - בלט ממצא אחד: כשהתשובה נבנתה מהאתר של העסק עצמו, 60% מהתשובות על מחירים היו מדויקות; כשהיא נבנתה ממקורות אחרים, 37% בלבד. זה הפער הגדול ביותר מבין כל סוגי השאלות שנבדקו.

וכשסוכן לא מצליח לקרוא את האתר הוא לא מוותר - הוא עונה בכל זאת, ממקורות אחרים. באותו מחקר, תשובות כאלה היו בסבירות גבוהה פי 3.7 שלא יכילו אף אחת מהעובדות שהמשתמש ביקש. במילים פשוטות: אם המחירים שלכם בתמונה, במחשבון דינמי או מאחורי טופס "צרו קשר לקבלת הצעה" - מישהו עדיין יענה על השאלה במקומכם.

מה לעשות עכשיו

1. לבדוק שאתם לא חסומים. להתחיל מ-robots.txt, ואז לוודא מול המפתח או ספק האחסון שהגנת הבוטים לא חוסמת סורקי AI. שימו לב: בדיקה מהירה משורת פקודה יכולה להטעות - חלק מההגנות מסננות לפי מאפייני החיבור ולא רק לפי שם הסורק, וכלי בדיקה פשוט ייראה להן חשוד בעצמו.
2. לוודא שהתוכן נמצא בקוד. שמרו את עמוד המוצר כ-HTML ובדקו אם המחיר והתיאור מופיעים בו. אם לא, חלק מהסוכנים רואים עמוד ריק.
3. להוציא מחירים ותנאים לטקסט. לפי הנתונים, זו ההשקעה עם ההחזר הגבוה ביותר.
4. לקשר את llms.txt מעמוד הבית ומהעמודים המרכזיים, לא להשאיר אותו מנותק.

לבדיקה עצמית קיימים כמה כלים שמיישמים את ההמלצות: הסורק של Ora, is-agentic.com שפותח עם Vercel, ו-Agent Score של Mintlify. לכל אחד שיטת ניקוד משלו, אז אל תתייחסו לציון כאל מוחלט.

הערה אחת לסיום: רוב הנתונים כאן מגיעים מ-Ora, שמוכרת גם כלי בדיקה בתחום ויש לה אינטרס שהנושא ייתפס כדחוף. הניסוי המבוקר נעשה על אתר תיעוד אחד. הכיוון נראה לנו נכון וסדר העדיפויות הגיוני, אבל אל תצפו שהתאמה טכנית לבדה תכפיל לכם את ההמלצות.

מקורות

• AgentReady - The open standard for agent readiness
• Ora - סורק מוכנות לסוכנים ומחקר נלווה
• is-agentic.com - כלי בדיקה שפותח עם Vercel

→ חזרה לבלוג