מחקר קהלים סינתטי הוא בדיקה של רעיונות, תסריטים ומסרים מול פאנל של פרסונות מבוססות AI, לפני שמשקיעים בהפקה ובמדיה. הוא מהיר, ולכן מתאים לשלב המוקדם שבו בוחרים בין כיוונים ומחדדים מסרים. המחקר האקדמי מראה שהוא יכול לשקף מגמות ברמת הקבוצה, אבל גם שהוא נוטה לתשובות שטחיות וחיוביות מדי, ולכן הוא משלים מחקר שוק עם אנשים אמיתיים ולא מחליף אותו.
בקצרה
- כלי למיון, לא לחיזוי. פרסונות סינתטיות טובות בזיהוי כיוונים חלשים ובהעלאת שאלות, ופחות טובות בחיזוי מדויק של התנהגות.
- הראיות מעורבות. מחקרים מצאו התאמה טובה לנתונים אנושיים ברמת הקבוצה בחלק מהמקרים, וסטיות משמעותיות במקרים אחרים.
- ההקשר המקומי חשוב. מחקרים מצאו שמודלי שפה נוטים לשקף בעיקר אוכלוסיות מערביות, ולכן פרסונות צריכות להיבנות ולהיבדק מול ידע על הקהל המקומי.
- המקום הנכון הוא לפני ההפקה. בודקים בין הרעיון לצילומים, ואחרי העלייה לאוויר ממשיכים למדוד מול קהל אמיתי.
מה זה מחקר קהלים סינתטי?
מחקר קהלים סינתטי הוא שיטה שבה מציגים חומרים שיווקיים לפאנל של פרסונות שנוצרו בעזרת מודל שפה, ומנתחים את התגובות שלהן כפי שמנתחים קבוצת מחקר. במקום לגייס נבדקים, בונים קהל מדומה שנועד לשקף את פלחי הקהל הרלוונטיים למותג.
פרסונת AI היא פרופיל מדומה של צרכן, עם מאפיינים כמו גיל, אזור מגורים, מצב משפחתי, הרגלי צריכה ועמדות, שמודל שפה מגלם כשהוא עונה על שאלות. פאנל סינתטי הוא אוסף של פרסונות כאלה, שנבנה כך שיכסה את הגיוון של קהל היעד.
בפועל, מציגים לפאנל רעיון, תסריט, כותרת או מסר, ומקבלים תגובות, הסברים והשוואה בין חלופות. אפשר לקיים ראיון עומק עם פרסונה בודדת כדי להבין מה עומד מאחורי התגובה שלה, או לדמות דיון קבוצתי שבו פרסונות שונות מגיבות זו לזו. התוצר הוא תמונה של מה עובד, אצל מי ולמה, יותר מאשר מספר אחד.
על מה מחקר שוק AI נשען, ואיך הוא עובד?
מחקר שוק AI נשען על היכולת של מודלי שפה לשחזר דפוסים של עמדות והעדפות שקיימים בטקסטים שעליהם אומנו, כשהם מקבלים תיאור מפורט של אדם מסוים. ככל שהתיאור מבוסס יותר על נתונים אמיתיים, התשובות שימושיות יותר.
אחד המחקרים המצוטטים בתחום, של חוקרים מאוניברסיטת בריגהאם יאנג שעלה כפרה-פרינט ב-arXiv ב-2022, בדק את הרעיון באופן שיטתי. החוקרים נתנו למודל GPT-3 סיפורי רקע של משיבים אמיתיים מסקרי בחירות אמריקאיים, וביקשו ממנו לענות כמותם. את השיטה הם כינו דגימה סיליקונית, כלומר בניית אוכלוסייה מדומה מתוך פרופילים של אוכלוסייה אמיתית.
הם הציעו גם מושג חשוב: נאמנות אלגוריתמית, שהיא המידה שבה הקשרים בין עמדות, רעיונות ומאפיינים דמוגרפיים אצל המודל משקפים את הקשרים אצל קבוצות אנושיות. לפי הממצאים, המודל שחזר במקרים רבים את התמונה הקבוצתית בצורה קרובה, ומעריכים אנושיים התקשו להבחין בין טקסטים שכתב לבין טקסטים של אנשים. עם זאת, ההתאמה הייתה חלשה יותר בחלק מהקבוצות, והחוקרים הדגישו שהיא נבחנת ברמת הקבוצה ולא ברמת האדם הבודד, ושהשיטה מתאימה בעיקר לבדיקות מקדימות ולפיתוח השערות.
מה המחקר אומר על הגבולות של משיבים סינתטיים?
המחקר מצביע על שלוש מגבלות עיקריות: תשובות לא מדויקות בשאלות כמותיות, הטיה לאוכלוסיות מערביות, ונטייה לתשובות שטחיות וחיוביות מדי. כל אחת מהן משפיעה על האופן שבו נכון להשתמש בשיטה.
דיוק בשאלות כמותיות
מאמר עבודה של בית הספר למנהל עסקים של הרווארד משנת 2023 השווה הערכות של נכונות לשלם שהתקבלו ממודלי שפה להערכות ממחקרים עם אנשים. בחלק מהמוצרים ההערכות של המודל היו קרובות לאלה של הנבדקים, ובאחרים הפער היה גדול, ולעיתים המגמה אפילו התהפכה. כשהחוקרים אימנו את המודל על סקרים קודמים, הוא השתפר בהערכת תכונות חדשות של מוצרים מאותה קטגוריה ומול אותו קהל. בקטגוריה חדשה, או בהשוואה בין פלחי לקוחות, האימון לא שיפר את התוצאות. לכן הכותבים ממליצים להשתמש במודלי שפה כהשלמה למחקר עם אנשים.
מי בעצם מיוצג
מחקר בשם "Which Humans?" שעלה כפרה-פרינט ב-2023, של חוקרים מהרווארד, בדק את הדמיון בין תשובות של מודלי שפה לבין נתונים פסיכולוגיים מתרבויות שונות. החוקרים מצאו שהמודלים עונים בעיקר כמו אנשים מחברות שהספרות המחקרית מכנה WEIRD, כלומר מערביות, משכילות, מתועשות, אמידות ודמוקרטיות. ככל שאוכלוסייה רחוקה יותר מהפרופיל הזה, התשובות של המודל פחות דומות לשלה. בשוק עם קהלים מגוונים כמו בישראל, המשמעות היא שצריך לבחון בזהירות מיוחדת פלחים שרחוקים מהפרופיל שהמודל מכיר הכי טוב.
עומק וחיוביות-יתר
Nielsen Norman Group, חברת מחקר וייעוץ בתחום חוויית המשתמש, השוותה ב-2024 משתמשים סינתטיים לשלושה מחקרים עם משתתפים אמיתיים. המשתמשים הסינתטיים נטו להתלהב גם מרעיונות שמשתתפים אמיתיים הגיבו אליהם בקרירות, נתנו תשובות כלליות, והתקשו להבחין בין מה שחשוב להם באמת לבין מה שפחות. המסקנה של NN/g היא שהשיטה עוזרת לנסח השערות ולהכין מחקר עם אנשים, למשל לנסות מדריך ראיון מראש, ושכשמציגים את התוצאות צריך לומר במפורש שמקורן בסימולציה.
מה ההבדל בין מחקר שוק מסורתי למחקר קהלים סינתטי?
מחקר שוק מסורתי מודד אנשים אמיתיים ומספק ראיות להחלטה, ומחקר קהלים סינתטי מהיר יותר ומתאים לחקירה מוקדמת ולמיון בין כיוונים. השאלה היא מה מתאים לכל שלב.
| קריטריון | מחקר שוק מסורתי | מחקר קהלים סינתטי |
|---|---|---|
| מהירות | ימים עד שבועות, תלוי בגיוס ובשטח | תוצאות בזמן קצר, אפשר לחזור על הבדיקה מיד |
| עומק | תגובות אמיתיות, כולל הפתעות ורגש | הסברים מפורטים, אבל לעיתים שטחיים ואחידים |
| גיוון | מוגבל לנבדקים שגויסו בפועל | אפשר לכסות פלחים רבים, בכפוף לאיכות הפרסונות |
| אמינות לחיזוי | ראיה ישירה, בכפוף לאיכות המדגם | חלשה בשאלות כמותיות ובקהלי נישה |
| הטיות עיקריות | הטיית מדגם, השפעת המנחה | חיוביות-יתר, הטיה לאוכלוסיות מערביות |
| מתי להשתמש | החלטות גדולות, תמחור, ביקוש, אימות | מיון כיוונים, חידוד מסרים, הכנת מחקר אמיתי |
במקרים רבים הדרך המתאימה היא שילוב. מחקר סינתטי מצמצם הרבה כיוונים לכמה מבטיחים ומחדד שאלות, ומחקר עם אנשים, או בדיקה באוויר, מאמת את ההחלטות שבאמת יקרות.
מתי מחקר קהלים סינתטי עוזר לבדיקת קריאייטיב?
בדיקת קריאייטיב סינתטית עוזרת כשצריך לבחור בין כמה כיוונים, לחדד ניסוח או לגלות מוקדם סיכון, לפני שמשקיעים בהפקה ובמדיה. היא חזקה בעיקר בהשוואה, ופחות בציון מוחלט.
- בחירה בין כיוונים. כשיש כמה רעיונות על השולחן וצריך להחליט במה להשקיע.
- חידוד מסרים. כדי להבין איזה ניסוח ברור, אמין ורלוונטי יותר לכל פלח קהל.
- זיהוי סיכונים. כדי לגלות מוקדם מסר שעלול להתפרש לא נכון אצל קהל מסוים.
- הבנת ה"למה". ראיונות עומק עם פרסונות עוזרים להבין מה עומד מאחורי התגובה, ולא רק אם היא חיובית או שלילית.
- הכנה למחקר אמיתי. כדי לנסות שאלון או מדריך ראיון לפני שיוצאים לשטח.
יש גם מקרים שבהם עדיף לא להסתמך עליה לבד. החלטות על מחיר ועל ביקוש, קהלי נישה מאוד ספציפיים, ונושאים שבהם התגובה תלויה בחוויה אישית עמוקה, דורשים נתונים מאנשים אמיתיים. במקרים האלה מחקר סינתטי יכול לעזור לנסח את השאלות, אבל לא לענות עליהן.
איך משלבים מחקר קהלים סינתטי בתהליך בלי ליפול במלכודות?
משלבים אותו כשלב מיון מוגדר: שאלה צרה, השוואה בין חלופות, ואימות מול קהל אמיתי בהחלטות הגדולות. כך מקבלים את המהירות בלי לייחס לתוצאות ודאות שאין בהן.
- מגדירים את השאלה: מה רוצים להחליט, ומול איזה קהל.
- מוודאים שהפרסונות מבוססות על ידע אמיתי על הקהל, ולא על סטריאוטיפים.
- בודקים כמה כיוונים זה לצד זה, ומסתכלים על הפערים ביניהם ולא רק על הציון של כל אחד.
- מבקשים נימוקים והתנגדויות, לא רק דירוג, כדי לאזן את הנטייה לחיוביות.
- מחדדים את הכיוון שנבחר לפי התובנות, ובודקים שוב אם צריך.
- מעבירים להפקה עם בריף מבוסס יותר, וממשיכים למדוד מול קהל אמיתי באוויר.
שני כללים נוספים שומרים על השיטה כנה. הראשון: מציגים תוצאות סינתטיות כתובנות שמחייבות אימות, ולא כדעת הצרכנים. השני: קוראים כל ממצא מחקרי בהקשר של המודל והשוק שבהם נבדק. המחקרים שהוזכרו כאן בדקו מודלים מסוימים בהקשרים מסוימים, למשל GPT-3 מול סקרי בחירות אמריקאיים, ונכון לאוקטובר 2026 התחום ממשיך להתפתח מהר.
איך אנחנו ניגשים לזה ב-CONNECT
ב-CONNECT מקבוצת הפרסום ברוקנר יער לוי אנחנו משתמשים במחקר קהלים סינתטי כשלב מיון לפני ההפקה, לא כתחליף למדידה. הוא עוזר לנו להגיע לפגישת הקריאייטיב עם פחות כיוונים ויותר נימוקים, ולכתוב בריף הפקה מבוסס יותר. אחרי העלייה לאוויר, הנתונים של הקהל האמיתי הם שקובעים.
לשם כך אנחנו עובדים עם AudienceLab, מערכת שפותחה בקבוצת ברוקנר יער לוי לבחינה מוקדמת של רעיונות, תסריטים ומסרים מול פאנל של 200 פרסונות סינתטיות ישראליות. היא כוללת ראיונות עומק, חדר דיון קבוצתי והמלצת Go, Revise או No-Go לכל כיוון. התובנות שלה הן סימולציה, ואנחנו בוחנים אותן לצד ידע מקצועי ונתונים מקהל אמיתי. עוד על AudienceLab.
שאלות נפוצות
מה זה פרסונות AI?
פרסונות AI הן פרופילים מדומים של צרכנים, שמודל שפה מגלם כשהוא עונה על שאלות. לכל פרסונה יש מאפיינים כמו גיל, מקום מגורים, מצב משפחתי, הרגלי צריכה ועמדות. אוסף של פרסונות כאלה יוצר פאנל שמדמה את קהל היעד, ואפשר להציג לו רעיונות, תסריטים ומסרים. איכות התשובות תלויה במידה רבה באיכות הנתונים שעליהם הפרסונות נבנו.
האם מחקר שוק AI יכול להחליף סקר או קבוצת מיקוד?
לא באופן מלא. מחקרים אקדמיים מצאו שמודלי שפה יכולים לשקף מגמות קבוצתיות במקרים מסוימים, אבל גם שהם טועים בשאלות כמותיות כמו נכונות לשלם, ונוטים לתשובות חיוביות ושטחיות. לכן מחקר שוק AI מתאים לשלב המוקדם, למיון כיוונים ולחידוד שאלות, ואילו החלטות גדולות כמו תמחור, ביקוש או השקה של מוצר עדיין דורשות נתונים מאנשים אמיתיים.
כמה מדויק מחקר קהלים סינתטי?
הדיוק משתנה מאוד לפי הנושא, הקהל והאופן שבו הפרסונות נבנו. המחקרים מראים התאמה טובה יותר ברמת הקבוצה מאשר ברמת האדם הבודד, ובשאלות של כיוון והשוואה יותר מאשר בשאלות כמותיות. ההתאמה חלשה יותר בקהלים שרחוקים מהאוכלוסיות שהמודלים מכירים הכי טוב. לכן כדאי להתייחס לתוצאות כאל השערות מבוססות, ולאמת את החשובות שבהן.
מתי כדאי לבדוק קריאייטיב לפני הפקה?
כדאי לבדוק קריאייטיב לפני הפקה כשיש כמה כיוונים אפשריים, כשההפקה או תקציב המדיה משמעותיים, או כשהמסר נוגע בנושא רגיש שעלול להתפרש לא נכון. בשלב הזה שינוי עולה מעט, ואחרי הצילומים הוא עולה הרבה. בדיקה מוקדמת עוזרת לבחור כיוון, לחדד ניסוח ולזהות סיכונים, ואחריה ממשיכים למדוד את הקמפיין מול הקהל האמיתי.
האם מחקר קהלים סינתטי מתאים לשוק הישראלי?
הוא יכול להתאים, בתנאי שהפרסונות נבנות על ידע אמיתי על הקהל הישראלי ולא רק על מה שהמודל יודע באופן כללי. מחקר אקדמי מצא שמודלי שפה משקפים בעיקר אוכלוסיות מערביות, ולכן בשוק מגוון כמו הישראלי חשוב לבדוק במיוחד פלחים שונים זה מזה. פאנל שנבנה במיוחד לקהל המקומי יכול לעזור לצמצם את הפער הזה, אבל הוא אינו תחליף לתיקוף מול אנשים אמיתיים, ואת הממצאים החשובים עדיין צריך לאמת.
ראו גם: AI בשיווק · המדריך ל-AI בשיווק · חוב מותג · תכנון מדיה שנתי · טכנולוגיה וכלים
מקורות: Argyle et al., Out of One, Many: Using Language Models to Simulate Human Samples (arXiv) · Brand, Israeli & Ngwe, Using LLMs for Market Research (SSRN, HBS Working Paper 23-062) · Atari et al., Which Humans? (Harvard CID) · Nielsen Norman Group – Synthetic Users: If, When, and How to Use AI-Generated Research
רוצים לבדוק את הקמפיין הבא לפני ההפקה? השאירו פרטים.