ההתחלה
התפשטות האיסלם, המובל על ידי השבטים הערבים, הביאה לכך שקהילות לא מוסלמיות משמעותיות נפלו תחת שלטון המוסלמים. מטרת המוסלמים הייתה לאסלם את כל העולם וגם את הלא מוסלמים, שהיו תחת שלטונם. כדי לגרום ללא מוסלמים להתאסלם, ניהלו המוסלמים מדיניות המפלה את הלא מוסלמים ומטילה עליהם מסים שהמוסלמים היו פטורים מהם. כחלק מהמדיניות המפלה, הטילו השלטונות המוסלמים על הנוצרים, היהודים ועובדי זרתוסטרה חובה לסמן את בגדיהם בסימונים צבעוניים, שיסגירו את דתם. על הנוצרים הוטל לתפור לבגדיהם סימן אדום, ליהודים סימן צהוב ולעובדי זרתוסטרה סימן שחור.
בשנת 807 קבע הח'ליפה העבאסי הארון א–רשיד, שעל היהודים לחבוש כובע מחודד בצבע צהוב וחגורה צהובה. שליטים שונים קבעו סימונים אופנתיים שונים, אולם מנהג סימון היהודים נמשך בארצות האיסלם עד אמצע המאה ה-19. רעיון סימון האוכלוסייה, שלא משתייכת לדת הרוב, עבר גם אל אירופה ואומץ על ידי הנוצרים הקתוליים.
מסע הצלב האלביגנזי
במאה ה-12, באירופה, התפשט בהדרגה זרם נוצרי דואלי. בדתות הדואליות יש שני אלים מרכזיים, האחד מסמל את הטוב והשני את הרע ומסביב למתחים ביניהם בונים את כל המיתולוגיה. מקור הזרמים הדואליים בפרס העתיקה, אך ביבשת אירופה קיבלו מעטה חדש, סוג של נצרות המקבלת את ההגד הנוצרי המרכזי, אך מוסיפה וגורעת הגדים נוספים.
בצרפת ובעיקר בדרומה, שגשג זרם כזה, זרם שמאמיניו נקראו קתרים (השם נגזר ממילה יוונית שפירושה "טהורים" ומצביעה על מטרת המאמינים) או אלביגנזים (בגלל ריכוז המאמינים בסביבות העיר "אלבה" בצרפת) או שמות אחרים לפי שמות מנהיגיהם או מקום התישבותם. נוצרים אלה דחו את הממסד הקתולי ואת סמכותו, חיו חיי צנע וזכו להערכת שכניהם ואפילו תפסו אחיזה בכמה בתי אצולה ותיקים. הממסד הקתולי הנבער והמושחת של התקופה, לא הצליח להתמודד עם מורי ההלכה המשכילים והצנועים של הקתרים, לכן פנה לדיכוי הזרם בכוח הזרוע. האפיפיור הכריז על מסע צלב נגדם, מסע שבמהלכו באו לוחמים מצפון צרפת ומהארצות השכנות, כדי להילחם ביושבי דרום צרפת ולהשתלט על רכושם ואחוזותיהם בברכת האפיפיור. מלחמה זו הייתה אכזרית מאוד וממושכת למדי ובמהלכה אולצו קתרים רבים לבחור בין "חזרה בתשובה" לזרועות הכנסייה הקתולית לבין מוות על המוקד. כדי להילחם בקתרים המציא הממסד הקתולי את האינקויזיציה הידועה לשמצה, שמאוחר יותר "טיפלה" גם באנוסים היהודים. תפקיד האינקויזיציה היה להשגיח על הקתרים שחזרו בתשובה, שמא ממשיכים הם בסתר את פולחנם.
בשנת 1215, בכינוס כנסייתי קתולי, הקרוי "ועידת לטראנו הרביעית", התקבלה החלטה לחייב את הקתרים לשעבר לשאת על בגדיהם צלב צהוב, שיקל על האחרים להשגיח עליהם. באותה הזדמנות הוחלט לסמן בדרך דומה גם בני דתות אחרות וביניהם את היהודים. בעקבות החלטה זו הוטלה בהדרגה על יהודי אירופה חובה לשאת סימון המצביע על יהדותם.
הסימונים השונים, הכופר והאמנציפציה
במרבית ארצות אירופה הקתוליות חויבו היהודים לסמן את עצמם עם סימון טבעתי צהוב על בגדיהם. ב– 1222, באנגליה, ציווה עליהם הארכיבישוף של קנטרברי לתפור על החזה סימון צהוב בדמות לוחות הברית. בארצות מסוימות העיגול הפך לצורה אליפטית ובארצות הגרמניות נוספה גם החובה לחבוש כובע צהוב ומחודד, כובע שכונה "כובע היהודים".
חובת סימון היהודים התפשטה בהדרגה מזרחה והגיעה עד הארצות הבלטיות. בהדרגה התחילו השליטים וראשי הכנסייה לתת פטורים לרופאים מפורסמים ולאישים אחרים ובהמשך אף ניתנו פטורים קהילתיים תמורת תשלום כופר שמן, כמו שנעשה בפרוסיה בתחילת המאה ה-18.
המהפכה הצרפתית הגדולה הביאה לאמנציפציה של יהודי צרפת ולביטול המנהג בצרפת ובכל מקום אליו הגיעו הצבאות הצרפתיים. לאחר נפילת נפולאון הייתה תקופה קצרה שבה הושבו חלק מתקנות אלה, אך בהמשך בוטלו, במיוחד לאחר מהפכות אביב העמים בשנת 1848.
התקופה הנאצית
עם עליית המפלגה הנציונל-סוציאליסטית (נאצית), בהנהגתו של אדולף היטלר, לשלטון בגרמניה, החל בכל אירופה ובמיוחד בגרמניה, גל אנטישמי של ריאקציה לאמנציפציה של היהודים. צמרות אינטלקטואליות וגופים פוליטיים רחבים שבו למתכונת של האשמת היהודים בכל צרות אומותיהם ובמיוחד במשבר הכלכלי העולמי, שפגע ברבים. המשטר הנאצי ניהל מסע של דה-לגיטימציה לשוויון הזכויות שניתן ליהודים ופעל מעשית לביטולו ולדיכויים, תוך כדי נישולם מזכויותיהם ומרכושם. הנאצים הסתמכו על "מדע" תורת הגזע, תורה שדרגה בני אדם לפי מוצאם הגנטי ועל פי המדרג הזה היהודים היו בתחתית הסולם והגרמנים האריים בפסגתו.
בנובמבר 1938 נערך בכל רחבי גרמניה ואוסטריה פוגרום ליל הבדולח, שבמהלכו נהרסו בתי הכנסת של היהודים ונפגעו מוסדות נוספים ואפילו בתי עלמין. הנאצים ניפצו את חלונות הראוה של החנויות בבעלות יהודית (מכאן השם "ליל הבדולח") והיכו ביהודים שנתפסו על ידם – כ-1400 עד 1500 יהודים נרצחו בדרך זו ורבים אחרים סבלו פגיעות חמורות. הפוגרום הונהג על ידי הנאצי רינהרד הידריך, שהעלה אחרי הפוגרום, לראשונה בתקופה המודרנית, את הרעיון לסמן את היהודים, כדי להקל בזיהויים. שנה מאוחר יותר, בנובמבר 1939, הממשל הגרמני בפולין הכבושה חייב את כל היהודים לענוד טלאי צהוב בצורת מגן דוד ומי שלא ציית היה עלול לשלם על כך בחייו. ביולי 1941 הורחב החיוב הזה על כל היהודים הנמצאים תחת שלטון גרמני.
לא רק תחת שלטון גרמני–נאצי אולצו היהודים לשאת את הטלאי הצהוב, גם בנות הברית של גרמניה הנאצית חייבו בכך את היהודים תחת שלטונם, לעתים חיוב מלא ולעתים חלקי. ברומניה, ב-3 בספטמבר 1941, החליטה מועצת השרים לחייב את ענידת הטלאי הצהוב על ידי היהודים. לחצים שהפעילו מנהיגי היהודים, באמצעות מנהיגים דתיים ופוליטיים נוצרים, הביאו לביטול חלקי של הגזירה, שהופעלה הלכה למעשה "רק" בטרנסניסטריה, בבסרביה ובבוקובינה. גם ברומניה היה מדובר במגן דוד צהוב על רקע שחור.
גם קבוצות נרדפות אחרות חויבו לשאת טלאים מזהים, למשל ההומוסקסואלים חויבו לשאת טלאי ורוד.
תבוסת הנאצים ובני בריתם גררה את ביטול חובת היהודים לשאת טלאי צהוב, אולם בסוף המאה ה-20 ותחילת המאה ה-21 חודש מנהג מגונה זה באפגניסטן, שם, תחת שלטון הטליבאן, חויבו בני הדת ההינדית לשאת כסימן מזהה טלאי צהוב.