גרמניה סך הכל מצייתת להחלטות האו"ם בענין ירושלים.
עמדת האו"ם בנושא ירושלים מבוססת על החלטה 181 של העצרת הכללית ("תוכנית החלוקה") והחלטות אחרות של העצרת הכללית ושל מועצת הביטחון שבאו בעקבותיה. בסך הכל היו 6 החלטות של מועצת הביטחון של האו"ם שמגנות או שוללות את ניסיונות ישראל לאחד את ירושלים.
בעקבות חוק ירושלים קיבלה מועצת הביטחון של האו"ם ב-20 באוגוסט 1980 את החלטה 478 שבה נאמר כי "חוק ירושלים חסר תוקף ויש לבטלו באופן מיידי." בהחלטה תמכו 14 מדינות, 0 התנגדו, ו-1 (ארצות הברית) נמנעה. ההחלטה קראה לחברות האו"ם להוציא את שגרירויותיהן מירושלים.
בעקבות ההחלטה אכן עזבו את ירושלים 13 השגרירויות שהיו בה: בוליביה, צ'ילה, קולומביה, קוסטה ריקה, הרפובליקה הדומיניקנית, אקוודור, אל סלוודור, גואטמלה, האיטי, פנמה, אורוגוואי, ונצואלה והולנד.
למספר מדינות, בהן הולנד, ספרד, איטליה, אוסטריה, צרפת, בירטניה, אתיופיה ויוון, יש בירושלים קונסוליות או משרדים דיפלומטיים. למעט המשרד הדיפלומטי ההולנדי, כל המשרדים האחרים הם קונסוליות שאינן מואמנות למדינה כלשהי ואינן כפופות לשגרירויות הנמצאות בתל אביב. חלק מהקונסוליות האלה הוקמו עבור נתיני המנדט הבריטי עוד לפני 1948. כיום הן משרתות בדרך-כלל את תושבי ירושלים, וכן את תושבי יהודה ושומרון ורצועת עזה הפלסטינים, ולעיתים גם את המתנחלים. המשרד הדיפלומטי ההולנדי הוקם לאחר מעברה של השגרירות ההולנדית בחזרה לתל אביב ב-1980, והוא משרת את אזרחי ישראל המתגוררים בירושלים.