FN:s generalsekreterare Ban Ki-Moon, som kom till Bagdad på torsdagen, tvingades att ducka samtidigt som delar av taket dalade till golvet; det hände under en presskonferens där Ban och premiärminister Nuri al-Maliki talade inför journalister.
En kraftig explosion av en granat skakade byggnaden i den välbevakade Gröna zonen i västra Bagdad, och smärre delar av taket föll ned, rapporterar AP.
Gröna zonen ligger så gott som dagligen under beskjutning med små och stora skjutvapen.
FN-chefens besök hade inte offentliggjorts i förväg.
Den irakiska regeringen har börjat samtala med flera väpnade motståndsgrupper. Enligt en högt uppsatt irakisk tjänsteman har ingen av grupperna några band till al-Qaida.
Saad Yousif al-Muttalibi vid departementet för nationella samtal och försoning säger enligt det brittiska medieföretaget BBC att samtalen kan vara på väg att leda till att några av grupperna lägger ned vapnen.
-Vi har redan etablerat kontakt med stora grupper av upprorsmän. Ett av målen är att få med dem i kampen mot al-Qaida. Vi är på väg dit och mot att gemensamt angripa al-Qaida för att få ut dem ur Irak.
Samtalen startade sedan Iraks sunnitiske vicepresident Tareq al-Hashemi efterlyst diskussioner med rebellerna för att få stopp på våldet i landet.