Он узнал о Пророке, да благословит его Аллах и приветствует, от Сувайда ибн ас-Самита и Ийаса ибн Му‘аза, после чего отправил в Мекку своего брата, чтобы тот разузнал обо всем поподробнее. Его брат побывал в Мекке, но вернулся оттуда, так и не повидав посланника Аллаха, да благословит его Аллах и приветствует. И тогда в Мекку поехал сам Абу Зарр, проведший около Каабы почти месяц и ничего не евший и не пивший всё это время, кроме воды из колодца Замзам.

Опасаясь за себя, он никого не спрашивал о Пророке, да благословит его Аллах и приветствует, а через некоторое время к нему подошел Али, да будет доволен им Аллах, который пригласил его последовать за ним. Так Абу Зарр пришел к Пророку, да благословит его Аллах и приветствует, у которого он попросил рассказать ему об Исламе, когда же его просьба была удовлетворена, Абу Зарр немедленно принял Ислам, после чего пришел к Каабе и сказал: «Свидетельствую, что нет божества, кроме Аллаха, и свидетельствую, что посланник Аллаха — Его раб и Его посланник».

Услышав его слова, курайшиты набросились на него, намереваясь забить его до смерти, но Абу Зарра спас Аббас. На следующее утро всё повторилось, и Аббас снова спас его, а после этого Абу Зарр вернулся к жилищам своего племени бану Гифар, и когда Пророк, да благословит его Аллах и приветствует, переселился в Медину, он переселился туда вслед за ним.