Guru-gurunya ialah Habib Muhammad bin Salim bin Hafiz, Habib Umar bin Alwi al-Kaf, al-Allamah al-Sheikh Mahfuz bin Salim, Sheikh Salim Said Bukayyir Bagistan, Habib Salim bin Alwi al-Khird, Habib Ja’far bin Ahmad al-Aydrus, Habib Muhammad al-Haddar (mertuanya) dan ramai lagi. Selanjutnya, pada usia empat belas tahun (1950), ayahnya memberangkatkan Zain ke Hadramaut, tepatnya kota Tarim. Di bumi awliya’ itu Zain tinggal di rumah ayahnya yang telah lama ditinggalkan.
Menyadari mahalnya waktu untuk disia-siakan, Zain berguru kepada sejumlah ulama setempat, berpindah dari madrasah satu ke madrasah lainnya, hingga pada akhirnya mengkhususkan belajar di ribath Tarim. Di pesantren ini nampaknya Zain merasa cocok dengan keinginannya. Di sana ia memperdalam ilmu agama, antara lain mengaji kitab ringkasan (mukhtashar) dalam bidang fikih kepada Habib Muhammad bin Salim bin Hafidz. Di bawah asuhan Habib Muhammad pula, Zain berhasil menghafalkan kitab fikih buah karya Imam Ibn Ruslan, “Zubad”, dan “Al-Irsyad” karya Asy-Syarraf Ibn al-Muqri. Tak cukup di situ, Zain belajar kitab “Al-Minhaj” yang disusun oleh Habib Muhammad sendiri, menghapal bait-bait (nazham) “Hadiyyahas-Shadiq” k arya Habib Abdullah bin Husain bin Thahir dan lainnya. Dalam penyampaiannya, di Tarim beliau sempat berguru kepada sejumlah ulama besar. Seperti Habib Umar bin Alwi al-Kaf, Syekh Salim Sa’id Bukhayyir Bagitsan, Habib Salim bin Alwi al-Khird, Syekh Fadhl bin Muhammad Bafadhl, Habib Abdurrahman bin Hamid as-Sirri, Habib Ja’far bin Ahmad al-Aydrus, Habib Ibrahim bin Umar bin Agil dan Habib Abubakar al-Atthas bin Abdullah al-Habsyi.
