Ken’ân Rifâî İstanbul’daki Numûne-i Terakkî Müdüriyetinden 1900 ylının Aralık ayında kendi arzusuyla ayrıldı. Şubat 1901’de Medine-i Münevvere Lisesi’nde müdüriyetine başladı. Aynı zamanda coğrafya, tarih, Türkçe ve ahlâk dersi öğretmenliklerini de yaptı.
Ken’ân Rifâî, Medine’ye geldiğinde Medine Lisesi henüz inşaat halindeydi. Kuruluş aşamasında ortaokul olması planlanan okul, İstanbul’dan yeni bir müdürün geleceği yönündeki haberler ile liseye çevrilmişti.
Rifâî, okulun inşaatı tamamlanıncaya kadar dersleri Harem-i Şerif’in çatısı altında sürdürdü. İlk yıllarında, okulun inşası ve eğitim sisteminin geliştirilmesi için büyük çaba harcadı. Kurulduğu sırada 25’i geçmeyen öğrenci sayısı, Ken’ân Rifâî’nin yöneticiliği zamanında günden güne artarak 180’e ulaştı.
Bir devlet okulu olan Medine Lisesi’nin eğitim dili Osmanlıcaydı. Arap öğrenciler için özel olarak bir Türkçe dersi konulmuş ve ders öğretmenliğini Ken’ân Rifâî üstlenmişti.
Dil kabiliyeti ile kısa zamanda Medînelileri etkileyen Ken’ân Rifâî, ahâlînin çocuklarından birçoğunu okula çekmeyi başardı. Ancak bununla yetinmeyerek Bedevî kabileleriyle irtibat kurdu ve onlardan da okula öğrenci kazandırdı. Medine ve civar beldelerin eşrafıyla görüşüp eğitimin “bir nimet ve kıymet olduğu gerçeğini” onlara anlattı.
Ken’ân Rifâî’nin Medine’deki çalışmaları kısa sürede yerel halkın ve idarecilerin desteğini kazandı. Şeyhü’l-Harem Osman Paşa, Rifâî’nin çalışmalarını takdir ederek, onun hizmetlerini Bâbıâli’ye bildirdi.
Osman Paşa, İstanbul ile yaptığı yazışmalarda, hizmetleri sebebiyle Müdür Ken’ân Rifâî’nin Medine ve civar semtlerde son derece sevilen ve hürmet edilen bir kimse olduğunu belirtmiştir.
Ken’ân Rifâî’nin Medine yılları, onun manevi derinliğini ve çevresine olan etkisini açık şekilde gözler önüne serer. Medine’de kısa sürede halkla kaynaşmış, şehrin hayatına tam anlamıyla uyum sağlamıştır. Onun samimiyeti ve insanlara olan sevgisi, Medineliler tarafından fark edilmiş, halk ona kısa sürede “Medine Babası” ismini takmıştır.
Ken’ân Rifâî’nin eserlerinde Medine dönemine ait anılar geniş yer tutar. Medine, onun için sadece bir şehir değil, mucizevi hallerle dolu, manevi derinliğin keşfedildiği bir mekandı.
Burada bulunduğu süre içerisinde Türklere yerel Arapçayı öğretmek maksadıyla Kırk Derste Arapça isimli bir eser de kaleme alır.
Burada bulunduğu üç yıl boyunca aşk, fenâ ve rızâ gibi tasavvufî hal ve makamları tecrübe ettiği anlaşılmaktadır. Ken’ân Rifâî, Ravza’da kaleme aldığı naatlarında bir maârifçi ve idâreci kimliğinden öte, bir âşık olarak karşımıza çıkar.
Na’t-ı Hazret-i Nebevî
Firkatin nâriyle yandım, yâ Habîballah meded!
Kalmadı sabr ü tahammül, bî-karâr oldum, meded!
Âşıka derman da can da dâimâ aşkın yeter,
Dilde, gözde yâ Resûllallah hayâlindir, meded!
Çok günâhım gerçi, affetmek de şânındır, meded!
Maksadım âh ü figandan bir cemâlindir, meded!
Dil-figârım, derdmendim, kıl mürüvvet sen şehâ!
Ken’an’ı ihyâ eden ancak visâlindir, meded!
Hac Vazifesi ve İstanbul’a Dönüş
Ken’ân Rifâî, 12 Şubat 1903 tarihinde hac vazifesini îfâ etmek için Mekke’ye gitmek üzere resmî izin ister. Kendisine verilen olumlu cevaptan sonra, Tuğgeneral İbrahim Rifat Paşa’nın gözetimindeki Surre alayına Medîne’den katılarak Hac vazifesine başlar. İran Şâhı’nın damadı ve oğlu, Şerif Avnur ve Refik Paşa hacdadır. Surre emîni Mehdi Bey’dir. Sağlıkla ilgili meselelerin kontrol altında tutulması için o yılki hacıların sayısı Mekke Emîri tarafından sınırlanmıştır.
Ken’ân Rifâî, Medîne’ye döndükten sonra, Maârif Nezâreti’ne bir telgraf ileterek, göz rahatsızlığı nedeniyle tedaviye ihtiyacı olduğunu bildirir, izin isteyerek İstanbul’a gelir. Fakat zamanın çoğunun yolda geçmesi ve babasının rahatsızlığı sebebi ile iznini uzatma talebinde bulunur. Bu süreçte, Medîne’deki hizmetlerine karşılık kendisine terfi ve taltif verilerek yeni görev yeri olan İstanbul’a tayin edilecektir.