Nació en Cesárea de Capadocia, actualmente en Turquía. De familia griega, su padre era un comandante del Ejército imperial bizantino. Debido a sus largas ausencias, confió la educación del niño Sabas a un tío. Sin embargo, al cumplir los ocho años, su tío y el resto de parientes empezaron a despreciarle y se negaron a seguir educándole. Así las cosas, Sabas fue enviado a un monasterio, en el que pasó varios años hasta que decidió partir a Jerusalén para profundizar su aprendizaje de la vida monacal y también entender mejor el significado de la santidad.
Su vida se caracterizó por la oración, la penitencia y el trabajo, al que dedicaba diez horas diarias. Aún así, encontraba tiempo para la oración. Hacía canastos que luego vendía para así poder ayudar a ancianos y débiles. Hasta que un día decidió pasar cuatro años en el desierto sin hablar a nadie. Una etapa que se vio truncada cuando empezaron a llegar monjes que le pedían que les dirigiera hacia la santidad. Llegó a tener hasta 150 monjes. Esa eficacia hizo que fuera nombrado Arzobispo de Jerusalén y jefe de todos los monasterios de Tierra Santa.
Tres veces viajó a Constantinopla para pedir al Emperador que no apoyara a los herejes y favoreciera la causa de Tierra Santa. Entre los monjes a los que formó figuran san Juan Damasceno y san Teodoro. Su monasterio, el de Saba, situado en el Mar Muerto, es uno de los tres más antiguos del mundo.