זלמן-ברוך נולד ב-ט' באייר תרי"ט (1.5.1859) בקובנה, ליטא, להוריו פייגה ואברהם-אבא הכהן רובין. בנעוריו קיבל חינוך דתי מסורתי והיה תלמיד חכם. בשנותיו המוקדמות התגוררה המשפחה בעיירה זאגר שבצפון ליטא ומאוחר יותר שבו אל קובנה.
בבגרותו היה לסוחר נכבד ובעל בית-חרושת ועסק רבות בצורכי ציבור ואמונה. בקובנה נחשב בין נכבדי הקהילה והיה בין באי ביתו של רב הקהילה יצחק אלחנן ספקטור.
זלמן-ברוך נישא בשנת 1881 לפריידל (פרדריקה) ארקין וב-1897 נישא בשנית לחיה-רוזה וולפסון.
בתחילה לא היה זלמן-ברוך מקורב לציונות. הוא נמנה עם מייסדי הסתדרות "מחזיקי דת" וצירף את חתימתו לקונטרס "אור לישרים" אשר הופץ נגד התנועה הציונית. ברם, שנים ספורות לאחר מכן התקרב לתנועת "המזרחי", וב-1904 היה ממייסדי אגודת "שומרי תורה" אשר הוקדשה להקמת תלמודי תורה במושבות בארץ-ישראל.
בשנת 1905 מונה זלמן-ברוך לממונה על "כולל וילנא וזאמוט" בארץ ישראל, ולכן עלה עם משפחתו ארצה והשתקע בירושלים. כעבור זמן מה נבחר לעמוד בראש "הוועד הכללי כנסת ישראל", אשר איגד את הכוללים של בני "היישוב הישן" מן העדה האשכנזית בירושלים.
בהגיעו לארץ הביא עמו זלמן-ברוך כסף רב והשקיע אותו בבניית בתים רבים בשכונת מאה שערים בירושלים, בהם בתים בשיכון "בתי פרלמן" באזור מגוריו בשכונה. ב-1914 נבחר לכהן כחבר הוועד של מאה שערים.
זלמן-ברוך היה חובב ארץ-ישראל, ואסף כספים למען מוסדות צדקה בארץ. מכספו הוא תרם למען עניי העיר, למגביות שונות, ולבניינו של מגדל השעון על חומת העיר העתיקה.
במרוצת השנים נתמנה לתפקידים ציבוריים רבים בירושלים: חבר בהנהלות של בית החולים "ביקור חולים", ישיבת "תורת חיים", המוסד הגריאטרי "מושב הזקנים המאוחד" ובית הכנסת "אשל אברהם", וכיהן כראש "ועד עזרה כללי" לסיוע לעניי ירושלים. הוא פעל להקים ועדים שונים לצורכי מזון ומסחר. בשנת 1911 אף כיהן כראש ועד העיר. במועד בחירתו ציין: "וסרו המכשולים מעל דרכנו. הצלחנו לבקע לנו דרך בין ההרים, לגשר גשרים ולחבר מסילות חדשות".
כאשר הוקמה בשנת 1913 "אגודת ישראל", היה זלמן-ברוך מראשי התנועה. כחרדי שמרן יצא נגד בתי ספר חילוניים וזכות הצבעה לנשים.
עם התגברות המצוקה במלחמת העולם הראשונה, ב-1915 היה זלמן-ברוך ממקימיו של ועד הסיוע האמריקני (הג'וינט). בתקופת המלחמה הוא הוגלה על-ידי הטורקים לחיפה, והמשיך לפעול מצפון הארץ. לאחר הכיבוש האנגלי חזר לירושלים וב-1918 נבחר לסגן ראש ועד הקהילה.
ב-1920 היה בין הנוכחים בטקס ההכרזה על תחילתו של המנדט הבריטי. באותה שנה נבחר לאספת הנבחרים הראשונה מטעם רשימת "החרדים".
ביום א' בחשוון תרפ"ב (2.11.1921), יום השנה הרביעי להצהרת בלפור, החלו ערבים לפרוע בעיר העתיקה ולתקוף עוברי אורח, מוסדות ובתי עסק יהודים. בלכתו לתומו ברחוב, ליד בית החולים "ביקור חולים", הוכה זלמן-ברוך באלה על ראשו. הוא נפל מחוסר הכרה, ואז נדקר בריאותיו שלוש דקירות עמוקות. על שלושת תוקפיו נגזרו תקופות ממושכות של עבודות-פרך.
לאחר שמונה ימי סבל ועינויים – ביום ח' בחשוון תרפ"ב (9.11.1921) – נפטר זלמן-ברוך הכהן רובין, והובא למנוחת עולמים בבית-הקברות בהר הזיתים. בהלוויתו נכחו כאלף איש ובהם נציגי הממשל הבריטי. בן 62 במותו.
מוקיריו הכירוהו כאדם ישר, עדין-רגשות, אוהב קודשי האומה. הספדים נישאו על ידי הרבנים זרח אפשטיין ויונתן הורוביץ, ידיד נעוריו הרב יוסף ליפשיץ, והרב הראשי אברהם יצחק הכהן קוק אשר אמר: "בכל מעשיו היו לנגד עיניו האידיאלים הדתיים והלאומיים של היישוב היהודי".
דברים לזכרו כתב הסופר ר' בנימין: "לא חדלתי מחבבו. אז הכרתי את מעלות רוחו, את פשטותו וישרותו, את עדינות רגשותיו, את אהבתו לקודשי האומה ולתקוותיה, את חיבתו העמוקה ליישוב. הוא לא היה מן הדברנים. דבריו היו שקולים ומדודים, אבל דברים היוצאים מתוך הלב ומתוך יצר הטוב שבלב".
זלמן-ברוך הכהן רובין הותיר אחריו את רעייתו רוזה ואת שני בניהם משה-וולף ואברהם-אבא, אשר באותה עת התגוררו שנים ספורות בפולין ובליטא (מאז עזבו את ארץ-ישראל בימי מלחמת העולם הראשונה.( בסמוך לשכונת מאה שערים נקראה על שמו "חצר זלמן רובין".
בצוואתו קבע זלמן-ברוך שליש מרכושו (כ-7000 לירות, סכום עתק באותם ימים) לקופת גמילות חסדים עבור הלוואות ללא ריבית ללומדי תורה בעת דוחקם.