本路線提供堅尼地城、西營盤、中環、金鐘及灣仔北往來油麻地、旺角、大坑東、石硤尾及白田的過海隧巴服務，是老牌過海隧巴路線之一，於1973年1月28日起投入服務，是第一條往來港島西區至九龍西的過海隧道路線，初時往來白田至石塘咀（當時總站位於山道），1978年9月25日起延長至堅尼地城。1992年8月起增派空調巴士行走，1998年9月1日中巴專營權結束後，改由九巴及新巴合營，2000年5月2日起改為全空調服務。

由於本線貫穿市區兩個心臟地帶，甫一開辦客量便急劇膨脹，達至飽和的地步，不過跟早期開辦的101、102、103一樣，本線的用車也受到車隊資源所限，九巴當時派出了最新的丹拿E型服務，但中巴卻只是採用一些購自英國的二手巴士，服務方面自然難以與九巴看齊。約1973年底，中巴開始購買了大批的後置引擎巴士──丹拿珍寶，同時這些巴士很快取代了二手巴士在104的角色。九巴亦在1974年中開始，大量購置丹拿珍寶巴士，同時以這款丹拿珍寶，取代原本服務隧巴線的丹拿E型。

開辦後的數年間，中巴和九巴不斷在用車上作出一連串角力，特別是自九巴加入丹拿珍寶後的數年，中巴便已比九巴走前一步，向英國的都城嘉慕巴士車廠，購置了全球只有40部的兩軸都城嘉慕11米巴士（MB）。這批巴士在二十世紀七十年代中期加入本線，跟同屬一間公司的丹拿珍寶，一起與九巴進行大角力。九巴當然不會就此罷休，數年後便派出了勝利二型行走本線。

地鐵於二十世紀八十年代起通車，本線客量仍然有上升趨勢，同時西九龍人口眾多，油尖旺居民大多需要到港島商業區上班。而且104是途經灣仔告士打道一帶，遠離地鐵沿線，加上灣仔北商業區開始形成，不少甲級商業大廈入伙，九廣東鐵（現稱港鐵東鐵線）電氣化完成，而紅磡車站又接近紅隧出入口，不少九廣東鐵轉乘客都會乘搭104進出港島，尤其以繁忙時間為甚。再加上104不用途經灣仔內區（即軒尼詩道一帶），能比乘坐其它隧巴線節省很多時間，亦令堅尼地城的乘客多乘坐104來往隧道口轉乘東鐵線。九巴和中巴為應付需求，便決定引入更巨型的巴士行走，九巴採用了利蘭奧林比安12米（3BL）服務本線，而中巴則採用都城嘉慕12米（ML）巴士行走，同時還保留載客量高的MB巴士。

在西區海底隧道通車前，本線與105線分擔往來西九龍至灣仔北、金鐘、中環、西營盤至堅尼地城的乘客，尤其在紅磡站轉乘鐵路的轉乘客。1997年西區海底隧道通車，105改行西隧，本線便肩負原有105線原有九廣東鐵接駁的角色。當300及105A先後於1999年及2000年取消後，本線便加開相當多的短程班次，於早晚繁忙時間疏導轉乘港鐵東鐵線的乘客，另外，新巴不時亦會加開柯打車以疏導中途站乘客。

本線的客源除了港鐵東鐵線轉乘過海隧巴的乘客外，也包括堅尼地城及西區的居民，反而白田及石硤尾及西九龍的乘客不多，尤其當904於1998年1月15日起提升至每天全日服務後，往來西區及旺角的乘客，多會改乘904、905線以及公共小巴，因此乘客多不會坐足全程。

九巴曾多次派出多款樣版雙層空調巴士首次或第二次試驗行走本路線，包括兩部配置變色漆油的德國Neoplan Centroliner N4426低地台雙層巴士（AP131 / KC2571、AP132 / KC3551）、首部Alexander Dennis Enviro 500車身的富豪B9TL低地台雙層空調巴士（AVBE1 / LU3721）及首部配備歐盟四型環保引擎的Scania K95UD低地台雙層空調巴士（ASU1 / MT6551），後者更是剛於2007年8月23日成為本路線掛牌（現已由第二部同款Scania K95UD巴士 ASU2 / NE6817 替代）。本路線亦取代了680號線，成為現時擁有最多特別班次的過海隧道路線－－共五條。

星期一至五 堅尼地城開	班次(分鐘)	星期一至五 白田開	班次(分鐘)
0545-1700	4/7	0545-0800	3/6
1700-1740	10	0800-0930	8/10
1740-2350	5/7	0930-2350	4/7

常見車款：AVW、ATE、AVBE、ASU2、10XX、 30XX