韩侯祠初建于隋唐之交，后历经几度兴衰，至明代晚期已经有了相当的规模。明隆庆年间知府陈文灿与文坛巨匠、《西游记》作者吴承恩把酒韩侯祠，成为淮安盛传不衰的佳话。清康熙末年韩侯祠的规模达到它的鼎盛期，当时占地面积约3000平方米，坐北朝南，由前、中、后三殿，东西厢房，以及上房楼和花园等建筑组成。到了晚清，韩侯祠日渐衰败，其后由于战火和其他历史原因，至“文革”后，韩侯祠仅存空荡荡的后殿三间。

1983年，当时的淮安县人民政府对韩侯祠作了大修。重建了仿古门楼、院墙，门楼上的黛绿色“汉韩侯祠”题额苍劲俊逸。葺缮了三间后殿，殿中间置韩信立姿塑像，浓眉锐眼，气宇轩昂，戎装配剑，威风凛然，一派胸藏百万兵的大将风度。塑像两旁对联是：“生死一知己，存亡两夫人” ，此联意味深长。殿门外两侧红漆圆柱上的对联是：“奠数千里长淮，神留桑梓；开四百年帝业，功冠萧曹。”

韩信未发迹时曾有一段特别难堪的经历，即世人耳熟能详的胯下之辱。当时，一青年屠夫仗力逞强，看韩信“好带宝剑”，心中不服，便欺韩信出身贫贱，寻寻开心，“于是信孰视之，出胯下。市人皆笑信，以为怯”。后韩信为楚王重返故里时，告诸将曰：“此壮士也，方辱我时，我宁不杀之邪?杀之无名，故忍而就于此。”后人为推崇韩信忍辱含诟、自励其志的韧性精神，能屈能伸的大丈夫气概，特在其受辱处，亦即今日的胯下桥街与兴文街的交会处立一木制牌坊，名曰“胯下桥”。

“胯下桥”曾于清同治六年（1867）重修，后屡遭兵燹、动乱，曾—度荡然无存。当时淮安县人民政府于1978年重建。牌坊高5.5米，宽4.6米，横额上书“胯下桥”三个大字 ，韩侯祠。