元谐的家族非常的显贵，在早年与杨坚在北周朝廷主办的最高学府国子学中共同学习。后来二人仕途都很顺利，元谐担任北周大将军，杨坚升任北周丞相，两人虽然一文一武，但关系十分亲密。581年二月，独揽大权的杨坚废掉周静帝，改国号为隋，是为隋文帝。元谐因为在杨坚登基时助有一臂之力，升任上大将军，封乐安郡公，食邑千户。