李渊在诛杀王威、高君雅之后，在太原郡招兵买马了两旬，得兵数万，亦完成了造反准备，终于决定扯旗了。
十一月五日，李渊在晋阳城设起义堂（亦称号令堂），将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。
十一日，李渊在晋阳城建大将军府，自称唐公，以长子李建成为陇西公、左领军大都督，统率左军；以次子李世民为敦煌公、右领军大都督，统率右军；以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、姜宝谊、杨屯、刘弘基、窦琮为左右统军、副统军。
至此，李渊完全打响了造反的号角。
不过李渊听闻黄明远已经率军征讨刘武周的叛乱，心中担忧。他知道留给自己的时间不多，务必要尽快西进关中。
十一月十五日，李渊在晋阳宫城东的乾阳门街军门前竖旗誓师，誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳城，并以窦抗第三子窦诞、大将军府属刘政会、镇北将军府长史宇文歆等人留守晋阳。
晋阳城坚，且粮储丰富。李渊留兵两万，并组织青壮万余人守备，就是为了给他南下争取更多的时间。
甚至为了安定军心，他把十三岁的儿子李元吉都留在了晋阳城内。
但这些人都是消耗品，若是能守住晋阳城最好，若是守不住，也没有办法，只能尽可能地争取时间。
十六日，李渊亲率长子李建成、次子李世民及甲士四万人自太原郡挥兵南下，直指关中。
唐军进军迅速，十六日起兵，到了二十一日便攻破了西河郡，郡司法书佐朱知瑾等人投降，唐军生俘西河郡丞高德儒。高德儒不降，被李渊下令诛杀。
二十五日，唐军兵至贾胡堡，距霍邑五十余里。在这里，他们遇到了第一个拦路虎大隋虎牙郎将宋老生。
霍邑是雀鼠谷的南头，地形险要。
宋老生屯兵六千，驻守此地，据险而守。
此时寒冬已至，到了二十八日，终于降下了今年冬天的第一场大雪。寒风呼啸，雪花纷飞。
唐军冒着大雪，沿小路赶到霍邑城下。
唐军叫阵，宋老生也不是傻子，这种情况下，只要守住霍邑，唐军必然会因为严寒而不得不撤退，又何须出战。
因此宋老生命麾下紧守不出。
李渊命刘弘基上前挑战，可还没到城前，便被一群箭雨逼退。刘弘基不得不狼狈退回。不过刘弘基也有办法，他在军中找了十多个嗓门大的，对着霍邑城头叫骂，什么污言秽语都有，把个守军气的七窍生烟。
不过宋老生看出了这是诱敌之计，任凭唐军骂破大天，他也不搭理。
唐军骂了一天，口干舌燥，一无所获。
眼看诱不出对方，李渊乃下令强攻。但是效果出人意料，这么大的雪，城墙上尽皆冰冻，士兵根本无法攀越，攻城数日，却是损失惨重。
造反之事，一鼓作气，再而衰，三而竭。刚开始的时候，大家都斗志昂扬，期盼着造反成功，加官进爵，封妻荫子，但现在进展不顺，不少人激情退去，开始恐惧。
很多人仔细想想，这造反有点不靠谱啊。况且从太原到关中，数百里土地，数十个郡县，十多万军队，能是这么容易便打过去的。
这时不少人便心生退意，与其没多少希望地入关，还不如退回太原，凭借坚城固守，至少尚有个退路。
于是便有人前来面见李渊，请求撤退。
刚开始还只有一两个，到后来，不少将领成群结队地赶来，请求李渊退回太原，不要冒着大雪攻城。
军心不稳，李渊眼看诸将劝阻，也是没有办法，只得决定，若是三日后再攻不下霍邑，便率军撤退。
李世民听到这个消息就惊了。
开弓没有回头箭，只有杀入关中，凭借关中巨大的资源，才有可能问鼎天下，现在返回太原，四面皆是隋军，就是死路一条。
不过李世民在军中并没有太多的话语权。
现在的李世民的身份只是李渊的次子。他虽然是右军统帅，但毕竟年纪小，没什么经验，又没有参加晋阳起事，因此身份、地位都不高，在军中就是一个空头主将。实际上李渊所设置的三军，中军留在了晋阳，左军在李建成手中，右军则直接统属于李渊。
这辈子的李世民，跟兄长李建成地位差得太远。
然而李世民还是来到军中去见其父李渊，因为这不仅仅是他父亲一个人的事。
“父亲，我们不能撤啊，否则就前功尽弃。”
相比较稚嫩的李世民，李渊就老到多了，他当然知道不能退，而且也没有想过退。越过霍邑，便是广阔的河东大地，甚至是关中沃野，退回太原，跟黄明远死磕吗？
“我知道不能退，所以你要陪我演一场戏。”
李渊早有定计，现在无论如何，要把人心安定下来。李世民听得父亲的吩咐大喜，于是依计行事。
李世民在李渊帐中，突然大声喊道：“请父亲不要返回太原。”声音之响，帐外俱闻。
“逆子，此事我已决定，立刻撤兵，你无需再劝。”
李世民跪下来抱着李渊的大腿说道：“父亲，我等本兴大义以救苍生，当须先入长安，号令天下，以正身份；若遇小敌即班师，将恐从义之徒一朝解体，人心尽丧。还守太原一城之地，此为贼耳，何以自全！到时候必为阶下囚。”
“混账！”
李渊一脚将李世民踹倒，又将他赶到帐外。
这时李世民便在帐外大声哭泣道：“今兵以义动，进战则必克，退还则必散。众散于前，敌乘于后，到时候我军败亡，不过是须臾之间。”
李世民的疾声痛呼终于引得一众有识之士跟着劝谏李渊，李渊也借坡下驴，同意了不再退军，而且为了表示自己的态度坚决，杀马立誓，不破关中，决不退兵。