杨玄感少年时迟慧晚成，人们大多认为他痴呆，惟有他的父亲杨素常对亲友说：“这孩子不痴呆呀。”长大之后，他胡须秀美，仪表雄俊，喜好读书，精于骑马射箭。二十岁左右，凭借父亲的军功位至柱国，与他的父亲都为二品官员，上朝则一起排列班位。后来，文帝命杨玄感降低一等，玄感拜谢说：“没想到陛下您对我宠爱得这么重，让我在朝廷上也能表示个人对父亲的敬意。”刚任郢州刺史时，到任后暗中布下耳目，了解官吏们的情况，细微的事情都一清二楚。官吏对他敬重佩服，都称赞他有才能。后来调任宋州刺史，因父亲去世而离职。一年多以后，被授予鸿胪卿，继承父爵为楚公，升任礼部尚书。他性情虽然骄傲，却喜爱文学，四海有名的文人学士都喜欢与他结交。
后来，他见朝廷纲纪逐渐混乱，炀帝对他的猜忌越来越重，内心很不安稳，便与兄弟们暗中商议废除炀帝，立秦王杨浩为皇帝。他跟随炀帝征讨吐谷浑，回到达斗拔谷。这时，炀帝周围的官员一个个狼狈不堪，杨玄感准备袭击炀帝的行宫。他的叔叔杨慎说“：将士们尚且一心，国家没有大的变故，不可以图取呀。”玄感才停止行动。此时，炀帝喜欢四处征战讨伐，玄感想借机树立个人的威名，暗中联络各位将领，并且又向兵部尚书段文振提出请求，段文振告诉了炀帝，炀帝对他很是赞许。对群臣说：“将门有将，果不虚传啊。”于是赏赐给他布帛一千段，对他礼遇十分隆重，并让他参与朝政。
炀帝征讨辽东，命杨玄感到黎阳负责督运粮草。他便与武贲郎将王仲伯、汲郡赞治赵怀义等人密谋，不按时进发。炀帝派使者催促，杨玄感却说：“水路盗贼很多，不能分前后出发。”他的弟弟武贲郎将杨玄纵、鹰扬郎将杨万石一起随炀帝征辽，玄感偷偷派人召见他们。这时，隋将来护儿率水师从东莱将渡海向平壤进发，军队还未出动。杨玄感起事没有号召众人的理由，便派家中的仆人假扮成信使，从东方过来，谎称来护儿因耽误了军期而反叛朝廷。玄感便进入黎阳县，关闭城门招募男夫，用帆布代替牛皮做甲胄，设置官吏都按照文帝开皇年间的旧制。又送信给附近州郡，以讨伐来护儿为名，让他们发兵到隋军仓库会合。命东光县县尉元务本为黎州刺史，赵怀义为卫州刺史，河内郡的主簿唐..为怀州刺史，拥众万人，准备袭击洛阳。唐..来到河内，骑马奔向东都告发这件事。越王杨侗、户部尚书樊子盖等领兵防御。修武县的人相率把守临清关，杨玄感的军队不能渡河，便在汲郡南面渡过黄河。跟随杨玄感起事的百姓有如集市上的人那样多，不几天，杨玄感屯扎在洛阳上春门，拥众达到十多万。户部尚书樊子盖命河南赞务裴弘策领兵抵抗。裴弘策被打得大败，当地父老乡亲竞相用酒肉慰劳杨玄感的军队。
杨玄感驻扎在尚书省，常常对众人发誓说“：我身居上柱国的高位，家产计有数万金，富贵至极，再也没有别的追求了。现在不顾破家灭族而起兵反隋，是为了解除天下黎民的倒悬之苦，拯救百姓艰难困危的性命呀。”大家听了十分高兴，到辕门请求报效的每天都有数千人。他写给樊子盖的书信上说：
“建忠立义的事情，有很多条道路，遇到机会而采取行动，不能只有一种考虑。昔日伊尹将太甲流放到桐宫，霍光在昌邑废除刘贺，这都在您的思考之内，不再一一列举。高祖文皇帝生下来就承受上天的安排，建造了隋朝的天下，如北斗在天，照耀环宇；如手握宝镜，驾驭太阳；无为而治，却化流成俗；垂衣拱手，而天下太平。现在，炀帝篡夺国柄，本应巩固大隋的基业，却自绝于苍天，灭绝人性，败坏道德，连年大肆挑起战祸，盗贼因此增多；在全国各地大兴土木，人力物力都被耗尽。荒淫无度，贪酒好色，美貌的女子多被他侮辱；喜欢玩鹰斗犬，禽兽都遭受他的荼毒。朝廷中结党拉派，贿赂公行。听信奸邪小人的话，杜绝正直无私者的言路。再加上不停地运送各种物资，徭役往往没有期限，沿途死去的兵卒填满了沟壑，死者的白骨遮盖了原野。黄河以北，千里旷野人烟断绝；江淮之间，一片荒凉，长满了茂密的野草。
“玄感我世代蒙受国家的恩宠，居于上将的位置，先父曾奉先帝的遗诏，说：‘好的子孙替我辅助他，坏的子孙替我除掉他。’所以，我上承先帝的遗旨，下顺天下百姓的心愿，废除这个荒淫无道的昏君，再立一位明智圣哲的新君。现在，四海同心，天下响应，将士们奋力效命有如去报复个人的仇恨。人们争相趋附，个个为公道义形于色。天意人心，清楚地可以分辨。您独自坚守这座孤立无援的城市，怎么能会长久支持？希望您能把百姓放在念虑之中，把国家放在心头之上，不要拘泥小的礼节，自己留下这个遗憾。说起我们的国家，一旦到了这种地步，提起笔来就潸然泪下，话都不能很好地陈述。”他率军向东都洛阳进发。
刑部尚书卫玄率部队从关中来救援东都，派二万步兵和骑兵渡过鏶河、涧水，向杨玄感挑战。杨玄感假装败退，卫玄带兵追赶，伏兵四起，卫玄的前军全部覆没。过了几天，卫玄又与杨玄感交战。两军刚刚接触，杨玄感令人故意大声呼喊“：官军已经抓住杨玄感了。”卫玄的军队稍一懈怠，玄感率数千名骑兵冲来，卫玄的军队大败，他带着八千人逃跑。杨玄感作战骁勇，力大无比，每次打仗，都亲自挥舞长矛，冲在士卒前面，怒声呼喊叱咤，应战的敌人没有不魂飞胆丧的，评论的人将他比作项羽。玄感还善于抚驭部下，将士都乐意为他拼死战斗，因此，战无不克。卫玄的军队日渐困难，粮食也已吃完，便率全队决一死战，在北邙布下战阵，一天中两军十几次交仗。玄感的兄弟杨玄挺中流箭身亡，玄感将军队稍作退却。樊子盖又派兵攻打尚书省，杀死了数百人。
炀帝派武贲郎陈棱进攻驻守黎阳的元务本，武卫将军屈突通屯扎在河阳，左翊卫大将军宇文述领兵接踵而来，右骁卫大将军来护儿也率部赶来增援。杨玄感与隋朝前户部尚书李子雄计议说“：屈突通精通军事，如果渡河作战则难决胜负，不如分兵去阻挡他。屈突通的部队不能渡过黄河，那么，樊子盖、卫玄就失去援助。”杨玄感同意这种战术，准备派兵阻挡屈部。樊子盖看出了他的计谋，多次进攻他的营寨，使得玄感的军队无法分兵前进。屈突通挥军渡过黄河，驻扎在破陵。玄感处在两军夹击之中，向西抗拒卫玄所部，向东抵挡屈突通的军队。樊子盖又带队大举进攻，杨玄感屡屡失败。他又与李子雄计议，子雄劝他西入关中，打开永丰仓赈济贫民，三辅之地可一举平定。占据有隋朝储存粮食军资的仓库，在关外与炀帝争夺天下，也可以成就霸业。
恰逢华阴县他们姓杨的一些人来请求做向导，杨玄感便丢下洛阳不攻，向西图谋关中。声言已经打破东都，要进取关西。宇文述等人的军队在后面追赶。到了弘农宫，当地的父老拦住他说：“宫城空虚，又存有很多粮食，容易攻下。进可以断绝敌人的粮食来源，退可以割据宜阳这块地方。”杨玄感认为很对，停下来攻打了三天，城仍没攻下，后面的追兵便赶了上来。杨玄感率军西去阌乡，进至..豆，布阵连绵五十里，与隋军且战且走，一天三次失败。又在董杜原一带布阵，各路追兵又将他打败。他只带着十余名骑兵逃向树林中，准备奔往上洛，敌人的骑兵追来，杨玄感大声呵叱他们，敌兵都畏惧返回。到了葭芦戍，情势十分窘迫，他独与弟弟积善步行逃命，对积善说“：事情已经失败，我不能被别人侮辱杀戮，你可以将我杀死。”积善杀了他，因为自杀不死，被追兵俘获，与杨玄感的首级一起送到炀帝的行宫，在东都市上将他们的尸体肢解。三天后，又将他们的尸体粉碎烧掉，玄感的余部全被平息。
他的兄弟杨玄奖任义阳太守，准备投奔他，被郡丞周旋玉杀死。杨玄纵的兄弟杨万石，从炀帝的行宫逃跑，到了高阳，住在馆舍内，被监事许华与郡兵抓住，在涿郡被斩首。杨万石的兄弟杨仁行，官至朝议大夫，在长安被杀，也被枭首碎尸。公卿大臣请求将杨玄感的姓改为姓枭，炀帝下诏表示同意。