他貌似不畏皇权，直言相谏，实则总是大放马后炮。唐高祖深谙此人招数，虽然封其为谏议大夫，却以“名长意短，口正心邪”讽之。

自从李世民大败王世充后，其旧属纷纷献城降唐。唐高祖李渊和豆卢行褒、苏世长曾是故交，念及往日的交情，因此多次写信给他们，劝说他们投奔大唐。苏世长对此一直保持缄默态度，豆卢行褒则非但不予理会，反而屡屡将李渊派去的信使杀死，李渊得知后极为气恼。不过，随着李渊势力的逐渐扩大和巩固，豆卢行褒和苏世长也越来越坐不住了，最后眼看大势已去，无奈之下，只得降唐。

公元621年7月，李渊接见了豆卢行褒与苏世长，对于他们两个人，李渊的态度截然不同，他下令当场处死豆卢行褒。苏世长站在一边低手垂目，惴惴不安地等着自己的结局。

唐高祖深深叹了口气，指责道：“你现在才来归顺大唐，不觉得太迟了吗？”苏世长暗自揣摩了一下高祖的语气，觉得虽含责备之意，却没有大动肝火，他微微稳住心神，镇定地行了一个大礼才回答说：“自古帝王登基，被喻为擒鹿。隋朝失去了鹿，天下豪杰共同追逐。现在陛下您捕获了鹿，其他人便放手了，您又何必愤恨其他捕鹿之人，追究和您争夺鹿肉的罪过呢？”唐高祖听后，不觉莞尔一笑，没有继续怪责苏世长，还封他做了玉山屯监。

一次，素知其秉性的唐高祖故意问道：“你觉得自己是正直之人吗？”

苏世长正色回答说：“臣有些愚笨，还算正直。”

唐高祖又调侃说：“既然你是正直之人，为什么见王世充被我打败之后才来投奔呢？”

苏世长面不改色地回答：“王世充被陛下打败，天下平定，我也无所归依，才归顺陛下。要是王世充还占据一方，我自然还是驻守我的地盘。”

唐高祖闻言大笑不止：“你名字叫‘长’，意气却短。你自认为是正直之士，心中所想与行事却大有不同。”

苏世长仍然严肃地说：“陛下说得没错，臣确实名长意短，但绝不是口正心邪之人。以前窦融领河西归顺汉朝，被赐十世为侯，如今我献城来降，只是一个屯监罢了。”言下之意是皇上对自己并不怎么样。

不过唐高祖并未气恼，反而立刻给他一个不小的官职——谏议大夫，或许是觉得苏世长敢于直言。