それでは、像の主はいったい誰なのか。今のところ定説は見当たりませんが、これを足利尊氏の弟・直義(ただよし)の像だとする説があります。この絵は、京都の神護寺に神護寺三像として保管されているもので、実は、この絵とともに、「請願成就を祈念して、兄、尊氏と自分の肖像を奉納する」と直義が記した『足利直義願文』も残っているのです。
お馴染みの「源頼朝像」とされている肖像画は、似絵の大家・藤原隆信が描いたものとされ、現在、国宝に指定されています。しかし、以前から、この像のモデルを頼朝とすることには疑問を持たれており、絵の制作年代も鎌倉末期以降であるという意見が強いのです。