1941年太平洋战争爆发后，日本在台湾强征了2万多名原住民青年远赴南洋作战，对外宣称为“高砂义勇队”。战后，这些人仅1/3生还，并多数伤残。而部分阵亡者则被供奉在了靖国神社。于是，2002年8月，一支由“高砂义勇队”后裔组成的“还我祖灵”代表团成立了，他们为了找回祖先的亡灵，多次奔赴日本，而高金素梅作为发起人，也从此开始了她为原住民奔走疾呼的“征程”。

此后的每年8月份，她都会率领这支代表团前往靖国神社讨还祖灵，而每次来到靖国神社，高金素梅和她的原住民同胞都要吟唱起泰雅古调。那古调苍凉、高亢，没有什么婉转曲折，她说这是在和祖先对话，呼唤他们的灵魂能够早日回归。

但讨还祖灵的行动却遭到了日本方面的阻挠。代表团的虔诚和勇敢，换来的是对方的冷漠和蛮横。

 高金素梅：我第一次去的时候，带的团员比较少。我到靖国神社去，因为靖国神社里非常多的灵息簿上面，有我们很多祖先的名字，虽然不是用汉名、不是用原住民的名字而是用日本人的名字，但是地址还在，所以很多遗族就透过这样的关系，想要清楚知道他们长辈的名字有没有在那里。

当时去的时候，靖国神社就不准我们进去。它说“没有，除非你把名字和地址清楚地告诉我，我才帮你查”，态度非常不好。于是我下次再去的时候，刚好是8月份，小泉要去参拜，我就带了50个遗族过去，有布农族的、排湾族的等等。可是当我们从饭店出来的时候，我觉得苗头不对，因为我们身边总跟着非常多的警察，还有一个开道车，把我们带到别的地方去了，不准我们的团员下车，把我们关在车上，只准我一个人下去。

许戈辉：有一张照片给我挺深的印象，就是你当时因为受到日本右翼分子的阻止、恫吓，还有日本警察的监控，所以有一张照片是你坐在那里潸然泪下。我特别想知道当时发生的一切，还有你自己的内心活动。

高金素梅：当时其实我真的是既气愤又无助，觉得自己是一个弃婴、孤儿，因为说实在的，台湾当局政府并没有给我任何协助，一句话都没说。你政府当局总要说一句吧，说希望你们日本政府道歉，希望小泉首相不要再去参拜，可是没有一句话，甚至连一个交通工具都没有给我们。所以当我想到这种种委屈，又看到现场这些警察不让我们进去，靖国神社又是这样傲慢、无礼，拒绝我们的要求的时候，我当然就哭了。毕竟我还是一个女人，我觉得很无力、很孤独。

当然也非常愤怒，因为我们的爸爸、叔叔都在里面，但他们却不让我们进去。里面被供奉的那些“高砂义勇队”，他们不是日本人啊，难道我们连把祖先带回去的权利都没有？这种做法是不允许的，把战犯跟曾经被你们殖民统治过的人放在一起，上一代我们的父亲们被你们用三光政策杀死，下一代被你们同化教育，然后送到南洋去做炮灰，死了还不能够安心地回去，还要供在你们的靖国神社当成你们军事象征的一个骄傲，这对我们来讲何其残忍，这是不准的。

高金素梅的行动一直受到日方的阻挠。继2005年团员们被日本警方堵在大巴里不得行动之后，2006年，原本已申请好在神社前进行抗议活动的“还我祖灵队”又受到阻拦，不得进入神社。几次的失败之后，高金素梅决定改变方针。