当時、世論が攘夷と開国の両派に分かれ、激しく対立する中、慶応元年（一八六五年）、老中として幕政に参画する松前崇広は、老中阿部豊後守守正とともに開国論を支持していたが、兵庫開港を強く主張、勅許なく断行するものとして罪に問われ、十月、老中を罷免され、国元謹慎を命じられている。そして翌慶応二年四月には、失意のうちに亡くなっている。享年三十八歳。次の藩主には徳広が擁立されている。

他方、幕府の長州征伐がもたもたしている間に、慶応二年一月、坂本竜馬と中岡慎太郎の周旋で薩長同盟が成立、翌慶応三年五月には、板垣退助・中岡慎太郎・西郷隆盛らが京都で討幕を密約するなど、幕府への攻勢が次第に強まり、王政復古の気運が高まって来ている。

そうした情勢を受けて、土佐藩主山内容堂は、平和的に政権委譲をはかるべく、幕府に大政奉還を建白。これを受けて九月十四日、将軍慶喜は大政奉還を朝廷に請願する。しかし同じ日に、裏では長州藩へ討幕の密勅が出されると言う有り様である。

こうした中で、松前藩では藩主徳広が病弱であったということもあり、藩政は佐幕派の重臣達が掌握していたようであるが、前藩主崇広の子敦千代を代理者として新政府軍に忠誠を誓う一方、家老下国弾正を奥羽越列藩同盟の会議に派遣し、他藩の動向を探るなど、日和見して態度を決めかねている。

前述したように、松前藩は幾度も幕府の都合によってその領地を召し上げられるという仕打ちを受けており、前藩主崇広は幕閣の要職に用いられてはいるが、最後は謹慎の憂き目を見ている有り様で、過去の幕府の松前藩に対する扱いは、決して暖かいものとは言えない。

かと言って、朝廷や薩長勢力に縁があると言うものでもない。どちらかと言えば、地域的に近い奥州諸藩と同じ行動をとることが、松前藩としては、さしあたり無難であろうと言う程度のことではなかったろうか。

当時、江差奉行として江差に駐在していた雄三は、こうした藩首脳部の態度に危惧を抱いていたようである。青春期を江戸で過ごした雄三は、幕府権力の衰退を目の当りし、江川太郎左衛門などの先覚者との交流の中で、時勢の流れをいち早く察知していたことと思われるし、樺太遠征では国内統一の必要性を痛感したことで、皇室を中心とした新政府の樹立を待望していたに違いない。
こうした思いから彼は正義隊を組織し、尊皇派のリーダーとして活動を始めている。その間の模様を経歴書には、次のように記されている。

『時に勤皇、佐幕の諭．海内に喧（かまびす）しく、奥羽諸藩洶々（キョウキョウ＝どよめき騒ぐさま）たり。先藩主崇広幕政に参与し、征長のこと起こるに及び、海陸惣都督たり。故に有司（ユウシ＝役人・官吏）また多く佐幕の説に傾き、将（まさ）に奥羽諸州と同盟せんとす。余、大いにこれを患（うれ）い、四方有志の志気を擢揮（テキキ＝ふるいたたせる）し、鈴木織太郎・下国東七郎・松崎多門・三上超等と謀り、正義隊なるものを組織し、以て勤皇に従事す。』

しかし、その活動に参加する藩士の多くは貧しい下級武士で、運動資金の調達に苦しんでいる。同志の中では数少ない上級藩士である雄三は、自ら二百余両を差し出しその費用に充てる他、江差の豪族関川平四郎・益田伝左衛門・村上三郎右衛門及び町年寄斎藤左司馬等に援助を要請し、彼らからも二千両にも及ぶ資金の提供を受けている。

雄三が江差奉行の職にあるとは言え、直接経済的見返りの期待できないことに、町の有力者からこれほどの援助を引き出すことが出来たのは、日頃の善政と彼の人徳によるもの言えよう。