天保六年（一八三五年）十一歳で、江戸の剣客斎藤弥九郎の道場練兵館に入門している。師匠の斎藤弥九郎は越中氷見の農家の出身だが、志を立て、江戸に出て岡田十松の撃剣館に入門。たちまち偉才を発し、同門の江川太郎左衛門．藤田東餬らと交わり、のちに江川の援助で、飯田町に神道無念流道場練兵館を開いている。その道場は．北辰一刀流の千葉道場・鏡心明智流の桃井道場と並んで、当時江戸の三大道場の一つに数えられ、全国から英才が蝟集したと言われている。

雄三は、その斎藤道場に入門したのだから、内藤新宿から飯田町まで、雨の目も風の日も、十一歳の足で通い詰めたに違いない。
もともと天賦の剣才に恵まれてもいたのだろうが．ずいぷん激しい稽古を積んだことだろう、天保十三年（一八四二年）、十八歳で目録を受け、弘化二年（一八四五年）には、二十一歳の若さで塾頭に選ばれている。
なお、この頃剣術修業の傍ら、江川太郎左衛門について、高島流砲術を学んでいる。

歴史年表をひもといてみると、

▼安永七年（一七七八年）ロシア人、根室に来て交易を求めるが。翌年松前藩はこれを拒絶する。
▼寛政四年（一七九二年）ロシア使節ラクスマン、伊勢の漂流民大黒屋幸太夫を護送して根室に来航。通商を要求する。
▼寛政八年（一七九六年）英国船プロビデンス号、蝦夷地アフタに停泊、樺太西岸、日本沿岸を測量。

などの記事があり、雄三の生まれる半世紀も前から、我国の周辺では外国船が出没し、鎖国の夢が揺すぶられ始めていることが窺われる。

さらに、雄三が斎藤道場で修業していた頃の記事を拾うと、

▼天保八年（一八三七年）アメリカ船、浦賀に入港するも、浦賀奉行これを砲撃する。
▼天保十三年（一八四二年）幕府、高島秋帆に砲術教授を許可する。

などの記事が見られる。

この頃、まだ庶民は泰平の夢の中にあったことだろうが、心ある武士は、この国の安全保障について、憂慮していたに違いない。
雄三と同じ世代の先覚者には、佐久間象山（一八一一年生まれ）・勝海舟（一八二三年生まれ）などが居るが、師匠の斎藤弥九郎や江川太郎左衛門などを通じて、こうした人達から刺激を受けることもあったのではなかろうか。後年の彼の行動から推測すると、この頃すでに雄三は、すすんで砲術を身に付け、国防の第一線に立つことを、心に秘めていたものと思われる。