第二部にはソ連・東欧圏の公刊物を収集・分析する中央資料隊や、在日米軍と連携して情報収集を行う特別勤務班（別班、またはムサシ機関）も存在していたが、最も秘匿度が高かったのは通信傍受を行う第二部別室（別室）であった。
別室は組織上、陸上幕僚監部第二部の下にあったが、実際は陸幕とはほとんど関係を持たず、むしろ内調の組織として機能していた。内調は海外で情報収集する手段や権限をほとんど与えられていなかったため、中国やソ連の電波収集を情報源にしていたのである。
しかし、通信傍受は多くの人員や施設が必要となり、小規模な内調にはそれを抱え込む余裕がなかった。そこで陸幕内に組織を設置し、そこで得られる情報を内調に上げるという仕組みが作られたのである。歴代の陸幕長や防衛事務次官ですら別室については全くといってよいほど関与していなかった。
そもそも陸上自衛隊の組織にもかかわらず陸海空の自衛官が勤務していた上、初代の室長で前北海道警察本部警備部長、つまり警察官僚の山口広司が務め、その後の室長も警察が占めることになる。当時、防衛庁調査課長だった後藤田正晴は、後の朝日新聞のインタビューで、「それ（電波傍受）は内調の情報の中心だった。最初の施設は埼玉県の大井通信所だな。あれはね、近隣諸国で軍の部隊や艦隊が集まったときには、無線による交信が非常に多くなるので、すぐ分かる」と語っている。
日本は〝大金星〟を
あげたが……
別室は長らく世間からも秘匿された組織であったが、75年6月には世間の耳目を集めることになる。同年1月の『軍事研究』（ジャパンミリタリー・レビュー）で発表された論稿、「日本の情報機関の実態」で別室が取り上げられ、その後6月には『週刊ポスト』（小学館）がこれを後追いして報じたことで、国会でも議論の俎上に載せられたのだ。
さらに83年9月1日の大韓航空機撃墜事件においても、別室の後継組織である陸上幕僚監部調査部第二課別室（調別）が再び注目を集めた。調別の稚内通信所分遣班は、ソ連防空軍の迎撃機スホーイ15と地上基地の交信を傍受し続けており、同日午前3時25分45秒にミサイル発射、その35秒後に目標が撃破されたというやり取りを鮮明に録音することに成功したのである。
翌日、大韓航空機がソ連の迎撃機に撃墜されたことが明らかになると、米国のジョージ・シュルツ国務長官が独断でソ連の行為を批判するテレビ会見を行った。シュルツはその場で日米が極東ソ連軍の通信を傍受していたことを明かしてしまったため、日本政府は録音記録を米側に引き渡すことになった。
