Perkiraan TNI bahwa Belanda sewaktu-waktu akan menyerang RI, ternyata tidak meleset. Belanda kembali melancarkan agrasi militernya yang kedua. Pasukan Belanda menyerang ibukota RI dan bergerak ke seluruh wilayah Republik pada tanggal 19 Desember 1948. Pada jam-jam terakhir sebelum jatuhnya Yogyakarta, dalam keadaan sakit Soedirman menghadap Presiden dan melaporkan bahwa pasukan TNI sudah siap melakukan rencanya, termasuk mengungsikan para pemimpin nasional. Jawaban Presiden mengejutkan Soedirman.
Soedirman dinasehati agar tetap tinggal di kota, untuk dirawat sakitnya. Panglima Besar Soedirman menjawab tawaran Presiden dengan kata-katanya,”Tempat saya yang terbaik adalah ditengah-tengah anak buah. Saya akan meneruskan perjuangan. Met of zonder pemerintah TNI akan berjuang terus”. Menghadapi agresi militer II Belanda, Jenderal Soedirman segera mengeluarkan Perintah Kilat No. I/PB/D/48. Isinya, pada tanggal 19 Desember 1948 Angkatan Perang Belanda telah menyerang kota Yogyakarta dan lapangan terbang Maguwo, Pemerintah Belanda telah membatalkan persetujuan genjatan senjata, semua Angkatan Perang menjalankan rencana untuk menghadapi serangan Belanda.
Pada hari itu juga Jenderal Soedirman meninggalkan Yogya dan memimpin Perang Gerilya yang berlangsung kurang lebih tujuh bulan lamanya. Dengan ditandu, ia melakukan perjalanan gerilya naik turun gunung, masuk hutan ke luar hutan, berpindah-pindah tempat. Tidak jarang Soedirman mengalami kekurangan makanan selama berhari-hari. Belum lagi penderitaannya karena pengejaran tentara Belanda yang ingin menangkapnya.
Ketika Belanda menyerbu Yogyakarta, para pemimpin militer Belanda ternyata keliru memperhitungkan peranan Pemerintah Darurat RI (PDRI) dan Soedirman. Belanda hanya memperhitungkan Soekarno-Hatta dan para politisi sebagai center of gravity dalam perang. Belanda mengira bahwa dengan menduduki ibukota dan menangkap Soekatno-Hatta, Republik akan bisa dirubuhkan. Ternyata perkiraan Belanda keliru, Soekarno telah menyerahkan mandat pemerintahan kepada Menteri Kemakmuran Sjafruddin Prawiranegara yang sedang berada di Sumatra, sedangkan TNI tetap utuh. Akhirnya Belanda menyadari kekeliruannya dan kemudian melakukan pengejaran terhadap Soedirman.
Para pemikir dalam Merkas Besar, seperti T.B. Simatupang dan A.H. Nasution akhirnya menemukan strategi perongrongan atau attrition strategy. Strategi ini untuk perang jangka panjang dijabarkan dalam organisasi dan sistem Wehrkreise. Wehrkreise artinya lingkungan pertahanan, atau pertahanan daerah. Sistem ini di dipakai sejak dari pertahanan pulau sampai daerah-daerah. Masing-masing komandan diberi kebebasan seluas-luasnya untuk menggelar dan mengembangkan perlawanan.
Wilayah Wehrkreise adalah satu karesidenan, yang didalamnya terhimpun kekuatan militer, politik, ekonomi, pendidikan, dan pemerintahan. Sistem Wehrkreise sama sekali meninggalkan sistem pertahanan linier. Sistem Wehrkreise ini kemudian disahkan penggunaanya dalam Surat Perintah Siasat No. 1, yang ditandatangani oleh Panglima Besar Soedirman pada bulan November 1948. Pengambilan keputusan politik yang dilakukan selama Pemerintah Darurat Republik Indonesia (PDRI) di Sumatera mendapat reaksi dari Panglima Besar Soedirman.
Ketika Panglima Besar Soedirman membaca surat telegram PDRI Sumatera, ia menyatakan bertanggung jawab atas jalannya pertempuran dan menyatakan sikapnya yang tertuang dalam surat te-legram yang isinya: Soal politik dan soal pertahanan tidak dapat dipisah-pisahkan karena pertahanan menjadi tulang punggung politik, dan jika ada perundingan tentang penghentian tembak-menembak maka PDRI, Staf Angkatan Perang, dan Panglima Tertinggi harus berkumpul, sehingga perintah yang dikeluarkan menjadi kuat dan dapat ditaati.
Setelah melakukan perjalanan panjang ke luar masuk hutan dan terhindar dari serangan Belanda, sejak April 1949 Jenderal Soedirman menetap di Dukuh Sobo, desa Pakis kecamatan Nawangan, Pacitan, Jawa Timur. Di tempat ini keadaan Panglima Besar mulai agak teratur dan dapat mengadakan hubungan dengan Pejabat Pemerintah di Yogya melalui kurir dan di Sumatera melalui PAB di lerang Gunung Lawu. Selama bergerilya, Panglima Besar tetap mengeluarkan perintah-perintah harian, petunjuk, dan amanat, baik untuk TNI maupun rakyat.
Strategi perongrongan yang dilancarkan TNI bersama rakyat berhasil menjemukan kemauan perang pasukan musuh. Apalagi sesudah dilancarkannya Serangan Umum ke Yogyakarta pada 1 Maret 1949 pimpinan Letnan Kolonel Soeharto, Komandan Wehrkreise III yang merupakan titik-titik balik bagi kemenangan TNI. Belanda kemudian mengajak kembali berunding. Pada tanggal 7 Mei 1949, Roem-Royen Statement ditandatangani. Berdasarkan statement ini, akhir Juni 1949, Presiden, Wakil Presiden, dan pejabat Pemerintah RI yang ditawan Belanda di Pulau Bangka, dikembalikan ke Yogyakarta.
