Museum Affandi sebenarnya sudah ada sejak dari tahun 1962 dan pada saat itu baru sebatas galeri saja kemdian oleh Prof Ida Bagus Mantra yang merupakan Direktur Kebudayaan Umum pada tahun 1974 baru diresmikan. Karya yang terdapat di museum Affandi dan bisa dinikmati oleh para pengunjung yaitu sekitar 300an, lalu museum Affandi mempunyai luas sekitar 3.500 meter persegi dengan 2 ruang studio dan 3 ruang galeri yang digunakan oleh Affandi untuk mengajarkan seni rupa kepada para muridnya. Tidak jauh dari lokasi tersebut terdapat sebuah cafe yang dahulunya merupakan sebuah tempat tinggal dari Affandi.

Di Museum Affandi ini terdapat empat galeri, pada galeri pertama para pengunjung disuguhkan dengan tempat informasi dan tiket masuk, kemudian pada galeri pertama terdapat berbagai benda milik Affandi sendiri seperti kliping berita koran, ember, mobil sedan kuno, sepeda onthel, foto-foto selain itu juga terdapat karya seniman dari Affandi dari mulai meniti kariernya hingga pada akhir kariernya. Kemudian pada galeri kedua yang dahulunya di khususkan sebagai tempat untuk memamerkan berbagai lukisan dari Affandi yang akan dijual, karena seiring dengan adanya perekembangan sehingga kini galeri dua ini dijadikan sebagai tempat atau ruang pameran berbagai koleksi lukisan dari para pelukis lainnya. Pada galeri kedua ini terdapat dua lantai, pada lantai pertama terdapat berbagai lukisan yang sipatnya abstrak dan kemudian pada lantai kedua terdapat berbagai campuran lukisan yang sipatnya lebih realistis.

Selanjutnya pada galeri ketiga juga terdapat dua lantai, yang mana pada lantai pertama difungsikan sebagai tempat pamer lukisan dari keluarga Affandi sendiri seperti karya anaknya yaitu Kartika Affandi yang dibuat pada bulan Januari dan bulan Februari tahun 1999 dengan judul ‘Apa yang Harus Kuperbuat?’ dan ‘Apa Salahku? Mengapa ini Harus Terjadi?’. Sedangkan untuk lantai kedua difungsikan sebagai ruangan khusus perawatan dari lukisan itu sendiri. Kemudian pada galeri terakhir difungsikan sebagai tempat pameran dari hasil karya cucu Affandi sendiri yaitu Didit. Untuk atap dari bangunan ini yaitu terbuat dari anyaman bambu.