Untuk memberikan akses yang efisien ke disk, sistem operasi mengizinkan satu atau lebih sistem berkas yang digunakan untuk menyimpan, meletakkan, dan mengambil data dengan mudah. Sistem berkas tersebut terdiri dari beberapa lapisan yang mana setiap lapisan akan menyediakan fitur-fitur untuk dipergunakan pada lapisan di atasnya. Lapisan tersebut (dari tingkat yang terbawah) antara lain device driver, I/O control, basic file system, file-organization module, logical file system, dan application program. Berbagai operasi yang dilakukan pada sistem berkas, seperti membuka maupun membaca berkas, sangat membutuhkan informasi tentang berkas yang hendak digunakan. Semua informasi tentang berkas tersebut didapatkan pada file control block.

Dalam pengimplementasiannya, sistem operasi harus mampu mendukung berbagai jenis sistem berkas. Teknik yang digunakan oleh sistem operasi untuk mendukung kemampuan ini disebut Virtual File System (VFS). Konsep dalam mengimplementasikan VFS ini adalah konsep object oriented yaitu menggunakan sebuah berkas yang dapat merepresentasikan seluruh tipe berkas. Berkas ini disebut common file model. Oleh karena itu, digunakanlah tiga lapisan utama dalam mengimplementasikan sistem berkas, diantaranya file system interface, VFS interface, dan file system types.

Algoritma untuk mencari berkas dalam sebuah direktori juga digunakan sebagai parameter performance dari sebuah sistem operasi. Ada dua algoritma yang sering digunakan dalam pengimplementasian direktori, yaitu implementasi direktori linier dan hash. Masing-masing bentuk implementasi ini memiliki kelebihan dan kekurangan tersendiri. Untuk implementasi linier, kelebihannya adalah sederhana dalam pembuatan programnya dan kekurangannya adalah lamanya mengakses berkas apabila terdapat banyak sekali berkas dalam sebuah direktori. Sedangkan pada implementasi direktori hash, kecepatan pencarian berkas lebih cepat dibandingkan dengan pencarian dalam direktori linier dan kekurangannya adalah ukuran tabel yang statis, sehingga perlu dilakukan pengubahan fungsi hash apabila ingin mengubah ukuran tabel hash.