Yüksek Performanslı Dosya Sistemleri
Hesaplama kümelerindeki sunucuların üzerinde bulunan yerel disklerden bağımsız olarak, sunucular kullanıcı verilerinin saklanması ve kullanıcı işlerinin çalıştırılması amacı ile paylaştırılmış merkezi dosya sistemlerini kullanırlar. Merkezi dosya sistemleri yüksek başarımlı LUSTRE paralel dosya sistemi kullanarak yapılandırılmıştır. Hesaplama kümelerinde farklı tipte ve özelliklerde yüksek performanslı dosya sistemleri kullanılmaktadır. Bu kılavuz dosya sistemleri hakkında aşağıdaki başlıkları kapsamaktadır:
Önemli Notlar
Öncelikle aşağıdaki uyarıyı vurgulamak isteriz.
Uyarı
Yüksek başarımlı hesaplama merkezimizde bulunan dosya sistemleri kesinlikle kalıcı bir dosya depolama alanı olarak düşünülmemelidir. Dosya sistemindeki verilerin güvenliğinden kullanıcının kendisi sorumludur.
Kullanıcı ev dizinleri ve merkezimiz tarafından sağlanan yazılımların (derleyici, uygulama ve kütüphaneler) kaydedildiği alan için “kullanıcı ev dizini” terimi kullanılmaktadır. Kullanıcı ev dizinleri için iki farklı dosya sistemi kullanılmaktadır. Kullanıcı dizinleri ../home dosya sistemi altında bulunmakla birlikte işlerini çalıştırırken yüksek performanslı dosya sistemi ../scratch dosya sistemi altında bulunmaktadır.
/truba ve /arf dosya sistemlerinde kullanıcılar için kota uygulaması söz konusudur. Tüm kullanıcıların disk kotaları eşit olarak ayarlanmıştır. ARDEB vasıtası ile hesap açılan ve projeleri kapsamında işlerini çalıştıran kullanıcılar için, standart kota miktarından farklı olarak, projelerinde öngörülen disk kotası miktarı uygulanmaktadır. Detayları aşağıdaki tablolardan erişebilirisiniz.
Kullanıcı ev dizinlerinin yedekleri alınmamaktadır. Bu nedenle buradaki kullanıcı verilerinin düzenli olarak kullanıcılar tarafından kendi kişisel bilgisayarlarına aktarılması, önemsiz verilerin ise yine kullanıcının kendisi tarafından silinmesi beklenmektedir. Kullanıcı ev dizinleri kesinlikle uzun vadeli bir depolama alanı olarak düşünülmemelidir.
Kullanıcı ev dizinleri standart olarak sadece dizinin sahibi tarafından erişilebilecek şekilde oluşturulurlar. Ancak zamanla kullanıcılar dizin erişim haklarını bilerek ya da bilmeyerek değiştirebilirler. Kullanıcı ev dizinlerindeki verinin güvenliğinden yine kullanıcın kendisi sorumludur.
Kümelerde kullanılan ortak yazılımlar /truba/sw ve /arf/sw dizininde tutulurlar. Bu dizine tüm kullanıcıların read-only erişimleri vardır. Bu dizindeki yazılımlar genel olarak ücretsiz lisanslı yazılımlardır ve tüm TRUBA kullanıcılarının yazılımın lisans haklarına uyulması şartı ile kullanımına açıktır.
ARF Dosya Sistemi
ARF hesaplama kümesi için /arf/home, /arf/scratch ve /truba/home dosya sistemleri hakkında detaylı içerik tablo içerisinde belirtilmiştir. Bu dosya sistemlerine bağlı bulunan suncular üzerinden iş gönderilebilir. İşler çalışırken sadece beliritlen dosya sistemlerine erişimi mevcuttur.
Dizin adı |
Kullanım |
Kotası |
İşlevi |
Açıklama |
Bağlı bulunduğu sunucular |
|---|---|---|---|---|---|
/arf/home |
Ev dizini |
Bellek: 100GB |
Araştırmacının önemli gördüğü, |
Uygulama kurulumları, |
arf-ui1 |
/arf/scratch |
Scratch dizini |
Bellek: 1TB |
Araştırmacının işlerini, |
Çalışan işler için kullanılacak dizin, |
arf-ui1 |
/truba/home |
Depolama |
Bellek: 2TB |
Araştırmacının verilerini |
/arf/scratch dizini |
arf-ui1 |
TRUBA Dosya Sistemi
TRUBA hesaplama kümesi için /truba/home ve /truba/scratch dosya sistemleri hakkında detaylı içerik tablo içerisinde belirtilmiştir. Bu dosya sistemlerine bağlı bulunan suncular üzerinden iş gönderilebilir. İşler çalışırken sadece beliritlen dosya sistemlerine erişimi mevcuttur.
Uyarı
/truba/home ve /truba/scratch dizinleri için kota hesaplaması bu iki dizinin toplamı üzerinden gerçekleştirilmektedir.
Not
barbun, hamsi, barbun-cuda, akya-cuda, palamut-cuda kümelerinin işletim sistemleri güncellenerek bu sunucular ARF kümesine dahil edilecektir. Bu güncelleme takvimi ayrıca duyurulacaktır. Güncelleme gerçekleştiğinde, tüm sunucular için ev dizini /arf/home, scratch dizini /arf/scratch ve depolama dizini /truba/home olacaktır. Bu geçiş sonrasında /truba/scratch dizini kullanımdan kaldırılacaktır.
Dizin adı |
Kullanım |
Kotası |
İşlevi |
Açıklama |
Bağlı bulunduğu sunucular |
|---|---|---|---|---|---|
/truba/home |
Ev dizini |
Bellek: 2TB |
Araştırmacının verilerini |
/truba/scratch dizini |
barbun1 |
/truba/scratch |
Scratch dizini |
Araştırmacının işlerini, |
Çalışan işler için kullanılacak dizin, |
barbun1 |
Sunucular ve Kullanıcı Arayüzleri
ARF ve TRUBA hesaplama kümelerinde bulunan sunuculara iş gönderebilmek için bağlı bulundukları kullanıcı arayüzleri kullanılmalıdır. İki sistem için merkezi kurulumlar ve erişebildikleri dosya sistemleri farklıdır. Hangi sunucuların veya kuyrukların işleriniz için uygun olduğu bilgisi hesaplama kümeleri sayfasından detaylı bilgilere erişilerek karar verilebilir.
Sunucu Türü |
Ev Dizini |
Scratch |
Depolama |
Yerel |
Kullanıcı Arayüzü |
|---|---|---|---|---|---|
orfoz |
/arf/home |
/arf/scratch |
/truba/home |
/tmp - 800GB |
arf-ui1 |
Sunucu Türü |
Ev Dizini |
Scratch |
Yerel |
Kullanıcı Arayüzü |
|---|---|---|---|---|
barbun |
/truba/home |
/truba/scratch |
/tmp - 1TB |
barbun1 |
hamsi |
/truba/home |
/truba/scratch |
/tmp - 1TB |
barbun1 |
barbun-cuda |
/truba/home |
/truba/scratch |
/tmp - 1TB |
barbun1 |
akya-cuda |
/truba/home |
/truba/scratch |
/tmp - 1.4TB |
barbun1 |
palamut-cuda |
/truba/home |
/truba/scratch |
/tmp - 800GB |
palamut-ui |
Dosya Sayısı (inode)
Kullanıcının ev dizinlerinin (../home/$USER ve ../scratch/$USER) boyutundan bağımsız olarak kullanıcı dizinlerindeki dosya sayısı da Dosya Sistemi’nde aşırı yük yaratmaktadır. Özellikle kurulum dosyalarının (source code) kurulumdan sonra silinmemesi, ya da anaconda gibi uygulamaların merkezi versiyonu yerine kullanıcı ev dizinlerine kurulması dosya sisteminin aşırı dolmasına ve sistem performansının düşmesine neden olmaktadır. Bu sorunlardan dolayı 1 Mayıs 2022 tarihinden itibaren dosya sayısı kotası (inode) uygulanmaya başlanmıştır. Kullanıcılar
lfs quota -gh $USER /truba
komutu ile kullandığı dosya sayısını(inode) öğrenebilir. Ayrıca terminalden barbun1 kullanıcı arayüzüne bağlantı sağladıktan sonra login ekranına dökülen kota bilgilerine dosya kotası da % olarak eklenmiştir. Bu değerin %100’un altında olması gerekmektedir.
Dosya Sayısı için çözüm önerileri
Not
Kullanıcılarımızdan
kullandıkları uygulamaların merkezi versiyonu varsa (module vb.) merkezi versiyonlarını kullanmalarını
merkezi kurulumda olmayan uygulamaların konteyner teknolojilerinden faydalanarak tek bir imaj dosyası ile konteyner oluşturmaları(bkz. konteyner kullanımı),
merkezi versiyonu olmayan ve konteyneri bulunmayan uygulamaların kendi ev dizinlerine kurulması gerekiyorsa, kurulum sonrasında kaynak dosyaları silmelerini
yapay zeka veya diğer alanlarda sıklıkla kullanılan ilgili veri setleri herhangi bir lisans sözleşmesi gerektirmeden doğrudan sayfa üzerinden açık olarak paylaşılan bir veri seti ise kullanıcı ev dizinleri yerine
grid-teknik@ulakbim.gov.trile iletişime geçerek merkezi TRUBA Veri Setleri dizine oluşturulması için bildirilmesi,/arf ve /truba depolama sistemlerine anaconda, miniconda, conda veya herhagi bir Python kütüphanesi kesinlikle yüklenmemelidir, pip ve türevleri kullanılmamalıdır. Küçük boyutlu yüzbinlerce dosyadan oluştuğu için, her kullanıcının kendi ev dizinine kurduğu bu tip kütüphaneler dosya sistemlerinin performanslarını büyük ölçüde düşürmekte ve çalışan işlerin yavaşlamasına neden olduğundan özellikle
Anacondakullanıcılarının merkezi Anaconda kurulumunu kullanmalarını (bkz. Anaconda Kullanımı)*ihtiyaç duymadıkları her türlü dosyayı silmelerini
saklanması gereken dosyaları kendi bilgisayarlarına indirmelerini
sadece kısa zaman icinde kullanacakları dosyaları sistemde tutmalarını
herhangi bir sebepten silemedikleri dosya ve dizinleri tar komutu ile arşivleyerek tek bir dosya haline getirmeleri ve mümkünse ilgili arşiv dosyalarını kendi bilgisayarlarına indirmelerini
önemle rica etmekteyiz.