TRUBA Kümesinden ARF Kümesine Geçiş Rehberi
Kullanıcı arayüzlerinden Barbun1/Levrek1 üzerinden erişilip kullanılmakta olan barbun, hamsi, barbun-cuda
ve akya-cuda
sunucuların bulundukları kuyruklar 1 Aralık 2024 tarihi itibari ile güncellenerek ARF kümesinde hizmet vermeye başlayacaklardır. Bu geçişin daha sorunsuz olması için aşağıdaki rehberi takip edebilirsiniz.
Kullanıcı Arayüzleri ve Kuyruklar
Aşağıdaki tabloda, ARF kümesinde yer alan kullanıcı arayüz sunucularının adresleri ve IP bilgileri ile bu sunuculara iş göndermek için kullanılacak kuyruklar ve sunucu türleri hakkında detaylı bilgiler yer almaktadır. Bu bilgiler, kullanıcıların hangi sunucuların ve kuyrukların işlerine uygun olduğunu belirlemelerine yardımcı olacaktır. Daha fazla detaya hesaplama kümeleri sayfasından erişilebilir.
Adres |
IP (tür) |
---|---|
arf-ui1.yonetim |
172.16.6.11 (ssh) |
arf-ui2.yonetim |
172.16.6.12 (ssh) |
arf-ui3.yonetim |
172.16.6.13 (ssh) |
arf-ui4.yonetim |
172.16.6.14 (ssh) |
arf-ui5.yonetim |
172.16.6.15 (ssh) |
openondemand.yonetim |
172.16.6.20 (web / görsel) |
ARF kümesinde kuyrukların güncel durumuna sinfo
komutu ile bakılabilmektedir.
Örneğin;
sinfo -p orfoz
Ayrıca kuyruk yapılandırması
scontrol show partition=kuyruk_ismi
komutu ile kontrol edilebilir.
Kuyruk |
Sunucu Türü |
Çalışma süresi |
Çekirdek/Bellek |
Sunucu Sayısı |
İşletim Sistemi |
---|---|---|---|---|---|
debug |
orfoz |
4:00:00 |
112 çekirdek/256 Gbyte |
100 |
RockyLinux-9.2 |
orfoz |
orfoz |
3-00:00:00 |
112 çekirdek/256 Gbyte |
454 |
RockyLinux-9.2 |
hamsi |
hamsi |
3-00:00:00 |
56 çekirdek/190 Gbyte |
144 |
RockyLinux-9.2 |
barbun |
barbun |
3-00:00:00 |
40 çekirdek/375 Gbyte |
120 |
RockyLinux-9.2 |
barbun-cuda |
barbun-cuda |
3-00:00:00 |
40 çekirdek/375 Gbyte |
24 |
RockyLinux-9.2 |
akya-cuda |
akya-cuda |
3-00:00:00 |
40 çekirdek/375 Gbyte |
20 |
RockyLinux-9.2 |
Dosya Sistemleri
Ev, İş ve Depoloama Dizinleri:
ARF kümesinde, TRUBA kümesinden farklı olarak, ev dizini ve iş dizini olarak yüksek hızlı merkezi NVMe tabanlı bir dosya sistemi kullanılmaktadır. Kullanıcı ev dizinleri ve iş dizinleri bu yüksek hızlı NVMe dosya sisteminde yer almaktadır. Bu nedenle, ARF kümesindeki kullanıcı ev dizinlerinin ve iş dizinlerinin kotaları düşük tutulmuştur.
Not
- Kullanıcı Dizinleri:
Ev dizini:
/arf/home/$USER
İş dizini:
/arf/scratch/$USER
Depolama dizini:
/truba/home/$USER
Uyarı
- Kullanıcı Disk Kotası:
Ev dizinleri (
/arf/home
) için 100 GB / 150bin dosyaİş dizinleri (
/arf/scratch
) için 1 TB ancak maksimum dosya ömrü 1 aydır.
Ev dizinleri, kullanıcıların kullanacakları uygulamaları kurmaları ve kullanıcı ayar dosyaları, betik dosyaları vb. dosyaların saklanması içindir. Bu dizinlerde kısa süreli düşük hacimli işler çalıştırılabilir, ancak üretim amaçlı tüm işler kesinlikle /arf/scratch
altındaki dizinlerde çalıştırılmalıdır.
/arf/scratch
altında çalıştırılan işlerin sonuçları ivedilikle kontrol edilmeli, saklanması gerekmeyen dosyalar sistemden silinmeli, saklanması gerekenler kullanıcının kendi kişisel bilgisayarına indirilmelidir. Bazı dosyaların sonraki hesaplar için tekrar kullanılması gerekiyorsa ilgili dosyalar /arf/home/$USER
dizinine taşınabilir ya da /arf/scratch
altında bırakılabilirler. Ancak /arf/scratch
dizinlerindeki dosyaların ömrünün en fazla 1 ay olduğu unutulmamalıdır.
/truba/home/$USER
ve /truba/scratch/$USER
dizinleri altındaki dosyalar ivedilikle temizlenmeli, ihtiyaç bulunmayan dosyalar silinmeli, saklanması gereken dosyalar kullanıcının kendi ev bilgisayarına indirilmelidir. ARF hesaplama kümesinde hesaplar sırasında kullanılacak veriler /arf/home/$USER
ve /arf/scratch/$USER
dizinlerine kopyalanabilir. Bu temizlik ve kopyalama işlemi ARF kümesinin kullanıcı arayüzü olan arf-ui
sunucularında gerçekleştirilebilir.
Not
- Önemli Notlar:
/truba/home
ve/truba/scratch
’daki tüm dosyaların taşınmasına gerek yoktur. Lütfen sadece ihtiyacınız olan dosyaları taşıyınız.TRUBA ve ARF kümelerindeki dosya sistemlerinden hiç biri kalıcı bir depolama alanı değildir. Buradaki verilerin yedekleri alınmamaktadır. Verilerin yedeklenmesinden kullanıcıların kendileri sorumludur. Saklanması gereken her türlü veri kullanıcının kendi bilgisayarına indirilmelidir. TRUBA ve ARF’ta sadece daha sonraki hesaplar için ihtiyaç olunan veriler saklanmalıdır.
Yazılım ve Kütüphaneler
ARF kümesinde merkezi olarak kurulu yazılımlar, kütüphaneler ve örnek betikleri bulunduğu dizinler aşağıdaki tabloda listelenmiştir. Kullanıcılar bu merkezi kurulumları modül dosyaları yardımı ile kullanabilirler.
Uygulama |
/arf/sw/apps |
---|---|
Kütüphane |
/arf/sw/lib |
Konteyner |
/arf/sw/containers |
Derleyici |
/arf/sw/comp |
Modüller |
/arf/sw/modulefiles |
Kaynak |
/arf/sw/src |
Veri Setleri |
/arf/repo |
Örnek SLURM dosyaları |
/arf/sw/scripts |
ARF kümesindeki sunucular RockyLinux 9.2
işletim sistemi kullanmaktadır. Bu nedenle, TRUBA’da barbun
(CentOS 7.3
), hamsi
(CentOS 7.9
) ve akya
(CentOS 7.3
) sunucuları için derlenmiş uygulamaların çoğu ARF’da ya çalışmayacak ya da düşük performans gösterecektir. Kullanıcılar, ARF’da merkezi olarak kurulu uygulamaları kullanmalı veya kendi uygulamalarını kullanmak istiyorlarsa, bu uygulamaları güncel derleyici ve kütüphanelerle yeniden derleyip /arf/home/$USER
dizinine yüklemelidirler.
Hem dosya sistemi yapısının ve yollarının değişmiş olması hem işletim sisteminin değişmiş olması nedeni ile TRUBA’da hali hazırda kullanılmakta olan betik dosyaları ARF’da çalışmayacaktır. Örnek betik dosyaları /arf/sw/scripts
altında bulunmaktadır.
Not
- Önemli Notlar:
Ev dizinlerine kesinlikle conda, miniconda, anaconda veya PIP benzeri paket yöneticileri ile uygulama/kütüphane kurulmamalıdır. Bu tür ortamlara ihtiyaç duyulması halinde merkezi conda ve python kurulumları kullanılabilir. Eğer özel bir kuruluma ihtiyaç varsa, bu kurulum konteynerlar içine yapılmalıdır. Konteyner kurulumu hakkında detaylı bilgiye Konteyner Kullanımı sayfasından ulaşılabilir.
Pek çok uygulama ve kütüphane ARF kümesinde hali hazırda kuruludur. Kullanıcılar bu merkezi kurulumları modül dosyaları yardımı ile kullanabilirler.
İş Çalıştırma
Orfoz ve hamsi kuyruklarında çalışmakta olan sunucularda, cihazların sahip olduğu yüksek çekirdek sayıları nedeniyle yarattıkları yüksek I/O ihtiyacını yönetebilmek için her orfoz ve hamsi sunucusunda 2 adet çekirdek I/O yönetimi için ayrılmıştır. Bu nedenle orfoz sunucularında kullanılabilir çekirdek sayısı 110, hamsi sunucularında ise 54’tür. Orfoz kuyruğuna gönderilen işlerde sunucu başına en fazla 110 çekirdek, hamsi kuyruğuna gönderilen işlerde ise en fazla 54 çekirdek talep edilebilir. Bu kuyruklara gönderilen işlerde #SBATCH -C weka
parametresinin kullanılması gerekmektedir.
#!/bin/bash
#SBATCH -p orfoz
#SBATCH -A kullanici_adi
#SBATCH -J jobname
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 110
#SBATCH -C weka
#SBATCH --time=3-00:00:00
#!/bin/bash
#SBATCH -p hamsi
#SBATCH -A kullanici_adi
#SBATCH -J jobname
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 54
#SBATCH -C weka
#SBATCH --time=3-00:00:00
İnteraktif İş Çalıştırma
Uyarı
Kullanıcılar derleme ya da benzeri yük getiren işlerini kesinlikle arf-ui
sunucuları üzerinde gerçekleştirmemelidirler. Bu tür işler için debug
kuyruğundan srun ile interaktif kaynak talep edilmeli ve işlemler hesap sunucularında gerçekleştirilmelidir. Ayrıca Open OnDemand üzerinden Linux Desktop alınarak kısa süreli görsel ve interaktif işlerin gerçekleştirilmesi mümkündür. İnteraktif iş çalıştırmak için debug
kuyruğundan kaynak talep edilmelidir.
debug
kuyruğu farklı sunucu türlerinden oluştuğundan, derleme yapmak için kullanacağınız sunucu türünü -C (constraint) parametresi ile seçebilirsiniz. Sunucu türü belirtilmez ise, sistem otomatik olarak atama yapacaktır. debug
kuyruğundan srun
ile kaynak talebi için aşağıdaki komut sekmelerini inceleyebilirsiniz.
srun -p debug -N 1 -n 1 -c 110 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i
srun -p debug -C orfoz -N 1 -n 1 -c 55 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i
srun -p debug -C hamsi -N 1 -n 1 -c 54 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i
srun -p debug -C barbun -N 1 -n 1 -c 20 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i
srun -p debug -C barbun-cuda -N 1 -n 1 -c 20 --gres=gpu:1 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i
srun -p debug -C akya-cuda -N 1 -n 1 -c 10 --gres=gpu:1 -A kullanici_adi -J test --time=0:30:00 --pty /usr/bin/bash -i