Anaconda Kullanımı
Bu belge TRUBA altyapısında conda platformunun kullanımını kolaylaştırmak için oluşturulmuştur. Bu kılavuz aşağıdakileri kapsamaktadır:
Merkezi Anaconda Kullanımı
TRUBA’da merkezi olarak farklı anaconda platformları bulunmaktadır. Bu platformlar, içerisinde bulunan python ve diğer paketlerin farklı versiyonlarına kullanıcılar tarafından ihtiyaç duyulmasından kaynaklı oluşturulmuştur.
Merkezi anaconda platformları:
eval "$(/truba/sw/centos7.3/lib/anaconda3/2020.07/bin/conda shell.bash hook)"
eval "$(/truba/sw/centos7.3/lib/anaconda3/2021.11/bin/conda shell.bash hook)"
eval "$(/truba/sw/centos7.9/lib/anaconda3/2020.07/bin/conda shell.bash hook)"
eval "$(/truba/sw/centos7.9/lib/anaconda3/2021.11/bin/conda shell.bash hook)"
Uyarı
Hangi platfomu seçmeliyiz?
İlgili komut çalıştırıldıktan sonra conda info ve conda list ile sanal ortam bilgisine ve içerisinde bulunan paketlerin versiyonlarına erişim sağlayabilirsiniz. Bu bilgiler ışığında ihtiyacınıza göre hangi platformu kullanmanız gerektiğine karar verebilirsiniz.
Not
Yapay zeka alanında sıklıkla kullanılan TensorFlow, PyTorch, Transformers, Huggingface Hub ve CUDA araçlarının kurulu olduğu python 3.10 versiyonu için takip eden aşağıdaki anaconda ortamını kullanabilirsiniz. Örnek SLURM betiklerini /truba/sw/scripts/python/akya-gpu dizini altinda bulabilirsiniz.
eval "$(/truba/sw/centos7.9/lib/anaconda3/2023.03/bin/conda shell.bash hook)"
İlgili Anaconda ortamlarını kulllanıcı arayüzlerinde ve hesaplama sunucularında aktif olması isteniliyorsa .bashrc ya da .bash_profile dosyanıza ihtiyaç duyduğunuz satırı eklemeniz gerekmektedir.
Ayrıca, sadece ihtiyaç duyulan zamanlarda aktif edilmek istenilirse terminalde doğrudan ilgili komutu kullanabilirsiniz. SLURM betik dosyanızda da benzer şekilde ilgili anaconda versiyonu için olan yukarıdaki komutu yazmanız gerekmektedir.
Özel python paket kurulumu
Kullanıcıların özel ihtiyaçları merkezi kurulumlarla karşılanmadığında, kendi ev dizinlerine Anaconda kurmak yerine Konteyner içinde Anaconda tercih edilmelidir. Bir diğer öneri ise, merkezi Anaconda içerisine ihtiyaç duyulan paketlerin kurulması için aşağıdaki formatı kullanarak ekibimizle iletişime geçip kurulum talebi oluşturmaktır. Önerilen çözümler sayesinde, ihtiyaç duyulan paketlerin sağlanması sonucunda dosya sayısı (inode) problemi ile karşılaşılması engellenmektedir.
Merkezi sisteme kurulması istenilen Python sürümleri ve paketlerin, bağımlı paketlerle birlikte uyumlu listesini aşağıdaki formatta grid-teknik@ulakbim.gov.tr adresine e-posta göndererek iletebilirsiniz.
Sistemdeki kullanıcı adınız:
Hesaplama kümesi adı (TRUBA veya ARF):
Merkezi Anaconda dizini:
Kurulması istenen Python sürümü:
Kurulması istenen paketler ve sürümleri:
Açıklama: