Son araştırmalar, 8 bit veya daha altına indirgenmiş dar veri formatlarının, doğruluk üzerinde ihmal edilebilir bir etkiyle, yapay zeka eğitim ve çıkarım performansı ile enerji verimliliğini büyük ölçüde artırma potansiyeline sahip olduğunu göstermiştir. Bu formatlar aynı zamanda kullanılan bellek miktarının azaltılmasına yardımcı olurken, ağ bant genişliğini de artırır.
Dar veri formatları, etkili aralığı ve bunları kullanan modellerin doğruluğunu arttırmak için genellikle tensör, kanal ve/veya blok düzeyinde ölçeklendirilir. Bu dar formatların tüm potansiyelinden yararlanmak için daha geniş veri formatlarını kuantalayan, ölçekleri belirleyen ve AR-GE için yeni gelişmiş veri formatlarının kullanımını mümkün kılan yazılım araçları gerekir. Bu kapsamda geliştirilen Brevitas, hem eğitim sonrası kuantalamayı (PTQ) hem de kuantalamaya duyarlı eğitimi (QAT) destekleyen açık kaynaklı bir PyTorch kütüphanesidir. PTQ ile sinir ağı modeli eğitildikten sonra kuantalanırken; QAT ile ise model baştan kuantalama hedefiyle eğitilir. Brevitas’ın farklı ortamlara entegrasyon özellikleri ile modellerin CPU, GPU, FPGA, ve AI motorları gibi donanımlarda kullanılması mümkün olabilmektedir.
AMD ve diğer şirketler, yapay zeka eğitimi ve çıkarımı için gelişmiş veri formatları oluşturmak ve standartlaştırmak amacıyla yakın zaman önce Mikro Ölçeklendirme Formatları (MX) Topluluğu’nu (Microscaling Formats (MX) Alliance) kurdular. Deneysel sonuçlar, MX veri formatlarının; üretken dil, görüntü sınıflandırma, konuşma tanıma, öneri ve çeviri modelleri dahil olmak üzere çeşitli derin öğrenme modelleriyle etkili bir şekilde kullanılabileceğini göstermektedir.
Detaylar için blog sayfamızı ziyaret edebilirsiniz.
Her ay yayınlanan mail bültenlerimize abone olarak IoT&Sensor,
Power, Lighting ve Cloud&AI gibi birçok yenilikten haberdar olun!
Copyright © 2022. Tüm Hakları saklıdır.
