NVIDIA GTC China 2020 Co-Packaged Photonics and Inference

Di NVIDIA GTC China 2020, NVIDIA memamerkan sejumlah kemajuan. Kami ingin menyoroti dua tema besar dari Bill Dally, Chief Data Scientist NVIDIA dan keynote SVP Research. Dua tema utama tersebut adalah optik paket bersama dan inferensi AI yang dirancang untuk meningkatkan dan memperluas jangkauan perusahaan dengan kemampuan komputasi.

NVIDIA Co-Packaged Silicon Photonics

Selama keynote Bill, dia menyentuh tema-tema utama yang telah kami bahas selama beberapa waktu di STH, fotonik silikon dan optik yang dikemas bersama. Mengirimkan bit jarak jauh memiliki biaya energi. Biaya energi tersebut umumnya meningkat berdasarkan kecepatan dan jarak. Interkoneksi listrik saat ini, seperti yang kita lihat di NVIDIA DGX dan platform HGX yang kami ulas di Inspur NF5488M5 Review Server NVIDIA Tesla V100 8x Unik , berjalan di sekitar 8pJ / b dengan 25Gbps per link sinyal sementara dibatasi hingga 0,3 m atau sekitar 1 kaki. Konsekuensinya adalah topologi kecepatan tinggi terbatas pada desain dalam kotak dan dengan cepat memerlukan sakelar seperti NVSwitch dan retimeruntuk menjangkau jarak yang lebih jauh yang masih relatif pendek. Sementara keynote ini berfokus pada NVLink, PCIe akan segera melihatnya yang akan membutuhkan perubahan setelah PCIe Gen5 (meskipun saat diperdebatkan) untuk mencapai komputasi terpilah skala rak. NVIDIA menunjukkan tantangan industri di sini.

“ Cara kami melakukan ini adalah dengan teknologi optik yang relatif baru, Dense Wavelength Division Multiplexing. ”(DWDM) Bill Dally NVIDIA di GTC China 2020 Keynote.

DWDM telah digunakan dalam jaringan selama beberapa dekade, tetapi ide dasarnya adalah bahwa sumber cahaya sisir digunakan dan warna cahaya yang berbeda digunakan melalui kabel serat optik tunggal dengan setiap warna menjadi jalur data yang berbeda. Setiap warna dimodulasi untuk menyandikan data dan kemudian di akhir tautan setiap warna dideteksi secara terpisah. Alih-alih menambahkan beberapa jejak listrik (kabel) ke bandwidth yang diperkecil, DWDM dapat menggunakan lebih banyak warna cahaya. NVIDIA dibahas menggunakan 32 warna, tetapi 128 jalur DWDM bahkan untuk komunikasi jarak jauh sudah ada selama 10-20 tahun. Itu berarti dari desain 32 jalur, ada jalur terkenal untuk mengukur kecepatan transmisi per warna, tetapi juga jumlah warna yang digunakan untuk meningkatkan bandwidth hingga era Tbps.

Beralih ke optik menurunkan daya yang diperlukan untuk memindahkan data dan memberikan integritas sinyal tinggi dalam jarak jauh yang akan menjadi lebih penting karena perusahaan perlu meningkatkan bandwidth melalui prosesor.

NVIDIA memamerkan desain untuk optik yang dikemas bersama baik dengan GPU, pada paket GPU, serta dengan sakelar untuk NVLink 4,8Tbps. Singkatnya, 4.8Tbps lebih cepat daripada kebanyakan CPU saat ini yang dapat menyerap data melalui hierarki memori.

Dengan fotonik menggantikan pensinyalan listrik, NVIDIA dapat meningkatkan sistem dengan cara yang lebih terpilah. Tidak ada lagi sistem yang dibatasi oleh jejak listrik 0,3 m yang berarti lebih banyak perangkat dapat digabungkan ke topologi yang berbeda. Sementara contoh-contoh ini lebih difokuskan pada komputasi gaya DGX, NVIDIA BlueField generasi berikutnya adalah kandidat utama lain untuk mengintegrasikan optik daripada menggunakan modul yang dapat dicolok di beberapa titik di masa depan.

NVIDIA masih memiliki beberapa cara untuk pergi. Perusahaan tidak hanya perlu beralih ke optik paket bersama untuk GPU, di beberapa titik divisi jaringannya, yang dipelopori oleh akuisisi Mellanox, juga perlu mengadopsi optik paket bersama. Kami bertanya selama pengumuman InfiniBand NVIDIA Mellanox NDR 400Gbps baru-baru ini  dan sementara DAC masih memungkinkan, ada pengakuan bahwa optik paket bersama perlu dilakukan. Di STH, ini adalah sesuatu yang telah kami ikuti selama beberapa waktu. Kami bahkan memiliki akses langsung eksklusif ke demo fotonik silikon kemasan bersama Intel pada awal tahun 2020.

https://youtube.com/watch?v=Esgyj26vdxs%3Ffeature%3Doembed

Kami berharap NVIDIA lebih jauh dalam perjalanan fotoniknya daripada yang dijelaskan dalam presentasi karena hal itu akan menjadi pendorong utama arsitektur dalam beberapa generasi. Para pemain pengalih jaringan berada pada titik mereka memberi tahu kami bahwa itu akan menjadi jumlah adopsi daripada jika akan ada adopsi pada generasi 51,2T berikutnya dengan transisi industri akhirnya. Sakelar 51.2T itu ada di peta jalan dan tidak jauh. Bahkan jika bukan karena sisi GPU-nya, NVIDIA akan membutuhkan ini untuk sisi fabric jaringan sebelumnya, tetapi akan sangat bagus untuk melihat NVIDIA memiliki GPU masa depan yang memiliki ini untuk “aplikasi pembunuh”.

AI Inferensi dan Efisiensi

Pada tema efisiensi tersebut, NVIDIA juga membahas kinerja inferensi. Seperti beberapa konteks, peneliti AI Cina bergerak cepat ke dunia penerapan model AI ke aplikasi praktis, sesuatu yang baru-baru ini kami diskusikan di AI pada tahun 2020 dan Sekilas 2021 dengan Inspur dan NVIDIA . NVIDIA pada bagiannya menunjukkan penskalaan kinerja inferensi untuk memenuhi tantangan beban kerja yang berkembang pesat ini.

Bagian dari diskusi tersebut lebih luas seputar akselerator AI khusus seperti penawaran Intel Habana Labs yang dipilih Facebook daripada GPU NVIDIA dan  Amazon AWS baru-baru ini mengumumkan EC2 Intel Habana Gaudi Instances sebagai contoh, tetapi pemain kecil lainnya juga ada di pasar. Di sini, NVIDIA menunjukkan instruksi khususnya untuk mengurangi overhead pergerakan data. Pada gilirannya, komputasi terjadi dengan lebih sedikit overhead sambil mempertahankan programabilitas dan fleksibilitas GPU.

Secara spesifik, di sisi inferensi, NVIDIA memamerkan RC18 atau chip riset 2018 yang sebelumnya diterbitkan pada 9 TOPS / W. Itu kemudian menunjukkan generasi berikutnya pada 29 TOPS / W.

Sebagian besar ini berkaitan dengan aliran data yang lebih dioptimalkan untuk memaksimalkan daya / kinerja setiap operasi. Agar kesimpulan dapat ditemukan di mana-mana, diperlukan daya yang rendah karena banyak aplikasi akan menggunakan tenaga surya, baterai, atau sumber daya terbatas lainnya dan juga diproduksi dalam jumlah besar.

Klaim lain yang dibuat selama keynote adalah bahwa NVIDIA sekarang memiliki chip uji pada 100TOPS / W. Meskipun NVIDIA mengatakan itu bukan produk komersial, implikasinya sangat besar. Dengan akuisisi NVIDIA-Arm yang tertunda , ini adalah jenis IP NVIDIA yang berpotensi dapat ditambahkan ke pustaka lisensi Arm di masa mendatang.

NVIDIA Orin dan Produk Tidak Bernama: Jetson Ampere

Sepanjang tema utama menyimpulkan, ada sejumlah perusahaan China yang mengerjakan proyek transportasi otonom. Karena itu, NVIDIA menggunakan GTC China 2020 untuk memamerkan platform kendaraan otonom generasi berikutnya. Untuk pertunjukan tersebut, perusahaan memamerkan chip kendaraan otonom generasi berikutnya, NVIDIA Orin. Per NVIDIA:

“ SoC Orin mengintegrasikan arsitektur GPU generasi mendatang NVIDIA dan inti CPU Arm Hercules, serta pembelajaran mendalam baru dan akselerator visi komputer yang, secara keseluruhan, menghasilkan 200 triliun operasi per detik — hampir 7x kinerja NVIDIA generasi sebelumnya Xavier SoC. ”( Sumber : NVIDIA )

Kartu L5 Robotaxi dikatakan menggunakan dua SoC Orin ini bersama dengan dua GPU Ampere untuk redundansi. NVIDIA telah membuat perangkat keras untuk kendaraan otonom selama beberapa waktu tetapi mengatakan bahwa platform baru ini dirancang untuk lini masa produksi kendaraan tahun 2022.

Sebelumnya dalam pembicaraan, Bill memamerkan modul Ampere SXM dan berkata:

“ Kami dapat mengukur kekuatan yang ada dalam Ampere dari modul ini (SXM A100) untuk masalah komputasi yang sangat berat, hingga ke lini produk Jetson hingga produk Jetson kami. Bill Dally NVIDIA di GTC China 2020 Keynote.

Dia memberikan baris ini saat beralih dari modul A100 ke modul Jetson.

Meskipun perusahaan tidak mengumumkan edisi Jetson Ampere, masuk akal jika sesuatu seperti ini akan datang. Anda juga dapat melihat kotak Jetson di latar belakang di sebelah GeForce RTX 3090 .

Kata-Kata Terakhir

Secara keseluruhan, kami tidak mendapatkan pengumuman GPU baru yang besar, dan kami memperluas harapan kami melebihi Orin untuk berharap ini mengisyaratkan Ampere Jetson. Namun, pekerjaan NVIDIA pada inferensi AI serta fotonik yang dikemas bersama menunjukkan lebih dari sekadar fokus pada GPU tertentu. Alih-alih, proyek-proyek ini dirancang untuk mengukur dan mengembangkan AI. Di pusat data, fotonik yang dikemas bersama akan memungkinkan topologi sistem yang lebih besar dan lebih cepat yang akan membantu peningkatan skala dan penghitungan skala untuk mengatasi tantangan yang lebih besar. Untuk edge, efisiensi inferensi AI, ditambah beberapa dari apa yang telah ditunjukkan NVIDIA dalam produk dan elemen komputasi di masa depan menunjukkan bagaimana perusahaan berencana untuk meningkatkan kinerja inferensi dan menurunkan konsumsi daya untuk memenuhi kebutuhan lebih banyak aplikasi. Singkatnya pengumuman GPU baru, ini adalah visi yang menarik untuk masa depan.