本科招生網
加入收藏 聯系我們 網站地圖 懷念舊版 ENGLISH
相關文章
讀取內容中,請等待...

西安交大獲第五屆“神威杯”國產CPU并行應用挑戰賽總決賽冠軍

來源: 日期:2021-10-29 10:05 點擊: 分享到:
0

2021年9月,第五屆“神威杯”國產CPU并行應用挑戰賽總決賽在江蘇無錫落下帷幕,來自西安交大計算機科學與技術學院高性能計算團隊的研究生王子衡、趙明強、蔡瑋林、陳鑫行組成的Cyberpunk6031隊,在指導老師陳衡的帶領下獲得冠軍。

這已經不是高性能計算團隊在國產CPU并行應用挑戰賽第一次獲獎了。團隊自2019年起,已連續3次組隊參賽并全部進入決賽,2019年獲得三等獎,2020年獲得并行基金獎,2021年獲得第一名。

每次參賽都是一次歷練和成長

時下大熱的云技術、人工智能、元宇宙、5G、大數據……幾乎所有熱點領域和技術前沿的背后都需要超算做支撐。創辦于2017年的國產CPU并行應用挑戰賽(以下簡稱“CPC”)既是國產超算領域的專業賽事,也是國產“芯”平臺人才選拔培育的“孵化器”,大賽立足于國產超算平臺,通過聚焦前沿技術應用風口,不斷擴寬廣度,挖掘深度,為構筑良性人才技術發展生態、國產自主平臺的建設創造更多可能。

CPC由中國計算機學會主辦,在超算領域具有編程難、專業技能要求高、學科交叉、比賽周期長、題目新且難、隊員精力消耗大、思想壓力大等特點。主要難點來自于C/C++編程語言的復雜性,和設計多進程/線程協同計算的合理性。對參賽者的個人能力、實驗室積累的要求較高。CPC采用初賽和決賽兩輪賽制,初賽和復賽分別持續1個月,且題目無相關性,涉及各個領域的模擬應用,大至天體物理,小至基因堿基,需要學習大量的應用相關知識以及新的并行編程方法。2021年的比賽是在神威新的架構上進行,參賽者需要學習新的編程方式,需要對新機器進行測試和分析,這無疑進一步加大了難度。今年題目是圖像領域的注意力機制,這是近兩年涌現出來的熱點,需要進行相關知識的學習,而且沒有可參照的工作經驗。

高性能計算團隊2019年首次參賽時獲得三等獎,2020年獲得并行基金獎。兩屆參賽經歷讓團隊更加熟悉競賽規則,也讓帶隊老師陳衡更清晰地了解了各個隊員的特點。在第五屆CPC競賽組隊時,陳衡根據隊員各自的研究方向和興趣,讓王子衡同學擔任隊長,研一同學趙明強、蔡瑋林和陳鑫行組隊。隊員在吸取去年參賽經驗的基礎上,除了理解神威新的硬件架構外,還需要根據賽題進行具體分工,以便快速學習和掌握新的知識。

本次決賽緊扣Transformer這一深度學習前沿網絡和相關應用熱點,要求參賽選手在新一代申威眾核架構下,優化基于PyTorch實現的ViT模型訓練任務,并針對其中的Transformer結構進行性能優化。四位參賽隊員進行了細致分工,包括基于神威處理器的SUMMA算法實現、cache局部性矩陣乘優化、LDM內存管理、數學庫函數加速、PyTorch算子C語言并行化、多頭機制特異性優化、核間RMA協同設計和向量化與指令級并行等。在保證模型精度和準確度的基礎上,對多種訓練規模的參數均進行了針對性優化。經過一系列的并行優化,單節點性能相比于原始版本,提升了數百至數千倍,同時在多節點上也有良好的可擴展性。

比賽現場

王子衡回顧參賽過程時表示,“比賽持續一個月時間,我們每天早晨8點到實驗室,中午不休息,晚上11點回宿舍。在實驗室的時候也要預設各種可能去找對策,這種高壓、高強度的狀態對精力消耗很大。在無錫參加決賽時,我們當時有3天每天只睡4個小時,連做夢都在調代碼。好在之前假設的優化方案很多是有效的,在一定程度上緩解了我們的參賽壓力?!?/p>

答辯環節

進入決賽的有20支隊伍,分別來自清華大學、北京航空航天大學、浙江大學、中山大學、哈爾濱工業大學和中國科學技術大學等高校。多個參賽隊伍同時以極高的強度在賽事服務器上進行操作,在比賽最后一天凌晨3點,服務器的數據庫崩了,這直接導致無法調整代碼,“那一刻真是驚心動魄??!那時,我們的代碼還存在正確性問題,當時幾乎是崩潰的。當天上午9點半數據庫才恢復,11點就需要提交代碼,因為程序一次編譯需要20分鐘,因此,可以調整代碼的次數不能多于3次,所幸代碼最終還是按時調通了,我們也獲得了第一名的好成績?!蓖踝雍庹f。

高性能計算團隊負責人董小社教授說:“在緊張的研究生求學期間拿出3個月參加這種專業競賽,乍看起來會影響到研究生正在著手的科研項目,但是回頭細想,學生在這3個月時間內,其實是在進行高強度專業訓練,他們帶著目的和問題學習,極大調動了主觀能動性,最終能快速提升專業技術水平。賽后,當他們回到科研項目上,明顯感覺到他們對項目的理解有了質的提高??蒲泻透傎愅耆窍噍o相成的,正所謂‘磨刀不誤砍柴工’,我們會繼續鼓勵和組織學生參加這類競賽,進一步擴大西安交大高性能計算在國內的影響力?!?/p>

屢次獲獎的背后:近20年的技術積累

高性能計算一直是西安交通大學計算機科學與技術學院的重點研究領域,CPC非??简灨咝T谶@一領域的科研水平,正是由于西安交大計算機科學與技術學院長期以來對高性能計算方向的支持,以及團隊多年來的科研積累和實踐,才能獲得今天優異的成績。

2000年,董小社在科技部“863”項目支持下,開始建設“國家高性能計算中心(西安節點)”。高性能計算團隊自成立以來的定位就是針對國家和社會對高性能計算環境、應用及人才的需求,依托國家高性能計算中心(西安),研究高性能計算機系統與軟件、存儲設備與大數據存儲系統、人工智能、云計算與大數據使能技術。

為給人才培養和學科發展提供良好的環境支持,中心一直堅持免費的使用方式,校內外累計有90多個應用項目組,覆蓋十多個學科,超過300個用戶使用中心提供的高性能計算資源進行大規模仿真計算和算法研究。

團隊還主動進行學科交叉,協助其它項目組完成并行程序優化和調試,并多次以學科交叉的方式申請國家項目,在中心的高性能計算環境和國家超級計算天津中心完成了項目的調試和驗收。

為了讓更多的學生了解高性能計算,團隊面向研究生和本科生還開設了“并行程序設計”“高性能計算概論”“并行優化及程序設計”等課程,培養了一批熱愛高性能計算的人才。

多年來堅持學科交叉、高性能計算人才培養和技術積累為今天取得的成績奠定了堅實的基礎。

2016年,“十三五”國家重點研發計劃高性能計算專項啟動,高性能計算團隊在和能動學院張楚華教授多次合作的基礎上,成功申請到“面向E級計算機的大型流體機械并行計算軟件系統及示范”項目,張興軍教授負責課題“面向E級計算機的大型流體機械并行計算軟件研制”。課題的一個核心指標是要在60萬核的超算上研制大型流體機械并行計算軟件,并且還要滿足并行效率高于30%。經過調研,項目組將硬件平臺選定為天河二號和神威太湖之光,針對不同的硬件架構,將項目組成員分成2組。經過2年的技術攻關,項目組以及掌握了神威太湖之光的硬件架構、編程模式以及優化方法。

在2019年3月份的一次例會上,伍衛國教授提到了第三屆“神威杯”國產CPU并行應用挑戰賽正在報名,這項競賽的選定的平臺正是在TOP500多次蟬聯榜首的神威太湖之光,和項目組選定的科研平臺“不謀而合”,項目組成員可以組隊參加,一方面可以將科研和競賽結合,另一方面也可以擴大西安交大高性能計算團隊在國內的影響。在董小社、伍衛國、張興軍三位教授的全力支持下,建議由陳衡老師組隊參賽。

2019年首次參賽時,隊員全部是參與神威太湖之光優化組的碩士研究生,分別是研二的肖兮,研一的王子衡、董玉龍和王若塵,由優化組組長李靖波博士帶隊。項目組基于過去2年對競賽平臺硬件架構和優化調試技術的掌握,順利完成初賽題目并進入決賽。決賽的前期準備一直很順利,但是到了現場后,組委會給出的數據在運行時一直出現段錯誤,此時距離最后的提交時間不足24小時,陳衡建議先求穩,對使用的優化方法進行調整,確保給定的測試數據可以正常運行。隊員們修改代碼、編譯、運行、調試,反復迭代,終于在上午8點拿到一個穩定的版本。當時,肖兮感慨地說:“如果再多給我們2天時間,我的這個算法能夠調通的話,應該可以拿到前3名!”最終,他們取得了第6名的成績,獲得決賽三等獎,首次參賽獲獎給了師生們很大的信心,大家都相信,項目組的技術水平一定可以確保項目的各項指標順利完成。

正是由于在CPC上的優異表現,肖兮不僅實現了在碩士階段計算機水平尤其是高性能計算技術質的飛躍,而且以優異的表現進入華為計算網絡部門高性能計算團隊工作?!叭绻麤]有加入高性能計算團隊,如果沒有參加張老師的重點研發項目,如果沒有CPC參賽的經歷,我的技術水平至少要比現在低一個檔次?!毙べ庹f。

計算機科學與技術學院院長張興軍表示:“計算機系統結構是西安交大計算機學科的傳統優勢學科方向,于怡元、鄭守淇、胡正家等先輩教授為此方向打下了堅實的基礎,后面在錢德沛、董小社教授帶領下,該方向得到了長足發展,特別是在高性能計算方面,團隊主持、參與了國家多個重大、重點工程和科研項目,為國家高性能計算發展水平進步和產業發展作出了重要貢獻。隨著人工智能、大數據等新型應用的驅動發展,作為底層支撐的高性能計算的作用將更加凸顯,團隊將不斷加強人才培養、學術研究和產學研合作力度,目前已經和華為公司在中國西部科技創新港就超算成立了聯合創新研究中心,未來幾年,團隊將聚焦數據密集型超算和超算存儲的研究與創新發力,力爭使團隊學術水平和貢獻再上一個大臺階!”

地址:陜西省西安市咸寧西路28號 郵編:710049
版權所有:西安交通大學招生辦公室     技術支持與維護:網絡信息中心
一路成年在线播放免费_动漫精品一区二区三区免费_暖暖 免费 在线 播放 中文_国色生香 笑佳人