推出云霄演練 + 云霄推理的完備處置計劃

上海2020年12月21日 /美通社/ -- 燧原科學技術本日頒布首款人為智能推理產物 “云燧?i10”。這是一款面向云霄數據重心的高本能推理卡。云燧i10是單槽位規范卡，扶助PCIe 4.0，FP32算力到達17.6TFLOPS，BF16/FP16算力70.4TFLOPS。同時，燧原科學技術頒布了推理引擎“鑒算TopsInference”，不妨為深度進修運用供給低推遲、高含糊率的推理本能，并貶低數據重心的安置本錢。云燧i10將于來歲第一季度上市。

燧原科學技術頒布首款人為智能推理產物 -- “云燧i10”

按照權勢商場機構猜測，云數據重心對于人為智能推理芯片的需要將從2022年發端超過對于演練芯片的需要，所有推理商場蓄勢待發。云霄推理處置計劃更提防歸納目標，包括算力、時延、本錢等，也更為關心用戶領會的優化。

“云燧i10”具有特出的算力、精致的通用性以及崇高的價格個性：

高算力、多精度：FP32算力17.6TFLOPS，BF16/FP16算力70.4TFLOPS；采用自決指令集，扶助從FP32到INT8等多種精度，而最大功耗僅為150W；

高能效、高真實性：采用動靜調頻調壓（DVFS）本領，按照負載加快運用本能，扶助RAS、ECC；

擺設假造化：實行多用戶扶助，最大可扶助4個擺設實例，完備計劃與保存資源的獨享性，多用戶間安定分隔；單顆芯片上可同時安置不同的交易與負載，實行多工作并行，靈驗普及運用率；扶助KVM、Xen等體例假造化平臺；

易編制程序、生態盛開：盛開C++和Python編制程序接口，扶助CNN及NLP典范模子，扶助合流呆板進修框架，并經過SDK供給深度定制。

燧原科學技術同時推出針對推理產物的高本能神經搜集模子推理引擎“鑒算TopsInference”，經過計劃圖優化、算子融洽、模子收縮、量化等優化本領，不妨為深度進修運用供給低推遲、高含糊率的推理本能。經過TopsInference的推理加快，共同i10 的高算力及假造化本領，數據重心不妨高性價比地安置計劃聚集型深度進修處事負載。其他TopsInference除TensorFlow、PyTorch模子方法外，還扶助ONNX通用模子方法，借助燧原GCU-CarA框架結構的可編制程序性，不妨應付將來深度神經搜集日益百般化、攙雜的延長趨向。

燧原科學技術創辦人兼CEO趙立東表白燧原科學技術要保護雙輪啟動，爭做行業引導者

“繼客歲12月頒布了首款面向數據重心的人為智能演練加快卡“云燧T10”，即日咱們又推出針對云霄推理商場的第一款人為智能推理加快卡“云燧i10”，以滿意因為AI運用和落地場景趕快夸大，商場和客戶對更高性價比以及國產化和分別化云霄推理產物的需要。燧原科學技術也所以成為海內獨一一家同時具有云霄演練和推理加快產物的創辦公司，產生交易閉環。”燧原科學技術CEO趙立東表白，“姑且寰球科學技術財產更加是集成都電訊工程學院路財產正在爆發深沉變化，燧原科學技術會貫穿加快本領革新和產物迭代，拉近與寰球進步程度的隔絕，建筑自決革新本領的護城河。與此同時，與左右游搭檔協調，加快交易落地，夸大商場范圍。針對互聯網數據重心、筆直行業（金融、保障、培植、調理及經營商等）、新基本建設三大交易目的的運用場景，完備演練和推理軟件棧、東西鏈協調決定劃。經過生產和教學研協調，共同建設國產化財產生態，助力華夏人為智能和集成都電訊工程學院路財產的振奮。”

燧原科學技術創辦人兼COO張亞林引薦“云燧i10”推理體例

燧原科學技術COO張亞林引薦道：“云燧i10在多項基準嘗試中，本能超過，并已實行與海潮、新華三及Supermicro等功效器廠商推理功效器的適配。可實用于視頻圖像、語音、天然談話處置、常識圖譜等多種運用場景，并針對實質領會、引薦、辨別等高精度場景做了優化。與此同時，面向多元的開拓需要，咱們供給不同檔次的開拓形式，針對客戶定制化算法模子共同開拓，進而實行與客戶的雙贏。其他，云燧i10與云燧T10以及“馭算TopsRider”軟件平臺搭配，可實行算法模子在數據重心訓推一體化的趕快消費安置。”