和JRs分享一下我們團隊在AI足球解說的工作

小弟從小受到爺爺的影響，喜歡看各種體育運動，幾乎是守著CCTV5長大。讀博以后希望做一些真正熱愛的內容，跟導師一拍即合，嘗試做體育方面的AI課題，并且從傳播度最廣的足球先行入手。

今天兩個杯賽都結束了，也趁著熱度宣傳一下我們團隊（上海交大&上海AI Lab）在歐洲杯和美洲杯期間開源的，一個關于AI足球解說的前期工作 "MatchTime: Towards Automatic Soccer Game Commentary Generation." 這篇工作專注于對于足球比賽的長視頻理解，和對于一些關鍵事件的時間戳對齊，是我們關于AI足球解說的系列工作里面的第一篇（后續正在制作中）。

一些參考鏈接：

演示視頻: https://www.bilibili.com/video/BV1L4421U76m

文章鏈接: https://arxiv.org/abs/2406.18530/

網頁: https://haoningwu3639.github.io/MatchTime/

數據集: https://huggingface.co/datasets/Homie0609/MatchTime

模型文件: https://huggingface.co/Homie0609/MatchTime

??關于項目的一些細節概述:

i) 觀察到現有數據集中普遍存在的視頻文本偏差，我們手動注釋了49場比賽的時間戳，建立了一個更強大的足球比賽評論生成基準: SN-Caption-test-align。

ii) 此外，我們提出了一個多模態時間對齊流水線，用于大規模自動校正和過濾現有數據集，創建一個更高質量的足球比賽評論數據集用于訓練: MatchTime。

iii) 基于我們的精選數據集，我們訓練了一個自動評論生成模型: MatchVoice，它可以準確地合成職業足球比賽的文本評論。

iv) 廣泛的實驗已經證明了我們對齊流水線的有效性，并且在我們制作的數據集上的訓練模型在文本評論生成方面達到了最先進的性能。

感謝您能看到最后，對于現階段來講，人工智能在體育領域的應用更多是數據的搜羅和一些框架的

套殼，所以我們目前能做的更多就是構建一個更好的數據庫，來推動這個領域的發展。對于我個人而言，我想投身這個領域的夢想就是通過AI讓更多人感受到體育本身的魅力和激情。尤其在職業化和大眾化程度慢慢摸索著走向正軌的中國足球，希望我們也能貢獻一份微薄的力量。歡迎JRs交流和批評指正捏。??