國際交流-大宮北高校

個人專案分享

📋 前言

這次的國際交流是由我們台北市數位實驗高級中等學校主辦，跟日本埼玉市立大宮北高等學校進行國際交流。這次的活動除了我們學校的必修課程介紹之外，還有我們學生在課後之餘進行的個人研究或個人專案，而大宮北高校的學生也有準備他們的自主學習並以此進行學生之間的交流。
而我們也融合了我們學校的社團或是多元選修課程來進行更多的互動，像是：創客社、食話食說、定向越野等…。

準備工作

我很高興我今年能以個人研究講者以及創客社副社長的身份參加這次國際交流，而我分享的專案是我的 AI深度影片翻譯模型，這個專案本身就是為了國際學習而開發的，放在這次國際交流展示我覺得在適合不過了。我跟我們學校的生物課老師以及必修課老師討論，是否能使用兩位老師的非同步影片課程進行展示，選擇使用這兩堂課老師的教材是因為他們都有露臉，且都是我們學校的特色課程。我們的「生物課」也並非普高的生物課，結合了 IB 教材以及台灣課綱以外的專業知識，必修課則是我們學校的基礎課程「設計思考」，能實際帶日本學生進行我們學校的課程，並進行互動。
而這次除了分享我的個人專案之外還有創客社的活動，在社團活動中，我們用雷射切割和 3D 列印機設計了很多桌遊和可以租裝的數實小吊飾，而我設計了帶有數實 LOGO 的鍵盤按鈕，可以掛在書包之類的地方，然後在藉由桌遊認識彼此。

逐字講稿

Hello! I’m 張靖杭, but you can call me Ray.
I’m excited to share my topic today: “Deep Video AI Translation”
At T-School, about 60% of our courses are Async(e think) video lessons. we need to watch
videos for learning.so I think if we could translate these videos into different languages with
AI！ This will allow more people to see our school’s special course.
Here are the four things I have down in this project:
1.Clone Voice
2.Multilingual Translation
3.Lip Synchronization
4.Global Sharing
I’ve set out to develop this project using open-source models. First, I discovered Real-Time-Clone on GitHub, but I think this model is not the best choose
Now, I want to share with you the three goals of this project.
1.To copy the original(a real g no) voice
I kept searching and found XTTS-V2 from Hugging Face, This models have 18 languages can use a perfect match for what I need!
1.To translate
I use OpenAI’s API to translate video language.

To make you feel like he’s actually speaking in Japanese, you can see his mouth is different
For the third goal, I use the open-source VideoRetake model from GitHub. After thorough secondary development and debugging, I’m happy to say that the project is end
Below, you’ll find videos showcasing the before and after of the translations. Anyone want to guess how long it takes to export a 5 second video? If you are interested you can scan(掃描) the QR code and follow my github and instagram
Thank you so much for your listen!

心得感想

去年我沒有參加到大宮北的國際交流，這次我參加到了，在活動之前我花了很多時間矯正我的口音，因為我知道我的英文發音有點不清楚，直到交流前我的很多音還是發不出來，但我盡量換句話說，希望能將這個深度翻譯影片的專案詳細介紹給大宮北的學生和老師。
日本的學生對於開源模型的使用十分好奇，因此我現場有脫稿的情況，因為想要回應日本學生的疑問，以及針對他們有興趣的部分去介紹，像是 hugging face 上模型的使用 github 上的開源專案等。大宮北高校本身也是注重科技相關的學校並且也重視國際交流，他們的老師對於這個深度影片翻譯的專案非常有興趣，並且提出明年使用該專案進行課程分享，讓我們數位實驗高中的學生也能體驗大宮北高校的特別課程，而我們學校也能拿出特別的必修課出來分享，讓課程交流的環節更進一步。在為來學校的 RTX5090 到貨後我預計針對這個顯卡做針對性的調整，讓輸出的效率更高，但在那之前，我會先完善該專案在本地關的使用體驗。