[Vtub] 動捕對VTuber舞蹈表現的影響

看板 C_Chat
作者 longlyeagle (長鷹)
時間 2024-09-29 13:20:19
留言 112 ( 75推 0噓 37→ )
為什麼很多人在說: 動作捕捉對 VTuber 跳舞是一種 Nerf 動捕跟不上他的動作 ---- 我是 OpenLive3D 的製作者, 在歐美用 Mac 家用 3D 有一些使用者 在寫這個程式的過程中剛好對這個現象有些了解 所以想要寫一篇解釋動捕會弱化 (Nerf) 跳舞動作的原因 也順便討論一下如何改善這個問題 ---- ## 造成弱化的原因 1. 捕捉設備的定位平滑化 (Positioning Smooth) 不論是使用動補裝, 或者是用家用 3D 的單鏡頭機器學習定位 這些設備或多或少會有定位誤差的問題 當一個人完全不動的時候, 捕捉設備每一次定位出來的點其實是一個常態分佈 例圖: https://tinyurl.com/2un84pvs 當每次定位結果不停的在這個分佈裡跳動的時候 看起來就像是訊號不好一樣, 人會一閃一閃的 所以動捕定位完之後本身一定會有一層平滑化機制 平滑化 => 弱化銳利度 => 跳舞動作頓點力道減少 2. 動捕幀率與影片播放幀率不匹配的內差機制 (Frame Rate Mismatch) 動捕設備在每一次擷取定位點的時候所需要的時間不一定相同 在需要定位的點多的時候 (人多或是動作複雜) 每次動捕的時間就會更久, 造成每秒的幀率不一定相同 可是影片播放需要穩定的幀率 (通常是 60 FPS) 所以我們會使用內差來解決不匹配的問題 當使用內差的時候, 如果我們只參考最近的定位點 在動作變化的時候就會有不平滑的問題 (想像畫一個圓形可是變成八角形) 所以我們通常會參考多點來進行內差 例圖: https://tinyurl.com/2tc9zpfu 參考多點之後達成的效果就是平滑化, 而平滑化 == 動作頓點弱化 3. 定位點到 3D 模型動作轉換 (Motion Smooth) 動捕定位完之後其實得到的只是在 3D 空間裡面的一個座標 這個座標需要經過一定的數學轉換才能夠變成 3D 模型的動作 模型動作可以分為兩種: 位置 與 角度 以人型的 3D 模型而言通常會用尾椎為支點 (HIPS) 計算位置 例圖: https://tinyurl.com/2y3w6j55 其他的相對骨架都是計算旋轉角度之後轉換為 3D 模型的動作 在這樣的計算裡, 如果 3D 模型與被偵測人的肢體有長度差異 我們在做模型旋轉的時候就會需要額外補正 而這樣的額外補正通常會需要在旋轉的參數上再帶一層平滑化 來補救模型補正之後卡頓的問題 4. 算圖渲染平滑化 (Render Smooth) 像我在開發的 OpenLive3D 因為使用者是以 Mac 為主 大家的電腦 GPU 都滿爛的, 所以在算圖的時候也會有卡頓問題 這個時候其實有可以減少 3D 算圖的渲染平滑化方法 造成的影響就不用我多贅述 ---- ## 如何改善動捕平滑問題 在討論了這麼多影響之後, 列出了幾點能夠改善動捕呈現的效果的方法 1. 更好的設備 是的, 上面的很多問題在使用更貴的動捕設備時都能有一定程度的改善 再加上更貴的 GPU 讓我們算圖與渲染的時候不需要妥協 雖然還是會有弱化的問題, 可是當幀數夠高的時候, 影響就會減少 2. 減少計算的複雜度 簡單來說就是人少一點, 然後不要一堆特效, 跟上面更好的設備一樣的道理 3. 舞風的選擇與調整 在知道了設備上的限制之後, 我們可以了解到有一些舞風受到的影響更大 以 Hololive 來說 像是 Aki 這種會需要用電臀這種用震動作為表現形式的肚皮舞風格 一定是被超絕弱化 (Nerf) 在不得已的情況下只能加大動作的幅度與降低振動頻率 就算如此在一些動作上還是會有頓點不足的感覺, 明顯是受到動捕的影響 影片: https://www.youtube.com/live/mknggf96fuI 以 Aki 3rd Live 來舉例, 雖然已經在舞蹈編排的時候使用更柔美優雅的動作 但是在 29:40 左右的印度舞擺頭動作很明顯的還是被平滑化掉了 相對來說像是 Hakos Baelz 用力道更強的表現形式時 雖然還是會有影響, 可是相對的動作的呈現還是更加漂亮 影片: https://www.youtube.com/live/j-N96U_OANI 在 EN 2nd Concert 的時候 Bae 在 46:00 出場的舞蹈就有特別設計過 4. 腦內補完 雖然 VTuber 在演唱呈現更加豐富了可能的表現形式 可是我們必須認知到在舞蹈的呈現上還是有能夠改進的空間的 帶著這樣的理解, 我們在看跳舞的時候更能夠注意到一些細節 影片: https://www.youtube.com/live/wIYvks57cQA 以 轟はじめ 在 ReGLOSS3Dライブ 53:28 多個腳步切換的動作為例 這樣的多腳步切換顯現的他紮實的基本功 有一些踏腳的動作似乎是踩完之後腳就向前滑了, 沒有明顯的頓點 我們要理解: 腳在接觸到地面之後受到阻力所以一定會有頓點 在這裡頓點不明顯很明確就是因為快速的舞步因為動捕的機制被平滑化之後的結果 所以看到這樣的舞步立刻就能腦內補完 啊, 完美! ---- 大概是這樣, 隨著技術的進步, 我們期待有能看到 Aki 肚皮舞電臀的一天 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.231.92.104 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1727587225.A.693.html

留言

推 ian90911 推專業文 09/29 13:23 1F
推 a5WaGyu 總之先推 09/29 13:23 2F
推 ts1993 腦補 09/29 13:24 3F
推 limbra 好 懂了 等肚皮舞 09/29 13:24 4F
推 longtimenoc 感謝說明 09/29 13:24 5F
推 windowsill 推專業人士 09/29 13:24 6F
推 vmpz7bj68 專業文推 09/29 13:26 7F
推 fjuke 專業文推推 09/29 13:26 8F
推 aegius1r 推專業 09/29 13:26 9F
推 s22shadowl 嗯嗯跟我想得差不多對啊 09/29 13:26 10F
推 mushrimp5466 專業 09/29 13:29 11F
推 uohZemllac 推專業 09/29 13:29 12F
推 zseineo 推 09/29 13:30 13F
推 steven96414 雖然我看不懂但還是推 09/29 13:30 14F
推 Pegasus99 結論:Aki超讚 婆爛 09/29 13:30 15F
推 elpsycongry 懂了 腦補天下第一 09/29 13:31 16F
→ Ttei aki肚皮舞應該用真人身體接vt頭才對(x 09/29 13:31 17F
推 pttrAin 推 09/29 13:33 18F
推 ap926044 要讓補償機制根據捕捉點的差值做差異化的調整 09/29 13:33 19F
推 showwhat2 推、推，雖然看不懂。(？ 09/29 13:34 20F
推 abysszzz 問問題：受3D模組的影響是如何？因為以holo來說會明顯看 09/29 13:34 21F
→ abysszzz 到舊的3D(如初始服裝、1版偶像服)的表現感覺比新的3D要 09/29 13:34 22F
→ abysszzz 粗糙不少 09/29 13:34 23F
這個其實也是文章裡提到第三點 模型與定位點差異的問題 如果模型的骨架跟人的骨架在定位之後需要補正的差異過大 就會需要額外計算補正而且常常會有許多妥協的情形
推 labbat 難道不能用雷射投影之類的技術？要不是視角需要360度旋轉 09/29 13:35 24F
→ labbat 也許可以用多點固定視野捕捉輪廓校正 09/29 13:35 25F
其實現在先進的動捕就已經是多視點了, 這樣才有辦法做舞台上的 3D 呈現 如果是單視點頂多就是家用 3D 而且限制很多 (家用 3D 手其實無法放到頭後面)
推 zealotjacky 也就是說我們目前看到的舞步其實不是本人100%發揮？ 09/29 13:36 26F
理論上加上了偵測與套用 3D 模型的過程, 我們永遠無法達到 100% 可是能夠在技術的推展下無限的接近
推 macocu 恩呢呢 09/29 13:37 27F
推 kenny4206 專業文推 09/29 13:38 28F
→ Ttei 連老愛都不一定能百分百發揮了 09/29 13:38 29F
→ Ttei hilo的話可以看sora 模型經過長久調教以及表演經驗豐富所以 09/29 13:39 30F
→ Ttei 表演起來會特別好看 09/29 13:39 31F
推 poke001 專業推 09/29 13:40 32F
推 killmax2 這和雷射投影沒有關係啊，是動態捕捉和計算的問題 09/29 13:40 33F
推 phoenixzro 簡單說因為系統問題所以全部動作力道都會被弱化 09/29 13:41 34F
→ alaf 推知識 09/29 13:41 35F
推 TaipeiKindom 你看過himehina嗎 09/29 13:42 36F
其實我接觸的不多, 真的就是技術土炮還有看 Holo 而已
推 namirei 推專業 09/29 13:42 37F
推 abysszzz 另外聽你這麼說是不是同樣是高頻訊號，快速動作表現會不 09/29 13:42 38F
→ abysszzz 好，但有頓點的比較不受影響，蠻有趣的 09/29 13:42 39F
→ poke001 要完全100趴發揮 可能要像電影那樣全身貼滿的動補服加上 09/29 13:42 40F
→ poke001 頂標的設備 成本可能會超貴 09/29 13:42 41F
→ phoenixzro 加上平滑輔助，在節拍上的頓點還可能會有點跟不上拍子 09/29 13:43 42F
推 lazybear1231 所以番長昨天的舞蹈一定是花了很多時間練習、研究 09/29 13:43 43F
→ lazybear1231 才能呈現這麼好的演出效果 09/29 13:43 44F
推 SS4477 好猛 專業知識文推 09/29 13:44 45F
推 ap926044 電影的動補也是要經過後期矯正 09/29 13:45 46F
→ ap926044 VT3D為了即時演出 在考量效能與計算量的平衡 會有很多省 09/29 13:45 47F
→ ap926044 略性算法 導致細微差異被吃掉 09/29 13:45 48F
推 s930611 專業推 09/29 13:46 49F
推 funtogether 推專業 感謝分享 09/29 13:48 50F
推 hdjj 推,你怎麼這麼專業 09/29 13:48 51F
推 chewie 推 技術會越來越進步的 09/29 13:48 52F
推 abysszzz 上面說模型和定位點問題，那是不是可以反過來推測動作比 09/29 13:48 53F
→ abysszzz 較奇怪的V除了本人問題外也有可能是本人和人設的差距有 09/29 13:48 54F
→ abysszzz 點大，模型校正比較困難 lol 09/29 13:48 55F
是的, 所以模型做完之後才會需要現場校正 我猜測這是 Holo 在疫情結束前一直沒辦法給 EN 正式 3D 的原因
推 yyccmkt 這篇文章真的很優質，謝謝大大願意分享 09/29 13:52 56F
推 woodghost 推專業 09/29 13:52 57F
推 Lin7star 好專業 而且講解的好好懂(ﾟдﾟ) 09/29 13:54 58F
推 NicoNeco 原來如此（完全沒聽懂 09/29 13:55 59F
推 jay233223 看不懂內容，看起來很專業但還是推一下 09/29 13:55 60F
推 webberfun 推 09/29 13:57 61F
推 newlycong 果然還是要更高級的動補設備來提供更快的捕捉頻率啊 09/29 13:57 62F
推 labbat 開玩笑地，伊娜有高挑身高鯊鯊有大胸部所以事後調整費時 09/29 14:00 63F
→ jeff666 恩恩 完全懂了(完全沒董 09/29 14:01 64F
推 Luciferspear https://www.youtube.com/watch?v=AYR0fFYnNv0 09/29 14:01 65F
rich_yt https://www.youtube.com/watch?v=AYR0fFYnNv0 65F
→ Luciferspear 內文所舉LIVE一年半前AKI頻道發布的影片長這樣 09/29 14:02 66F
推 a40558473 推 09/29 14:03 67F
推 Bencrie https://youtu.be/nl53_a1r5-w 動作演員給的答案 09/29 14:03 68F
rich_yt https://youtu.be/nl53_a1r5-w 68F
推 Lhmstu 懂了，靠腦補 09/29 14:15 69F
推 lp20413to 但以現在的技術，EN 3rd演唱會蠻多小抖動舞蹈都有明確 09/29 14:18 70F
→ lp20413to 捕捉出來了耶 09/29 14:18 71F
是的, 現在有更好的設備已經比幾年前好很多了 這篇主要是想要表達, 就算已經好了很多, 還是有技術本身的限制而不會是 100%
推 aikensh 太專業了 我真的不懂 09/29 14:21 72F
推 lazioliz 請問openlive3d有支援物理引擎像是碰撞跟重力嗎 09/29 14:22 73F
沒有真的物理引擎 可是有用 Three.JS (或是說 Three-VRM) 本身支援的 模型碰撞跟重力, 可以一定程度的避免太嚴重的穿模, 還有讓衣服跟頭髮向下垂 不過跟真的物理引擎差距極大
推 rronbang 推 09/29 14:29 74F
推 OLdk1123 推專業文 09/29 14:31 75F
推 rronbang 有個影片的手會比較打開避免擋到模型的胸部 09/29 14:32 76F
→ pig205487741 可以看絆愛畢業那場 到現在應該還是最頂的 09/29 14:35 77F
推 Depthsharky 我覺得被nerf最重的是導播功力，轟太多手腳細節被切 09/29 14:35 78F
→ Depthsharky 掉被遠景甚至被舞台光害（螢幕.地板煙火給蓋掉）還 09/29 14:35 79F
→ Depthsharky 有五人團步中中會切密集三人，其餘兩側的表演者被切 09/29 14:35 80F
→ Depthsharky 出（又不是閒置無動作） 09/29 14:35 81F
→ john2355 動作真的要超大才有差別不然全部手腳高機率都會嵌入身體 09/29 14:36 82F
→ john2355 ，所以像老鼠那種頓點真的很強 09/29 14:36 83F
→ Depthsharky 對想要看表演者的一切，捕捉自己的推實在是不好的觀 09/29 14:38 84F
→ Depthsharky 感，我看遠景還有虛擬觀眾遮掉自己的推幹嘛 09/29 14:38 85F
我沒有 R團這幾位的會員, 他們各自的頻道會有會限 Fan Cam 嗎? 如果有 Fan Cam 說不定番長值得加一下
推 z04450445 啊！完美 09/29 14:39 86F
推 lazioliz 順便問一下就你觀察ho有實裝真正的物理引擎嗎 09/29 14:40 87F
→ Depthsharky 低頭頭髮會逆重力 尤其是長髮 沒有吧 09/29 14:40 88F
→ Depthsharky 穿模也很平常 胸部要嗎沒調要嗎是固定的偽軟彈碰撞 09/29 14:42 89F
現在大家應該都差不多, 用的是在頭髮與衣服骨架的末端加上向下的加速度來模擬 所以可以看到髮型是基本不變的, 只有髮尾會向下垂
推 nonyet2022 專業推 09/29 14:43 90F
推 rgbff 要改善呈現效果也可以在平滑完之後再銳化回去，不過就吃調 09/29 14:44 91F
→ rgbff 校功力了 09/29 14:44 92F
重新銳化的問題是因為在平滑化之後訊號已經失真了 所以不知道原本的動作就是平滑的還是有停頓的 全部都銳化可能並不是本來的動作 這裡牽扯到一些更先進的技術, 像是用機器學習來進行銳化判斷之類的 甚至可以把原本跳得不夠好的修正的更好 不過因為成本問題以及技術問題, 應該還沒有 VTuber 團體實裝
→ Depthsharky 小魔女的多視角播放就是不錯的嘗試 09/29 14:45 93F
推 whosu 這次Fan Cam只有encore部分而已 09/29 14:48 94F
→ whosu 不過感覺有在嘗試這部分了 09/29 14:49 95F
推 jay233223 相較於bae的頓點跟power容易讓機器捕捉外，我個人是比 09/29 14:52 96F
→ jay233223 較偏好番長那種動作流暢，讓機器自動補禎，更能展現! 09/29 14:52 97F
推 webermist 完全明白 09/29 14:56 98F
推 chewie https://youtu.be/_j3AZ5LtpOc?si=YUI9eDqtRUJrljOx 09/29 15:02 99F
rich_yt https://youtu.be/_j3AZ5LtpOc?si=YUI9eDqtRUJrljOx 99F
→ chewie 剛好有人剪三個holomen成員的比較 09/29 15:02 100F
→ chewie ...山田的模型真的有點跟不上她的舞技XD 09/29 15:03 101F
→ chewie 另外今天番長會發佈家用3D的部分 不知道效果如何XD 09/29 15:04 102F
山田真的需要一個短髮模型 我自己就是做家用的, 請不要抱任何期待
推 johngy 專業文推 09/29 15:04 103F
推 Nitricacid 推 09/29 15:07 104F
推 asiakid 專業 09/29 15:15 105F
推 kids23 推 專業文 09/29 15:17 106F
※ 編輯: longlyeagle (61.231.92.104 臺灣), 09/29/2024 15:19:58
推 zero95154 推 09/29 15:24 107F
推 s891234 推 09/29 15:24 108F
推 dydark 推 09/29 15:24 109F
推 otosukisugi 平滑處理越多的動補看起來越像MMD嗎 09/29 15:33 110F
推 shiyvaxiii 推專業 09/29 15:37 111F
推 hayato1085 推專業文 09/29 15:43 112F