2023年8月22日，在上海舉行了「騎到AI背上去」釘釘生態大會。在數位員工專場分論壇上，釘釘副總裁兼音視頻事業部負責人趙加雨發表了主題演講，分享了釘釘音視頻在智能化方面的進展和應用，以及基於釘釘AI PaaS的視訊會議領域未來的開放展望
趙加雨提到，釘子在4月宣布要全面連接大模型，以完成智慧化再造。隨著人工智慧與音訊視訊的結合越來越深入，釘釘會議也實現了許多創新應用。除了先前的即時翻譯、字幕轉寫和智慧摘要，這次還推出了三項新功能：數位分身代替參會、自然語言控制會議操作和文生虛擬背景。其中，數位分身可以在會議時間衝突時取代用戶參會，並能即時同步相關會議資訊與結論
他表示，未來，釘釘影音希望能將更多的場域開放給生態夥伴，共同建構豐富的、有價值的應用，提升用戶的體驗和效率。同時，釘釘也計畫將影音SDK嵌入生態夥伴的應用中，共同打造優質、易用的影音解決方案，滿足不同產業和場景的需求。
以下是趙加雨的演講全文：
在過去的一年裡，釘釘影音事業部的關鍵字是體驗與智慧化
去年我們成立了一個專門的團隊，對釘釘會議進行了全面的優化，從內部到外部都進行了大量的改進。現在，釘釘會議的介面互動更加美觀、方便和沈浸。同時，在底層技術架構方面，我們對採集、播放、編解碼、網路和服務端等方面進行了全面的最佳化。特別是在影音方面，我們最基本的要求就是能夠順利進行會議並聽到對方的聲音，因此我們在音訊演算法和抗弱網路方面進行了提升。希望大家能夠多多使用我們的釘子會議
在談到智慧化時，視訊會議這個領域在此次重大改進之前已經與人工智慧結合得非常緊密。在音訊演算法和視訊演算法中，已經融入了人工智慧技術。例如，與視訊演算法相關的人工智慧應用包括美顏和虛擬背景，這些都是大家非常熟悉的場景應用。而音訊演算法也透過結合人工智慧實現了更好的降噪效果。目前，釘釘會議已經支援消除300多種常見噪音，例如汽車喇叭聲和鍵盤敲擊聲，使用戶能夠更專注地進行會議
我們在會議中還有一個常見的需求是字幕，本質上也是人工智慧的能力。現在釘釘會議已經全面接入了阿里通義聽悟，支持中英日三種語言的互譯，實現實時的轉寫和翻譯。此外，還有智慧導播功能。在會議室開會時，如果有線上同事一起加入討論，可能會出現坐得太遠聽不清楚，或者說話對方聽不到的情況。我們的蜂鳴鳥音訊實驗室將人工智慧和原始差分陣列技術結合，可實現單一會議設備10公尺遠的拾音效果。當發言人說話時，支持精準的聲源定位，即時追蹤並放大他的頭像，讓每位發言人都成為焦點，營造更好的對話體驗
隨著大模型時代的到來，我們進行了相關研究，希望利用大模型重新打造釘子會議。今天，釘釘推出了全新的AI PaaS智慧化底座，並向生態夥伴開放。在釘釘會議中，我們利用AI PaaS實現了許多有趣的功能
重寫後的內容：首先，會議數位分身代替開會是一種新的方式。在職場中，人們經常面臨大量的會議，現在我們透過智慧文檔來幫助大家解決這個問題。我們也嘗試了一些方法，為使用者提供了數位分身的能力。如果你有會議衝突或對某個會議的關聯度不高，你可以讓你的數位分身代替你去開會。在會議過程中，你可以透過釘釘魔法棒的對話框主動為它設定一些任務，例如專注於特定的話題。當有人討論到這個主題時，AI會自動通知你並告訴你相關內容。你也可以設定數位分身每隔幾分鐘給你一個會議總結，還可以主動與數位分身對話，了解各種訊息，例如會議中有哪些人，大家是否有爭議等。會議結束後，數位分身還會自動推播會議摘要給你
重寫後的內容如下：其次，我們可以利用自然語言進行會議智慧控制。過去，許多用戶抱怨釘釘的功能太多，入口不易找到。釘釘會議也面臨這個問題，儘管我們已經進行了大量簡化，但對於一些用戶來說，使用門檻仍然有些高。今天，我們透過釘釘魔法棒中的智慧助手簡化了功能操作。你只需用自然語言提出需求，人工智慧會自動辨識意圖並幫助你完成操作。例如，在會議中人員過多時，有人不小心開啟了麥克風，你要去找到這個人並將其靜音可能會比較麻煩，但現在你可以告訴人工智慧將正在講話的人靜音。另外，當需要邀請人加入會議時，你也可以直接打字邀請，無需關心入口在哪裡。透過這些功能，我們讓會議的運作和管理變得更加簡單
需要改寫的內容是：第三點是關於文生虛擬背景。虛擬背景一直以來都備受用戶喜愛，尤其是在過去幾年裡，我們年輕人玩得很開心，有時在「太空教室」上課，有時在「大草原」上上課。我們在日常工作中也會用到虛擬背景，這樣可以有效避免背景雜亂的尷尬。以前，除了已有的模板圖片，我們還需要自己去搜尋並下載圖片上傳，但現在不需要了。我們可以透過文生圖自動產生虛擬背景，完全釋放我們的想像力
釘釘會議將透過AI PaaS逐步開放應用，幫助合作夥伴升級場景。未來，更多生態產品將嵌入釘釘會議中，例如面試、白板等應用。我們正在與招募合作夥伴共同開發面試助手，該助手可以透過履歷內容和溝通訊息為面試過程提供即時輔助。我們希望提供良好的體驗和開放性，在智慧化時代與生態夥伴一起為使用者帶來更多有趣、有價值的場景應用
以上是釘釘會議引進AI功能：數位分身、對話產生虛擬背景等功能全新升級的詳細內容。更多資訊請關注PHP中文網其他相關文章！
