應用測試公司Applause最近推出了新的人工智能(AI)解決方案,承諾幫助解決算法偏見,同時提供AI訓練所需的龐大數據。
Applause已經為其應用程序測試解決方案建立了龐大的全球測試社區,該解決方案受到谷歌、Uber、PayPal等品牌的信任。現在,該公司正在利用這個相對獨特的地位,來幫助克服AI發展面臨的某些最大障礙。
11月底,Applause公司產品副總裁克里斯汀·西莫尼尼(Kristin Simonini)在北美AI博覽會上發表主題演講之前曾接受采訪,談到了該公司最新解決方案及其對行業的重要意義。
西莫尼尼解釋稱:“我們的客戶始終需要我們在數據收集領域提供額外的支持,以支持他們的AI開發,培訓他們的系統,然后測試功能,而后半部分更符合他們傳統上對我們的期望。”
Applause主要與語音領域的公司合作,但他們也越來越多地擴展到收集和標注圖像以及通過OCR(優化字符識別)運行文檔等領域。
在當今AI最常用的領域中,這種現有的經驗廣度使Applause及其測試人員處于非常有利的位置,能夠就哪些方面可以做出改進提供真正有用的反饋。
具體地說,Applause的新解決方案跨越五種獨特的AI活動類型:
語音:源發聲以訓練支持語音的設備,并對這些設備進行測試,以確保它們能夠準確地理解和響應;
OCR:提供文檔和對應的文本來訓練識別文本的算法,并比較打印文檔和識別文本的準確性;
圖像識別:交付預定義對象和位置的照片,并確保正確識別圖片和識別對象;
生物識別:獲取生物特征輸入,如人臉和指紋,并測試這些輸入是否會產生易于使用且實際有效的體驗;
聊天機器人:給出樣本問題和不同的意圖讓聊天機器人回答,并與聊天機器人互動,以確保它們能像人類那樣準確地理解和響應。
西莫尼尼說:“我們有準備充分的全球社區,能夠大規模地把某個組織可能在尋找的任何信息匯集起來,并以這種廣度和深度相結合的方式進行,這使得引入截然不同的數據來訓練AI系統成為可能。”
西莫尼尼提供了部分例證,其中包括語音話語、特定文檔和符合設定標準的圖像(如“街角”或“貓”),這些數據類型是由Appleause的全球測試員提供的。缺乏這樣具有多樣性的數據集是當今面臨的最大障礙之一,也是Applause希望幫助克服的一個障礙。
重大責任
參與開發新興技術的每個人都負有重大責任。AI特別敏感,因為每個人都知道它將對世界上大多數社會都能產生巨大影響,但沒有人能真正預測如何產生影響。
AI將取代多少工作崗位?它會被用于殺人機器人嗎?它會不會決定是否發射導彈?面部識別將在多大程度上應用于整個社會?這些都是重要的問題,沒有人能給出完全肯定的答案,但圍繞著《一九八四》和《終結者》這樣的電影肯定影響公眾的想法。
關于AI的主要問題之一是偏見。算法正義聯盟等機構所做的工作,揭示了面部識別算法的有效性取決于每個人的種族和性別之間的巨大差異。例如,IBM的面部識別算法在用于淺色皮膚的男性時,準確率為99.7%,而對于深色皮膚的女性,準確率僅為65.3%。
西莫尼尼強調了她最近讀到的另一項研究,其中算法識別白人男性的語音準確率超過90%。然而,對于非裔美國女性來說,這一比例剛剛接近30%。
解決這種差異至關重要,不僅可以防止諸如無意中自動化種族定性或給予社會的某些部分相對于其他部分的優勢等事情,而且也是為了讓AI充分發揮其潛力。
雖然有很多顧慮,但只要是以負責人的態度進行開發,AI就擁有巨大的力量。AI可以提高效率,減少對環境的影響,讓人騰出更多時間與親人在一起,并從根本上改善殘疾人的生活。
公司不能對自己的發展承擔責任將導致過度監管,而過度監管又會導致創新減少。在被問及是否相信穩健的測試將減少過度監管的可能性時,西莫尼尼稱:“在某些情況下,人們可能會試圖進行監管,但如果你真的能證明已經做出了努力,以達到高水平的準確性和深度,那么我認為這種可能性就會降低。”
人類測試仍必不可少
Applause并不是唯一一家致力于減少算法中偏見的公司。例如,IBM有個名為Fairness 360的工具,它本質上是一種AI系統,用于掃描其他算法以尋找偏見存在的跡象。
在被問及為何Applause認為人類試驗仍然必不可少時,西莫尼尼評論說:“人類在他們將如何對某事做出反應、他們將以何種方式去做、他們如何選擇與這些設備和應用程序進行互動方面是不可預測的。我們還沒有看到在沒有人為因素的情況下能夠有效地做到這一點的跡象。”
語音識別經常遇到的一大挑戰是,所說的各種語言及其地區方言。許多美國語音識別系統甚至在識別英格蘭西南部的口音方面存在問題。
西莫尼尼補充了關于俚語的另一個考慮因素,以及語音服務需要與不斷變化的詞匯表保持同步。她解釋說:“現在的青少年喜歡某些熱門或炫酷東西的時候,喜歡用‘Fire’(火)這樣的詞匯。我們能夠將這些設備帶入家庭,并真正試圖理解其中一些細微差別。”
西莫尼尼隨后進一步解釋了理解這些細微差別的背景所面臨的挑戰。在她的“Fire”例子中,顯然需要理解什么時候根據字面意思進行解釋,什么時候有人是在稱贊某些東西很酷。西莫尼尼說:“你如何區分火災等緊急情況?音調、語氣以及其他關于如何使用相同的語音命令的東西都會有所不同。”
AI應用和服務增長
Applause在傳統的應用程序測試領域建立了自己的業務。考慮到AI應用和服務的預期增長,西莫尼尼被問及是否相信其AI測試解決方案將變得與其目前的應用測試業務一樣龐大,甚至可能更大。
對此,她回應稱:“我們確實談到了這一點。你知道,這會以多快的速度增長?我不想一直談論語音,但如果你從統計數據上看,相對于移動設備的增長和采用,語音市場的增長正在以快得多的速度發生。我認為它將在我們的業務中占據越來越大的份額,但我不認為它肯定會取代任何東西,因為這些渠道(如移動和桌面應用)仍將存在,并相互補充。”
西莫尼尼還表示:“我們選擇談論的角度實際上是人類和AI之間的交集,以及為何我們不相信它會成為替代品,而是它如何發揮作用并相互補充。基本上,從測試的角度來看,以人為中心的需求仍然非常高。”
來源 |網易智能