Yotam Oren 是 Mona Labs 的首席執行官兼聯合創始人，該平台使企業能夠將 AI 計劃從實驗室實驗轉變為可擴展的通過真正了解 ML 模型在實際業務流程和應用程序中的行為來實現業務運營。
Mona 自動分析您的機器學習模型在受保護數據段和業務功能上下文中的行為，以便檢測潛在的人工智能偏見。 Mona 能夠生成符合行業標準和法規的完整公平報告，並讓人相信 AI 應用程序合規且沒有任何偏見。
最初是什麼吸引您學習計算機科學?
計算機科學是一個受歡迎的職業道路我的家人，所以它一直是一個可行的選擇。當然，以色列文化非常支持科技。我們慶祝創新技術專家，我一直認為 CS 會為我提供一條成長和成就的跑道。
儘管如此，直到我到了大學年齡，它才成為我個人的熱情。我不是那些在中學開始編碼的孩子之一。在我年輕的時候，我忙於打籃球而無暇顧及電腦。高中畢業後，我在軍隊服役了將近 5 年，擔任作戰/戰鬥領導職務。所以，在某種程度上，我真的只是在需要選擇大學學術專業時才開始更多地了解計算機科學。立即引起我注意的是計算機科學結合了解決問題和學習一門（或多門）語言。有兩件事我特別感興趣。從那時起，我就迷上了。
從 2006 年到 2008 年，您在一家小型初創公司從事地圖和導航方面的工作，您從中獲得的一些重要收穫是什麼時代?
我在 Telmap 的職責是在地圖和位置數據之上構建一個搜索引擎。
那是“大數據”在美國的早期階段企業。我們甚至沒有這樣稱呼它，但我們正在獲取大量數據集，並試圖得出最具影響力和最相關的見解，以向我們的最終用戶展示。
我的一個驚人認識是，公司（包括我們）使用的數據非常少（更不用說公開的外部數據）。新見解、更好的流程和體驗的潛力巨大。
另一個要點是，能夠獲得更多的數據當然取決於擁有更好的架構、更好的基礎設施等。
您能分享一下 Mona Labs 背後的創始故事嗎?
我們三位聯合創始人在整個職業生涯中都與數據產品打交道。
首席技術官 Nemo 是我的大學朋友和同學，也是 Google Tel Aviv 的第一批員工之一。他在那裡推出了一款名為 Google Trends 的產品，該產品具有大量基於搜索引擎數據的高級分析和機器學習。 Itai 是另一位聯合創始人兼首席產品官，他在谷歌的 Nemo 團隊工作（我和他是通過 Nemo 認識的）。他們兩人總是對 AI 驅動的系統在初始開發和測試後無人監控感到沮喪。儘管在生產前很難正確測試這些系統，但團隊仍然不知道他們的預測模型隨著時間的推移表現如何。此外，似乎他們唯一一次聽到有關 AI 系統的反饋是在事情進展不順利並且開發團隊被要求進行“消防演習”以解決災難性問題時。
大約在同一時間, 我是麥肯錫公司的一名顧問，我看到在大型企業中擴展 AI 和大數據程序的最大障礙之一是業務利益相關者對這些程序缺乏信任。
共同點Nemo、Itai 和我在談話中清楚了這裡的線索。該行業需要基礎設施來監控生產中的 AI/ML 系統。我們提出了提供這種可見性的願景，以增加業務利益相關者的信任，並使 AI 團隊能夠始終掌握其係統的運行情況並更有效地進行迭代。
並且那是 Mona 成立的時候。
當前缺乏 AI 透明度的一些問題是什麼?
在許多行業，組織已經花費了數十年數百萬美元投入到他們的 AI 項目中，並在實驗室和小規模部署中取得了一些初步成功。但擴大規模、實現廣泛採用並讓企業真正依賴 AI 對幾乎每個人來說都是一個巨大的挑戰。
為什麼會這樣?好吧，首先是偉大的研究不會自動轉化為偉大的產品（一位客戶曾經告訴我們，“ML 模型就像汽車，一旦離開實驗室，它們的價值就會損失 20%”）。偉大的產品有配套的系統。有一些工具和流程可以確保質量隨著時間的推移而保持不變，並及早發現問題並有效解決。偉大的產品也有一個持續的反饋循環，它們有一個改進週期和一個路線圖。因此，出色的產品需要深入且持續的性能透明度。
如果缺乏透明度，您最終會遇到:
問題會隱藏一段時間，然後突然浮出水面，導致“消防演習” ”冗長的人工調查和緩解措施一個不受業務用戶和發起人信任並最終無法擴展的 AI 程序
使預測模型透明和值得信賴的背後有哪些挑戰?
當然，透明度是獲得信任的一個重要因素。透明度可以有多種形式。單一預測透明度可能包括向用戶顯示置信度，或為預測提供解釋/理由。單一預測透明度主要是為了幫助用戶適應預測。然後是整體透明度，其中可能包括有關預測準確性、意外結果和潛在問題的信息。 AI 團隊需要整體透明度。
整體透明度中最具挑戰性的部分是及早發現問題，提醒相關團隊成員，以便他們可以在災難發生之前採取糾正措施。
為什麼及早發現問題具有挑戰性:
問題通常從小事開始，然後逐漸浮出水面，然後才最終浮出水面。問題通常是由於不可控或外部因素（例如數據源）而開始的。有很多方法可以“劃分”世界”並在小範圍內窮盡地尋找問題可能會導致大量噪音（警覺疲勞），至少在以天真的方法完成時是這樣。
提供透明度的另一個具有挑戰性的方面是人工智能使用的激增個案。這使得一刀切的方法幾乎不可能。每個 AI 用例都可能包括不同的數據結構、不同的業務週期、不同的成功指標，通常還包括不同的技術方法甚至堆棧。
因此，這是一項艱鉅的任務，但透明度對於AI 程序，所以你必須這樣做。
你能分享一些關於 NLU/NLP 模型和聊天機器人的解決方案的細節嗎?
對話式 AI 是Mona 的核心垂直業務之一。我們很自豪能夠為具有廣泛對話式 AI 用例（包括語言模型、聊天機器人等）的創新型公司提供支持。
這些用例的一個共同因素是模型運行緊密（有時是可見的）對客戶而言，因此性能不一致或不良行為的風險更高。對於對話式 AI 團隊而言，在粒度級別了解系統行為變得非常重要，這是 Mona 監控解決方案的優勢領域。
Mona 的解決方案的獨特之處在於系統地篩選對話組並找到模型（或機器人）行為不端的地方。這使得對話式 AI 團隊能夠在客戶注意到問題之前儘早發現問題。在選擇監控解決方案時，此功能是對話式 AI 團隊的關鍵決策驅動因素。
總而言之，Mona 為對話式 AI 監控提供端到端解決方案。它首先確保系統隨時間變化的行為有一個單一的信息源，然後持續跟踪關鍵績效指標，並主動洞察各種不當行為——使團隊能夠採取先發製人、高效的糾正措施。
您能否提供有關 Mona 洞察引擎的一些詳細信息?
當然可以。讓我們從動機開始。洞察引擎的目標是通過適量的上下文信息向用戶顯示異常情況，而不會產生噪音或導致警報疲勞。
洞察引擎是獨一無二的-種分析工作流程。在此工作流程中，引擎會搜索所有數據段中的異常情況，以便在問題仍然“很小”時以及在它們影響整個數據集和下游業務 KPI 之前及早發現問題。然後，它使用專有算法來檢測異常的根本原因，並確保每個異常只發出一次警報，從而避免干擾。支持的異常類型包括:時間序列異常、漂移、異常值、模型退化等。
洞察引擎可通過 Mona 直觀的無代碼/低代碼配置進行高度定制。引擎的可配置性使 Mona 成為市場上最靈活的解決方案，涵蓋了廣泛的用例（例如，批處理和流式處理，有/沒有業務反饋/基本事實，跨模型版本或訓練和推理之間，等等） ).
最後，這個洞察引擎由一個可視化儀表板支持，可以在其中查看見解，以及一組調查工具，以實現根本原因分析和進一步探索上下文信息。洞察引擎還與通知引擎完全集成，可以為用戶自己的工作環境（包括電子郵件、協作平台等）提供洞察。
1 月 31 日，Mona 推出其新的 AI 公平解決方案，您能否與我們分享此功能的詳細信息及其重要性?
AI 公平性是指確保算法和 AI 驅動的系統總體上做出公正和公平的決策。解決和防止 AI 系統中的偏見至關重要，因為它們可能會導致重大的現實後果。隨著人工智能的日益突出，對人們日常生活的影響將體現在越來越多的地方，包括自動化駕駛、更準確地檢測疾病、增進我們對世界的理解，甚至創造藝術。如果我們不能相信它是公平和公正的，我們怎麼會允許它繼續傳播?
造成 AI 偏見的主要原因之一就是模型訓練數據能夠代表真實情況完整的世界。這可能源於歷史歧視、某些群體的代表性不足，甚至是故意操縱數據。例如，主要針對淺膚色個體訓練的面部識別系統在識別膚色較深的個體時可能有更高的錯誤率。同樣，如果數據在宗教、文化等主題上偏向某些世界觀，則根據來自一組狹窄來源的文本數據訓練的語言模型可能會產生偏差。
Mona 的 AI 公平解決方案讓 AI 和業務團隊相信他們的 AI 沒有偏見。在受監管的行業，Mona 的解決方案可以讓團隊做好合規準備。
Mona 的公平性解決方案很特別，因為它位於 Mona 平台上——AI 數據和模型與其現實世界影響之間的橋樑。 Mona 查看 AI 模型在生產中服務的業務流程的所有部分，將訓練數據、模型行為和實際現實結果關聯起來，以提供最全面的公平性評估。
其次，它有一個獨一無二的分析引擎，允許對數據進行靈活的分割以控制相關參數。這可以在正確的上下文中進行準確的相關性評估，避免辛普森悖論，並為任何性能指標和任何受保護的功能提供深度真實的“偏差分數”。
因此，總的來說，我認為 Mona 是一個基礎需要構建和擴展負責任的 AI 的團隊的元素。
您對 AI 的未來有何看法?
這是一個大問題。
我認為可以直接預測 AI 將繼續在各個行業和人們生活的方方面面得到廣泛使用和影響。然而，很難認真對待一個詳細的願景，同時試圖涵蓋未來人工智能的所有用例和影響。因為沒有人真的足夠了解以可信地描繪出這幅圖景。
話雖如此，我們可以肯定的是，人工智能將掌握在更多人手中並服務於更多目的。因此，對治理和透明度的需求將顯著增加。
真正了解 AI 及其工作原理將發揮兩個主要作用。首先，它將有助於灌輸對人們的信任並消除阻力障礙以加快採用速度。其次，它將幫助任何操作 AI 的人確保它不會失控。
感謝您的精彩採訪，希望了解更多信息的讀者可以訪問 莫娜實驗室。