นักวิจัยจาก Carnegie Mellon University’s Robotics Institute ได้พัฒนาเครื่องมือที่เรียกว่า FRIDA ซึ่งเป็นแขนหุ่นยนต์ที่มีพู่กันติดอยู่ เครื่องมือนี้ใช้ประโยชน์จากปัญญาประดิษฐ์ (AI) เพื่อทำงานร่วมกับมนุษย์ในโครงการศิลปะ
ทีมงานจะนำเสนองานวิจัยชื่อ “FRIDA: จิตรกรหุ่นยนต์ที่ทำงานร่วมกันด้วยสภาพแวดล้อมการวางแผน Real2Sim2Real ที่แตกต่าง” ในการประชุมนานาชาติ IEEE ปี 2023 เกี่ยวกับวิทยาการหุ่นยนต์และระบบอัตโนมัติในเดือนพฤษภาคม
Peter Schaldenbrand สำเร็จการศึกษาระดับปริญญาเอก นักเรียนในสถาบันหุ่นยนต์ที่โรงเรียนวิทยาการคอมพิวเตอร์ เขาทำงานร่วมกับ FRIDA และสำรวจ AI และความคิดสร้างสรรค์
“ มีภาพวาดนักระบำกบอยู่ภาพหนึ่งซึ่งฉันคิดว่าออกมาสวยงามจริงๆ” เขากล่าว “มันเป็นเรื่องไร้สาระและสนุกจริงๆ และฉันคิดว่าความประหลาดใจของสิ่งที่ FRIDA สร้างขึ้นจากข้อมูลของฉันนั้นสนุกมากที่ได้เห็น”
FRIDA เป็นตัวย่อของ Framework and Robotics Initiative for Developing Arts ได้รับการตั้งชื่อตาม Frida Kahlo
งานวิจัยนี้นำโดย Schalderbrand พร้อมด้วย Jean Oh และ Jim McCaam ซึ่งเป็นคณาจารย์ของ RI และได้รับความสนใจจากนักศึกษาและนักวิจัยจากทั่วทุกมุมมหาวิทยาลัย
Collaborative Tool Not Artist
ผู้ใช้สามารถแนะนำ FRIDA ได้โดยการป้อนคำอธิบายที่เป็นข้อความ ส่งผลงานศิลปะอื่นๆ เพื่อสร้างแรงบันดาลใจให้กับสไตล์ของ FRIDA หรืออัปโหลดภาพถ่ายและขอให้วาดภาพที่เป็นตัวแทน ของมัน ทีมงานกำลังทดสอบอินพุตอื่นๆ เช่น เสียง
“FRIDA เป็นระบบการวาดภาพด้วยหุ่นยนต์ แต่ FRIDA ไม่ใช่ศิลปิน”Schalderbrand กล่าวต่อ “FRIDA ไม่ได้สร้างความคิดที่จะสื่อสาร FRIDA เป็นระบบที่ศิลปินสามารถทำงานร่วมกันได้ ศิลปินสามารถระบุเป้าหมายระดับสูงสำหรับ FRIDA จากนั้น FRIDA ก็สามารถดำเนินการตามนั้นได้”
ในการวาดภาพ หุ่นยนต์จะใช้โมเดล AI ที่เทียบได้กับรุ่นที่ขับเคลื่อน ChatGPT และ DALL-E 2 ของ OpenAI ซึ่ง สร้างข้อความหรือรูปภาพเพื่อตอบสนองต่อพรอมต์ FRIDA จำลองวิธีการวาดภาพด้วยพู่กันและใช้การเรียนรู้ของเครื่องเพื่อประเมินความคืบหน้าขณะทำงาน
ผลิตภัณฑ์ขั้นสุดท้ายของ FRIDA นั้นแปลกใหม่และน่าประทับใจ การตวัดพู่กันนั้นดูหนาและขาดความแม่นยำซึ่งมักเป็นที่ต้องการในความพยายามของหุ่นยนต์
“FRIDA เป็นโครงการที่สำรวจจุดตัดของความคิดสร้างสรรค์ของมนุษย์และหุ่นยนต์” McCann กล่าวเสริม “FRIDA ใช้โมเดล AI ชนิดหนึ่งที่ได้รับการพัฒนาเพื่อทำสิ่งต่างๆ เช่น ภาพคำบรรยาย และทำความเข้าใจเนื้อหาของฉาก และนำไปใช้กับปัญหาเชิงสร้างสรรค์ทางศิลปะนี้”
FRIDA ใช้ AI และการเรียนรู้ของเครื่องหลายครั้งในระหว่างนั้น กระบวนการสร้างงานศิลปะ อย่างแรก มันใช้เวลาหนึ่งชั่วโมงหรือมากกว่านั้นในการเรียนรู้วิธีใช้พู่กัน จากนั้นจึงใช้โมเดลภาษาวิชันซิสเต็มที่ได้รับการฝึกอบรมในชุดข้อมูลขนาดใหญ่ที่จับคู่ข้อความและรูปภาพที่คัดลอกมาจากอินเทอร์เน็ต เช่น การฝึกล่วงหน้าด้านภาษาและรูปภาพ (CLIP) ของ OpenAI เพื่อทำความเข้าใจอินพุต
ความท้าทายด้านเทคนิคที่สำคัญที่สุดประการหนึ่งในการผลิตภาพจริงคือการลดช่องว่างระหว่างการจำลองกับของจริง ซึ่งเป็นความแตกต่างระหว่างสิ่งที่ FRIDA สร้างขึ้นในการจำลองกับสิ่งที่วาดบนผืนผ้าใบ FRIDA ใช้แนวคิดที่เรียกว่า real2sim2real ซึ่งใช้ฝีแปรงจริงของหุ่นยนต์เพื่อฝึกเครื่องจำลองให้สะท้อนและเลียนแบบความสามารถทางกายภาพของหุ่นยนต์และวัสดุการวาดภาพ
ตอนนี้ทีมของ FRIDA มีเป้าหมายที่จะจัดการกับบางส่วนของ ข้อจำกัดในโมเดลภาษาวิชันซิสเต็มในปัจจุบันโดยการปรับแต่งโมเดลที่ใช้อย่างต่อเนื่อง พวกเขาป้อนพาดหัวข่าวของนางแบบจากบทความข่าวเพื่อให้พวกเขาเข้าใจถึงสิ่งที่เกิดขึ้นในโลก และฝึกฝนเพิ่มเติมเกี่ยวกับรูปภาพและข้อความที่เป็นตัวแทนของวัฒนธรรมที่หลากหลายเพื่อหลีกเลี่ยงอคติแบบอเมริกันหรือตะวันตก