人工智能的发展速度可能超乎你的想象。自GPT-4将多模态技术引入公众视野以来，多模态大模型进入快速发展阶段，逐渐从单纯的模型研发转向垂直领域的探索和应用，与各行各业深度融合。在界面交互领域，谷歌、苹果等国际科技巨头纷纷投入UI多模态大模型研发，这被视为手机AI革命的必经之路。
在此背景下，国内首个UI大模型横空出世。8月17日，在IXDC2024国际体验设计大会上，AI时代设计工具Motiff妙多推出了其自主研发的UI多模态大模型——Motiff妙多大模型。这是全球首个由UI设计工具企业研发的大模型，标志着中国UI设计力量在全球舞台上的崛起。
（IXDC大会现场，Motiff妙多副总裁介绍国内首个UI大模型——Motiff妙多大模型）
Motiff妙多大模型具备出色的UI理解能力和执行开放式指令的能力。在五个行业公认的UI能力基准测试集中，Motiff妙多大模型的各项指标均超过了GPT-4o和苹果的Ferret UI，同时在Screen2Words（界面描述与推断）和Widget Captioning（部件描述）两大指标上也超越了谷歌的ScreenAI，其中Widget Captioning指标高达161.77，刷新SoTA。与Ferret UI、ScreenAI等现有解决方案相比，Motiff妙多大模型能灵活地根据上下文理解界面元素，达到“设计专家”水平，最接近人类对UI界面的理解和表述结果。
（权威UI指标横评中，Motiff妙多大模型所有指标均超过GPT-4o和Ferret UI）
最懂UI的大模型、表述高度接近人类，未来界面交互革命的基石
在IXDC大会上，Motiff妙多副总裁张昊然详细介绍了Motiff妙多大模型，它具备理解用户界面和交互导览两大能力，有望引领界面交互革命。“人类的创造从认知和理解开始，AI 时代的 UI 创作也将从大模型充分理解用户界面开始。”张昊然说。
Motiff妙多大模型在理解用户界面方面表现卓越，堪比“设计专家”。它不仅能识别界面中所有的图片、图标、文字和40多种细粒度UI组件，还能精确标注界面上不同元素的区域坐标。此外，它还能够回答与用户界面相关的各种问题，并根据界面信息进行功能推断、详细描述界面内容。
相较于GPT-4o、Ferret UI和ScreenAI等大模型，Motiff妙多大模型还在界面分析能力上具有显著优势。例如，在APP Store应用界面中，Motiff妙多大模型能以UI设计视角将页面分为顶部导航栏、应用信息模块等多个模块，并详细分析每个模块的功能和布局，这有助于提供设计建议、自动生成UI设计原型等。Motiff妙多在界面分析能力上处于行业领先水平，是最懂UI设计的多模态大模型。
（Motiff妙多大模型能回答各种各样有关UI界面的问题）
Motiff妙多大模型在理解和表述能力上也最接近人类。此前的解决方案（如 Ferret UI 和 ScreenAI）难以根据上下文理解图标的含义，Motiff妙多大模型通过人工标注等方式收集了大量高质量的 UI 领域数据，能理解并指出同一图标在不同界面中的多种含义，显著提升了描述的准确度和情境相关性。
（图1数据由谷歌ScreenAI生成，将心形图标错误地理解为“心”而不是“收藏”；图2、3、4数据由Motiff妙多大模型生成，能结合界面信息准确描述图标含义。）
Motiff dispose également de capacités de navigation interactives, qui peuvent proposer des étapes de fonctionnement en fonction des besoins de l'utilisateur et effectuer les opérations pertinentes au nom de l'utilisateur après avoir obtenu l'autorisation. Cela pose les bases de la future révolution de l’interaction avec les interfaces. À l'avenir, les utilisateurs n'auront plus besoin de cliquer manuellement sur l'écran, mais n'auront besoin que d'une saisie vocale ou d'image pour faire fonctionner l'appareil. Les assistants mobiles tels que Siri pourraient devenir la nouvelle porte d'entrée de toutes les applications et ordinateurs réels. ceci, ouvrant la voie à un nouveau paradigme d'applications logicielles et à une nouvelle ère d'interaction avec les interfaces, s'ouvrira également en conséquence.
De plus, le modèle Motiff a également réussi à contrôler le taux d'erreur à un chiffre. L'opinion de l'industrie estime que la forte baisse des taux d'erreur marque l'évolution de l'IA d'un outil auxiliaire à une « singularité technique » où elle peut accomplir son travail de manière indépendante. Actuellement, l'un des principaux problèmes rencontrés par les grands modèles est le taux d'erreur élevé. Par exemple, GPT-4 a un taux d'erreur de 30 à 40 % sur plusieurs indicateurs, et le taux d'erreur dépasse même 70 % dans le domaine de l'interface utilisateur. En revanche, le grand modèle Motiff réduit le taux d'erreur à moins de 15 %, et le taux d'erreur des indicateurs individuels n'est que de 7 %.
Pourquoi les sociétés d'applications d'IA peuvent-elles développer de manière indépendante de grands modèles de premier plan ? Zhang Haoran a déclaré lors de la conférence que cela découlait de la recherche continue de « meilleurs produits ». « En tant que leader des produits d'IA, Motiff s'engage à éliminer les goulots d'étranglement techniques sur la base de scénarios d'application et à améliorer continuellement les exigences en matière de capacités d'IA », a-t-il déclaré.
La capacité de Motiff à « vaincre » les principaux modèles internationaux tels que GPT-4o et Ferret UI d'Apple dans le domaine de l'interface utilisateur bénéficie également de son accumulation technologique à long terme. Motiff se concentre sur l'interaction et la conception d'interfaces depuis sa création en 2021. Sa société mère, le groupe Yuanfudao, a créé un laboratoire d'IA axé sur l'exploration de pointe de la technologie de l'IA en 2014. En 2018, le groupe Yuanfudao a remporté le célèbre prix de lecture automatique. concours MSMAARCO Classé premier au monde, ses capacités de compréhension en lecture automatique avaient à l'époque dépassé Baidu et Microsoft.
AIAméliorer l'efficacité + générer pour créer le meilleur assistant pour les concepteurs, optimiser le flux de travail de développement logiciel
mill Il ne fait aucun doute que la sortie du modèle Motiff marque le moment GPT dans le domaine de la conception d'interfaces. La conception de l'interface utilisateur nécessite un traitement précis des éléments visuels et une compréhension approfondie de la logique d'interaction de l'utilisateur. Le modèle Motiff améliore considérablement l'efficacité et les capacités de génération des outils de conception.
Dans la fonction d'interface utilisateur générée par l'IA de Motiff, les utilisateurs n'ont qu'à saisir une commande, et en moins de 30 secondes, Motiff peut générer deux versions du brouillon de conception. Selon de récentes évaluations aveugles réalisées par plus de 30 professionnels de l'industrie, les deux versions des ébauches de conception générées par Motiff sont meilleures que le précédent outil d'interface utilisateur de pointe de génération d'IA, Galileo AI. Après la sortie de cette fonctionnalité, il est rapidement devenu le leader du marché. Cet avantage découle directement des capacités professionnelles de l'interface utilisateur du grand modèle de Motiff. Il est rapporté que la fonction d'interface utilisateur générée par l'IA a été ouverte aux utilisateurs du monde entier le 17 août. Il vous suffit de créer un compte Motiff pour en profiter gratuitement.
(Entrez le même mot d'invite "Générer une page d'accueil de streaming vidéo similaire à Hulu", la précision et la richesse de l'effet généré de Motiff sont plus fortes que celui de Galileo AI.)
De plus, la précision de la reconnaissance des composants dans la fonctionnalité du système de conception AI a également été considérablement améliorée. Avec le support de grands modèles, les concepteurs peuvent réaliser un travail en quelques minutes seulement, ce qui prenait auparavant au moins des semaines. La fonction de copie AI peut reconnaître les images et la rédaction dans les brouillons de conception avec une précision de plus de 97 %.
"Motiff prévoit d'ouvrir ses capacités de grands modèles aux moyennes et grandes entreprises et de travailler avec les clients pour créer une nouvelle relation de production d'interfaces à l'ère de l'IA, a souligné Zhang Haoran lors de la réunion." Le grand modèle de Motiff aidera à optimiser le flux de travail de développement logiciel et à raccourcir efficacement le processus de production d'interface existant.
Motiff a déjà créé de nombreuses « premières » dans l'industrie de la conception d'interfaces. Non seulement il est le premier à créer plusieurs fonctions d'IA, mais il est également le premier logiciel de conception d'interface en Chine à développer un logiciel auto-développé. moteur de rendu graphique, et est le premier au monde. Le seul produit haute performance qui peut encore éditer en douceur avec 1 million de calques sur une seule toile. Motiff est connu comme la « version IA de Figma » sur les réseaux sociaux étrangers. Tout en améliorant la productivité de plus de 100 fois, le prix est plus de 80 % inférieur à celui de Figma. Il a été répertorié sur la célèbre plateforme de publication de produits Product Hunt's. Liste quotidienne et liste hebdomadaire des produits les plus populaires de juillet.
(Il y a beaucoup de messages comparant Motiff et Figma sur les plateformes sociales étrangères. Motiff est considéré comme un designer et tous les designers doivent je le sais. outils d'IA)
以上是国内首个UI大模型出炉！Motiff妙多大模型打造设计师最佳助手、优化UI设计工作流的详细内容。更多信息请关注PHP中文网其他相关文章！
