Alibaba veröffentlicht Qwen-Image-Edit: 20B Open-Source-Modell für erweiterte Bild- und Textbearbeitung

Alibaba Clouds Qwen Das Team hat Qwen-Image-Edit vorgestellt, ein fortschrittliches Bildbearbeitungsmodell, das auf dem 20B Qwen-Image-Framework basiert. Das neue System erweitert die einzigartigen Textdarstellungsfunktionen von Qwen-Image um diese auf die Bildbearbeitung, wobei der Schwerpunkt auf präzisen Textänderungen liegt. Qwen-Image-Edit verarbeitet Eingabebilder über zwei parallele Komponenten: Qwen2.5-VL für die visuelle semantische Steuerung und den VAE-Encoder für die visuelle Darstellung. Dieser duale Ansatz ermöglicht es dem Modell, sowohl Bearbeitungsaufgaben auf semantischer als auch auf Darstellungsebene effektiv zu bewältigen. Das Tool ist über den Qwen-Chat unter der Funktion „Bildbearbeitung“ zugänglich.

Qwen-Image-Edit ist für die Bearbeitung in mehreren Dimensionen konzipiert. Es unterstützt sowohl Anpassungen auf der Darstellungsebene, wie das Hinzufügen, Entfernen oder Ändern visueller Elemente, während alle anderen Bildbereiche intakt bleiben, als auch Bearbeitungen auf semantischer Ebene, wie die Erstellung von geistigem Eigentum, Objektrotation oder Stilübertragungen, bei denen umfangreichere Pixeländerungen zulässig sind, die semantische Integrität jedoch erhalten bleibt. Darüber hinaus bietet es erweiterte Textbearbeitungsfunktionen in Chinesisch und Englisch, sodass Benutzer Text in Bildern hinzufügen, entfernen oder anpassen können, während Schriftart, -größe und -stil konsistent bleiben. Benchmarktests mit mehreren anerkannten Datensätzen zeigen, dass Qwen-Image-Edit in der Bildbearbeitung Spitzenleistung erreicht und sich als starkes Basismodell für zukünftige Anwendungen in diesem Bereich positioniert.

Semantische und Erscheinungsbildbearbeitung von Qwen-Image-Edit für kreative und praktische Anwendungen

Einer der defiEin weiterer Vorteil von Qwen-Image-Edit ist die erweiterte Funktionalität sowohl in der semantischen als auch in der visuellen Bearbeitung. Bei der semantischen Bearbeitung wird der Inhalt eines Bildes verändert, wobei die zugrunde liegende visuelle Bedeutung erhalten bleibt. Um diese Funktion anschaulich zu veranschaulichen, hebt das Entwicklungsteam die Verwendung von Qwen Als praktisches Beispiel dient das offizielle Maskottchen von , das Capybara.

Beobachtungen zeigen, dass sich zwar die meisten Pixel im modifizierten Bild von denen im linken Originalbild unterscheiden, die Gesamtkonsistenz des Capybara-Maskottchens jedoch vollständig erhalten bleibt. Dies demonstriert die starke semantische Bearbeitungsfunktion von Qwen-Image-Edit, die eine flexible und vielfältige Entwicklung von Originalinhalten geistigen Eigentums unterstützt. Zusätzlich wurde im Qwen Chat ein spezieller Satz von Bearbeitungshinweisen zu den 16 MBTI-Persönlichkeitstypen erstellt. Mithilfe dieser Hinweise konnte eine komplette Sammlung von MBTI-Emoji-Paketen mit dem Capybara-Maskottchen erstellt werden, wodurch sowohl die Darstellung als auch die Sichtbarkeit der Figur effektiv erweitert wurden.

Darüber hinaus stellt die neuartige Ansichtssynthese einen weiteren wichtigen Anwendungsfall innerhalb der semantischen Bearbeitung dar. Qwen-Image-Edit kann Objekte um 90 Grad drehen oder eine vollständige 180-Grad-Drehung durchführen, wodurch die Rückseite eines Objekts direkt visualisiert werden kann. Ein weiteres Beispiel für semantische Bearbeitung ist die Stilübertragung, bei der beispielsweise ein Standardporträt in verschiedene künstlerische Ästhetiken uminterpretiert werden kann, darunter auch Stile, die an Studio Ghibli erinnern.

Neben der semantischen Bearbeitung ist die Erscheinungsbildbearbeitung eine häufig benötigte Funktion in der Bildbearbeitung. Dabei geht es darum, bestimmte Bildbereiche unverändert zu lassen und gleichzeitig bestimmte Elemente hinzuzufügen, zu entfernen oder zu verändern. Wie ein Beispiel zeigt, bei dem ein Schild nahtlos in eine Szene integriert wird, eignet sich die Erscheinungsbildbearbeitung für eine Vielzahl von Anwendungen, beispielsweise für die Anpassung des Hintergrunds von Personen oder die Änderung von Kleidung. Ein weiteres defiEine der herausragendsten Fähigkeiten von Qwen-Image-Edit ist seine Präzision bei der Textbearbeitung, eine Funktion, die auf der umfassenden Expertise von Qwen-Image im Bereich der Textwiedergabetechnologien beruht.