Offene Standards, die die Zukunft der Embedded Vision vorantreiben

Offene Standards optimieren die Interoperabilität zwischen kritischen Technologien, reduzieren die Produktentwicklungskosten und die Markteinführungszeit und beschleunigen gleichzeitig die Innovation in der Branche.

Um mehr über die neuesten Fortschritte in diesem Bereich zu erfahren, hat IMVE kürzlich das Gehirn von ausgewähltLaurent Pinchart, Gründer von Ideas on Board und Mitglied einer neuen Arbeitsgruppe, die unter dem Dach der Khronos Group einen Embedded-Vision-Standard verfolgt.

IMVE: Was ist der Hintergrund Ihrer Organisation?

LP: Als gemeinnütziges Standardisierungsgremium mit fast 200 Mitgliedsunternehmen engagiert sich die Khronos Group für die Entwicklung und Weiterentwicklung offener, gebührenfreier Interoperabilitätsstandards zum Wohle der Branche. Unser Slogan „Connect Software to Silicon“ spiegelt unsere Mission wider, wichtige Märkte mit zeitnahen und effektiven Standard-APIs zu versorgen, die es Softwareanwendungen, Bibliotheken und Engines ermöglichen, die Leistungsfähigkeit der Siliziumbeschleunigung für anspruchsvolle Anwendungsfälle wie 3D-Grafik, parallele Berechnungen und Augmented zu nutzen und virtuelle Realität, Bildverarbeitung und Schlussfolgerung.

Mitgliedsunternehmen der Khronos-Gruppe

Wir sind eine von Mitgliedern getragene Organisation, die davon überzeugt ist, dass offene Standards, die nicht von einem einzelnen Unternehmen kontrolliert werden oder von diesem abhängig sind, oft der rote Faden für den Fortschritt der Branche sein können, wenn Technologien, Plattformen und Marktpositionen sich verändern und weiterentwickeln.

IMVE: Welche bestehenden Standards wurden von Khronos-Mitgliedern entwickelt?LP: Zu der Familie offener Standards, die von Khronos aktiv entwickelt wird, gehören 3D-Beschleunigungs-APIs wie OpenGL und die Vulkan GPU API der neuen Generation; Initiativen rund um 3D-Formatstandards, einschließlich glTF für Assets und KTX für Texturen; der OpenXR-API-Standard für tragbare erweiterte und virtuelle Realität; und eine Familie von APIs und Sprachen für parallele Berechnungen, Bildbeschleunigung und Inferenz – einschließlich OpenCL, SYCL, SPIR-V und OpenVX – und jetzt die neue Kamaros-API für eingebettete Kameras, die sich derzeit in der Entwicklung befindet.

IMVE: Gibt es alternative Versionen dieser Standards für verschiedene Anwendungen?

LP: Ja. Khronos kann außerdem auf eine lange Erfahrung bei der Anpassung gängiger Beschleunigungs-APIs für sicherheitskritische Märkte zurückblicken. Vulkan SC ist von der Vulkan-API abgeleitet, um die Sicherheitszertifizierung von Systemen, die GPU-Beschleunigung nutzen, zu optimieren, indem es Systemimplementierern ermöglicht wird, Zertifizierungsnachweispakete mit reduzierten Kosten und Aufwand bereitzustellen. OpenVX verfügt über ein sicherheitskritisches Profil, das den schnellen Einsatz trainierter neuronaler Netzwerkmodelle ermöglicht.

Schließlich untersucht die neu gegründete Khronos SYCL Safety-Critical Working Group die Branchenanforderungen für eine allgemeine parallele Programmier-API für beschleunigte Berechnungen unter Verwendung des Standard-C++-Single-Source-Programmiermodells von SYCL in sicherheitskritischen Märkten. SYCL SC wird die Lücke zwischen Low-Level-APIs wie Vulkan SC und der Hochsprache C++ schließen, um die Entwicklung und Sicherheitszertifizierung von Systemen zu rationalisieren, die eine hochentwickelte Parallelverarbeitungsbeschleunigung, einschließlich Pipelines für künstliche Intelligenz und maschinelles Lernen, beinhalten.

IMVE: Welche Arten von Organisationen engagieren sich in Khronos-Arbeitsgruppen?

LP: Um die SYCL SC-Arbeitsgruppe als Beispiel zu nehmen: Diese Arbeitsgruppe hat bereits Unterstützung von Branchenführern erhalten, darunter AMD, Arm, Barcelona Supercomputer Center, Codeplay, CoreAVI, Intel, Intellias, Mercedes-Benz und Qualcomm Technologies Inc. Alle Khronos-Mitglieder können an jeder Arbeitsgruppe teilnehmen und die Mitgliedschaft bei Khronos steht allen offen. Khronos heißt jedes Unternehmen herzlich willkommen, das teilnehmen möchte.

Khronos aktive Standardisierungsarbeitsgruppen

IMVE: Warum ist ein eingebetteter Kamera-API-Standard notwendig?

LP: Hochentwickelte Kamera-Subsysteme werden in verschiedenen Märkten wie Robotik, autonomem Fahren, digitalen Zwillingen sowie virtueller und erweiterter Realität immer wichtiger, wo Bildverarbeitung, häufig unter Einsatz maschinellen Lernens, zum Verständnis von Umgebungen, Prozessen, Objekten und Benutzern eingesetzt wird. Infolgedessen werden immer mehr und vielfältigere Sensoren und zugehörige Bildsignalprozessoren (ISPs) eng mit Vision- und Inferenzbeschleunigern in eigenständigen eingebetteten Systemen integriert.

Der anhaltende Mangel an interoperablen Kamera-API-Standards führt zu unnötig hohen Integrationskosten für diese neuen Kameratechnologien – was die Anwendungsentwicklungszeit und Wartungskosten erhöht und gleichzeitig die Software-Portabilität und Möglichkeiten zur Code-Wiederverwendung verringert.

IMVE: Welche Arbeit leisten Khronos-Mitglieder an der Entwicklung eines Embedded Camera API-Standards?LP: Im Jahr 2021 haben die Khronos Group und die European Machine Vision Association (EMVA) zusammengearbeitet, um eine Sondierungsgruppe einzuberufen, an der über siebzig Unternehmen beteiligt waren, die zusammenarbeiteten, um einen Branchenkonsens über Bedarf, Terminologie, Umfang, Anforderungen und Designmethodik für einen neuen offenen Standard zu ermitteln Kamerasystem-API. Die von der Khronos/EMVA Exploratory Group generierten Anforderungen waren die Motivation, im März 2022 bei Khronos die Kamaros Working Group zu gründen, die sich auf die Entwicklung eines offenen, herstellerübergreifenden Standards für Kamera-, Sensor- und ISP-Steuerung konzentrieren sollte.

Kamaros ist eine plattformübergreifende Kamera-API für Entwickler

Während die Entwicklung der Kamaros-API voranschreitet, setzen Khronos und die EMVA ihre enge Zusammenarbeit fort und haben eine Verbindungsvereinbarung abgeschlossen, die eine kontinuierliche enge Koordination zwischen den beiden Gruppen ermöglicht. In beiden Organisationen wurden designierten Verbindungsleuten gemeinsame Mitgliederprivilegien gewährt. Darüber hinaus erhalten alle EMVA-Mitglieder eine ständige Einladung zur kostenlosen Teilnahme am Kamaros-Beratungsgremium.

HÖREN:Was sind die Ziele der Kamaros-Arbeitsgruppe?

LP: Zu den Designzielen von Kamaros gehört die Portabilität des Anwendungscodes über verschiedene Plattformen und mehrere Generationen von Kameras und Sensoren hinweg sowie die Bereitstellung einer effektiven API für die Entwicklung von Anwendungen, Frameworks und Bibliotheken, die Zugriff auf anspruchsvolle Kamerafunktionen benötigen. Kamaros wird viele Design-Best-Practices anderer etablierter Khronos-APIs nutzen, einschließlich Spezifikationsstruktur und -tools, flexibler und leistungsstarker Erweiterbarkeit, installierbarer Treiber mit Debug- und Instrumentierungsebenen und schemabasierter Generierung mehrerer API-Sprachbindungen.

Zu den weiteren wichtigen Designrichtungen, die derzeit in der Kamaros-Arbeitsgruppe diskutiert werden, gehören: Wie lässt sich die volle Leistungsfähigkeit der Kamera- und ISP-Verarbeitung am besten mit einem vereinfachten Programmiermodell vereinbaren – vielleicht durch eine mehrschichtige Dienstprogrammbibliothek? und inwieweit das bewährte Ressourcenzuweisungs-, Synchronisierungs- und Arbeitsübermittlungsmodell der Vulkan-API der neuen Generation genutzt werden soll, was möglicherweise zu der Option einer nahtlosen Integration von Sensor-, ISP- und GPU-Verarbeitung innerhalb einer einzigen Laufzeit führt.

Laurent Pinchartist Gründer von Ideas on Board und Mitglied einer neuen Arbeitsgruppe, die unter dem Dach der Khronos Group einen Embedded-Vision-Standard verfolgt

Hauptbild: Shutterstock/asharkyu