Automatisiertes Fahren ist die Zukunft! FusionSystems entwickelt Erkennungssysteme und Komponenten für Fahrerassistenzsysteme und das Automatisierte Fahren. Unsere Schwerpunkte liegen auf den Themen Fahrzeugumfelderkennung, Navigation, Fahrzeugsteuerung, Fahrzeuginnenraumüberwachung sowie der Fahrzeugkommunikation. Entscheidende Bedeutung kommt dem Einsatz von Fahrzeugsensoren und der zugehörigen Multisensor-Datenfusion zu.
Im ENTWICKLUNGSPROZESS setzen wir Richtlinien von QA-C und MISRA um. Unsere Softwareentwicklung orientiert sich an dem bewährten V-Modell, mit dem alle Entwicklungsschritte durch unser Anforderungsmanagement begleitet, geprüft und entsprechend IEEE 29148-2011 dokumentiert werden. Bei der Entwicklung sicherheitsrelevanter Software orientieren wir uns an der ISO 26262. Unser Software-Engineering im Automotive Bereich folgt der an die internationale Standard ISO 15504 angelehnte Variante Automotive SPICE (Aspice). Für dessen Umsetzung nutzen wir Tools wie DOORS, Matlab/Simulink, dSpace, ADTF, C/C++/Python und CANoe sowie gängige Simulationstools wie CarMaker.
Fahrzeugumfelderkennung
Sensorkompetenz
Die multisensorielle 360°-Umgebungserfassung liefert über die Abdeckung von Nah- und Fernbereich hinausgehende Aussagen, z.B. die sehr enge zeitliche Auflösung. Wir haben unser Sensorfahrzeug mit zusätzlichen Sensoren unterschiedlicher Art ausgestattet, um das Fahrzeugumfeld komplett zu erfassen. So sind unter anderem Zusatzkameras, wie ein Mehrkamerasystem im Frontgrill integriert, welches die 3D-Erfassung nach speziellen Stereo-Kamera-Ansätzen erlaubt. Dies ermöglicht die Erkennung von verschiedenen Funktionen, wie der Fahrbahn, der Fahrbahnmarkierung, von Verkehrszeichen, Hindernissen sowie von Fußgängern. Auf dem Dach unseres Sensorfahrzeugs können ein 360°-Laserscanner und eine Kugelkamera befestigt werden. Die gesammelten Messdaten können in Echtzeit von im Fahrzeug befindlichen Rechner- und Technikracks ausgewertet werden.
Als Multi-Sensor-Plattform zur 360° Umgebungserfassung für individuelle und hochgenaue Anforderungen wurde unser Sensorfahrzeug auf den Namen IRIS - Individual Data Recognition System getauft. Weitere Informationen erhalten Sie unter: www.irisystem.de.
Personenerkennung
Eine wichtige Rolle bei der Fahrzeugumfelderkennung spielt die PERSONENERKENNUNG. Die Erkennung von Personen in Videobildern (FIR-Kamera, Grauwert-Kamera) und insbesondere die Erkennung und genaue Lokalisierung von Personen mit multisensoriellen Systemen (z.B. Infrarot-Kamera und Laserscanner) sind eine Kernkompetenz von FusionSystems. Unsere Erkennungssoftware zeichnet sich durch eine hohe Erkennungsleistung bei gleichzeitig niedrigen Falschalarmraten aus. Die konsequente Verwendung von Tracking-Methoden sorgt für die notwendige Stabilität der Erkennung. Weitere Informationen zu unseren Verfahren zur Personenerkennung finden Sie hier.
Neben Personen und Fussgängern können unsere Kamerasysteme aber auch die Fahrbahn erkennen, weshalb es wichtig ist, Kenntnisse über ihre Gestaltung, die Breite der Fahrstreifen und über ihre Beschaffenheit bzgl. Material, Oberfläche oder dem Vorhandensein von Markierungen zu erhalten. Anhand der ermittelten Ergebnisse können daraus Schlüsse, z.B. über die Breite und Krümmung der Fahrbahn, gezogen werden. Die Verwendung von GPS, Digitalen Karten und Landmarken helfen die genaue Position des Fahrzeugs zu ermitteln.
Erkennung von Fahrbahn und Markierung mittels Deep Learning
Neuronale Netze, eine Methode des Machine Learning, ermöglichen eine Klassifikation mittels automatischer Merkmalsextraktion. Unter Verwendung tiefer Neuronaler Netze (Deep Learning) lassen sich bemerkenswerte Resultate z.B. in der Objekterkennung erzielen. Durch den Einsatz der speziellen Netzwerkarchitektur Full Resolution Residual Networks (FRRN) ist eine pixelgenaue Klassifikation von Bilddaten möglich. Diese Semantische Segmentierung wird verwendet um Details einer Verkehrsszene, wie zum Beispiel Fahrbahnmarkierungen und Verkehrszeichen, zu erkennen.
Zur effektiven Anwendung der FRRN-Architektur entwickeln und nutzen wir Methoden, die es uns ermöglichen eigene Trainingsdaten zu erfassen und diese mit einem eigens entwickelten Tool halbautomatisch zu labeln. Über diesen Workflow realisieren wir auch die Datenfusion mit anderen Sensordaten, wie z.B. Entfernungsinformationen.
Fahrzeuginnenraumüberwachung
Um Assistenzsysteme korrekt einzusetzen, ist die Analyse des Fahrerverhaltens sehr wichtig. Vor allem in Gefahrensituationen ist es nötig, die Aufmerksamkeit des Fahrers richtig zu beurteilen. Hierfür arbeiten mehrere visuelle Kamerasysteme im Innenraum mit haptischen Sensoren zusammen. Die Auswertung der Systemmessungen wird genutzt, um das Verhalten des Fahrers sowohl in manuellen als auch automatisierten Fahrten passend zu unterstützen.
Visuelle Sensoren
Im Innenraum des Fahrzeugs werden Farb-, Infrarotkameras sowie RGB-D-Kameras eingesetzt. Ein eigenes Framework misst die Daten und wertet sie auch aus. Dabei werden viele physische Parameter - die Position des Kopfes in Relation zu Sitz und Frontscheibe, Winkel der Kopfdrehung, Augenbewegung, Veränderungen an den Augenbrauen und Blickmuster (z. B. häufiger Blickwechsel, Starren) - registriert. Diese Sensordaten sollen helfen, den Stresspegel des Fahrers und der Insassen einzuschätzen. Entsprechend seiner Fahrbereitschaft, des Stresslevels und der Verkehrssituation werden Empfehlungen für den Fahrer errechnet und weitergegeben.
Haptische Sensoren
Unsere Sensormatte auf dem Fahrersitz soll die Position und die Bewegung ermitteln. Eingearbeitete Sensoren messen die Druckverteilung des Fahrergewichts. Eine Schnittstelle gibt die gemessenen Werte aus, deren zeitlicher Verlauf gespeichert wird. Diese Matte ist an verschiedene Fahrzeugsitze, unterschiedliche Körpergrößen und Gewichte adaptierbar.
Fahrzeugsteuerung
Situationsbewertung
Ein regelbasiertes Entscheidungstool ermöglicht es, komplexe Fahrsituationen, wie z. B. das Fahren im Pulk auf einer mehrspurigen Straße, mittels Fuzzy-Logik zu bewerten. Dazu wird das Bewegungsverhalten der umgebenden Fahrzeuge in definierten Einzelsituationen untersucht.
Auf der Grundlage eines detaillierten Regelkataloges wird für jede Situation eine Gefahrenbewertung durchgeführt. Basierend auf den eigenen Bewegungsdaten und den ermittelten Gefahrenwerten ist das Entscheidungstool in der Lage, eine Fahrstrategie für die komplexe Gesamtsituation zu entwickeln.
Automatisierte Parkpositionsbestimmung
Das Auffinden einer freien Parklücke und das Ermitteln der optimalen Parkposition spielt im Automatisierten Fahren eine bedeutende Rolle. Dabei sind Kriterien wie Platzersparnis, Formen der einzelnen Parkflächen und Fahrzeuge, Zugänglichkeit während des Einparkvorgangs, Einhaltung von vorgegebenen Soll-Positionen oder auch der Abstand zu benachbarten Fahrzeugen und sonstigen Hindernissen zu berücksichtigen. Die Position des Fahrzeugs kann in bis zu drei Freiheitsgraden (Lage und Rotation) variabel gestaltet werden.
Fahrstrategie und Fahrempfehlung
Für das automatisierte Fahren ist es von besonderer Bedeutung, aus jeder Änderung der Fahr- oder Umgebungssituation die richtige Fahrstrategie abzuleiten. Durch den Einsatz von Simulationstools und über verschiedene Sensoren oder Car2X-Kommunikation ermittelte Fahrdaten können unterschiedliche Verkehrssituationen realitätsnah abgebildet werden. Anhand dieser entwickeln wir entsprechende Fahrstrategien sowie die dazugehörigen Algorithmen. Um eine verzugsfreie Fahrt für alle vernetzten Verkehrsteilnehmer sicherzustellen, werden von uns aus den zuvor entwickelten Fahrstrategien konkrete Fahrempfehlungen abgeleitet.
Bahn- und Trajektorienplanung
Im Bereich des automatisierten Fahrens ist eine effiziente und sichere Bahnplanung des Fahrzeuges eine enorme Herausforderung, da unterschiedliche Umfeldeinflüsse berücksichtigt werden müssen. Unter Verwendung vielfältigster Sensorik und High-Definition-Karten überwachen unsere Systeme die Umgebung und leiten daraus den optimalen Pfad des Fahrzeugs auf Autobahnen, in urbaner Umgebung sowie in geschlossenen Gebäuden wie Parkhäusern ab.
Neben statischen Umfeldeinflüssen wird ebenso das Verhalten anderer Verkehrsteilnehmer berücksichtigt. Bei der Festlegung der optimalen lateralen als auch longitudinalen Trajektorien für eine bestimmte Situation fließen dabei stets sicherheits- und komfortrelevante Kriterien ein, um ein möglichst angenehmes und natürliches Fahrverhalten zu gewährleisten.
Navigation
Multisensorielle Positionsbestimmung
Mit Hilfe der MULTISENSORIELLEN POSITIONSBESTIMMUNG wird der geografische Bezug der gewonnenen Sensor- bzw. Objektdaten sichergestellt und zeitgleich die Grundlage für die Durchführung des Routings geschaffen. Um eine hohe Positionsgenauigkeit gewährleisten zu können, setzt FusionSystems satellitengestützte, visuelle, funk- sowie kartenbasierte Verfahren ein.
Weitere Informationen zu unseren Verfahren und Herangehensweisen finden Sie hier.
Karten im Automotive Bereich
Im Bereich Automotive kommen unterschiedliche Formen von digitalen Karten zum Einsatz, wovon die geografische Karte des Navigationssystems am bekanntesten ist. Die entsprechenden Kartendatenbanken unterliegen einem standardisierten, binären Datenformat – dem Navigation Data Standard (NDS), der einen Austausch von Kartendaten zwischen verschiedenen Navigationssystemen ermöglicht. Neben der Visualisierung im Fahrzeug stellen die Karten mit dem sogenannten elektronischen Horizont Informationen in Form einer Vorausschau bzgl. Straßenverlauf und Umgebung für Fahrerassistenzsysteme bereit.
Die ortsbezogene Darstellung von verarbeiteten Sensordaten bzw. Objekten und übermittelten Objektinformationen erfolgt in einer dynamischen Karte, der Local Dynamic Map (LDM). Diese Karte dient als Grundlage für die Gefahren- und Situationsbewertung an einem Verkehrsknotenpunkt und ist somit wichtiger Bestandteil für das Generieren von Fahr- oder Manöverempfehlungen für das Automatisierte Fahren.
Routing
Die mittels multisensorieller Positionsbestimmung ermittelte Eigenposition dient als Grundlage für die Planung einer Streckenführung zu einem bestimmten Ort - das Routing. Es soll abhängig von verschiedenen Anforderungen die bestmögliche Strecke ermittelt werden. Die mathematische Graphentheorie (z. B. Dijkstra) dient dabei der Auswertung von Kanten und Knoten, die das Wegenetz digitaler Karten beschreiben. Wir entwickeln Routingalgorithmen mit verschiedenen Zielsetzungen, wie u. a. der schnellsten oder kürzesten Strecke. Im Rahmen des ökonomischen Fahrens wurde von uns eine App entwickelt, die eine entsprechende Streckenführung mit Hinweisen zum ökonomischen Fahrverhalten erweitert und diese dem Fahrer zur Verfügung stellt.
Fahrzeugkommunikation
Wir beschäftigen uns besonders mit den Details der internen und externen Fahrzeugkommunikation, wobei der Schwerpunkt auf der Analyse, Auswertung und Weiterverarbeitung der CAN-Fahrzeugdaten liegt. Dabei verwenden wir bewährte Tools etablierter Dienstleister aus dem Automotive-Sektor, um sie für die prototypische Versuchsdurchführung am Fahrzeug einzusetzen. Neben der reinen Datenanalyse und -auswertung gehört auch die Beeinflussung definierter Fahrzeugdaten zu unseren Aufgaben.
Darüber hinaus arbeiten wir an einer eigenen Hardwarelösung. Primärer Nutzen dieser Lösung soll es sein, Fahrzeugdaten, wie zum Beispiel die Bewegungsdaten, über andere Schnittstellen (Bluetooth, LAN, WLAN, LTE) der Außenwelt zur Verfügung zu stellen. Praktische Anwendungsfälle dieser Umsetzung sind unter anderem die Darstellung von CAN-Fahrzeugdaten auf einer eigens entwickelten Android-App oder das Tracking des Versuchsfahrzeuges mit direkter Visualisierung in unserem firmeneigenen Kartendienst Gabeo. Unsere Eigenentwicklung bietet den Vorteil, dass die Komponenten frei und selbstgewählt skaliert und somit maßgeschneidert an die projektspezifischen Kundenanforderungen angepasst werden können.
