Nachricht

Jul 10, 2023

Real

Scientific Reports Band 12, Artikelnummer: 14097 (2022) Diesen Artikel zitieren Im Gegensatz zur herkömmlichen Bildgebung verwendet die Einzelpixel-Bildgebungstechnik einen Einzelelementdetektor, der hohe Ergebnisse ermöglicht

Wissenschaftliche Berichte Band 12, Artikelnummer: 14097 (2022) Diesen Artikel zitieren

Im Gegensatz zur herkömmlichen Bildgebung verwendet die Einzelpixel-Bildgebungstechnik einen Einzelelementdetektor, der eine Bildgebung mit hoher Empfindlichkeit, breiter Wellenlänge und Rauschrobustheit ermöglicht. Es birgt jedoch mehrere Herausforderungen, insbesondere erfordert es umfangreiche Berechnungen für die Bildrekonstruktion mit hoher Bildqualität. Für eine Echtzeitrekonstruktion mit höherer Bildqualität sind daher Hochleistungsrechner erforderlich. In dieser Studie haben wir einen kompakten dedizierten Computer für die Einzelpixel-Bildgebung entwickelt, der ein feldprogrammierbares Gate-Array (FPGA) auf einem Chip verwendet, das eine Echtzeitrekonstruktion mit 40 Bildern pro Sekunde und einer Bildgröße von 128 × 128 Pixeln ermöglicht . Mit dem vorgeschlagenen Rekonstruktionsalgorithmus wurde eine FPGA-Schaltung implementiert, um durch Einführung der Kodierungsmaskenmusteroptimierung eine höhere Bildqualität zu erzielen. Der dedizierte Computer kann die Rekonstruktion zehnmal schneller beschleunigen als eine aktuelle CPU. Da er im Vergleich zu typischen Computern sehr kompakt ist, kann er die Anwendung der Einzelpixel-Bildgebung auf das Internet der Dinge und Outdoor-Anwendungen erweitern.

Bei der herkömmlichen Bildgebung wird ein Bildsensor verwendet, beispielsweise Kameras mit ladungsgekoppelten Geräten. Im Gegensatz dazu handelt es sich bei der Einzelpixel-Bildgebung um eine einzigartige Technik, bei der nur ein Einzelelementdetektor, beispielsweise eine Fotodiode, zum Einsatz kommt1. Bei dieser Technik wird das Zielobjektbild aus erfassten Lichtintensitäten und bekannten Kodierungsmaskenmustern rekonstruiert. Für die Einzelpixelbildgebung wurden verschiedene Rekonstruktionsalgorithmen vorgeschlagen, darunter Korrelationsberechnungen namens Ghost Imaging2,3, auf der Fourier-Transformation und der Hadamard-Transformation basierende Methoden4,5, Optimierungsmethoden zur Lösung eines schlecht gestellten Problems6,7 und Deep Learning8,9,10 . Da bei der Einzelpixel-Bildgebung Einzelelementdetektoren verwendet werden, ist im Gegensatz zur herkömmlichen Bildgebung eine Bildgebung mit hoher Empfindlichkeit, breiter Wellenlänge und Rauschrobustheit möglich. Einzelpixel-Bildgebung kann auf Fernerkundungskameras11, dreidimensionale Bildgebung12,13, Terahertz-Bildgebung14,15, Zytometrie16 und Internet-of-Things-Kameras (IoT) zur Verwendung in der Überwachung, in Fabriken, in gefährlichen dunklen Bereichen und im Freien angewendet werden, z. B. Infrarotkamera17 und Gasleckerkennung18.

Die Einzelpixel-Bildgebung ist rechenintensiv und erfordert kompakte und effiziente Geräte für bestimmte Anwendungen, z. B. IoT-Anwendungen. Eingebettete Computer können eine mögliche Lösung sein, sie sind jedoch aufgrund ihrer geringen Rechenleistung für die Rekonstruktionsberechnung nicht geeignet. Daher ist ein kleiner Computer mit hoher Rechenleistung erforderlich, der in einem einzigen LSI-Chip (Large Scale Integration) implementiert ist. Mit feldprogrammierbaren Gate-Arrays (FPGAs) wurden spezielle Computer für die Einzelpixel-Bildgebung entwickelt. Ein FPGA ist ein LSI-Chip, der Logikschaltungen vor Ort frei neu schreiben kann. FPGAs können Hochleistungsberechnungen durchführen, indem sie anwendungsspezifische Schaltkreise entwerfen. Es gibt mehrere frühere Studien mit FPGAs. Nur die LED-Steuerung wurde von einem FPGA19,20 durchgeführt, während die Rekonstruktionsberechnung von einem Personal Computer (PC) durchgeführt wurde. Iterative Berechnungsmethoden, Hadamard-Transformation und Differential Ghost Imaging (DGI) wurden implementiert21,22,23, um die Bildrekonstruktion zu beschleunigen. Der gesamte Prozess von der Rekonstruktionsberechnung bis zur Anzeige wurde auf einem FPGA24 durchgeführt. Allerdings sind die Anzahl der Pixel sowie die Bildqualität, die Rechenzeit und die Bildqualität bei geringer Abtastung problematisch.

In dieser Studie haben wir einen dedizierten Computer entwickelt, der ein System-on-a-Chip (SoC) FPGA für die Einzelpixel-Bildgebung verwendet. Ein SoC-FPGA ist ein LSI, bei dem eine eingebettete CPU und ein FPGA auf einem einzigen Chip implementiert sind. Es bietet eine höhere Rechenleistung als eine einzelne eingebettete CPU, mehr Flexibilität als ein einzelnes FPGA und kann viel kleiner als ein Computer sein. Darüber hinaus ist die Auswahl der Rekonstruktionsalgorithmen, die als Rechenschaltung implementiert werden sollen, beim Entwurf eines Computers für die Einzelpixel-Bildgebung wichtig. Obwohl FPGAs über eine hohe Rechenleistung verfügen, sind ihre Hardwareressourcen begrenzt und sie eignen sich nicht gut für komplexe Berechnungen wie Divisionen und Quadratwurzelberechnungen. Unter den Algorithmen können Optimierungsmethoden zur Lösung eines schlecht gestellten Problems und Deep Learning qualitativ hochwertige Rekonstruktionen in der Einzelpixel-Bildgebung erhalten6,7,8,9,10; Allerdings weist Deep Learning das Problem unzureichender Hardwareressourcen auf, und Optimierungsmethoden haben das Problem der Rechenlast aufgrund der Iterationsmethode.

Die auf Ghost-Imaging basierende Korrelationsberechnung2,3 eignet sich aufgrund der geringen Speichernutzung und der Einfachheit der Berechnungsform für die FPGA-Implementierung. In dieser Studie haben wir unseren Ghost-Imaging-Algorithmus verwendet, der die Optimierung von Codierungsmaskenmustern einführt25. Es verbessert die Bildqualität mit geringfügigen Auswirkungen auf den erforderlichen Rechenaufwand und Speicher. Im vorgeschlagenen dedizierten Computer beträgt die Größe der rekonstruierten Bilder 128 × 128 Pixel mit bis zu 1.024 Kodierungsmaskenmustern. Wir bewerten den dedizierten Computer hinsichtlich der Bildqualität und Rechengeschwindigkeit anhand von Bildern pro Sekunde (fps) in numerischen und optischen Experimenten. Abschließend demonstrieren wir ein Echtzeit-Anzeigesystem für Einzelpixel-Bildgebung mithilfe des dedizierten Computers. Der von uns entwickelte dedizierte Computer kann bei gleicher Abtastrate eine höhere Bildqualität als Referenzen19,20,22,23,24, eine größere Bildgröße als Referenzen19,20,21,23,24 und eine höhere Geschwindigkeit als Referenzen21,22,23 erzielen ,24, was eine Echtzeitanzeige von Größe, Bildqualität und Geschwindigkeit ermöglicht. Da der dedizierte Computer im Vergleich zu herkömmlichen Computern äußerst kompakt ist, kann er die Anwendung der Einzelpixel-Bildgebung auf das IoT und Outdoor-Anwendungen erweitern. Zu den spezifischen Anwendungen, die dedizierte Computer verwenden, gehört die Implementierung in der topografischen Satellitenvermessung26, bei der die geringe Größe und die Energiesparfunktionen dedizierter Computer genutzt werden. Es kann auch zur Objektverfolgung27,28,29 verwendet werden, um ein Auto-Navigations-IoT-System aufzubauen. Darüber hinaus können dedizierte Computer zur Rekonstruktion von Breitwellenbildern verwendet werden, die Rechenleistung erfordern30.

Abbildung 1 zeigt das Schema des Versuchsaufbaus. Der Versuchsaufbau besteht aus einem Kameraobjektiv (Thorlabs MVL50M23), einer weißen Leuchtdiode (LED), einer Kondensorlinse, einem digitalen Mikrospiegelgerät (DMD) (Vialux Hi-Speed ​​V-Modules V7000) und einem Einzelelementdetektor (Thorlabs PDA100A2). , Analog-Digital-Wandler (Digilent Inc. Pmod AD1) und der dedizierte Computer. Das durch das Objekt durchgelassene Licht wird vom Kameraobjektiv auf das DMD gerichtet.

Die Einzelpixelbildgebung in Echtzeit ist schwierig, da sie nacheinander die Steuerung der Musteranzeige, die Steuerung des Analog-Digital-Wandlers und die Verarbeitung der Rekonstruktionsberechnung erfordert. Das vorgeschlagene System kann jedoch eine Echtzeitrekonstruktion von Zielobjekten durch Parallelverarbeitung durchführen. Das rekonstruierte Bild wird auf einem Anzeigefeld angezeigt.

Der experimentelle Ablauf der Echtzeitanzeige ist wie folgt. Das Objektlicht wird durch das Kameraobjektiv auf dem DMD geformt. Auf dem DMD wird ein Kodierungsmaskenmuster angezeigt, und das Objektlicht wird durch das Muster moduliert. Das modulierte Licht wird von der Linse gesammelt und vom Einzelelementdetektor als Lichtintensität gemessen. Die erhaltene Lichtintensität wird vom Analog-Digital-Wandler aus dem analogen Intensitätssignal in ein digitales Signal umgewandelt. Dieser Vorgang wird wiederholt, während die Kodierungsmaskenmuster gewechselt werden. Die Empfangsschaltung im FPGA speichert das umgewandelte Signal in einem im FPGA integrierten Speicher zum Zeitpunkt der Aktivierung des synchronisierten Signals, das erzeugt wird, wenn der DMD auf neue Codierungsmaskenmuster umschaltet. Nachdem die Empfangsschaltung das Signal eine bestimmte Anzahl von Malen gespeichert hat, beginnt die Rekonstruktionsschaltung mit der Berechnung des Zielobjektbilds. Anschließend empfängt die eingebettete CPU auf dem SoC-FPGA-Chip die Rekonstruktionsergebnisse und zeigt sie auf dem Anzeigefeld an. Somit können wir den Film des Zielobjekts in Echtzeit auf dem Anzeigefeld beobachten, indem wir den obigen Vorgang wiederholen.

Schematische Darstellung des Versuchsaufbaus. Ein Kameraobjektiv erzeugt das Bild eines Zielobjekts auf einem DMD. Das Bild des Zielobjekts wird durch die Kodierung von Maskenmustern moduliert, die auf dem DMD angezeigt werden. Das modulierte Licht wird von einer Linse gesammelt, von einem Einzelelementdetektor gemessen und anschließend in digitale Signale umgewandelt. Darüber hinaus rekonstruiert der spezielle Computer aus den Lichtintensitäten das Bild des Zielobjekts. Der FPGA-Teil rekonstruiert ein Bild, während die eingebettete CPU auf dem SoC-FPGA die Zeichnung auf einem Display generiert und initialisiert.

Blockschaltbild der Rekonstruktionsschaltung. Die Anzahl der Codierungsmaskenmuster kann bis zu 1024 betragen. Die Zahlen über den diagonalen Linien geben die Bitbreite eines Signals an. Die Rekonstruktionsschaltung umfasst drei Berechnungsmodule und Nachschlagetabellen. Wir haben 128 Module für die \(\langle \alpha ^2 SI \rangle \)-Berechnung und die O-Berechnung für die Parallelverarbeitung implementiert.

Wir haben den dedizierten Computer mit dem Evaluierungsboard Zynq UltraScale+ MPSoC ZCU104 von Xilinx entwickelt. Das Schema des dedizierten Computers ist in Abb. 1 dargestellt. Wir haben die Schaltung des FPGA-Teils mit Vivado (Version 2020.1) und den eingebetteten CPU-Teil mit Vivado (Version 2019.1) entworfen, der integrierten Entwicklungsumgebung für Hardware-Design, die von bereitgestellt wird Xilinx. Auf der eingebetteten CPU auf dem SoC-FPGA läuft ein Linux-Betriebssystem (OS), dessen Linux-Kernel mit Petalinux (Version 2019.1) von Xilinx erstellt wurde.

Abbildung 2 zeigt ein Blockdiagramm der Rekonstruktionsschaltung. Die Rekonstruktionsschaltung führt die Rekonstruktionsberechnung25 wie in Gl. durch. (1).

wobei \(I_i(x,y)\) die Lichtverteilung von Codierungsmaskenmustern mit binären Werten ist, der Index i ein Index der Codierungsmaskenmuster ist; und \(R_i = \sum _{y=1}^Y \sum _{x=1}^X I_i (x,y)\) ist die Gesamtlichtintensität der Kodierungsmaskenmuster und X und Y sind die horizontale und vertikale Größen der Kodierungsmaskenmuster. Diese Werte werden nur durch die Kodierungsmaskenmuster bestimmt. \(\langle \alpha _i \rangle = \frac{1}{N} \Sigma ^{N}_{i=1} \alpha _i\) ist ein Ensemble-Durchschnitt, wobei N die Anzahl der Kodierungsmaskenmuster ist ; \(S_i = \sum _{y=1}^Y \sum _{x=1}^XT(x,y) I_i (x,y)\) ist die vom Einzelelementdetektor gemessene Lichtintensität, wobei T(x, y) ist die Lichtverteilung des Zielobjekts; und O(x, y) ist die Intensitätsverteilung eines rekonstruierten Zielobjekts. Ein Bild des Zielobjekts, das auf einem Anzeigefeld angezeigt werden soll, wird durch Normalisieren von O(x, y) erhalten. In Gl. (1) können die Berechnungen, die \(S_i\) nicht enthalten, vorab berechnet werden, und die Schaltung muss nur die Berechnungen berechnen, die \(S_i\) enthalten. Obwohl der Unterschied zwischen den herkömmlichen und unseren Rekonstruktionsberechnungen darin besteht, sowohl die Optimierung der Kodierungsmaskenmuster als auch den Skalierungsfaktor \(\alpha _i\) einzuführen, kann die Bildqualität mit nur wenigen zusätzlichen Operationen deutlich verbessert werden. Grundsätzlich ist die vorgeschlagene Methode für die FPGA-Implementierung geeignet. Die Identifizierung optimaler Kodierungsmaskenmuster und \(\alpha _i\) wird in den „Methoden“ erläutert.

Die Rekonstruktionsschaltung empfängt \(S_i\) als Eingaben und gibt O(x, y) als Berechnungsergebnisse aus. Der Eingang wird von der in Abb. 1 gezeigten Empfangsschaltung empfangen und der Ausgang wird an die eingebettete CPU auf dem SoC-FPGA gesendet. In dieser Studie haben wir zwei Schaltkreise für 512- und 1024-Kodierungsmaskenmuster entwickelt. Die durch die Kodierungsmaskenmuster ermittelten Werte werden in Nachschlagetabellen gespeichert, die durch Nur-Lese-Speicher (ROMs) im FPGA implementiert werden. Das \(\langle \alpha S \rangle \)-Berechnungsmodul, das \(\langle \alpha ^2 SI \rangle \)-Berechnungsmodul und das O-Berechnungsmodul führen die entsprechenden Berechnungen in Gl. durch. (1). Alle Operationen werden durch Festkommazahlberechnungen implementiert, da sie weniger Hardwareressourcen erfordern und schneller sind. Wir haben 128 Module für \(\langle \alpha ^2 SI \rangle \)-Berechnungen und 128 Module für O-Berechnungen implementiert; Daher kann der dedizierte Computer 128 Pixel parallel berechnen.

Simulationsergebnisse des Desktops, der eingebetteten CPUs und des dedizierten Computers. Die Größe der Bilder beträgt 128 × 128 Pixel. Wir verwendeten Gleitkommaoperationen mit einfacher Genauigkeit auf den CPUs und Festkommaoperationen auf dem dedizierten Computer. Die Anzahl der bei der Rekonstruktion verwendeten Kodierungsmaskenmuster beträgt 512 für (a) und 1024 für (b).

Wir bewerten die Bildqualität und Berechnungsgeschwindigkeit der Rekonstruktionsschaltung in Simulationen und optischen Experimenten. Darüber hinaus zeigen wir, dass der dedizierte Computer mithilfe des experimentellen Systems dynamische Szenen in Echtzeit rekonstruieren kann.

Da die Rekonstruktionsschaltung Festkommaoperationen verwendet, hängt die Bildqualität erheblich von der Bitbreite jedes Signals ab. Die Bewertung der Bildqualität ist in Abb. 3 dargestellt. Als Bildqualitätsindex verwendeten wir das Spitzensignal-Rausch-Verhältnis (PSNR). Die mithilfe des Desktops, der eingebetteten CPUs und des dedizierten Computers rekonstruierten Bilder sind ähnlich. Anhand dieser Ergebnisse haben wir bestätigt, dass der dedizierte Computer die gleiche Bildqualität wie die eingebetteten und Desktop-CPUs rekonstruieren konnte.

Wir verglichen reine Rekonstruktionszeiten, ohne Mustermodulation, und Analog-Digital-Umwandlungszeiten in der eingebetteten CPU, der Desktop-CPU und dem dedizierten Computer. Die Ergebnisse sind in Tabelle 1 aufgeführt. Die Rechenumgebung der eingebetteten CPU auf dem SoC-FPGA ist wie folgt: Die CPU ist Quad Core Arm Cortex-A53 MPCore (1,2 GHz), der Speicher beträgt 2,0 GB, das Betriebssystem ist Ubuntu 18.04.1 LTS und Compiler ist gcc 7.5.0 (Optimierungsoption -O2 aktiviert). Die Rechenumgebung der Desktop-CPU ist wie folgt: Die CPU ist Intel® Core™ i5-4690 (3,5 GHz), der Speicher ist 32,0 GB, das Betriebssystem ist Windows 10 Enterprise und der Compiler ist Visual Studio 2015 (Optimierungsoption-O2 und Streaming von SIMD-Erweiterungen aktiviert). Für die Umgebung des FPGA-Teils beträgt die Betriebsfrequenz 0,2 GHz. Für jede Verarbeitungszeit werden 1000 Messungen gemittelt. Aus Tabelle 1 geht hervor, dass der dedizierte Computer am schnellsten ist.

Im Experiment verwendetes optisches System. Die Konfiguration und Anordnung des optischen Systems ist die gleiche wie in Abb. 1.

Die Experimente wurden auf einem Echtzeitdisplay mit unserem speziellen Computer unter den gleichen Bedingungen wie die Simulationen durchgeführt. Abbildung 4 zeigt das optische System mit der gleichen Konfiguration wie Abb. 1. Tabelle 2 zeigt die Bildrate, die als die Zeitspanne von der Anzeige eines vorherigen Rekonstruktionsbildes bis zum Beginn der Anzeige eines nächsten Rekonstruktionsbildes definiert ist. Die zum Anzeigen von Kodierungsmaskenmustern erforderliche Zeit beträgt 22,53 ms bei 512 Kodierungsmaskenmustern und 45,06 ms bei 1024 Kodierungsmaskenmustern. Im Echtzeit-Anzeigeexperiment haben wir bestätigt, dass der dedizierte Computer am schnellsten ist.

Abbildung 5 zeigt die Auswertung der rekonstruierten Bilder durch den dedizierten Computer. Infolgedessen zeigten die vom dedizierten Computer erhaltenen Rekonstruktionsbilder eine bessere Bildqualität als frühere FPGA-basierte Studien22,23. Abbildung 6 zeigt die mit dem dedizierten Computer rekonstruierte dynamische Szene. Die Rekonstruktion wurde in den Fällen von 512 und 1024 Kodierungsmaskenmustern durchgeführt. Videos in den Zusatzinformationen zeigen die Echtzeit-Rekonstruktionsfilme mit jedem Computer im Fall von 512- und 1024-Kodierungsmaskenmustern. Beim Vergleich dieser Filme können wir sehen, dass der dedizierte Computer die Bewegung eines Zielobjekts reibungslos darstellen kann. Aufgrund der Auflösung des Analog-Digital-Wandlers ist der Lärm der eingebetteten CPU allein und des dedizierten Computers im Vergleich zur Desktop-CPU erheblich. Der Analog-Digital-Wandler der Desktop-CPU verfügt über eine 16-Bit-Auflösung, wohingegen der Analog-Digital-Wandler der Embedded-CPU allein und des dedizierten Computers nur eine 12-Bit-Auflösung hat.

Rekonstruierte Bilder durch den speziellen Computer. Die Bildqualität wurde durch Vergleich mit der mit der vollständigen Hadamard-Transformation rekonstruierten Grundwahrheit bewertet. Die Bildgröße beträgt 128 × 128 Pixel. Die Nummern der Kodierungsmaskenmuster sind 512 bzw. 1024.

Eine rekonstruierte dynamische Szene: (a) ein Zielobjekt (USAF1951-Testziel, Thorlabs R3L3S1N). Der weiße Pfeil gibt die Richtung an, in die das Zielobjekt verschoben werden soll. Das Zielobjekt innerhalb des roten Rechtecks ​​bewegt sich 1 s lang in Pfeilrichtung, (b) rekonstruierte dynamische Szene während der Bewegung des Zielobjekts in seitlicher Richtung im Fall von 512 Kodierungsmaskenmustern, (c) rekonstruierte dynamische Szene während der Bewegung das Zielobjekt in seitlicher Richtung im Fall von 1024 Codierungsmaskenmustern, (d) ein Zielobjekt, wenn die Bewegungsrichtung in Tiefenrichtung verläuft. Der weiße Pfeil gibt die Richtung an, in die das Zielobjekt verschoben werden soll. Der durch das rote Rechteck markierte Bereich wurde rekonstruiert. Das Zielobjekt wurde in 1 s von \(-1\) cm auf \( +1 \) cm bewegt, (e) dynamische Szene rekonstruiert, während das Zielobjekt in Tiefenrichtung für 512 Kodierungsmaskenmuster bewegt wurde, (f) rekonstruiert dynamische Szene beim Bewegen des Zielobjekts in Tiefenrichtung für 1024 Kodierungsmaskenmuster. Die Anzahl der rekonstruierten Bilder ist unterschiedlich, da die Bildrate abhängig von der Anzahl der Kodierungsmaskenmuster unterschiedlich ist, wie in Tabelle 2 gezeigt. Die Bildnummern sind über den Bildern angegeben.

Zeitdiagramm des Echtzeitanzeigesystems. Jede Zeile zeigt die Verantwortlichkeiten jedes Prozesses, der parallel ausgeführt wird. (a) Zeigt ein Zeitdiagramm unter Verwendung der eingebetteten CPU allein und der Desktop-CPU. (b) Zeigt ein Zeitdiagramm unter Verwendung des dedizierten Computers. Die eingebettete CPU und die Desktop-CPU führen allein die Verarbeitung zum Empfangen und Senden vom Analog-Digital-Wandler durch, da der Analog-Digital-Wandler von der CPU gesteuert wird. Daher können die eingebettete CPU und die Desktop-CPU allein nicht ständig eine Analog-Digital-Umwandlung durchführen. Allein in der eingebetteten CPU dauert die Rekonstruktionsberechnung für die Codierung nach Mustern lange. In der Desktop-CPU ist die Rekonstruktionsberechnungszeit kurz genug für die Kodierungszeit nach Mustern. Im Gegensatz dazu entfällt bei einem dedizierten Computer eine derart zeitaufwändige Verarbeitung, da der FPGA-Teil einen Wert der Analog-Digital-Umwandlung direkt erhält. Folglich kann der dedizierte Computer ständig eine Analog-Digital-Umwandlung durchführen, wodurch die Rekonstruktionsberechnungszeit verkürzt wird.

Hier haben wir den dedizierten Computer für die Einzelpixel-Bildgebung mit einem SoC-FPGA vorgeschlagen. Eine Neuheit des vorgeschlagenen dedizierten Computers besteht darin, dass parallelisierte Rekonstruktionsschaltungen parallel verwendet werden und ein FPGA mit eingebetteter CPU übernommen wurde. Darüber hinaus kann der dedizierte Computer Aufgaben parallel verarbeiten, einschließlich Analog-Digital-Umwandlungen, Rekonstruktionsberechnungen und Anzeigeverarbeitung. Der FPGA-Teil im Soc-FPGA übernimmt den Empfang der gemessenen Intensitäten der Analog-Digital-Umwandlung und die Rekonstruktionsberechnung, und der eingebettete CPU-Teil initialisiert die Rekonstruktionsschaltung, normalisiert die Rekonstruktionsergebnisse auf 8-Bit-Bilder und zeigt die Bilder auf einem Anzeigefeld an Verwendung von OpenGL, einer Open-Source-Software für Computer Vision. Insbesondere kann unser dedizierter Computer rekonstruierte Bilder mit 128 × 128 Pixeln verarbeiten, was größer ist als bei früheren Studien mit FPGAs23,24. Um große Bilder verarbeiten zu können, müssen wir UltraRAM verwenden, das über die größte Kapazität unter den integrierten Speichern im SoC-FPGA verfügt. Da UltraRAM nicht über den FPGA-Teil initialisiert werden kann, muss es bei Verwendung als ROM von der eingebetteten CPU initialisiert werden.

Wir haben die Rechengeschwindigkeit des dedizierten Computers analysiert. Aus Tabelle 1 geht hervor, dass die Berechnungszeit der eingebetteten CPU allein und der Desktop-CPU proportional zur Anzahl der Kodierungsmaskenmuster zunimmt. Im Gegensatz dazu erhöht sich die Berechnungszeit des dedizierten Computers nicht wesentlich, wenn die Anzahl der Kodierungsmaskenmuster zunimmt. Dies liegt daran, dass die im dedizierten Computer erforderliche Kommunikationszeit den größten Teil der gesamten Verarbeitungszeit einnimmt. Die Kommunikation des dedizierten Computers besteht lediglich in der Übertragung rekonstruierter Bilder an die eingebettete CPU, da die Kodierungsmaskenmuster in den ROMs im FPGA gespeichert sind. Daher hängt die Kommunikationszeit nicht von der Anzahl der Kodierungsmaskenmuster ab. Somit wird der dedizierte Computer im Hinblick auf die für die Rekonstruktion erforderliche Zeit mit zunehmender Anzahl der Kodierungsmaskenmuster vorteilhafter.

Aus Tabelle 2 geht hervor, dass der dedizierte Computer in den Experimenten am schnellsten war. Die Rekonstruktionsberechnung wird parallel zur Anzeige von Codierungsmaskenmustern wie in Abb. 7 durchgeführt. Die eingebettete CPU allein ist langsam, da die Rekonstruktionsberechnung langsamer ist als die Anzeige von Codierungsmaskenmustern. Im Gegensatz dazu sind die Desktop-CPU und der dedizierte Computer schnell, da die Rekonstruktionsberechnung schneller ist als die Anzeige von Kodierungsmaskenmustern.

Die Analog-Digital-Wandlung des dedizierten Computers ist schneller als die der Desktop-CPU. Wie in Abb. 7 dargestellt, wird in der Desktop-CPU der Analog-Digital-Wandler per Software gesteuert und kommuniziert, während im dedizierten Computer die Werte der Analog-Digital-Wandlung direkt vom FPGA gelesen werden, was zu einem höheren Durchsatz führt im dedizierten Computer als Desktop-CPU. Wenn die Bildgröße zunimmt, kann die Desktop-CPU die Rekonstruktionsberechnung und die Anzeige der Kodierungsmaskenmuster nur schwer überlappen, während der dedizierte Computer dies problemlos überlappen kann, was seinen Nutzen weiter erhöht.

Vorgehensweise der Musteroptimierung. In Schritt 1 berechnet „Bildrekonstruktion“ Gl. (1) ohne \(\alpha _i\). „Verlustfunktion“ E ist ein mittlerer quadratischer Fehler. „Aktualisieren“ führt einen Gradientenabstieg durch. „Binarisierung“ führt \( {I}_{B, i}(x,y) = 1 \) durch, wenn \( {I}_{i}(x,y) \ge 0,5 \) andernfalls \( {I} _{B, i}(x,y) = 0 \).

Vergleich zwischen der Musteroptimierung und herkömmlichen Methoden: Ein Beispiel für ein optimiertes Muster ist auf der linken Seite der Abbildung dargestellt. Die rechte Seite der Abbildung zeigt einen Vergleich der rekonstruierten Bildqualität. Die Bildqualität wurde mit DGI23 und Hadamard-Transformation22 verglichen, die in früheren Studien in einem FPGA implementiert waren. Die Größe der Bilder betrug 128 × 128 Pixel. Die Anzahl der Kodierungsmaskenmuster betrug 512 bzw. 1.024.

Bei der Ghost-Imaging-Methode25 werden optimierte Codierungsmaskenmuster und der Skalierungsfaktor \(\alpha _i\) in Gl. (1) wurden in herkömmliche DGI31,32 eingeführt. Die optimierten Codierungsmaskenmuster werden durch Gradientenabstieg erhalten, der häufig beim maschinellen Lernen verwendet wird. Der Skalierungsfaktor \(\alpha _i\) in Gl. (1) wird erhalten als

wobei \(\alpha _i = \frac{\sum _{x=1}^{X} \sum _{y=1}^{Y}I_i (x,y) I_{B,i} (x,y )}{\sum _{x=1}^{X} \sum _{y=1}^{Y} I_{B,i}^2(x,y)}\), \(I_{i} (x,y)\) bezeichnet Graustufenkodierungsmaskenmuster vor der Binärisierung; und \(I_{B, i}(x,y)\) bezeichnet binarisierte Kodierungsmaskenmuster. Die Binarisierung wird als \( {I}_{B, i}(x,y) = 1 \) durchgeführt, wenn \( {I}_{i}(x,y) \ge 0,5 \) andernfalls \( {I }_{B, i}(x,y) = 0\). Abbildung 8 zeigt die Vorgehensweise bei der Musteroptimierung. Die Optimierung erfolgt in zwei Schritten. In Schritt 1 erhalten wir optimierte Graustufenmuster. In Schritt 2 optimieren wir Graustufenmuster erneut, während wir die bereits in Schritt 1 erhaltenen Graustufenmuster binarisieren. Als nächstes wird die Bildrekonstruktion unter Verwendung von Gleichung (1) durchgeführt. (1) mit dem binarisierten Muster und Graustufenmuster werden durch eine Verlustfunktion aktualisiert, für die wir einen mittleren quadratischen Fehler verwendet haben. Durch Wiederholen des obigen Verfahrens erhalten wir endgültige optimierte Binärmuster.

Um unsere Methode mit herkömmlichen Methoden zu vergleichen, zeigt Abb. 9 ein Beispiel für Maskenmuster und entsprechende Rekonstruktionen mit diesen Methoden. Die im FPGA implementierte DGI- und Hadamard-Transformation22,23 werden als herkömmliche Methoden verglichen. Wie in Abb. 9 zu sehen ist, ist die Bildqualität mit unserer Optimierung der Codierungsmaskenmuster drastisch verbessert als mit den herkömmlichen Methoden.

Die während der aktuellen Studie verwendeten und/oder analysierten Datensätze sind auf begründete Anfrage beim entsprechenden Autor erhältlich.

Edgar, MP, Gibson, GM & Padgett, MJ Prinzipien und Perspektiven für die Einzelpixel-Bildgebung. Nat. Photon. 13, 13–20 (2019).

Artikel ADS CAS Google Scholar

Pittman, TB, Shih, YH, Strekalov, DV & Sergienko, AV Optische Bildgebung mittels Zwei-Photonen-Quantenverschränkung. Physik. Rev. A 52, R3429–R3432 (1995).

Artikel ADS CAS Google Scholar

Shapiro, JH Computational Ghost Imaging. Physik. Rev. A 78, 061802 (2008).

Artikel ADS Google Scholar

Zhang, Z., Ma, X. & Zhong, J. Einzelpixel-Bildgebung mittels Fourier-Spektrum-Erfassung. Nat. Komm. 6, 1–6 (2015).

ADS Google Scholar

Zhang, Z., Wang, X., Zheng, G. & Zhong, J. Hadamard-Einzelpixel-Bildgebung versus Fourier-Einzelpixel-Bildgebung. Opt. Express 25, 19619–19639 (2017).

Artikel ADS Google Scholar

Duarte, MF et al. Einzelpixel-Bildgebung mittels komprimierender Abtastung. IEEE-Signalprozess. Mag. 25, 83–91 (2008).

Artikel ADS Google Scholar

Katz, O., Bromberg, Y. & Silberberg, Y. Compressive Ghost Imaging. Appl. Physik. Lette. 95, 131110 (2009).

Artikel ADS Google Scholar

Shimobaba, T. et al. Computergestützte Geisterbildgebung mit Deep Learning. Opt. Komm. 413, 147–151 (2018).

Artikel ADS CAS Google Scholar

Higham, CF, Murray-Smith, R., Padgett, MJ & Edgar, MP Deep Learning für Echtzeit-Einzelpixelvideos. Wissenschaft. Rep. 8, 1–9 (2018).

Artikel ADS CAS Google Scholar

Hoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Einzelpixel-Bildgebung unter Verwendung eines rekurrenten neuronalen Netzwerks kombiniert mit Faltungsschichten. Opt. Express 28, 34069–34078 (2020).

Artikel ADS Google Scholar

Erkmen, BI Computational Ghost Imaging für die Fernerkundung. JOSA A 29, 782–789 (2012).

Artikel ADS Google Scholar

Sun, B. et al. 3D-Computerbildgebung mit Einzelpixeldetektoren. Wissenschaft 340, 844–847 (2013).

Artikel ADS CAS Google Scholar

Sun, M.-J. & Zhang, J.-M. Einzelpixel-Bildgebung und ihre Anwendung in der dreidimensionalen Rekonstruktion: Ein kurzer Überblick. Sensoren 19, 732 (2019).

Artikel ADS Google Scholar

Olivieri, L. et al. Hyperspektrale Terahertz-Mikroskopie mittels nichtlinearer Geisterbildgebung. Optica 7, 186–191 (2020).

Artikel ADS CAS Google Scholar

Vallés, A., He, J., Ohno, S., Omatsu, T. & Miyamoto, K. Breitbandige hochauflösende Terahertz-Einzelpixel-Bildgebung. Opt. Express 28, 28868–28881 (2020).

Artikel ADS Google Scholar

Ota, S. et al. Geisterzytometrie. Wissenschaft 360, 1246–1251 (2018).

Artikel ADS CAS Google Scholar

Edgar, M. et al. Gleichzeitiges Echtzeit-Video im sichtbaren und infraroten Bereich mit Einzelpixel-Detektoren. Wissenschaft. Rep. 5, 1–8 (2015).

Artikel Google Scholar

Gibson, GM et al. Echtzeit-Bildgebung von Methangaslecks mithilfe einer Einzelpixelkamera. Opt. Express 25, 2998–3005 (2017).

Artikel ADS CAS Google Scholar

Xu, Z.-H., Chen, W., Penuelas, J., Padgett, M. & Sun, M.-J. Computergestützte Geisterbilder mit 1000 fps und LED-basierter strukturierter Beleuchtung. Opt. Express 26, 2427–2434 (2018).

Artikel ADS Google Scholar

Salvador-Balaguer, E. et al. Kostengünstige Einzelpixel-3D-Bildgebung durch Verwendung eines LED-Arrays. Opt. Express 26, 15623–15631 (2018).

Artikel ADS Google Scholar

García, AM, Quero, CO, Rangel-Magdaleno, J., Martínez-Carranza, J. & Romero, DD Edge-Computing-SOC-Implementierung eines Compressive-Sensing-Algorithmus für Einzelpixelkameras. Im Jahr 2021 18. Internationale Konferenz für Elektrotechnik, Informatik und automatische Steuerung (CCE), 1–5 (IEEE, 2021).

del Angel-Arrieta, F., Morales-Pérez, CJ, de Jesus Rangel-Magdaleno, J. & Ramos-García, R. Fpga-Implementierung der Linearkombination für die Einzelpixel-Bildrekonstruktion. Im Jahr 2021 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 1–6, https://doi.org/10.1109/I2MTC50364.2021.9460102 (2021).

Hoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Computergestützte Geisterbildgebung mit einem feldprogrammierbaren Gate-Array. OSA Fortsetzung. 2, 1097–1105 (2019).

Artikel Google Scholar

Yang, Z., Liu, J., Zhang, W.-X., Ruan, D. & Li, J.-L. Sofortige Einzelpixel-Bildgebung: On-Chip-Echtzeitimplementierung basierend auf dem Instant Ghost Imaging-Algorithmus. OSA Fortsetzung. 3, 629–636 (2020).

Artikel CAS Google Scholar

Hoshi, I., Shimobaba, T., Kakue, T. & Ito, T. Optimierte binäre Muster durch Gradientenabstieg für Geisterbilder. IEEE Access 9, 97320–97326 (2021).

Artikel Google Scholar

Li, Z.-P. et al. Einzelphotonenbildgebung über 200 km. Optica 8, 344–349 (2021).

Artikel ADS Google Scholar

Shi, D. et al. Schnelle Verfolgung bewegter Objekte mithilfe der Einzelpixel-Bildgebung. Opt. Komm. 440, 155–162 (2019).

Artikel ADS CAS Google Scholar

Zha, L. et al. Komplementäre Momenterkennung zur Verfolgung eines sich schnell bewegenden Objekts mithilfe von Dual-Einzelpixel-Detektoren. Opt. Lette. 47, 870–873 (2022).

Artikel ADS Google Scholar

Zha, L. et al. Einzelpixel-Verfolgung von sich schnell bewegenden Objekten mithilfe der Erkennung geometrischer Momente. Opt. Express 29, 30327–30336 (2021).

Artikel ADS Google Scholar

Hahn, J., Debes, C., Leigsnering, M. & Zoubir, AM Compressive Sensing und adaptive Direct Sampling in der hyperspektralen Bildgebung. Graben. Signalprozess. 26, 113–126 (2014).

Artikel Google Scholar

Ferri, F., Magatti, D., Lugiato, LA & Gatti, A. Differential Ghost Imaging. Physik. Rev. Lett. 104, 253603 (2010).

Artikel ADS CAS Google Scholar

Sun, B., Welsh, SS, Edgar, MP, Shapiro, JH & Padgett, MJ Normalisierte Geisterbilder. Opt. Express 20, 16892–16901 (2012).

Artikel ADS Google Scholar

Referenzen herunterladen

Diese Arbeit wurde teilweise von der Yazaki Memorial Foundation for Science and Technology unterstützt.

Graduate School of Engineering, Chiba-Universität, 1-33, Yayoi-cho, Inage-ku, Chiba, Japan

Ikuo Hoshi, Tomoyoshi Shimobaba, Takashi Kakue und Tomoyoshi Ito

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

IH und TS konzipierten das Projekt, IH entwarf und implementierte den speziellen Computer, führte die Experimente durch und analysierte die Ergebnisse. Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit Ikuo Hoshi.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Zusatzvideo 1.

Zusatzvideo 2.

Zusatzvideo 3.

Zusatzvideo 4.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Hoshi, I., Shimobaba, T., Kakue, T. et al. Echtzeit-Einzelpixel-Bildgebung mithilfe eines feldprogrammierbaren System-on-a-Chip-Gate-Arrays. Sci Rep 12, 14097 (2022). https://doi.org/10.1038/s41598-022-18187-8

Zitat herunterladen

Eingegangen: 06. Mai 2022

Angenommen: 08. August 2022

Veröffentlicht: 18. August 2022

DOI: https://doi.org/10.1038/s41598-022-18187-8

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.