Sensoren in der Obst- und Gemüseproduktion

Im Gartenbau werden für die präzise Bewirtschaftung räumlich aufgelöste Pflanzendaten benötigt. Die Daten stehen mit unterschiedlichen Skalen zur Verfügung (Abbildung 1). Frei verfügbare Satellitenbilder zeigen die räumliche Verteilung des NDVI, wobei innerhalb der Anlage nicht zwischen Wegen und Baumreihen unterschieden werden kann. Um Informationen über einzelne Bäume oder auch Baumgruppen zu erhalten, können Drohnenbilder herangezogen werden, wobei auch einzelne Bäume als 3D Modelle dargestellt werden können [1]. Um quantitative Daten, beispielsweise auf Fruchtniveau zu erhalten, ist eine sehr hohe räumliche Auflösung erforderlich und die Beschattung in der Krone führt als Störgröße zu erhöhter Messunsicherheit. Hier sind aktive Sensoren, mit eigener Lichtquelle wie beispielsweise LiDAR-Laserscanner (light detection and ranging) eine gute Lösung. In der Abbildung sieht man im oberen Bereich "Verwehungen" in der Punktwolke durch die Windbewegung an den Ästen. Vermeidet man die Messung bei erhöhter Windgeschwindigkeit, können Früchte mittels LiDAR auch bei variierenden Lichtverhältnissen in der Baumkrone bereits in den Rohdaten erkannt werden (Abbildung 1, rechts). Somit können die Daten für die Einzelfruchtzählung und Fruchtgrößenmessung im Freiland genutzt werden [2].

Abbildung 1: Rohdaten von einer Satellitenaufnahme (links oben), Drohnenüberflug (links unten) und LiDAR Messung eines Einzelbaumes, wobei im gezeigten Winkel besonders im mittleren Bereich der Krone bereits in den Rohdaten die Äpfel aufgrund der rot dargestellten Reflektivitätswerte gut erkennbar sind (rechts).

Figure 1: Raw data from a satellite image (top left), drone overflight (bottom left) and LiDAR measurement of a single tree, whereby the apples are already clearly recognizable in the raw data due to the reflectivity values shown in red at the angle shown, especially in the central area of the crown (right).

LiDAR Messungen werden als Referenzdaten für Überflüge eingesetzt oder der LiDAR Sensor wird direkt an der Drohne betrieben. Da LiDAR Daten auch in der Navigation genutzt werden, liegen zukünftig von autonom fahrenden Maschinen umfangreiche Daten vor, die dann nicht wie üblich verworfen, sondern für bestandsphysiologische Analysen nachgenutzt werden könnten. Eine solche Nachnutzung könnte, durch geringe Kosten und keinen Mehraufwand in den betrieblichen Arbeitsprozessen, ein Schlüssel für Anwendungen in der Praxis sein, die häufig durch wenig praktikable Lösungen und mangels Schulungen limitiert sind [3].

Die benötigte räumliche Auflösung der Pflanzendaten und somit die Wahl des Sensorsystems wird durch den Anwendungsfall vorgegeben. Betrachtet man die Ernte und die Bewässerung als Extreme, so werden für das Erntemanagement sowie in Ernterobotern Daten auf Einzelfruchtebene benötigt. Hier eignen sich Nahbereichssensoren wie Photogrammetrie, hyperspektrale Messungen oder LiDAR. Im Vergleich ist für die zumeist blockweise ausgelegte Bewässerungssteuerung eine deutlich geringere räumliche Auflösung notwendig.

Andererseits müssen Daten zum Erntemanagement lediglich zu wenigen Zeitpunkten oder sogar nur einmalig beim Erntevorgang analysiert werden. Bewässerungsdaten werden dagegen täglich gebraucht. Entsprechend ist die Wahl des Sensorsystems und der tragenden Sensorplattform zu wählen. In der Anwendung sind hier nach wie vor stationäre, in der direkten Pflanzenumgebung angebrachte Sensoren, die mittels Sensornetzwerk eine hohe temporäre Datenauflösung bereitstellen. Es können jedoch auch Daten von unterschiedlichen Skalen und Sensorsystemen zusammengeführt werden, die mit unterschiedlichem Messintervall erhoben wurden.

Fusion von Sensordaten

Verschiedene Sensoren erlauben die Aufzeichnung unterschiedlicher, ggf. synergistischer Pflanzeninformationen. Die Zusammenführung der Daten verschiedener Sensoren, sogenannte multimodaler Daten, bedarf jedoch der zeitlichen und räumlichen Zusammenführung zur Beschreibung eines Objektes. Während die zeitliche Zusammenführung mittels UTC Stempel bereits seit Jahrzehnten möglich ist, sind in der räumlichen Datenzusammenführung im Gartenbau noch Fragen offen. Die Sensoren werden zumeist ohne eine Einmessung in ein räumliches Koordinatensystem aufgenommen, so dass Referenzpunkte direkt in den jeweiligen Daten gefunden werden müssen. In Arbeiten aus 2024 wurde die Zusammenführung von RGB Bildern, hyperspektralen Daten und Fluoreszenzmessungen für eine automatisierte Datenregistrierung beschrieben [4]. Im Weinbau erfolgte die fortführende Publikation der photogrammetrischen Pflanzenanalyse unter Nutzung einer mitgeführten Lichtquelle, wobei das Auffinden der Weinbeeren in den Bilddaten mittel künstlicher neuronaler Netze gelöst wurde [5]. Der Weinanbau ist seit der Einführung von Nahbereichssensoren als innovativer Vorreiter in der räumlichen Datenverarbeitung tätig. Die Daten wurden genutzt, um Anomalien der Blätter und Weinbeeren zu detektieren. Die Nutzung von KI wird auch international hinsichtlich der sich rasant entwickelnden verfügbaren neuronalen Netzwerke beschrieben und bereits hinsichtlich der Erklärbarkeit der Ergebnisse untersucht.

Aufgrund der Möglichkeit bei wechselnden Lichtverhältnissen innerhalb der Baumkronen zu messen, wurde im Obstbau die Messung mittels LiDAR Sensoren hinsichtlich der Fruchtform- und Größenanalyse [1, 2], aber auch der NDVI, bzw. Chlorophyllanalyse, von Früchten weiterentwickelt [6]. Für letztgenannte Pigmentanalyse erfolgte die Fusionierung zweier LiDAR basierter 3D Punktwolken und Auswertung der Reflektivität der Fruchtoberfläche. Voraussetzung für die räumliche Registrierung beider Datensätze war das Auffinden des Fruchtmittelpunktes in den lokalen 3D Punktwolken.

LiDAR Anwendungen bieten eine feldtaugliche Methode, um geometrische Modelle eines Bestandes zu erheben. Diese 3D Daten können mit zusätzlichen Pflanzeninformationen zusammengeführt werden. Die Fusion von 3D Punktwolken (Abbildung 1, rechts) und Thermalbildern ermöglichte die Messung der Temperaturverteilung in der Baumkrone. Bislang erfolgten Messungen der Fruchtoberflächentemperatur mittels Handmessungen, auf der Frucht angebrachten (wenigen) Thermoelementen oder Modellen unter Nutzung von Wetterdaten. Da die Wetterdaten feldeinheitlich erhoben werden, sind die Messwerte kaum räumlich auswertbar. Mit der direkten Fruchtoberflächentemperaturmessung, basierend auf LiDAR 3D Punktwolken und Thermalbildern, konnten bereits Daten zur räumlich aufgelösten Temperaturverteilung innerhalb der Baumkrone aus der Produktion von Äpfeln, Granatäpfeln (Abbildung 2) und Süßkirschen gezeigt werden. Die Daten konnten räumlich, mit zahlreichen Messpunkten pro Frucht wiederum bis auf Einzelfruchtniveau ausgewertet werden [7].

Abbildung 2: Die Fusion von LiDAR und Thermaldaten zeigt die räumliche Verteilung der Oberflächentemperatur innerhalb der Krone eines Granatapfelbaumes, gemessen am Vormittag mit noch kühleren Früchten im Vergleich zu bereits erwärmten Blättern und Boden.

Figure 2: The fusion of LiDAR and thermal data shows the spatial distribution of the surface temperature within the crown of a pomegranate tree, measured in the morning with still cooler fruit compared to already warmed leaves and soil.

Lösungen zur Registrierung von multimodalen Daten sowie das Detektieren und Segmentieren von Früchten sind somit in der Literatur beschrieben, während Anwendungen der neuartigen Daten, aufgrund der erst kurzfristigen Verfügbarkeit, noch kaum untersucht sind. Ein wichtiger zukünftiger Baustein in der Daten-Pipeline ist hierbei sicherlich die Möglichkeit Einzelfrüchte oder Blätter Nachzuverfolgen. Robuste Datenverarbeitungsmethoden zum Wiederauffinden und Vergleichen auf Einzelfrucht- bzw. -blattebene würden Zeitreihenanalysen zur Beschreibung von Wachstums- und Entwicklungsprozessen ermöglichen.

Zusammenfassung

In der Gartenbauwissenschaft wurden weiterentwickelte Datenverarbeitungsansätze für Sensoren publiziert. Von Satellitenbildern bis zu hochauflösenden LiDAR-Scans können räumlich aufgelöste Pflanzendaten die Datengrundlage für eine zukünftige, präzisere Bewirtschaftung liefern. Die LiDAR Technologie zeigt besonderes Potenzial für detaillierte Messungen auf Fruchtebene. Die Fusion verschiedener Sensordaten eröffnet neue Möglichkeiten zur umfassenden Pflanzenanalyse, unterstützt durch KI und automatisierter Datenregistrierung. Offene Entwicklungsfragen liegen in der Nachnutzung von Daten autonomer Maschinen und verbessertem Tracking einzelner Pflanzenteile.

Literatur

[1]     Hobart, M.; Pflanz, M.; Tsoulias, N.; Weltzien, C.; Kopetzky, M.; Schirrmann, M.: Fruit detection and yield mass estimation from a UAV based RGB dense cloud for an apple orchard. Drones 9 (2025), 60. https://doi.org/10.3390/drones9010060.

[2]     Tapia-Zapata, N.; Saha, K.K.; Tsoulias, N.; Zude-Sasse, M.: A geometric modelling approach to estimate apple fruit size by means of LiDAR 3D point clouds. International Journal of Food Properties 27 (2024), 566–583. https://doi.org/10.1080/10942912.2024.2330494.

[3]     Gaber, K.; Rösch, C.; Bieling, C.: Digital transformation of fruit farming in Germany: Digital tool development, stakeholder perceptions, adoption, and barriers. NJAS: Impact in Agricultural and Life Sciences 96 (2024). https://doi.org/10.1080/27685241.2024.2349544.

[4]     Bethge, H.L.; Weisheit, I.; Dortmund, M.S.; Landes, T.; Zabic, M.; Linde, M.; Debener, T.; Heinemann, D.: Automated image registration of RGB, hyperspectral and chlorophyll fluorescence imaging data. Plant Methods 20 (2024), 175. https://doi.org/10.1186/s13007-024-01296-y.

[5]     Zabawa, L.: Contributions to image-based high-throughput phenotyping in viticulture. Doktorarbeit (2024). Verlag der Bayerischen Akademie der Wissenschaften.

[6]     Saha, K.K.; Weltzien, C.; Bookhagen, B.; Zude-Sasse, M.: Chlorophyll content estimation and ripeness detection in tomato fruit based on NDVI from dual wavelength LiDAR point cloud data. Journal of Food Engineering 383 (2024), 112218. https://doi.org/10.1016/j.jfoodeng.2024.112218.

[7]     Tsoulias, N.; Khosravi, A.; Herppich, W.B.; Zude-Sasse, M.: Fruit water stress index of apple measured by means of temperature annotated 3D point cloud. Plant Phenomics (2024), 0252. https://doi.org/10.34133/plantphenomics.0252.