1.2. Detección de frutos y estimación de cosecha

Participantes: E. Gregorio, J.R. Rosell-Polo, J. Arnó, J. Gené, A. Escolà, R. Sanz, J.C. Miranda

Detección y caracterización de frutos

La disponibilidad de metodologías prácticas y fiables de detección de frutos en campo resulta fundamental para realizar previsiones precisas de la cosecha, para progresar en la recolección robotizada o para optimizar las operaciones de aclareo, entre otras muchas aplicaciones. A pesar de los avances alcanzados en ámbitos como la robótica o la visión por computador, la detección de frutos sigue siendo un reto que debe hacer frente a problemas como la identificación de frutos ocluidos por otros órganos vegetativos, o la posibilidad de trabajar bajo diferentes condiciones de iluminación. Con el objetivo de minimizar las anteriores limitaciones, desde nuestro grupo trabajamos en el desarrollo de nuevas metodologías de detección y localización 3D de frutos mediante la integración de sensores con algoritmos de visión artificial y/o inteligencia artificial. Las metodologías de detección utilizadas incluyen, entre otros, sensores LiDAR 3D, cámaras de profundidad (RGB-D) y técnicas fotogramétricas como structure-from-motion (SfM).

Los sensores LiDAR 3D se basan en la emisión de múltiples haces láser que simultáneamente giran a elevada frecuencia, generando de esta forma una nube de puntos 3D de la escena escaneada (Figura 1a). La intensidad de luz reflejada permite diferenciar los frutos de otros órganos vegetativos (Figura 1b). Además, esta metodología no se ve afectada por las condiciones de iluminación y presenta la ventaja de proporcionar directamente la localización 3D de los frutos (Gené-Mola et al., 2019b)

Otra estrategia para minimizar el número de frutos ocluidos ha consistido en combinar sensores LiDAR 3D con la aplicación forzada de aire. Tal y como se muestra en la Figura 2, la combinación de frutos detectados en ambos escenarios (con y sin aire) permite incrementar el porcentaje de frutos detectados (Gené-Mola et al., 2019a).

Figura 2. Las figuras derecha e izquierda muestran respectivamente ensayos sin aplicación forzada de aire y con aplicación de aire. Se observa cómo la afectación del aire es diferente según el fruto, provocando la desoclusión (cuadro rojo) o la oclusión (cuadro azul) de los frutos. Fuente: Gené-Mola et al. (2019a)

Los sensores RGB-D son dispositivos que proporcionan simultáneamente datos de color, profundidad e intensidad de señal infrarroja. La información proporcionada por los tres canales se ha utilizado para entrenar redes neuronales profundas (deep learning) (Gené-Mola et al., 2019c), alcanzando valores de detección significativamente superiores a los obtenidos en aproximaciones convencionales basadas en imágenes RGB (Figura 3).

Figura 3. Resultados de detección de frutos correspondientes a imágenes a color (RGBp), señal infrarroja (S), profundidad (D) y combinación de los anteriores (RGBp+S+D). Se observa que, al combinar la información de los tres canales, el número de verdaderos positivos es superior, mientras que se reducen substancialmente los falsos positivos y los falsos negativos. Fuente: Gené-Mola et al. (2019c).

Structure-from-motion es una técnica fotogramétrica que permite reconstruir nubes de puntos 3D de elevada resolución a partir de fotografías obtenidas desde diferentes posiciones (Figura 5). La combinación de estos modelos con redes neuronales profundas (deep learning) permite elevados porcentajes de detección (>90%) con menos de un 4% de falsos positivos (Gené-Mola et al., 2020b). En la Figura 4 se muestra un ejemplo de detección de frutos en imágenes mediante redes neuronales profundas. En la Figura 5, se muestran los resultados obtenidos después de aplicar técnicas de fotogrametría para localizar las detecciones de las imágenes en el espacio 3D. En el siguiente enlace se muestra una visualización 3D interactiva de estos resultados.

Figura 4. Resultados de detección y segmentación de frutos en imágenes RGB mediante la red neuronal profunda Mask-RCNN. Fuente: Gené-Mola et al. (2020a).

Figura 5. (superior) Nube de puntos 3D generada a partir de las imágenes RGB originales. (inferior) Frutos detectados aplicando una red neuronal sobre las imágenes RGB y proyectando las detecciones en la nube 3D. Visualización 3D de los resultados: aquí. Fuente: Gené-Mola et al. (2020b)

Actualmente, nuestro grupo trabaja en el desarrollo de nuevas técnicas para caracterizar los frutos en campo y particularmente para estimar el tamaño de los frutos. Además de tratarse de un parámetro de calidad de primer orden, el conocimiento del tamaño de los frutos por parte de los productores es clave para optimizar la toma de decisiones y para realizar predicciones de cosecha cuidadosas. En este sentido, desde nuestro grupo se han desarrollado dos metodologías: una para medir frutos en nubes de puntos 3D (Figura 6); y una para detectar y medir frutos mediante redes neuronales en imágenes RGB-D (Figura 7).

Figura 6. Estimación de tamaño de manzanas en nubes de puntos 3D generadas con técnicas de Structure-from-motion. Fuente: Gené-Mola et al. (2021).

Figura 7. Detección y estimación de tamaño de manzanas mediante redes neuronales en imágenes RGB-D. Fuente: Ferrer-Ferrer et al. (2022).

Estimación de cosecha y técnicas avanzadas de muestreo

Estimar la cosecha potencial de fruta a nivel de parcela requiere actualmente la aplicación de métodos de muestreo que proporcionen estimaciones no sesgadas y precisas. A nivel práctico, los métodos que se apliquen deben hacer posible que el error de muestreo (es decir, la diferencia entre el valor real y el valor estimado dividido por el valor real) no supere el 10%, con el añadido que esto sea posible utilizando un número reducido de árboles a muestrear dentro de la parcela. El conteo de frutos (o carga de fruta) es el parámetro normalmente utilizado a la hora de realizar estos muestreos a campo, resultando finalmente una estimación de peso o productividad (kg/ha) que dependerá de la especie, variedad y calibre comercial esperable.

El muestreo aleatorio es un método ampliamente conocido. Sin embargo, es inevitable un cierto sesgo por parte de los fruticultores y/o técnicos que lo utilizan, siendo por tanto cuestionable la representatividad de los árboles seleccionados durante el proceso de muestreo. Por otra parte, la consecución de predicciones precisas (con bajo error de muestreo) suele requerir la selección de un número elevado de árboles, y más aún si la parcela presenta una variabilidad espacial significativa en cuanto a la cosecha o carga de fruta por árbol.

Con el objetivo de optimizar el muestreo en plantaciones frutícolas, el Grupo de Investigación en Agricultura de Precisión (GRAP) ha venido ensayando dos métodos avanzados de muestreo que utilizan la información auxiliar proporcionada por sensores remotos, como es el caso de las imágenes aéreas adquiridas desde avioneta o dron. El primer método (muestreo estratificado) hace uso del índice de vegetación NDVI (Normalized Difference Vegetation Index). La clasificación de los árboles en función del NDVI de su copa permite diferenciar diferentes zonas con diferente NDVI y cosecha potencial dentro de la parcela. Después, sólo es cuestión de muestrear aleatoriamente dentro de cada zona para obtener una muestra más representativa de los árboles de la parcela. Aplicando esta metodología, Uribeetxebarria et al. (2019a) han logrado reducir el tamaño de la muestra un 17%, manteniendo la misma precisión de muestreo en comparación con el método aleatorio a que se hacía referencia anteriormente. La Figura 8 muestra el efecto de la estratificación cuando se dispone de una imagen previa del vigor (NDVI) de los árboles.

Figura 8. Esquemas de muestreo con un tamaño de muestra de 12 árboles o puntos de muestreo: (izquierda) muestreo aleatorio simple, (centro) muestreo estratificado mediante dos clases de NDVI (6 árboles por clase), (derecha) muestreo estratificado mediante tres clases de NDVI (4 árboles por clase). Fuente: Uribeetxebarria et al. (2019a).

El segundo método (ranked-set sampling) ha sido aplicado por primera vez en fruticultura por nuestro grupo de investigación (Uribeetxebarria et al., 2019b). Al igual que el muestreo estratificado, este segundo método utiliza también la información proporcionada por sensores remotos para facilitar la selección de aquellos árboles específicos que representen con fiabilidad el conjunto de la parcela. El objetivo final es desarrollar un método de muestreo que, además de proporcionar estimaciones de rendimiento precisas, permita utilizar a la vez pequeños tamaños de muestra (Uribeetxebarria et al., 2019a). Así, aplicando este segundo método, nuestro grupo ha conseguido estimaciones satisfactorias de la carga de fruta en melocotonero utilizando tamaños de muestra de tan sólo 5 árboles por parcela. La información auxiliar finalmente recomendada para una mejor eficiencia del muestreo (selección de los árboles) ha sido el área proyectada de la copa. Esta información del tamaño de los árboles se obtiene con mayor resolución a partir de cámaras RGB montadas en vehículos aéreos no tripulados o dron (Uribeetxebarria et al., 2019b).

A pesar de estos primeros resultados satisfactorios, la variabilidad inherente a muchas plantaciones hace que sea todo un reto la estimación de la cosecha. La cuestión que queda ahora por resolver es la posible combinación de métodos avanzados de muestreo y técnicas modernas de visión y detección de fruta para una estimación más precisa de la cosecha, ya sea en términos de carga frutal o en términos de producción potencial en kg o toneladas por hectárea.

Referencias:

Ferrer-Ferrer M, Ruiz-Hidalgo J, Gregorio E, Vilaplana V, Morros JR, Gené-Mola J. 2022. Simultaneous Fruit Detection and Size Estimation Using Multitask Deep Neural Networks. (Submitted)

Gené-Mola, J., Gregorio, E., Auat Cheein, F., Guevara, J., Llorens, J., Sanz-Cortiellaa, R., Escolà, A., Rosell-Polo, J.R., 2019a. Fruit detection, yield prediction and canopy geometric characterization using LiDAR with forced air flow. Comput. Electron. Agric. 168. DOI: 10.1016/j.compag.2019.105121

Gené-Mola, J., Gregorio, E., Guevara, J., Auat, F., Sanz-cortiella, R., Escolà, A., Llorens, J., Morros, J.-R., Ruiz-Hidalgo, J., Vilaplana, V., Rosell-Polo, J.R., 2019b. Fruit detection in an apple orchard using a mobile terrestrial laser scanner. Biosyst. Eng. 187, 171–184. DOI:10.1016/j.biosystemseng.2019.08.017

Gené-Mola, J., Gregorio, E., Rosell-Polo, J.R., 2020a. Cómo la inteligencia artificial nos ayuda a contar manzanas [WWW Document]. Conversat. DOI: theconversation.com/como-la-inteligencia-artificial-nos-ayuda-a-contar-manzanas-130571

Gené-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Escolà, A., Gregorio, E., 2021. In-field apple size estimation using photogrammetry-derived 3D point clouds: comparison of 4 different methods considering fruit occlusions. Comput. Electron. Agric. 188, 106343. DOI: 10.1016/j.compag.2021.106343

Gené-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Morros, J.-R.R., Ruiz-Hidalgo, J., Vilaplana, V., Gregorio, E., 2020b. Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry. Comput. Electron. Agric. 169. DOI: 10.1016/j.compag.2019.105165

Gené-Mola, J., Vilaplana, V., Rosell-Polo, J.R., Morros, J.R., Ruiz-Hidalgo, J., Gregorio, E., 2019c. Multi-modal deep learning for Fuji apple detection using RGB-D cameras and their radiometric capabilities. Comput. Electron. Agric. 162, 689–698. DOI: 10.1016/j.compag.2019.05.016

Uribeetxebarria, A., Martínez-Casasnovas, J.A., Escolà, A., Rosell-Polo, J.R., Arnó, J., 2019a. Stratified sampling in fruit orchards using cluster-based ancillary information maps: a comparative analysis to improve yield and quality estimates. Precis. Agric. 20, 179-192. DOI:10.1007/s11119-018-9619-9

Uribeetxebarria, A., Martínez-Casasnovas, J.A., Tisseyre, B., Guillaume, S., Escolà, A., Rosell-Polo, J.R., Arnó, J. 2019b. Assessing ranked set sampling and ancillary data to improve fruit load estimates in peach orchards. Comput. Electron. Agric. 164, 104931. DOI: 10.1016/j.compag.2019.104931