1.2. Detecció de fruits i estimació de collita

Participants: E. Gregorio, J.R. Rosell-Polo, J. Arnó, J. Gené, A. Escolà, R. Sanz, J.C. Miranda

Detecció i caracterització de fruits 

La disponibilitat de metodologies pràctiques i fiables de detecció de fruits en camp resulta fonamental per realitzar previsions acurades de la collita, per progressar en la recol·lecció robotitzada o per optimitzar les operacions d’aclarida, entre moltes altres aplicacions. Malgrat els avenços assolits en àmbits com la robòtica o la visió per computador, la detecció de fruits continua essent un repte que ha de fer front a problemes com la identificació de fruits oclosos per altres òrgans vegetatius, o la possibilitat de treballar sota diferents condicions d’il·luminació. Amb l’objectiu de minimitzar les anteriors limitacions, des del nostre grup treballem en el desenvolupament de noves metodologies de detecció i localització 3D de fruits mitjançant la integració de sensors amb algoritmes de visió artificial i/o d’intel·ligència artificial. Les metodologies de detecció utilitzades inclouen, entre altres, sensors LiDAR 3D, càmeres de profunditat (RGB-D) i tècniques fotogramètriques com ara structure-from-motion (SfM). 

Els sensors LiDAR 3D es basen en l’emissió de múltiples feixos làser que simultàniament giren a elevada freqüència, generant d’aquesta forma un núvol de punts 3D de l’escena escanejada (Figura 1a). La intensitat de llum reflectida permet diferenciar els fruits d’altres òrgans vegetatius (Figura 1b). A més, aquesta metodologia no es veu afectada per les condicions d’il·luminació i presenta l’avantatge de proporcionar directament la localització 3D dels fruits (Gené-Mola et al., 2019b).

Una altra estratègia per minimitzar el nombre de fruits oclosos ha consistit en combinar sensors LiDAR 3D amb l’aplicació forçada d’aire. Tal com es mostra en la Figura 2, la combinació de fruits detectats en ambdós escenaris (amb i sense aire) permet incrementar el percentatge de fruits detectats (Gené-Mola et al., 2019a).

Figura 2. Les figures dreta i esquerra mostren, respectivament, assajos sense aplicació forçada d’aire i amb aplicació d’aire. S’observa com l’afectació de l’aire és diferent segons el fruit, provocant la disoclusió (quadre vermell) o l’oclusió (quadre blau) dels fruits. Font: Gené-Mola et al. (2019a).

Els sensors RGB-D són dispositius que proporcionen simultàniament dades de color, de profunditat i d’intensitat de senyal infraroig. La informació proporcionada pels tres canals s’ha utilitzat per entrenar xarxes neuronals profundes (deep learning) (Gené-Mola et al., 2019c), assolint valors de detecció significativament superiors als obtinguts en aproximacions convencionals basades en imatges RGB (Figura 3).

Figura 3. Resultats de detecció de fruits corresponents a imatges a color (RGBp), senyal infraroig (S), profunditat (D) i combinació dels anteriors (RGBp+S+D). S’observa que al combinar la informació dels tres canals, el nombre de veritables positius és superior, mentre que es redueixen substancialment els falsos positius i els falsos negatius. Font: Gené-Mola et al. (2019c).

Structure-from-motion és una tècnica fotogramètrica que permet reconstruir núvols de punts 3D d’elevada resolució a partir de fotografies obtingudes des de diferents posicions (Figura 5). La combinació d’aquests models amb xarxes neuronals profundes (deep learning) permet elevats percentatges de detecció (> 90%) amb menys d’un 4% de falsos positius (Gené-Mola et al., 2020b). A la Figura 4 es mostra un exemple de detecció de fruits en imatges mitjançant xarxes neuronals profundes. A la Figura 5, es mostren els resultats obtinguts després d’aplicar tècniques de fotogrametria per tal de localitzar les deteccions de les imatges a l’espai 3D. Al següent enllaç es mostra una visualització 3D interactiva d’aquests resultats.

Figura 4. Resultats de detecció i segmentació de fruits en imatges RGB mitjançant la xarxa neuronal profunda Mask-RCNN. Font: Gené-Mola et al. (2020a).

Figura 5. (superior) Núvol de punts 3D generat a partir de les imatges RGB originals. (inferior) Fruits detectats aplicant una xarxa neuronal sobre les imatges RGB i projectant les deteccions en el núvol 3D. Visualització 3D dels resultats: aquí. Font: Gené-Mola et al. (2020b).

Actualment, el nostre grup treballa en el desenvolupament de noves tècniques per caracteritzar els fruits en camp i particularment, per estimar la grandària dels fruits. A més de tractar-se d’un paràmetre de qualitat de primer ordre, el coneixement de la grandària dels fruits per part dels productors és clau per optimitzar la presa de decisions i per realitzar prediccions de collita acurades. En aquest sentit, des del nostre grup s’han desenvolupat dues metodologies: una per mesurar fruits en núvols de punts 3D (Figura 6); i una per detectar i mesurar fruits mitjançant xarxes neuronals en imatges RGB-D (Figura 7).

Figura 6. Estimació de grandària de pomes en núvols de punts 3D generats amb tècniques de Structure-from-motion. Font: Gené-Mola et al. (2021).

Figura 7. Detecció i estimació de grandària de pomes mitjançant xarxes neuronals en imatges RGB-D. Font: Ferrer-Ferrer et al. (2022).

Estimació de collita i tècniques avançades de mostreig

Estimar la collita potencial de fruita a nivell de parcel·la requereix actualment de l’aplicació de mètodes de mostreig que proporcionin estimacions no esbiaixades i precises. A nivell pràctic, els mètodes que s’apliquin han de fer possible que l’error de mostreig (és a dir, la diferència entre el valor real i el valor estimat dividit pel valor real) no superi el 10%, amb l’afegit que això sigui possible utilitzant un nombre reduït d’arbres a mostrejar dins la parcel·la. El comptatge de fruits (o càrrega de fruita) és el paràmetre normalment utilitzat a l’hora de fer aquests mostrejos a camp, resultant finalment una estimació de pes o productivitat (kg/ha) que dependrà de l’espècie, varietat i calibre comercial esperable.

El mostreig aleatori és un mètode prou conegut. No obstant això, és inevitable un cert biaix per part dels fructicultors i/o tècnics que l’utilitzen, sent per tant qüestionable la representativitat dels arbres seleccionats durant el procés de mostreig. Per altra banda, l’assoliment de prediccions precises (amb baix error de mostreig) sol requerir la selecció d’un nombre elevat d’arbres, i més encara si la parcel·la presenta una variabilitat espacial significativa pel que fa a la collita o càrrega de fruita per arbre.

Amb l’objectiu d’optimitzar el mostreig en plantacions fructícoles, el Grup de Recerca en Agricultura de Precisió (GRAP) ha vingut assajant dos mètodes avançats de mostreig que fan ús de la informació auxiliar proporcionada per sensors remots, com és el cas de les imatges aèries adquirides des d’avioneta o dron. El primer mètode (mostreig estratificat) fa ús de l’índex de vegetació NDVI (Normalized Difference Vegetation Index). La classificació dels arbres en funció de l’NDVI de la seva capçada permet diferenciar diferents zones amb diferent NDVI i collita potencial dins la parcel·la. Després, només és qüestió de mostrejar aleatòriament dins de cada zona per tal d’obtenir una mostra més representativa dels arbres de la parcel·la. Aplicant aquesta metodologia, Uribeetxebarria et al. (2019a) han aconseguit reduir la mida de la mostra un 17%, tot mantenint la mateixa precisió de mostreig en comparació al mètode aleatori a que es feia referència anteriorment. La Figura 8 mostra l’efecte de l’estratificació quan es disposa d’una imatge prèvia del vigor (NDVI) dels arbres.

Figura 8. Esquemes de mostreig amb una mida de mostra de 12 arbres o punts de mostreig: (esquerra) mostreig aleatori simple, (centre) mostreig estratificat mitjançant dos classes de NDVI (6 arbres per classe), (dreta) mostreig estratificat mitjançant tres classes de NDVI (4 arbres per classe). Font: Uribeetxebarria et al. (2019a).

El segon mètode (ranked-set sampling) ha esta aplicat per primer cop en fructicultura pel nostre grup de recerca (Uribeetxebarria et al., 2019b). Igual que el mostreig estratificat, aquest segon mètode fa ús també de la informació proporcionada per sensors remots per tal de facilitar la selecció d’aquells arbres específics que representin amb fiabilitat el conjunt de la parcel·la. L’objectiu final és desenvolupar un mètode de mostreig que, a més de proporcionar estimacions de rendiment precises, permeti utilitzar alhora mides de mostra petites (Uribeetxebarria et al., 2019a). Així, aplicant aquest segon mètode, el nostre grup ha aconseguit estimacions satisfactòries de la càrrega de fruita en presseguer utilitzant mides de mostra de tan sols 5 arbres per parcel·la. La informació auxiliar finalment recomanada per a una millor eficiència del mostreig (selecció dels arbres) ha estat l’àrea projectada de la capçada. Aquesta informació de la mida dels arbres s’obté amb major resolució a partir de càmeres RGB muntades en vehicles aeris no tripulats o dron (Uribeetxebarria et al., 2019b).

Malgrat aquests primers resultats satisfactoris, la variabilitat inherent en moltes plantacions fa que sigui tot un repte l’estimació de la collita. La qüestió que queda ara per resoldre és la possible combinació de mètodes avançats de mostreig i tècniques modernes de visió i detecció de fruita per a una estimació més precisa de la collita, ja sigui en termes de càrrega de fruita o en termes de producció potencial en kg o tones per hectàrea.

Referències:

Ferrer-Ferrer M, Ruiz-Hidalgo J, Gregorio E, Vilaplana V, Morros JR, Gené-Mola J. 2022. Simultaneous Fruit Detection and Size Estimation Using Multitask Deep Neural Networks. (Submitted)

Gené-Mola, J., Gregorio, E., Auat Cheein, F., Guevara, J., Llorens, J., Sanz-Cortiellaa, R., Escolà, A., Rosell-Polo, J.R., 2019a. Fruit detection, yield prediction and canopy geometric characterization using LiDAR with forced air flow. Comput. Electron. Agric. 168. DOI: 10.1016/j.compag.2019.105121

Gené-Mola, J., Gregorio, E., Guevara, J., Auat, F., Sanz-cortiella, R., Escolà, A., Llorens, J., Morros, J.-R., Ruiz-Hidalgo, J., Vilaplana, V., Rosell-Polo, J.R., 2019b. Fruit detection in an apple orchard using a mobile terrestrial laser scanner. Biosyst. Eng. 187, 171–184. DOI:10.1016/j.biosystemseng.2019.08.017

Gené-Mola, J., Gregorio, E., Rosell-Polo, J.R., 2020a. Cómo la inteligencia artificial nos ayuda a contar manzanas [WWW Document]. Conversat. DOI: theconversation.com/como-la-inteligencia-artificial-nos-ayuda-a-contar-manzanas-130571

Gené-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Escolà, A., Gregorio, E., 2021. In-field apple size estimation using photogrammetry-derived 3D point clouds: comparison of 4 different methods considering fruit occlusions. Comput. Electron. Agric. 188, 106343. DOI: 10.1016/j.compag.2021.106343

Gené-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Morros, J.-R.R., Ruiz-Hidalgo, J., Vilaplana, V., Gregorio, E., 2020b. Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry. Comput. Electron. Agric. 169. DOI: 10.1016/j.compag.2019.105165

Gené-Mola, J., Vilaplana, V., Rosell-Polo, J.R., Morros, J.R., Ruiz-Hidalgo, J., Gregorio, E., 2019c. Multi-modal deep learning for Fuji apple detection using RGB-D cameras and their radiometric capabilities. Comput. Electron. Agric. 162, 689–698. DOI: 10.1016/j.compag.2019.05.016

Uribeetxebarria, A., Martínez-Casasnovas, J.A., Escolà, A., Rosell-Polo, J.R., Arnó, J., 2019a. Stratified sampling in fruit orchards using cluster-based ancillary information maps: a comparative analysis to improve yield and quality estimates. Precis. Agric. 20, 179-192. DOI:10.1007/s11119-018-9619-9

Uribeetxebarria, A., Martínez-Casasnovas, J.A., Tisseyre, B., Guillaume, S., Escolà, A., Rosell-Polo, J.R., Arnó, J. 2019b. Assessing ranked set sampling and ancillary data to improve fruit load estimates in peach orchards. Comput. Electron. Agric. 164, 104931. DOI: 10.1016/j.compag.2019.104931