Se utilizzate le API di Google Maps versione 3.27 o superiore basterà inserire tra le opzioni questa stringa:

gestureHandling: 'cooperative'

In questo modo verrà disabilitato lo scrolling con un solo dito ma abilitato quello a due dita.