asumiendo que los puntos donde no tienes valores son celdas (realmente) VACIAS (???), selecciona el grafico y...
herramientas de grafico > diseño > seleccionar datos > celdas ocultas y vacias > (marca) conectar puntos con linea (interpolar)
saludos,
hector.