Если столбец статический, всегда A, тогда в B3 на sheet2 просто поместите начальный номер строки и используйте эту формулу:
=SUM(INDEX('datasheet'!A:A,Sheet2!$B$3):INDEX('datasheet'!A:A,MATCH(1E+99,'datasheet'!A:A)))
Он будет суммироваться от указанной строки до последней ячейки с номером в ней.
Другой вариант, так как SUM игнорирует любые нечисловые значения, которые формула может быть сокращена до:
=SUM(INDEX('datasheet'!A:A,Sheet2!$B$3):'datasheet'!A65000)
Измените 65000 на смехотворно большое число, которое никогда не будет достигнуто в вашем наборе данных.