Победа! Танцы с бубнами удались!
По-порядку:
1. Тестируем, где проблема - в инсталляции сервиса, или в инсталляции приложения.
- запускаем сервис на другом приложении (на котором все работает) - этот сервис стартует.
- меняем alternate bin directory в Server Configuration Utility, рестартуем, AOS сервис продолжает успешно стартовать
- меняем application file location в Server Configuration Utility - сервис перестает запускаться. Значит что-то не то в папке приложения.
- пофайлово сравниваем содержимое папок, и обнаруживаем, что чистая инсталляция почему-то не содержит такие файлы, как:
axapden-us.adi
axsysja.ahd
axapd.aoi
axapden-us.khi
Копируем их из нормального приложения, рестартуем сервис АОСа, он долго отрабатывает (переиндексирует файлы справки, пересоздает axapd.aoi, судя по Event Log), и в итоге остается в состоянии "Started".
В общем, проблема была в отсутствии одного (или нескольких) из 4 вышеперечисленных файлов в папке приложения, на которую натравливался AOS.