楽器を全く触ったことがないのですが、体験レッスンに行っても大丈夫ですか？

もちろんです。
教室には楽器の準備がありますし、まったく楽器に触れたことがなくても、個別レッスンでカリキュラムを組むため、どんな人でもはじめることができます。