วัดบ้านปางเป็นวัดเก่าแก่แห่งหนึ่งในจังหวัดลำพูน สร้างขึ้นมาเมื่อประมาณร้อยปีก่อน คือเริ่มสร้างวัดเป็นครั้งแรกเมื่อปี พ.ศ. 2444 จนเมื่อครูบาศรีวิชัยอายุได้ 24 ปี ท่านได้นำพระเณรและศรัทธาชาวบ้านร่วมกันสร้างวัดขึ้น โดยได้ขอให้นายควาย โยมบิดาเป็นผู้แผ้วถาง เป็นปฐมฤกษ์ให้เกิดความเป็นสิริมงคล ต่อจากนั้นพระเณรและศรัทธาชาวบ้านได้ร่วมแรงร่วมใจกันปรับสถานที่บนเนินเขาให้เป็นที่ราบ ในการสร้างและบูรณะวัดบ้านปางในสมัยนั้นเป็นไปอย่างล่าช้า ยากลำบากเพราะขาดเครื่องมือที่จำเป็นเมื่อก่อนวัดบ้านปางจะตั้งอยู่ในบริเวณหมู่บ้าน ครูบาศรีวิชัยเล็งเห็นว่า เมื่อหมู่บ้านเริ่มเจริญมากขึ้นอาจทำให้วัดเกิดความไม่สงบ เนื่องจากถูกบ้านเรือนตั้งอยู่ล้อมรอบ ดังนั้นท่านครูบาจึงได้ไปสร้างวัดใหม่อยู่บนยอดเขาใกล้ๆ หมู่บ้าน โดยเมื่อท่านมาถึงได้สร้างเขตกำแพงหินของวัดก่อนเป็นอันดับแรก โดยมีชาวบ้าน ชาวลัวะ ชาวกะเหรี่ยง ร่วมกับคนเมืองท้องถิ่นได้ช่วยกันนำหินคนละก้อน สองก้อนมาก่อเรียงเป็นกำแพงหิน รอบพื้นที่วัด ประมาณความยาวได้กว่า 2 กิโลเมตรกำแพงหินนี้ถือได้ว่าเป็นสิ่งก่อสร้างตั้งแต่สมัยครูบาศรีวิชัยขึ้นมาสร้างวัด ซึ่งหลงเหลือมาจนปัจจุบัน อันเป็นความร่วมแรงร่วมใจของชาวบ้านที่มีความศรัทธาต่อตัวครูบาเจ้าศรีวิชัย ซึ่งบางคนก็หอบลูกสะพายหลานไว้ข้างหลังมาช่วยกันขนหิน ชาวลัวะที่มีช้างก็นำช้างมาช่วยกันลากหินปรับพื้นที่ บางคนที่ไปช่วยกันขนหินในห้วยแม่ลอง ถือเป็นแรงศรัทธาอันยิ่งใหญ่หลังจากนั้นครูบาศรีวิชัยและศรัทธาญาติโยมทั้งหลาย จึงได้ช่วยกันก่อสร้างวิหาร กุฏิ พระเจดีย์ โดยเฉพาะพระเจดีย์วัดบ้านปางนั้น พระพัฒนกรณ์ รองเจ้าอาวาสกล่าวว่า ครูบาศรีวิชัยได้ไปเห็นพระธาตุหลวงลำพูน ก็คือ พระธาตุหริภุญชัย แล้วอาศัยจำแบบมาก่อสร้างเจดีย์วัดบ้านปาง นอกจากนั้นเมื่อท่านได้จาริกไปบูรณะวัดต่างๆ ในภาคเหนือ ครูบาศรีวิชัยก็ได้ไปสร้างเจดีย์วัดต่างๆ ตามแบบของพระธาตุหริภุญชัย ซึ่งอาจเป็นคติในเชิงความหมายว่า ท่านต้องการให้พระธาตุหริภุญชัยเป็นศูนย์กลางในการเผยแพร่พุทธศาสนาออกไปทั่วภาคเหนือ อีกความหมายหนึ่งก็อาจเป็นการประกาศให้รู้ว่าตัวครูบาเจ้าศรีวิชัยนั้นเป็นพระจากเมืองลำพูนกระทั่งเมื่อสร้างวัดเสร็จแล้ว พระเณรบางส่วนจึงได้ย้ายขึ้นไปอยู่บนวัดใหม่แห่งนี้ ซึ่งมีชื่อเรียกว่า “วัดจ๋อมศะหรีทรายมูลบุญเรือง” แต่ชาวบ้านส่วนใหญ่จะเรียกว่า “วัดบ้านปาง” ซึ่งวัดนี้มีอาณาบริเวณพื้นที่ทั้งหมดประมาณ 160 ไร่ ในบริเวณเขตพุทธวาสจะมีกำแพงก่อด้วยหินล้อมรอบถึง 4 ชั้น ซึ่งเป็นความคิดของครูบาศรีวิชัยที่พยายามจะจัดให้วัดนี้เป็นอรัญวาสี (วัดป่า) โดยครูบาศรีวิชัยได้แนวคิดมาจากที่ได้เห็นพระฤาษีก่อกำแพงหินล้อมรอบอาศรม ซึ่งปัจจุบันคือ ม่อนฤาษี ซึ่งอยู่ได้ห่างจากวัดบ้านปาง และที่สำคัญท่านไม่ต้องการที่จะทำลายธรรมชาติ จึงได้ให้ชาวบ้านนำหินมาตั้งเรียงซ้อนกัน จนเป็นแนวกำแพง