在他 1975 年與 Berry Stainback 合著的直率自傳“喬，你可以讓我們感到驕傲”中，Pepitone 說他與父親有一種愛恨交織的關係，他形容他的父親脾氣暴躁，但也對家庭充滿熱情.
Pepitone 是由他的母親的兄弟 Louie Caiazzo 介紹棒球的，他被稱為“紅叔”。 Caiazzo 花了幾個小時教 Joe 投擲和接球，並讓他成為場地滾球手。 喬在附近的棒球比賽、Prospect Park 和 Manual Training High School（後來的 John Jay High School，現在是一座名為 John Jay Educational Complex 的建築，包含三所小型高中）的皮卡遊戲中成長為明星。 在高中時，他以棒打長本壘打而聞名。
他還效力於由 Nathan’s Famous hot dogs 贊助的半職業球隊，他的表現非常出色，職業球探開始前來觀看他的比賽。
1958 年春天，一切都差點出岔子。 正如他在回憶錄中所描述的那樣，Pepitone 當時是一名高中生，當時他正在 Manual Training 的更衣室裡，一位同學拿著一把上膛的槍四處閒逛，不小心射中了他的內臟，就在肋骨下方。 傷口很嚴重，當喬在等救護車時，一位牧師趕來為他舉行最後的儀式。
然而，他很幸運。 子彈擊中了他所有的重要器官，手術後在醫院住了 12 天，他回家了。 幾天后，他心髒病發作的父親去世，享年 39 歲。那年 8 月，洋基隊以 25,000 美元的價格簽下了 Pepitone，儘管槍擊事件很可能剝奪了他更大的獎金。
Pepitone 於 1973 年在日本短暫演出，並為《紐約時報》寫了一篇抱怨他在那裡所受待遇的文章； 幾乎沒有人會說英語，他抱怨道，“在我的公寓裡，我發誓門有 4 英尺 5 英寸高。”
