“那我對女人有意見嗎？” 布朗在採訪中補充道。 “不。 我有過憤怒，而且我可能會繼續憤怒。 我只是再也不能攻擊任何人了。”
多年來，布朗堅持認為他是因為種族或名人身份而成為受害者。 1969 年 4 月，在接受紐約時報的 Judy Klemesrud 採訪時，他談到了陽台事件，他說：“警察追捕我是因為我是自由的黑人，我應該傲慢自大並且應該好戰，我自由自在，在種族問題上直言不諱，我不反對黑人激進組織，我也不謙虛。”
農村起點
詹姆斯·納撒尼爾·布朗 (James Nathaniel Brown) 於 1936 年 2 月 17 日出生在佐治亞州海岸附近的圣西蒙斯島，這是一個黑人居民居住的農村地區。 在他幾周大時，以賭徒和好色之徒著稱的父親斯文頓·布朗拋棄了他和吉姆十幾歲的母親特蕾莎·布朗。 當他 2 歲時，她在紐約長島的大頸鎮找到了一份傭人的工作，這是一個白人佔絕大多數但政治自由的社區，把他留在佐治亞州，由一位曾祖母、一位祖母和一位阿姨照顧。
他8歲時，她把他找來，他們一起生活了一段時間，她繼續做管家。 根據他的說法，他覺得她對她的男朋友更感興趣，而不是關心他的需要； 他最終搬進了附近曼哈塞特的女友一家。
在曼哈塞特高中，他成為一名出色的跑衛和長曲棍球運動員，還參加了籃球、棒球和田徑比賽。
作為錫拉丘茲足球歷史上的第二位黑人球員，布朗成為了橄欖球和長曲棍球領域的全美球員。 在他的最後一場常規賽橄欖球比賽中，他以 61-7 戰勝了高露潔，他取得了 6 次達陣，踢進 7 個加分並跑出了 197 碼。 錫拉丘茲隊參加了 1957 年的棉花碗比賽，布朗隊以 28-27 輸給了德克薩斯基督教隊，在那裡他取得了 3 次達陣並獲得了 3 分加分。
