После того, как его семья переехала из Наварры в Перигор, мальчик поступил в знаменитую тогда пуатьерскую школу, где изучил латынь лучше, чем любой его современник. Это вовсе не значит, что он хорошо знал все, но все же мог прочесть при случае несколько стихов и перевести для дам, ничтоже сумняшеся, латинские надписи и отрывки из классических произведений. Семья издавна прочила его в священнослужители, и еще ребенком он пользовался доходами с епархии Сент-Ириекс и двух приорств — Руаян и Сен-Вивьен. То были семейные бенефиции, передававшиеся от отца к сыну. В 1553 году смерть Жана де Бурдейя, старшего брата Пьера, павшего смертью храбрых при осаде Эдена, привлекла к его семье милостивое внимание Генриха II, который даровал нашему автору, едва достигшему шестнадцати лет, аббатство Брантомское, приносившее около 3 тысяч ливров дохода. По обычаю того времени, Пьер де Бурдей стал именоваться Пьером де Брантомом, до примеру большинства дворян, бравших вместо фамилии название принадлежавшей им сеньерии.
Хотя Пьер де Брантом и был аббатом, он пожелал участвовать в войне и повидать прекрасную страну, где некогда его отец сражался бок о бок с рыцарем без страха и упрека. Он отправился в Италию в конце 1557 или в начале 1558 года с намерением вступить в армию маршала де Брисака как знатный доброволец, то есть в сопровождении пяти-шести дворян, находившихся у него на содержании, хорошо вооруженных и верхом «на добрых конях». Чтобы снарядить эту свиту, ему пришлось продать часть леса в Сент-Ириексе, за что он выручил 500 экю золотом. Несмотря на «добрых коней», Брантом поступил в пехоту — род войск, начинавший входить в славу. Но в 1558 году в Италии никто не воевал, и Брантом решил, что ему не стоит особенно туда торопиться. Он остановился в Женеве и познакомился с Польтро де Мере, тем самым, который пять или шесть лет спустя умертвил герцога Франсуа де Гиза; это был несчастный изгнанник, ради хлеба насущного изготовлявший пуговицы вместе с бароном д’Обетером, другим вероотступником, бежавшим от преследований, соседом Брантома и ревностнейшим перигорским кальвинистом. Женева служила в те времена убежищем для большинства французов, гонимых за религиозные убеждения. Брантом встретил там, между прочим, парижского аптекаря, который прославился искусством вызволять из беды девушек, сделавших ложный шаг, а затем стал поучать благочестию женевцев.
По всей вероятности, дворяне из свиты Брантома получили приказание не подвергать его слишком большой опасности; все же он был ранен в лицо у Порто-фино, близ Генуи, в результате так называемого «злоключения с аркебузой», которое биографы приняли за рану, полученную на поле брани. Но помимо того, что в этой местности не было, насколько известно, ни одного сражения, огнестрельная рана в лицо бывает обычно весьма серьезна, а он отделался шестью днями слепоты. Совершенно очевидно, что речь идет о вспышке пороха во время какого-нибудь военного упражнения. Это случалось довольно часто в те времена, когда солдаты заряжали оружие, держа в руках зажженный фитиль. Некая красавица, уроженка Женевы, быстро и не без приятности вылечила его. Она «брызгала ему в глаза молоком из красивых своих белых грудей, ибо ей было всего тридцать лет, и белыми своими руками умащивала лицо его какой-то мазью, ею самой изготовленной». Это было началом милого романа, но он не получил развития, а может быть, наш автор из скромности умолчал о дальнейшем.
Окончательно выздоровев, Брантом объездил Италию и, видимо, бережливо расходовал свои 500 экю золотом, так как подолгу живал в Риме, Милане, Ферраре и других городах. По примеру Улисса, он «многих людей города посетил и обычаи видел», задавал множество вопросов и всюду интересовался различными способами вести войну и заниматься любовью. Во время этого путешествия он подружился с Филиппом Строцци и поступил на службу к Франсуа де Гизу, великому приору и адмиралу Франции. Брантом был племянником Шастеньере, убитого на дуэли Жарнаком, и его родство с человеком, которого очень любили принцы из Лотарингского дома, явилось превосходной рекомендацией в глазах великого приора. В 1559 году Брантом последовал за ним в Неаполь и был принят при блестящем дворе вице-короля, герцога Алькала, и в гостиных Марии Арагонской, вдовы знаменитого маркиза дель Васто, одной из наиболее выдающихся женщин своего времени, отличавшейся изысканностью манер и живостью ума. На борту галеры великого приора Брантом испытал жестокую бурю неподалеку от Ливорно и, кажется, готов был поверить, что непогоду навлекло на них богохульство генуэзского капитана, вознегодовавшего на небо за свои проигрыши в карты.