Свое известнейшее произведение в прозе, посвященное хазарам, Халеви написал по-арабски, и в переводе на еврейский оно было напечатано лишь в 1506 году, затем несколько раз переиздавалось как в арабском оригинале, так и в переводах на еврейский Ибн Тибона (1167) и Иегуды Бен Исаака Кардинала. Еврейский перевод, опубликованный в Венеции в 1547 и 1594 годах (особенно второе из этих изданий), было значительно урезано цензурой, однако благодаря сопровождавшему его комментарию Иуды Муската он тоже представляет большой интерес. В XVII веке книгу Халеви о хазарах перевел на латинский Джон Буксторф. Благодаря этому латинскому переводу широкие круги европейцев смогли познакомиться с той версией работы Халеви о хазарах, которая была сокращена цензурой. В этом издании аргументы еврейского участника хазарской полемики, Исаака Сангари, противопоставлены доводам анонимных участников со стороны ислама и христианства. Однако в предисловии приводятся слова, якобы принадлежащие Халеви: «Меня часто спрашивают, какие аргументы я мог бы выставить и какие ответы дать тем философам, чье мнение отличается от нашего, и людям других вероисповеданий (кроме христиан), а также еретикам, отступающим от иудейской веры, которые есть среди нас. И я вспоминаю, что слышал о мнении и доказательствах известного ученого, имевшего полемику с хазарским королем, тем самым, который принял иудаизм четыреста лет назад». Совершенно ясно, что оговорка, взятая в скобки, «кроме христиан», была вставлена позже из-за цензуры, потому что Халеви вопреки ей все же говорит в своей книге о христианской вере. Точнее, он говорит о трех религиях — христианстве, исламе и иудаизме, символизируя их изображением дерева. На этом дереве, говорит он, ветви с листьями и цветами представляют образ христианства и ислама, корни же символизируют иудаизм. Затем, несмотря на тот факт, что имя христианского участника полемики отсутствует, сохранился его титул — философ. Этот термин, «философ», которым называют христианского участника полемики еврейские и христианские (греческие) источники, в сущности, является византийским университетским титулом, и его не следует принимать в обычном, общепринятом значении этого слова.
Латинское издание текста Халеви, осуществленное в Базеле Джоном Буксторфом, приобрело большую популярность, и издатель в связи с этой книгой получил много писем. Даубманнус в своем «Хазарском словаре» 1691 года обращает внимание на то, что комментарии к книге Халеви в то время принадлежали, в частности, и одному еврею из Дубровника по имени Самуэль Коэн
, а после латинского перевода появились переводы на испанский, немецкий и английский языки. Комментированное издание арабского оригинала с параллельным еврейским переводом было осуществлено в 1887 году в Лейпциге. Хиршфельд обращает внимание на то, что Халеви, рассуждая о природе души, использует наряду с другими источниками и один из текстов Ибн Сины (Авиценны).
Популярность Халеви возросла настолько, что о нем начали слагаться легенды. Считается, что у Халеви не было сыновей и сын его единственной дочери был назван в честь деда его именем. Русская еврейская энциклопедия расценивает это как доказательство несостоятельности утверждения, что на дочери Халеви был женат знаменитый ученый Абрахам Ибн Эзра, потому что сына Эзры звали не Иегуда. Это предание, записанное на идише, находится в книге «Масех ха Шем» Симона Акибы Бен Иосефа и в соответствии с ним получается, что известный грамматик и поэт из Толедо Аврахам Бен Эзра (умер в 1167 году) женился в стране хазар на дочери Халеви. Даубманнус приводит следующую легенду об этой женитьбе:
«Абрахам Бен Эзра жил в маленьком доме на берегу моря. Вокруг дома росли пахучие растения, и ветры не могли развеять дивные ароматы, а лишь переносили их, как ковры, с места на место. Однажды Абрахам Бен Эзра заметил, что запахи изменились. Это случилось потому, что он почувствовал страх. Этот страх внутри него сначала достиг глубины его самой молодой души, потом спустился в душу среднего возраста, а затем и в третью, самую старую душу Эзры. Наконец страх стал глубже самой глубокой души, и Бен Эзра больше не мог оставаться в доме. Он хотел выйти, но, открыв дверь, увидел, что проем ее затянут сеткой паутины, которая образовалась за ночь. Паутина была такой же, как и все другие паутины, но только рыжего цвета. Когда он хотел убрать ее, он заметил, что паутина соткана из прекрасных волос. Тогда он начал искать, чьи это волосы. Он не нашел никакого следа, но в городе встретил чужестранку, которая шла вместе со своим отцом. У нее были длинные рыжие волосы, но она не обратила на Бен Эзру никакого внимания. На следующее утро Бен Эзра снова почувствовал страх и снова нашел на дверях рыжую сетку паутины. Когда позже в этот же день он снова встретил рыжеволосую девушку, то протянул ей две ветки мирта, усыпанные цветами.