Шарль Лаллеман сошел на берег в Бостоне в апреле 1817 года и уже осенью этого года стал президентом Общества по выращиванию винограда и оливок, которое создавалось с разрешения Конгресса, с целью закрепления французов-эмигрантов на землях на реке Томбигби в Алабаме.
Но неугомонный Лаллеман не очень-то интересовался выращиванием оливок и винограда. Шарль писал своему брату Анри: «У меня намного больше амбиций, чем те, что могут быть удовлетворены развитием колонии на Томбигби.»
Вместо этого, Лаллеман придумал схему продажи земельных участков в штате Алабама для финансирования вооруженной экспедиции в Техас, которая тогда была частью Мексики и находилась под властью Испании. Когда появились доказательства того, что они участвовали в предполагаемом заговоре, чтобы поставить Жозефа Бонапарта на мексиканский трон, Шарль Лаллеман посетил госсекретаря Джона Куинси Адамса, при встрече с которым всячески отрицал, какие бы то ни было, противоречащие американским законам намерения. А между тем, продолжал претворять свои планы в жизнь.
Перессорившись с большинством других высокопоставленных офицеров Наполеона в Америке, которые не хотели иметь ничего общего с экспедицией в Техасе, Лаллеман смог привлечь на свою сторону только генерала Антуана Риго. 17 декабря 1817 года Риго отплыл с первой партией поселенцев из Филадельфии, высадившись на острове Галвестон в начале 1818 года. Здесь они гостили у знаменитого Жана Лаффита, а несколько недель спустя Шарль Лаллеман прибыл сюда с большим количеством офицеров и боеприпасов. 10 марта группа переправилась на территорию Техаса. Они поднялись по реке Тринити-Ривер на небольших лодках и построили свой форт, Champ d'Asile («Убежище»), находившийся рядом с нынешним местом Мосс-Блафф, к югу от Либерти.
Непонятно, чего надеялся достичь Шарль Лаллеман в Техасе. Хотя он и заявил, что его цель это создание сельскохозяйственной колонии, но по всем признакам это был явно военный лагерь. Возможно, он хотел укрепиться здесь , чтобы оказывать влияние на правительства Испании и Америки, оба из которых претендовали на эту территорию. Впрочем, известно, что Лаллеман предлагал свои услуги испанцам, но вице-король отказал ему. Ходили слухи, что Лаллеман заключил соглашение с мятежниками-мексиканцами о подготовке новобранцев на территории Техаса. Кроме того, не отрицается и вариант концентрации здесь ресурсов подготовки Лаллемана к спасению Наполеона с острова Святой Елены.
Но, несмотря на далеко идущие планы, в реальности поселенцы были измотаны голодом, болезнями, индейскими набегами и жестким руководством самого Лаллемана. Он и Риго в результате поссорились. Колонисты разделились на две враждующие группировки. Начались стычки и даже кровавые расправы над противниками. К началу апреля 1818 года в колонии осталось только 60 человек из 149, находившихся поначалу в лагере.
Лаллеман решает покинуть Champ d'Asile. В июле 1818 года он и некоторые другие смогли на американском правительственном корабле добраться до Нового Орлеана. Позже и другие его сподвижники оказались там же.
Так закончилось одна из захватывающих авантюр бывшего солдата наполеоновской империи Франсуа Антуана "Шарля" Лаллемана. Однако, на этом его приключения не закончились.