Hôm nay,  

Quốc hội Mỹ bàn về "Công tắc ngắt khẩn cấp" khi một tác nhân AI nổi loạn: GS Thinh Nguyen (Đại học University of Florida) góp ý khi cần tắt Internet toàn cầu

18/09/202612:45:00(Xem: 549)
blank

Quốc hội Mỹ bàn về "Công tắc ngắt khẩn cấp" khi một tác nhân AI nổi loạn: GS Thinh Nguyen (Đại học University of Florida) góp ý khi cần tắt Internet toàn cầu
.
Bản tin sau đây của USA Today hôm Thứ Sáu 18/9/2026: "Công tắc ngắt khẩn cấp" (kill switch) cho AI có thể dẫn đến việc ngắt kết nối cả Internet. Trong bối cảnh các nhà lãnh đạo ngành và các nhà hoạch định chính sách đang kêu gọi nhau kiểm soát và làm chậm tốc độ phát triển chóng mặt của trí tuệ nhân tạo (AI), ý tưởng về một "công tắc ngắt khẩn cấp" (kill switch) cho AI đang ngày càng thu hút sự chú ý.
"Công tắc ngắt khẩn cấp" cho AI là thuật ngữ chung chỉ bất kỳ cơ chế bảo vệ nào có khả năng ngăn chặn hoặc ngăn cản các tác nhân AI thực hiện những hành động không mong muốn. Cơ chế này bao gồm cả các biện pháp can thiệp về phần mềm lẫn phần cứng.
Các nghị sĩ thuộc cả hai đảng tại Quốc hội Mỹ đã đệ trình các dự luật về "công tắc ngắt khẩn cấp", yêu cầu các nhà phát triển AI phải duy trì khả năng tạm dừng hoặc tắt hoàn toàn sản phẩm của họ; tuy nhiên, một số nghị sĩ Cộng hòa tại Thượng viện vẫn tỏ ý phản đối.
Ngay cả Jack Clark, đồng sáng lập công ty Anthropic, cũng từng đề xuất ý tưởng bắt buộc trang bị "công tắc ngắt khẩn cấp" cho các hệ thống AI. Ông chia sẻ với đài BBC vào ngày 14 tháng 9 rằng: "Tôi nghĩ đây là vấn đề mà xã hội sẽ muốn nắm bắt thông tin và có thể sẽ muốn ban hành các quy định quản lý trong tương lai."
Tuy nhiên, hình thức cụ thể của một "công tắc ngắt khẩn cấp" – cũng như khả năng triển khai nó một cách hiệu quả – vẫn là chủ đề gây nhiều tranh cãi.
.
"Công tắc ngắt khẩn cấp" là gì?
Định nghĩa về "công tắc ngắt khẩn cấp" phụ thuộc vào quy mô mà người ta dự định áp dụng nó.
"Ở quy mô cục bộ, chẳng hạn như tại một tòa nhà hay trung tâm dữ liệu, việc này có thể cực kỳ đơn giản," Michael Vermeer, một nhà khoa học vật lý tại tổ chức nghiên cứu phi đảng phái RAND, cho biết. "Đó có thể chỉ đơn giản là rút phích cắm, ngắt nguồn điện, chặn quyền truy cập Internet, hay những hành động tương tự."
Ở quy mô toàn cầu, biện pháp này thậm chí có thể dẫn đến việc ngắt kết nối cả Internet.
Trong cả hai trường hợp, mục tiêu đặt ra là tước quyền truy cập của tác nhân AI vào một hệ thống mà nó không được phép tiếp cận, hoặc ngược lại, yêu cầu con người phải phê duyệt quyền truy cập theo cách thủ công.
Các biện pháp này có thể bao gồm giải pháp phần cứng như ngắt nguồn điện cung cấp cho máy chủ vận hành mô hình AI hoặc tích hợp các cơ chế hạn chế trực tiếp vào chip – những mạch điện tử nhỏ bé nơi các mô hình AI hoạt động; hoặc các giải pháp phần mềm như cô lập tác nhân AI để ngăn nó truy cập vào những hệ thống nhất định. Ngoài ra, nó cũng có thể bao hàm việc học cách diễn giải hoạt động của mô hình để ngăn chặn các hành động sai lệch trước khi chúng thực sự xảy ra. “Việc thiết kế một cơ chế giải thích cách thức hoạt động của chúng sẽ giúp chúng ta dự đoán tốt hơn về hành vi của chúng trong tương lai,” Walid Saad, giáo sư ngành kỹ thuật điện và máy tính tại Virginia Tech, chia sẻ với tờ USA TODAY.
Tuy nhiên, các “công tắc ngắt khẩn cấp” (kill switch) không có tác dụng toàn diện. Trong hầu hết các trường hợp, việc nhấn nút dừng khẩn cấp trên một tác nhân AI cụ thể, hay thậm chí là đối với toàn bộ hệ thống của một công ty, sẽ không ngăn cản được các mô hình hoặc công ty khác tiếp tục hoạt động.
.
Giáo sư luật Thinh Nguyen của Đại học Florida ví các hệ thống AI như một vở kịch sân khấu. Trong đó, các diễn viên chính là những mô hình ngôn ngữ lớn (LLM) hay các chatbot.
“Ở đây còn có một thành phần khác. Trong ngành, nó được gọi là ‘harness’ (khung điều phối/hệ thống hỗ trợ),” ông Nguyen giải thích. Thành phần này có thể được hình dung như sân khấu, kịch bản và chính khán giả.
Sự kết hợp giữa hệ thống điều phối (harness) và một mô hình (hay loại LLM) sẽ tạo nên một tác nhân AI. Nếu thiếu đi hệ thống điều phối này, bản thân LLM – chẳng hạn như ChatGPT hay Claude – sẽ không có ký ức hay cá tính riêng.
Hệ thống điều phối sử dụng LLM để thực hiện tư duy, cũng giống như sân khấu cần diễn viên để trình diễn một vở kịch. Tuy nhiên, diễn viên có thể được thay thế và LLM cũng vậy; vì thế, ngay cả khi một “công tắc ngắt” vô hiệu hóa một LLM đang hoạt động sai lệch, hệ thống điều phối vẫn có thể chuyển sang sử dụng một LLM khác để tiếp tục các hành động tương tự – giống như việc tìm một diễn viên đóng thế vậy.
"Nếu kết nối của tôi với OpenAI đột ngột bị ngắt, tôi có thể chuyển sang dùng Anthropic," GS Thinh Nguyen nói. "Và nếu kết nối với Anthropic bị gián đoạn, tôi có thể chuyển sang mô hình đám mây riêng của Amazon, Google hoặc XAI. Còn nếu không có mô hình nào của Mỹ khả dụng, tôi có thể chuyển sang sử dụng mô hình của Trung Quốc từ nước ngoài."


Để thực sự tắt hệ thống, cần phải ngắt toàn bộ hệ thống điều phối. Vị giáo sư giải thích thêm: “Nếu coi tác nhân hoạt động sai lệch đó như một cá tính nổi loạn, thì khi loại bỏ hệ thống điều phối, LLM sẽ không còn cá tính nào nữa; do đó, theo định nghĩa, nó không thể còn là một tác nhân nổi loạn được nữa.”
Khó khăn ở đây là đoạn mã điều khiển (harness) này rất nhỏ—chỉ khoảng 20 đến 30 dòng lệnh—và có thể tồn tại ở bất kỳ đâu trên Internet, thường là phân tán trên nhiều máy tính. Theo GS Thinh Nguyễn, cách duy nhất để đảm bảo cơ chế "ngắt khẩn cấp" (kill switch) hoạt động hiệu quả là phải ngắt toàn bộ Internet.
.
Khi nào thì cần đến cơ chế này?
Các công ty AI thường mô tả một tác nhân AI là "vượt tầm kiểm soát" (hoặc "nổi loạn") khi nó thực hiện các hành động không phù hợp với ý định của con người. Trong các kịch bản giả định, tình huống này có thể bao gồm từ các vụ xâm nhập an ninh mạng cho đến những kịch bản thảm họa diệt vong.
Ông Saad đưa ra một ví dụ: "Nếu hệ thống AI xâm nhập vào máy chủ nhạy cảm của chính phủ thông qua một cuộc tấn công mạng, bạn chắc chắn sẽ muốn ngăn chặn nó thực hiện bất kỳ hành động nào."
Theo ông Vermeer, vấn đề nan giải hơn là liệu công ty sở hữu tác nhân AI "nổi loạn" đó có thực sự sử dụng cơ chế "ngắt khẩn cấp" hay không. Việc ngắt kết nối một trung tâm dữ liệu sẽ đặt công ty vào rủi ro pháp lý và sự phản đối dữ dội từ khách hàng, bởi hành động này không chỉ dừng tác nhân AI đó lại mà còn làm gián đoạn tất cả các hoạt động khác đang diễn ra tại trung tâm dữ liệu đó.
Ông Vermeer nhận định: "Nếu những người có trách nhiệm kích hoạt cơ chế ngắt khẩn cấp không phải chịu trách nhiệm pháp lý về các thiệt hại trong trường hợp họ *không* sử dụng nó, thì rất khó xảy ra khả năng—hoặc thậm chí là không hợp lý—để họ quyết định kích hoạt cơ chế này."
.
Vậy, ai là người muốn có cơ chế "ngắt khẩn cấp"?
Một số nghị sĩ Quốc hội đã dành cả mùa hè để vận động cho việc áp dụng cơ chế "ngắt khẩn cấp".
Vào tháng 7, các Dân Biểu Ted Lieu và Nathaniel Moran đã đề xuất dự luật lưỡng đảng mang tên "Đạo luật Ngắt khẩn cấp AI" (AI Kill Switch Act); dự luật này cho phép chính phủ ra lệnh buộc một công ty phải tắt mô hình AI của họ.
Thượng nghị sĩ John Kennedy cũng có kế hoạch trình một dự luật tương tự tại Thượng viện. Trong khi đó, Tổng thống Donald Trump gần đây đã đăng tải dòng trạng thái: "Biện pháp kiểm soát hay 'cơ chế bảo vệ' duy nhất mà AI cần là một TỔNG THỐNG MẠNH MẼ VÀ THÔNG MINH (có chỉ số IQ cao!), và nước Mỹ đang sở hữu điều đó một cách tuyệt vời!"
Nhiều nhà lãnh đạo trong ngành đã lên tiếng kêu gọi ban hành quy định và làm chậm tốc độ phát triển AI, mặc dù hầu hết họ không sử dụng cụm từ "ngắt khẩn cấp" trong các kiến ​​nghị của mình. Những người khác lại tỏ ra hoài nghi liệu dự luật của hai ông Lieu và Moran có phải là hướng đi đúng đắn hay không. “Nếu muốn kích hoạt cơ chế ngắt khẩn cấp (kill switch), bạn hẳn sẽ muốn thực hiện thật nhanh và cần phải chắc chắn rằng việc đó là cần thiết,” Vermeer nhận định. “Việc để một nhân viên chính phủ thực hiện thao tác này sẽ gặp nhiều thách thức hơn so với để chính đơn vị vận hành mô hình AI thực hiện.”
Derek Bambauer, đồng nghiệp của Nguyen tại Trường Luật thuộc Đại học Florida, đã chỉ ra những tác động tiềm tàng đối với an ninh quốc gia từ dự luật này; ông cảnh báo rằng nó có thể khiến việc sử dụng các hệ thống AI từ các quốc gia đối thủ trở nên hấp dẫn hơn.
Ông cũng nhấn mạnh vai trò tiềm năng của AI trong việc phòng chống các cuộc tấn công mạng – lợi ích có thể bị mất đi nếu áp dụng cơ chế ngắt khẩn cấp.
“Rất nhiều lập trình viên là con người đã viết ra những đoạn mã chứa đầy lỗi và thiếu an toàn, và chúng tràn lan trên mạng; không phải AI tạo ra vấn đề này, mà nó chỉ đang phát hiện ra chúng mà thôi,” Bambauer nói. “Nếu có thể tận dụng AI để tìm và khắc phục tất cả các đoạn mã lỗi cũng như các lỗ hổng bảo mật, chúng ta sẽ tiến một bước dài trong việc giải quyết các vấn đề này.”
Tuy nhiên, ngay cả khi chưa có quy định cấp liên bang, các biện pháp kiểm soát an toàn vẫn đang dần được triển khai. Vào ngày 16 tháng 9, OpenAI thông báo sẽ bắt đầu chuyển hướng các trường hợp lạm dụng công nghệ sang các quy trình xử lý chuyên biệt, đồng thời chuyển các vấn đề gây tranh cãi lên “Nhóm Cố vấn An toàn” nội bộ để xem xét.
Saad, chuyên gia từ Đại học Virginia Tech, cho biết ông dự đoán sẽ mất khoảng hai đến năm năm nữa để hoàn thiện và áp dụng thêm các biện pháp kiểm soát an toàn này.
“Những đề xuất đó không hề viển vông hay điên rồ chút nào,” ông nhận xét. “Đó là những giải pháp hoàn toàn khả thi và có thể giúp hệ thống trở nên an toàn hơn rất nhiều.”



Sau khi Bộ Ngoại Giao Hoa Kỳ tuyên bố rằng tuyên bố chủ quyền biển của Bắc Kinh tại Biển đông và những nỗ lực để khẳng quyết sự chiếm cứ bất hợp pháp, khu trục hạm Hải Quân Hoa Kỳ USS Ralph Johnson đã thách thức TQ thêm nữa với chiến dịch đi lại, theo bản tin hôm 14 tháng 7 năm 2020 của báo Business Insider cho biết. Hải Quân đã công bố nhiều hình hôm Thứ Ba, 14 tháng 7 năm 2020 của khu trục hạm đi qua gần Quần Đảo Trường Sa có tranh chấp, và phát ngôn viên Hải Quân Mỹ xác nhận tàu chiến này đã thực hiện một chiến dịch tự do hàng hải trong khu vực.
Hội Đồng Giáo Dục Quận Cam đã chấp thuận các đề nghị hôm Thứ Hai đối với việc tái mở cửa các trường học vào mùa thu này, theo bản tin hôm 14 tháng 7 của CNN cho biết. Hội Đồng bỏ phiếu với tỉ lệ 4 trên 1 chấp thuận một loạt hướng dẫn, gồm những kiểm tra nhiệt độ thường xuyên, rửa tay thường xuyên và làm sạch các lớp học, các văn phòng và xe buýt. Tuy nhiên, hội đồng đã không yêu cầu sử dụng khẩu trang hay giữ khoảng cách xã hội. Thực tế, họ đã khuyên chống lại các biện pháp. “Các trẻ em từ Mẫu Giáo đến lớp 12 đại diện cho đội ngũ có nguy cơ thấp nhất đối với Covid-19. Bởi vì điều đó, việc giữ khoảng cách xã hội của trẻ em và giảm số lượng học sinh trong lớp là không cần thiết và do đó không được khuyến nghị,” theo các đề nghị cho biết.
Tổng Thống Donald Trump hôm Thứ Ba, 14 tháng 7 năm 2020 đã ký luật để đưa ra các trừng phạt Trung Quốc trong đối phó với sự can thiệp của họ vào quyền tự trị của Hong Kong, theo bản tin CNBC cho biết. Trump cũng nói rằng ông đã ký sắc lệnh hành pháp chấm dứt việc đối xử ưu đãi mà Hong Kong đã được hưởng từ lâu nay. “Hong Kong hiện sẽ được đối xử giống như Hoa Lục,” theo ông Trump cho biết trong phát biểu dài tại Vườn Hồng của Bạch Ốc mà đã nhanh chóng chuyển từ việc thông tin về đạo luật sang nhiều vấn đề vận động tranh cử.
Chính phủ Trump hôm Thứ Ba, 14 tháng 7 năm 2020 đã hủy bỏ chính sách sẽ không cấp visa cho những sinh viên quốc tế tham dự các lớp học trên mạng giữa thời đại dịch. Sự thay đổi này đến sau khi chính sách được công bố hồi tuần trước gây ra kiện tụng, bắt đầu với hồ sơ kiện bởi Đại Học Harvard và Đại Học MIT, theo sau là các trường công lập của California và sau đó là liên minh 17 tiểu bang, nằm trong số những thách thức khác.
Nhiều người hỏi tôi: - Sao bà gan quá, làm phóng viên chiến trường chết sống bất cứ lúc nào? Bà không sợ sao ? Tôi thường trả lời: - Đâu có sợ, có máu điên trong người cho nên đâu có sợ, và bây giờ có người hỏi sao bà tình nguyện làm Chief Forum. Một ngày đẹp trời tôi được Cảnh Sát trưởng thành phố Garden Grove mời làm một trong Chief Forum của thành phố, mỗi một sắc tộc được mời một người, cố vấn Đại Tá Cảnh sát trưởng trong vấn đề an ninh của thành phố, cố vấn có nghĩa là mình cho ý kiến về vấn đề an ninh, ông Cảnh Sát trưởng có lắng nghe hay không còn tùy vấn đề Chief Forum này 15 người, buổi họp đầu tiên bàn về nhiều vấn đề, nhất là vấn đề an ninh, ăn cướp, ăn trộm, đánh nhau, ẩu đã, nhiều vấn đề về con người nhưng không có vấn đề nào vui, toàn là chuyện không ai thích nghe, nhưng cũng có người tình nguyện làm việc với Cảnh Sát, là thương gia mà tham gia vấn đề này thì quý đồng hương cũng biết có màu bất thường rồi ?
Tuân thủ theo những điều lệ cập nhật của tiểu bang, được ban hành bởi Bộ y tế California và Thống đốc tiểu bang California Gavin Newsom, Quỹ cộng đồng Garden Grove (Garden Grove Community Foundation) quyết định huỷ bỏ những buổi nghe nhạc ngoài trời miễn phí năm nay, dự kiến diễn ra vào tháng Bảy và tháng Tám, 2020.
Phần lớn nhân loại đều chưa đến Rome, và chắc cũng chả mấy ai rành rẽ về phong tục tập quán của xứ sở này. Tuy thế, nếu có dịp bước chân tới đây thì chắc tất cả chúng ta đều sẽ nhớ đến lời dậy của cổ nhân (“nhập gia tùy tục/đáo giang tùy khúc”) để ứng xử thích nghi, và hoà nhã với dân bản xứ.
Mùa hè, bà con mình tại hải ngoại thường có thói quen hay tổ chức nướng thịt ngoài trời, ngoài sân để ăn nhậu vui vẻ với gia đình hoặc với bạn bè. Tây Mỹ gọi là tiệc Barbecue hay BBQ. Ngộ độc thực phẩm đôi khi cũng có thể xảy ra sau buổi tiệc. Nhẹ thì ói mửa, đau bụng, bị tào tháo rượt chạy có cờ, còn nặng thì tiêu chảy có máu, có thể kéo theo suy thận sau đó và nếu trị không kịp và không đúng cách thì sẽ đi luôn. Khoa học gọi đây là bệnh Hamburger.
Vào lúc 6 giờ chiều ngày 12/07/2020, Linh mục Giuse Phạm Văn Diệm, Dòng Thánh Vinh Sơn, đã chủ tế thánh lễ tạ ơn và làm phép tượng đài Thánh Vinh Sơn cho gia đình anh Nguyễn Duy Đoan -- là Ca Đoàn Trưởng Nghĩa Sinh Chicago trong hơn 25 năm qua (1993-2020). Ban Thánh ca Nghĩa Sinh đảm trách phụng vụ thánh nhạc trong các thánh lễ nhân Lễ Tạ Ơn – Thanksgiving thường niên tại Hoa Kỳ.
yêu cầu nhà cầm quyền CSVN chấm dứt đàn áp giới bất đồng chính kiến, trả tự do cho tù nhân lương tâm, và thực hiện cam kết quốc tế về nhân quyền
Cố vấn về vi khuẩn corona của Bạch Ốc là Bác Sĩ Anthony Fauci cho biết rằng Hoa Kỳ đang chứng kiến sự gia tăng trong việc truyền nhiễm Covid-19 bởi vì cả nước chưa bao giờ đóng cửa hoàn toàn. Vào đầu đại dịch, các trưởng hợp bị lây vi khuẩn corona tại Hoa Kỳ lên cao điểm khoảng 30,000 trường hợp mới một ngày trước khi giảm xuống và ổn định vào khoảng 20,000 trường hợp mới một ngày, theo tài liệu được biên soạn bởi Đại Học Johns Hopkins cho biết. Trong khi một số tiểu bang đã bắt đầu tái mở cửa vào cuối tháng 4 cho đến tháng 6, các trường hợp mới đã bắt đầu gia tăng, theo Fauci nói với Trưởng Khoa Y Khoa tại Đại Học Stanford là Bác Sĩ Lloyd Minor trong cuộc phỏng vấn. “Chúng ta đã không đóng cửa hoàn toàn,” Fauci, giám đốc Viện Chuyên Về Các Bệnh Dị Ứng và Truyền Nhiễm Quốc Gia, cho biết. “Chúng ta cần trở lại một vài yards và nói rằng, “Được rồi, chúng ta không thể đóng cửa vĩnh viễn.’ … Bạn phải đóng cửa nhưng rồi bạn đã từ từ mở cửa.”
2 học khu lớn nhất của California hôm Thứ Hai, 13 tháng 7 năm 2020, đã tuyên bố rằng họ sẽ không mở cửa các cơ sở học đưởng cho học sinh trong mùa thu nhưng sẽ mở các lớp học trên mạng. Trong một lá thư gửi tới các bậc phụ huynh, Giám Đốc Học Khu Los Angeles Austin Beutner nói rằng học khu lớn thứ hai trên toàn quốc đã quyết định sẽ mở các lớp học trên mạng vì sự gia tăng các trường hợp lây nhiễm vi khuẩn corona.
Ngoại Trưởng Hoa Kỳ Mike Pompeo hôm Thứ Hai, 13 tháng 7 năm 2020 đã tuyên bố bác bỏ chính thức “hầu hết” các tuyên bố chủ quyền biển của Trung Quốc tại Biển Đông, là hành động leo thang mới nhất giữa Washington và Bắc Kinh, theo bản tin của CNN cho biết. Mô tả hành động như là “việc làm mạnh chính sách của Hoa Kỳ,” người lãnh đạo ngành ngoại giao Hoa Kỳ khẳng quyết rằng “Tuyên bố chủ quyền của Bắc Kinh đối với các nguồn tài nguyên ngoài biển hầu khắp Biển Đông là hoàn toàn bất hợp pháp, vì là chiến dịch bắt nạt để kiểm soát của họ.” “Thế giới sẽ không cho phép Bắc Kinh đối xử với Biển Đông như đế quốc biển của họ. Mỹ đứng cùng lập trường với các đồng minh và đối tác Đông Nam Á trong việc bảo vệ quyền chủ quyền của họ đối với các nguồn tài nguyên biển, phù hợp với các quyền và trách nhiệm của họ theo luật quốc tế,” theo ông Pompeo cho biết trong một tuyên bố dài.
Bộ Trưởng Tư Pháp tại 17 tiểu bang và Thủ Đô Hoa Thịnh Đốn đã lập hồ sơ kiện chính phủ Trump vì hướng dẫn của chính phủ này sẽ không cho phép các sinh viên ngoại quốc lấy lớp học trên mạng trong mùa thu này, theo bản tin của CNN cho biết hôm Thứ Hai, 13 tháng 7 năm 2020. Nỗ lực của nhiều tiểu bang, đã nạp hồ sơ tại Tòa Địa Hạt Hoa Kỳ tại Massachusetts hôm Thứ Hai chống lại Bộ Nội An và Cơ Quan Di Trú và Quan Thuế, cũng tìm cách ngăn chận chính sách sẽ có hiệu lực trong khi vụ kiện đang được quyết định. Hồ sơ kiện hôm Thứ Hai, phần lớn là nỗ lực của Đảng Dân Chủ, được dẫn đầu bởi Bộ Trưởng Tư Pháp Massachusetts Maura Healey.
Thống Đốc California Gavin Newsom đã đưa ra lệnh ‘Hãy Ở Trong Nhà’ mới hôm Thứ Hai, 13 tháng 7 năm 2020 và cũng kêu gọi lập tức đóng cửa thêm các hoạt động bên trong tại những cơ sở kinh doanh cho các quận nằm trong danh sách theo dõi của California gồm các trung tâm thể dục thể hình (fitness centers), những nơi thờ phượng tôn giáo, các tiệm hair salons và tiệm hớt tóc. Lệnh này ảnh hưởng 80% dân số của California, theo bản tin của Đài FoxLA cho biết hôm Thứ Hai. Theo lệnh mới của ông Newsom, 30 trong số 58 quận của California nằm trong danh sách giám sát của tiểu bang phải đóng cửa hầu hết các hoạt động bên trong tại những cơ sở kinh doanh sau đây: • Fitness centers (trung tâm thể dục thể hình) • Worship centers (những nơi thờ phượng tôn giáo) • Officers for non-critical sectors (các văn phòng thuộc lãnh vực không quan trọng) • Personal care services (các dịch vụ chăm sóc cá nhân) • Hair salons and barbershops (hair salons và tiệm hớt tóc) • Malls (các khu thương
NHẬN TIN QUA EMAIL
Vui lòng nhập địa chỉ email muốn nhận.